20190214 Startup의 한정된 자원(인력, 자금)에서 AWS를 효율적으로 사용하는 방법
•
6 likes•632 views
20190214 Startup의 한정된 자원(인력, 자금)에서 AWS를 효율적으로 사용하는 방법
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 20190214 Startup의 한정된 자원(인력, 자금)에서 AWS를 효율적으로 사용하는 방법
Similar to 20190214 Startup의 한정된 자원(인력, 자금)에서 AWS를 효율적으로 사용하는 방법 (20)
More from Jongwon Han
More from Jongwon Han (14)
20190214 Startup의 한정된 자원(인력, 자금)에서 AWS를 효율적으로 사용하는 방법
- 1. Startup의 한정된 자원(인력, 자금)에서 AWS를 효율적으로 사용하는 방법 14. Feb. 2019 jongwon.han@hbsmith.io (STAGE9 Seminar) 1
- 2. 발표자 소개 • 한종원 • Python과 Cloud Infra, Lean/Agile 방법론 그리고 애플의 제품을 사랑. • 2012년 석사 학위를 마치고, startup을 시작 • '의미가 있는 일을, 올바르게 하고 싶다.’ • 경력 • (현) DevOps 전문 스타트업 ‘HB Smith’ 대표 • 택시 O2O 서비스 스타트업 ‘Kanizsa Lab’의 backend server / infra devops 담당 • Cloud computing 전문 스타트업 'A2 company' co-founder (‘KINX’에 인수합병) • NEXON 'MapleStory 국내 Live Team'에서 DBA, SA로 근무 (산업 기능 요원) 2 https://www.linkedin.com/in/addnull/ https://hbsmith.io
- 3. Contents • 발표 대상 - AWS 도입을 검토하는 분 - AWS 사용 초/중급 - 실제 production에서 AWS를 사용하시는 분 - Backend server application 개발자 - Server infrastructure에 대한 경험과 이해가 있는 분 • 발표 목차 - Hello Cloud! - AWS 소개 - AWS 비용 구조 - 비용 절감 3 (예상 발표 시간: 70분)
- 5. Hello Cloud! • ‘Cloud Computing’ 이란 ?!? • 다양한 정의 • Data 저장과 접근을 인터넷으로 언제 어디서든 접근 가능한 기술 • 바로 사용 가능하고 사용한 만큼 과금되는 전산 기반 시설(infrastructure)들 • 전산 hardware 장비들의 가상화(virtualization) 기술 5 이미지 출처 https://www.tocario.com/ history-of-cloud-computing/
- 6. Hello Cloud! • ‘Cloud Computing’ 이란 ?!? • 정의 6 왜 'Cloud Computing'이 상업적으로 의미가 있는가? 전산 자원들의 공유하는 기술과 도구의 집합 이미지 출처 https://www.tocario.com/ history-of-cloud-computing/
- 7. Hello Cloud! • 정의 • 전산 자원 -> server, storage, network 같은 infrastructure(물리 hardware 장비)와 platform과 application(software)를 포함 7 이미지 출처 https://en.wikipedia.org/ wiki/Cloud_computing 전산 자원들의 공유하는 기술과 도구의 집합
- 8. Hello Cloud! • 전산 자원을 공유한다?!? • 피자를 먹는 네 가지 방법 8 이미지 출처 http://www.teenagemutantninjaturtles.com/ fanzone/tmnt-pizza-toppings/
- 9. Hello Cloud! • Abstraction level • 음식점 피자: 돈만 있으면 OK! • 배달 피자: 식탁과 돈 필요 • 냉동 피자: 전자렌지, 식탁, 돈 필요 • 홈피자: 집에서 AtoZ 모두 다 필요 9 이미지 출처 http://www.hostingadvice.com/ how-to/iaas-vs-paas-vs-saas/
- 10. Hello Cloud! • Abstraction level • 음식점 피자: • 배달 피자: • 냉동 피자: • 홈피자: 10 이미지 출처 http://www.hostingadvice.com/ how-to/iaas-vs-paas-vs-saas/ Software 통채로 대여 Platform 까지 대여 Infrastructure만 대여 Cloud 안 씁니다..
- 11. Hello Cloud! • Abstraction level • 음식점 피자: • 배달 피자: • 냉동 피자: • 홈피자: 11 Software 통채로 대여 Platform 까지 대여 Infrastructure만 대여 Cloud 안 씁니다.. 이미지 출처 http://www.hostingadvice.com/ how-to/iaas-vs-paas-vs-saas/
- 12. Hello Cloud! • ‘Cloud Computing’ 은 • ‘Cloud 서비스’는 • Cloud 서비스를 쓴다는 것 -> 서비스 제공 업체가 미리 준비해둔 자원의 일부를 빌린다는 것 12 전산 자원들의 공유하는 기술과 도구의 집합 'Cloud Computing'을 별도의 유무료 서비스 형태로 제3자에게 제공
- 13. Hello Cloud! • application / platform 대여 복사, 전달 과정을 인터넷을 통해 쉽게 해결 • infrastructure 대여 13 물리 장비에 대한 가상화(virtualization) 기술이 필요
- 14. Hello Cloud! • 가상화란? 14 'Matrix (1999)'에서 실제 world를 묘사한 virtual world(software)가 존재
- 15. Hello Cloud! • Cloud 서비스에서 가상화 15 실제 물리 machine을 모사한 virtual machine(VM)을 software로 구현
- 16. Hello Cloud! • Cloud 서비스에서 가상화 • 전 가상화 (vs) 반 가상화 16 실제 물리 machine을 모사한 virtual machine(VM)을 software로 구현 이미지 출처 http://www.cloudvirtualizationspecialist.com/ difference-application-virtualization- paravirtualization/
- 17. Hello Cloud! • Cloud 서비스 형태 • public cloud Cloud 서비스의 물리 장비를 Cloud 서비스 업체에서 제공 불특정 다수가 함께 공유해서 씀 • private cloud Cloud 서비스의 물리 장비를 사용자가 직접 제공 해당 물리 장비를 제공한 사용자 또는 일부 한정된 사용자만 사용 • hybrid cloud public/private cloud와 물리 서버를 섞어서 운영 17
- 18. AWS 소개 18
- 19. AWS 소개 • 2004년 Amazon 의 고민 • 1년 중에 traffic peak 일 때(예: Christmas season)는 수 많은 서버가 필요하지만 이런 기간은 1년 중에 매우 짧음 (2~3주) • 평상시에는 상대적으로 적은 수의 서버로도 충분함 • 즉, 평상시에는 많은 서버들의 사용률이 매우 낮은 문제 발생 19 이미지 출처 https://www.sugerendo.com/en/empresa/ nuestras-tecnologias/amazon-web-services/ -> 서버 자원 낭비(waste) 문제
- 20. AWS 소개 • 서버 자원 낭비(waste) 문제의 심화 • traffic peak 일 때와 그렇지 않을 경우의 격차가 매년 더 커짐 • 언제 traffic peak가 생길지 예측이 어려워짐 • “서버를 필요할 때만 끌어다 쓰고 필요없을 때 반환할 수 없을까? 즉, 서버를 여러 기업에서 공유할 수 있을까?” 20 이미지 출처 https://www.sugerendo.com/en/empresa/ nuestras-tecnologias/amazon-web-services/
- 21. AWS 소개 • “공유 오피스처럼 IDC(서버)도 나눠서 쓸 수 있을까?” 21
- 22. AWS 소개 • 2004년 최초의 AWS 서비스인 SQS를 출시 -> 물리 서버를 가상화(software)하여 공유 22 이미지 출처 https://www.engadget.com/2015/08/20/ google-reveals-server-info/
- 23. AWS 소개 • AWS는 여러개의 서비스들의 집합 23 Computing Storage Database Networking 이미지 출처 https://aws.amazon.com/architecture/icons/
- 24. AWS 소개 • AWS는 여러개의 서비스들의 집합 24 LEGO 블럭처럼 여러 개의 AWS components를 조합해서 나만의 Infra 구축
- 25. AWS 소개 • AWS는 여러개의 서비스들의 집합 25 LEGO 블럭처럼 여러 개의 AWS components를 조합해서 나만의 Infra 구축
- 26. AWS 소개 • 매년 12월에 re:Invent 라는 행사에서 10~20개의 신규 서비스가 출시됨 26
- 27. AWS 소개 • 2004년 SQS 출시 이후 2019년 2월 현재 27 약 174개 서비스의 집합
- 28. AWS 소개 • AWS 의 강점 • 가장 오랫동안 운영된 서비스 (Since 2004) • 가장 많은 use case과 troubleshooting이 축적 -> 개발자 입장에서 공식 문서와 인터넷 검색만으로도 ‘비교적 쉽게’ 사용 가능 28 Gartner’s 2018 Magic Quadrant for infrastructure as a Service. 거의 de facto 급
- 29. AWS 소개 • AWS 의 강점 • 활발한 국내 커뮤니티 29 https://www.meetup.com/ awskrug/events/calendar/ https://www.facebook.com/groups/awskrug/
- 30. AWS 소개 • AWS 의 단점: 비싸다 ?!?! 30
- 31. AWS 비용 구조 31
- 32. AWS 비용 구조 • AWS 과금 기본 규칙 ‘pay-as-you-go’ 쓴 만큼 과금되며 언제든지 중단할 수 있는 utility computing 의 과금 방식 • 실생활에서 Utility services 예시 32 이미지 출처 https://www.inmyarea.com/utilities
- 33. AWS 비용 구조 • 예상 월 과금 계산기 • AWS 서비스마다 다양한 과금 metric 33 https://calculator.s3.amazonaws.com/index.html
- 34. AWS 비용 구조 • AWS 서비스마다 다양한 과금 metric 34 computing 시간 storage 공간 network traffic
- 35. AWS 비용 구조 • 실제 인공지능 QA 자동화 서비스 'HBSmith' 요금 35 실제 고객사 서비스의 사용자처럼 동작하는 ‘hbsmith’ bot을 작성해서 QA 업무를 대체함
- 36. AWS 비용 구조 • 실제 인공지능 QA 자동화 서비스 'HBSmith' 요금 36 AWS의 다양한 서비스들을 사용 중
- 37. AWS 비용 구조 • 실제 HBSmith EC2 요금(2018년 12월, 2019년 1월) 37
- 38. AWS 비용 구조 • 너무 다양한 과금 metric 이 존재하지만, ‘정액제’ 방식은 지원하지 않음 38 잘못 관리하면, 너무 많은 비용이 청구될 위험이 존재 이미지 출처 https://crowdpic.net
- 39. 비용 절감 39
- 40. 비용 절감 • AWS 같은 pay-as-you-go 과금 방식의 서비스는 잘못 관리하면, 너무 많은 비용이 청구될 위험이 존재 • 결국 ‘실시간 요금’ dashboard인 ‘AWS Cost Explorer’를 매일 확인하는게 중요 40
- 42. 비용 절감 • AWS 같은 pay-as-you-go 과금 방식의 서비스의 계정 1개를 여러 사람이 공유하면, 실수 또는 도덕적 해이(moral hazard)로 과도한 비용이 발생될 수 있음 42 3단계 deployment phase ‘AWS Consolidated Billing’으로 계정 분리 및 통합 과금 설정
- 44. 비용 절감 • AWS을 쓰는게 과연 비용적으로 유리한가? • 너무 복잡하고, 다양한 과금 metric • 실수 또는 도덕적 해이(moral hazard)로 발생하는 문제를 예방하기 위해서 실시간 요금을 주기적으로 확인해야하는 부담 44
- 45. 비용 절감 • AWS 비용 관련 논쟁 -> 비단 AWS 뿐만 아니라 여러 다른 public cloud 인프라도 동일한 이슈 45
- 46. 비용 절감 • 서버 인프라 비용에서 관리 인력의 인건비를 포함할 경우 AWS 같은 public cloud를 쓰는게 비용적으로 유리 46 이미지 출처 https://aws.amazon.com/blogs/database/ part-1-role-of-the-dba-when-moving-to- amazon-rds-responsibilities/ -> 1~2명의 인력으로 global 서버 인프라 관리도 가능
- 47. 비용 절감 • IaC (infrastructure as code) -> AWS 관련된 모든 작업 과정을 code화 할 수 있음. -> 즉, 인프라 관련 작업을 100% full 자동화가 가능. -> 최소한 인프라 관리 인력(1~2명)만 필요. 47 https://www.slideshare.net/addnull/ 20181108-hbsmith-aws-iac
- 48. 비용 절감 • IaC 예시: new version release 자동화 -> 매일 “blue-green deployment”로 교체 (daily continuous deployment) 48 사람의 개입없이 매일 자동으로 무중단 패치
- 49. 비용 절감 • EC2 서버 1EA 생성도 모두 자동화 (Python script) 49
- 50. 비용 절감 • ‘johanna’는 AWS CLI 기반으로 AWS infra 전체 또는 일부를 provisioning, de- provisioning 할 수 있는 CLI • 100% Python3 script 로 작성되어 있으며 OSS 로 공개 개발 (since 2016) 50 https://github.com/HardBoiledSmith/johanna/
- 51. 비용 절감 • AWS 가격 인하 공지 blog 와 비용 최적화 guide 51 https://aws.amazon.com/blogs/ aws/category/price-reduction/ https://aws.amazon.com/ pricing/cost-optimization/
- 52. 비용 절감 • ‘Reserved Instances’라는 선 결제 할인 plan을 활용 52
- 53. 비용 절감 • ‘Reserved Instances’의 사용률 역시 주기적으로 확인해야함 53
- 54. 비용 절감 • 개발 환경은 dummy EC2 를 사용 54 https://app.vagrantup.com/ hbsmith/boxes/awslinux
- 55. 비용 절감 • 개발 환경은 dummy EC2 를 사용 55
- 56. 비용 절감 • EC2 의 일부 기능(예: 가끔 실행되는 batch job)은 Lambda 로 대체 56 EC2 Elastic Beanstalk Lambda
- 57. 비용 절감 • EC2 의 일부 기능(예: 가끔 실행되는 batch job)은 Lambda 로 대체 57 Global 원격 QA를 지원하는 HBSmith 서비스 2018년 11월에 Lambda 사용을 확장
- 58. Wrap-Up 58
- 59. Wrap-Up • Hello Cloud! • ‘Cloud Computing’ 정의, virtualization, public/private/hybrid cloud • AWS 소개 • 지난 history, 현재 상황, AWS 의 강점 • AWS 비용 구조 • pay-as-you-go, 다양한 과금 metric • 비용 절감 • 실시간 비용 관리, 자동화를 통한 인프라 관리 인력 최적화 • dummy EC2 소개, Lambda가 EC2 를 대체하면 좋은 사례 59