마이크로서비스는 큰 애플리케이션을 독립된 API와 데이터스토어를 가진 작은 단위의 서비스로 느슨하게 결합하여, 서비스를 책임지는 자율성 높은 팀의 자동화된 배포 및 운영 관리를 통해 민첩하게 비지니스 요구를 반영하는 아키텍처 구성 방식입니다. AWS 콘테이너(Container) 서비스 및 서버리스(Serverless) 아키텍처를 이용하여 마이크로 서비스를 구현하는 방법과 이를 위한 모범 사례를 소개합니다. 1) 개별 서비스 확장, 2) API 운영 및
Detailed Information: AWS 콘테이너(Container) 서비스 및 서버리스(Serverless) 아키텍처를 이용하여 마이크로 서비스를 구현하는 방법과 이를 위한 모범 사례를 소개합니다. 1) 개별 서비스 확장, 2) API 운영 및 관리, 3) 일관된 트랙잭션 유지, 4) 서비스 자동 배포, 5) 서비스 모니터링, 6) 서비스 보안 및 인증 그리고 7) 서비스 생태계 구성 등의 다양한 이슈에 AWS를 통한 해결 방법을 알아봅니다. 특히, AWS re:Invent에서 새로 출시한 AWS Step Functions, ECS 관리를 위한 Blox, Lambda@Edge 등의 서비스와 기능을 통해 마이크로서비스를 운영 관리하는 방법을 안내해 드립니다.
2. 본 발표의 주요 주제
• 모놀리식 vs. 마이크로서비스
• AWS 기반 마이크로서비스 아키텍처
• 마이크로서비스에 대한 7가지 모범 사례
§ 원칙 1: 각 서비스는 다른 서비스 공개 API 참조!
§ 원칙 2: 최적 개발 환경 구성
§ 원칙 4. 서비스별 보안에 유의하라!
§ 원칙 3. 지속적인 마이크로 서비스 모니터링
§ 원칙 5. API 서비스를 통한 생태계 확산
§ 원칙 6. 기술 너머 조직의 변화
§ 원칙 7. 자동화! 자동화!
11. Public API
POST /restaurants
GET /restaurants
Application/Logic
(code, libraries, etc)
Data Store
(eg, RDS, DynamoDB
ElastiCache, ElasticSearch)
하나의 마이크로서비스의 구성
14. = 연간 5천만회 배포
수 천개 팀 (자율적 DevOps팀)
× 마이크로서비스 아키텍처
× 지속적 배포 (CD)
× 다양한 개발 환경
(시간당 5708 회, 또는 0.63 초)
Amazon.com의 사례
Werner Vogels (CTO, Amazon.com, 2015)
17. AWS 기반 마이크로서비스 아키텍처의 진화
S3
CloudFront
RDS
ElastiCache
EC2
Elastic Load
Balancing
EC2
Elastic Load
Balancing
Static
Content
Content
Delivery
API
Layer
Application
Layer
Persistency
Layer
Auto Scaling
Group
Auto Scaling
Group
18. AWS 기반 마이크로서비스 아키텍처의 진화
S3
CloudFront
RDS
ElastiCache
EC2
Application
Load
Balancing
Static
Content
Content
Delivery
API
Layer
Application
Layer
Persistency
Layer
API
Gateway
EC2 Container
Service
Auto Scaling
Group
19. AWS 기반 마이크로서비스 아키텍처의 진화
S3
CloudFront
EC2
Application
Load
Balancing
Static
Content
Content
Delivery
API
Layer
Application
Layer
Persistency
Layer
API
Gateway
EC2 Container
Service
Auto Scaling
Group
DynamoDB
20. AWS 기반 마이크로서비스 아키텍처의 진화
S3
CloudFront
Static
Content
Content
Delivery
API
Layer
Application
Layer
Persistency
Layer
API
Gateway
DynamoDBAWS
Lambda
23. 원칙 1
각 마이크로 서비스는
타 서비스 공개 API를
참조한다.
“Contracts” by NobMouse. No alterations other than cropping.
https://www.flickr.com/photos/nobmouse/4052848608/
Image used with permissions under Creative Commons license 2.0, Attribution
Generic License (https://creativecommons.org/licenses/by/2.0/)
25. storeRestaurant (id, name, cuisine)
storeRestaurant (id, name, cuisine)
storeRestaurant (id, name, arbitrary_metadata)
addReview (restaurantId, rating, comments)
storeRestaurant (id, name, arbitrary_metadata)
addReview (restaurantId, rating, comments)
Version 1.0.0
Version 1.1.0
Version 2.0.0
public API
Micro-service A
원칙 1: 각 서비스는 타 서비스 API를 참조!
서비스 진화에 따라 API 하위 호환성 지원 가능
26. AWS Lambda: 버전 기능
• Immutable 함수 버전 기능
• 버전별 설정 및 Cloudwatch 통계
• Cloudwatch Logs에 버전 속성 포함
• 버전 출시에 따라 “label” 처리 가능
• $LATEST 최신 버전
$LATEST(95) STABLE TESTING
94 X
93 X
92
29. API Gateway Lambda Custom Domain
/prod/Resources FunctionName:stable https://api.example.com
/dev/Resources FunctionName:$LATEST https://dev.example.com
/qa/Resources FunctionName:qa https://qa.example.com
스테이지 변수에 따라 테스트 환경 설정
30. “Tools #2” by Juan Pablo Olmo. No alterations other than cropping.
https://www.flickr.com/photos/juanpol/1562101472/
Image used with permissions under Creative Commons license 2.0, Attribution
Generic License (https://creativecommons.org/licenses/by/2.0/)
원칙 2
마이크로 서비스별
최적 개발 환경 구성
31. public API public API
DynamoDB
Micro-service A Micro-service B
원칙 2: 최적 개발 환경 구성
폴리글랏(Polyglot) 접근 방식을 통한 서비스 아키텍처 선택
Amazon
Elasticsearch
Service
RDS
Aurora
32. 폴리글랏 마이크로서비스의 특징
• 개별적인 데이터 스토어
• 각 스토어 스키마 변경에
영향이 적음
• 독자적인 확장성 제공
• 만약 트랜잭션 중 문제가
발생한다면?
account-svccart-svc
DynamoDB RDS
user-svc
ElastiCache
RDS
ERROR
33. 해결 방법 1: Correlation ID 활용
• 09-02-2015 15:03:24 ui-svc INFO [uuid-123] ……
• 09-02-2015 15:03:25 catalog-svc INFO [uuid-123] ……
• 09-02-2015 15:03:26 checkout-svc ERROR [uuid-123] ……
• 09-02-2015 15:03:27 payment-svc INFO [uuid-123] ……
• 09-02-2015 15:03:27 shipping-svc INFO [uuid-123] ……
ui-svc
catalog-
svc
checkout-
svc
shipping-
svc
payment-
svc
request correlation id:
“uuid-123”
correlation id:
“uuid-123”
34. 해결 방법 2: 서비스별 자체 롤백 제공
• 모든 마이크로서비스는 각자의 롤
백 기능을 가져야 한다.
• 롤백이 필요할 경우, 알림이나
특정 액션에서 롤백 기능 제공
• Correrlation ID를 기반으로 롤백
알림 호출
Microservice
Function 1
Rollback
Commit
(optional)
35. AWS Step Functions
• 시각적 워크플로를 사용해 분산 앱 및
마이크로서비스 구성 요소 조정 및 실행
§ 자동으로 각 단계를 트리거 및 추적하고
오류가 발생할 경우 재시도하므로
애플리케이션이 의도대로 정상적으로 실행
§ 앱을 단계별로 배열 및 시각화할 수 있는
그래픽 콘솔 제공
§ 각 단계의 상태를 기록하여, 잘못된 경우
빠르게 문제를 진단하고 디버깅 가능
• 상태 변경이 일어나는 경우만 과금
36. AWS Step Functions - 사용 사례
메소드 호출 함수 순차 실행 DB 저장 실행 대기열
Tim Bray의 세션 강추!
https://www.youtube.com/watch?v=75MRve4nv8s
41. File:Cgs01053 - Flickr - NOAA Photo Library.jpg
https://commons.wikimedia.org/wiki/File:Cgs01053_-_Flickr_-_NOAA_Photo_Library.jpg
원칙 3
지속적인 마이크로
서비스 모니터링
42. 원칙 3. 지속적인 마이크로 서비스 모니터링
• AWS 기반 모니터링 도구 활용
• 모니터링 - CloudWatch
§ 로깅: CloudWatch Logs
• API 외부적인 요소 모니터링
§ Latency, RPS, Error rate
• API 내부적인 요소 모니터링
§ CloudWatch, OS, Application
44. 데이터 리포팅 및 시각화
Amazon
ECS
Amazon
EC2
AWS
Lambda
Amazon API
Gateway
Amazon
Redshift
Amazon
QuickSight
Amazon
EMR
S3
45. Amazon Athena - 서버리스 대화식 질의 서비스
§ Amazon Athena는 표준
SQL을 사용해 Amazon
S3에 저장된 데이터를
간편하게 분석할 수 있는
대화식 쿼리 서비스
§ 서버 없이 S3에 저장한
파일의 스키마 정의 후
바로 질의 가능
§ 질의를 위해 스캔한 TB당
5달러 비용
ü 표준 (ANSI) SQL 지원
ü ETL 필요 없음
ü 빠른 성능 및 자동 확장
ü 데이터 전처리나 인프라 운영
필요 없음
46.
47. 코드 에러의 경우,
• Lambda 함수 실행 오류가 나는 경우
• Cloudwatch Logs 통해 디버깅 가능
• 직접 Transction Manager 함수를
별도로 만들어 Cloudwatch Logs
Metric Filter 를 통해 에러 검출
ui-svc
Cloudwatch
Logs
Cloudwatch
Alarm
Transaction
Manager
Function
48. AWS X-Ray - 분산 애플리케이션 추적 서비스
• 마이크로서비스 시작과 끝에 대한 디버깅 및 추적
• 서비스에 대한 시각적 토폴로지 제공
• 개별 요청에 대한 로그 추적
• 성능 이슈 및 오류 발생 원인에 대한 확인 및 문제 해결
호출에 대한 전체 과정 파악
사용자 요청이 애플리케이션을
통과하는 전체 과정을 추적
애플리케이션 성능 개선
지연 시간이 늘어나는 위치를
빠르게 확인한 후 성능이
저하되는 특정 서비스 및 경로에
대한 문제 해결 가능
애플리케이션 문제 식별
트레이스 데이터 태깅 및
필터링을 통해 어느 위치에서
무엇이 성능 문제를 유발하는지
정확히 파악
51. AWS X-Ray - 에이전트 설치 및 추적
1. Amazon EC2
2. Amazon ECS (Docker)
3. AWS Node.JS (SDK)
52.
53. “security” by Dave Bleasdale. No alterations other than cropping.
https://www.flickr.com/photos/sidelong/3878741556/
Image used with permissions under Creative Commons license 2.0,
Attribution Generic License (https://creativecommons.org/licenses/by/2.0/)
원칙 4
마이크로 서비스
보안 유지
54. • 수준별 방어
• 네트워크 레벨 (e.g. VPC,
Security Groups, TLS)
• 서버/콘테이너/앱 레벨
• IAM 정책 및 역할
• API Gateway (“Front door”)
• API Throttling
• API 키 관리
• S3 버킷 정책 + KMS + IAM
• 오픈 소스 도구 (e.g. Vault,
Keywhiz)
API Gateway
원칙 4. 서비스별 보안에 유의하라!
55. AWS Shield - Managed DDoS Protection
• 항시 네트워크 감시를 통한 감지
• Layer 3 혹은 4의 일상적 공격 패턴
감지 및 대응
• 모든 사용자에게 무료로 제공
표준 기능 고급 기능
• 대량 특수 공격에 대한 탐지 및 차단
• ELB, CloudFront, Route53 지원
• Layer 3 혹은 4의 특수 공격 대응
• AWS WAF 기능 포함
• 준 실시간 CloudWatch 알림 및 사후
분석 가능
• 24/7 전담 DDoS 대응팀 지원
• ELB, CF, Route53의 DDoS 공격에
대한 빌링 차단
• 월 3,000$ + 데이터 비용 (연간 계약)
56.
57. “Lamington National Park, rainforest” by Jussarian. No alterations other than cropping.
https://www.flickr.com/photos/kerr_at_large/87771074/
Image used with permissions under Creative Commons license 2.0,
Attribution Generic License (https://creativecommons.org/licenses/by/2.0/)
원칙 5
API 생태계 확산 참여
58. 혹시 회사에
레스토랑 정보를
공개 API로 제공해
주실 수 있나요?
피드백 감사드립니다.
필요하신 경우를 알려
주시면, 공개로 API를 열어
드리고 향후 비지니스
협력도 같이 할 수 있을 것
같네요!
Micro-service A Micro-service B
public API public API
원칙 5. API 서비스를 통한 생태계 확산
60. “rowing on the river in Bedford” by Matthew Hunt. No alterations other than cropping.
https://www.flickr.com/photos/mattphotos/19189529/
Image used with permissions under Creative Commons license 2.0,
Attribution Generic License (https://creativecommons.org/licenses/by/2.0/)
원칙 6
기술 너머 조직 변화
61. “Any organization that designs a system
will inevitably produce a design whose
structure is a copy of the organization’s
communication structure.”
Melvin E. Conway, 1967
Conway’s Law
67. 원칙 7. 자동화! 자동화! - 서버리스 자동화 도구
AWS
CloudFormation
AWS
CloudTrail
AWS
Config
AWS Trusted
Advisor
Amazon
Glacier
Amazon
S3
AWS
CodePipelineAWS KMSACM
Amazon
CloudWatch
AWS
Lambda
AWS
CodeDeploy
좀 더 자세한 사항은 내일 오후의 개발 도구 웨비나에 참여하세요!
68. Expect challenges along the way…
• 서비스 내 비지니스 도메인의 이해
• 명시적 서비스 단위 분리
• 서비스 지속성 및 API 운영 정책 고민
• 분산 앱의 테스트/배포/운영에 대한
복잡성에 대한 고민
• 모니터링/문제 해결 방법 고민
• 조직 및 문화적 변화 필요
마이크로 서비스로의 여정
69. 빠른
빌드/테스트/배포
가능
명확한 오너쉽 및
자율적 운영
개별 마이크로
서비스 확장
가능
몇 분만에
배포 가능
신규 기능
빠르게
추가 가능
빠른 운영 및
개선
빠른 혁신
고객 만족
높은
민첩성
마이크로 서비스의 이점
70. 마이크로서비스 7 가지 모범 사례
• 원칙 1: 각 서비스는 다른 서비스 공개 API 참조!
• 원칙 2: 최적 개발 환경 구성
• 원칙 4. 서비스별 보안에 유의하라!
• 원칙 3. 지속적인 마이크로 서비스 모니터링
• 원칙 5. API 서비스를 통한 생태계 확산
• 원칙 6. 기술 너머 조직의 변화
• 원칙 7. 자동화! 자동화!