Amazon SageMaker 오버뷰 - 강성문, AWS AI/ML 스페셜리스트 :: AIML 특집 웨비나

© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.
SageMaker – 머신러닝 개발 플랫폼
강성문
AIML Specialized SA
AWS Korea

강연 중 질문하는 방법
Go to Webinar “Chat/채팅” 창에 자신이 질문한
내역이 표시됩니다. 기본적으로 모든 질문은
공개로 답변 됩니다만 본인만 답변을 받고 싶으면
(비공개)라고 하고 질문해 주시면 됩니다.
본 컨텐츠는 고객의 편의를 위해 AWS 서비스 설명을 위해 온라인 세미나용으로 별도로 제작, 제공된 것입니다. 만약 AWS
사이트와 컨텐츠 상에서 차이나 불일치가 있을 경우, AWS 사이트(aws.amazon.com)가 우선합니다. 또한 AWS 사이트
상에서 한글 번역문과 영어 원문에 차이나 불일치가 있을 경우(번역의 지체로 인한 경우 등 포함), 영어 원문이 우선합니다.
AWS는 본 컨텐츠에 포함되거나 컨텐츠를 통하여 고객에게 제공된 일체의 정보, 콘텐츠, 자료, 제품(소프트웨어 포함) 또는 서비스를 이용함으로 인하여 발생하는 여하한 종류의 손해에
대하여 어떠한 책임도 지지 아니하며, 이는 직접 손해, 간접 손해, 부수적 손해, 징벌적 손해 및 결과적 손해를 포함하되 이에 한정되지 아니합니다.
고지 사항(Disclaimer)

The AWS ML Stack
가장 광범위하고 가장 완벽한 머신 러닝 기능 제공
VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
Augmented
AI
ML
Marketplace
Neo
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI 서비스
ML 서비스
ML 프레임워크 & 인프라
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
NEW
NEW! NEW! NEW! NEW!
NEW!
NEW! NEW! NEW! NEW! NEW!
Amazon SageMaker

Prepare Build Train & Tune Deploy & Manage
Web-based IDE for machine learning
Automatically build and train models
Amazon SageMaker 머신 러닝을 위한 툴
101011010
010101010
000011110
훈련 데이터
수집 및 준비
기계 학습 알고리즘
선택 또는 구축
훈련 환경 설정
및 관리
모델 훈련, 디버그
및 튜닝
프로덕션에
모델 배포
훈련 진행
관리
모델
모니터링
예측 결과
검증
프로덕션 환경
확장 및 관리
데이터 프로세싱 및
레이블링
원클릭 노트북 공유 및
고성능 알고리즘 및
모델
원클릭 트레이닝 디버깅 및 최적화
원클릭 배포 및
오토스케일링
Experiments를 통해
Job을 비교 및 시각화
Data drift를
자동으로 감지
예측결과를
사람을 통해
확인
완전 관리 및
오토스케일링,
최대 75% 절감

Demo – ML Training with SageMaker console

Demo – Managed ML development with SageMaker

머신러닝 프로세스
Business
Problem
ML problem
framing
Data collection
Data integration
Data preparation
and cleaning
Data visualization
and analysis
Feature
engineering
Model training and
parameter tuning
Model evaluation
Monitoring and
debugging
Model deployment
Predictions
YESNO

Build and train models using SageMaker
Business
Problem
ML problem
framing
Data collection
Data integration
Data preparation
and cleaning
Data visualization
and analysis
Feature
engineering
Model training and
parameter tuning
Model evaluation
Monitoring and
debugging
Model deployment
Predictions
YESNO
• 노트북 환경 구성 및 관리
• 학습 클러스터 구성 및 관리
• 데이터 커넥터 작성
• 대용량 데이터를 수용할 수 있
는 확장성 있는 ML 알고리즘
• 여러 노드를 사용할 수 있는 분
산 ML 학습 알고리즘
• 모델 결과물에 대한 보안

Deploy models using SageMaker
Business
Problem
ML problem
framing
Data collection
Data integration
Data preparation
and cleaning
Data visualization
and analysis
Feature
engineering
Model training and
parameter tuning
Model evaluation
Monitoring and
debugging
Model deployment
Predictions
YESNO
• 인퍼런스 클러스터 구성 및 운영
• 인퍼런스 API를 확장성 있게 구
성하고 운영하기
• 모델 예측 결과에 대한 모니터링
과 디버깅
• 모델 버저닝과 성능 추적
• 새로운 모델을 운영환경에 A/B
테스팅 형태로 배포

Amazon SageMaker 활용
Jupyter
Notebook
Training
Instance
Hosting
Instance
• 실험과 개발 용도로 Jupyter notebook만 사용
• SageMaker에서 학습하고 모델 호스팅은 다른 곳에
• 학습된 모델을 가져와서 SageMaker에서 호스팅
• End-to-End: Jupyter Notebook, Training,
Hosting 모두 SageMaker에서

Agenda
개요
데이터준비 (Prepare)
모델개발 (Build)
학습과 최적화 (Train and Tune)
배포/관리 (Deploy and Manage)
통합 (Integration)

Amazon SageMaker Ground Truth

Amazon SageMaker Ground Truth
{ "source-ref": "s3://jsimon-groundtruth-demo/SSDB00001.JPG",
"GroundTruthDemo": {
"annotations": [
{"class_id": 0, "width": 54, "top": 482, "height": 39, "left": 337},
{"class_id": 0, "width": 347, "top": 479, "height": 120, "left": 573}
],
"image_size": [{"width": 1280, "depth": 3, "height": 960} ] },
"GroundTruthDemo-metadata": {
"job-name": "labeling-job/groundtruthdemo",
"class-map": {"0": "Car"},
"human-annotated": "yes",
"objects": [ {"confidence": 0.94},

Labeling data 생성방법

SageMaker Ground Truth Automatic Annotations
Raw Data

Amazon SageMaker Notebook instance

Amazon SageMaker Blog and code examples

Amazon SageMaker Studio
SSO 로그인
IAM 로그인

Amazon SageMaker Studio 로그인
1. SSO 로그인 : 전용 URL로 접속
1. 버튼 클릭 후 사용자 등록
2. 사용자 확인
3. Studio 전용 URL

https://d-ob2yosivcrqw.studio.us-east-
2.sagemaker.aws/jupyter/default
Amazon SageMaker Studio 로그인
2. IAM 사용자로 로그인 하기
1. 버튼 클릭 후 사용자 추가
2. Studio 접속

Amazon SageMaker Studio 시작 화면

- SageMaker RL (강화학습)
- SageMaker DGL (Deep Graph Library)
- Automatic Model Tuning(하이퍼파라미터 튜닝)
- SageMaker AutoPilot
- SageMaker Experiment
- SageMaker Preprocessing
- SageMaker Debugger
- SageMaker Managed Spot Training

도커기반 라이프사이클 관리 - Train
Training AlgorithmTraining DataAmazon S3 Amazon ECR
Amazon SageMaker
Training Algorithm Inference AlgorithmTraining Data
Model Artifacts
데이터 과학자

도커기반 라이프사이클 관리 - Deploy
Amazon S3
Amazon SageMaker
Training Data Model Artifacts
EndPoint
개발자와 운영자
Model Artifacts Amazon ECRTraining Algorithm Inference AlgorithmInference Algorithm

Amazon SageMaker Training
Sagemaker
Built-in algorithms
AWS Marketplace
algorithms
Model
Data Data Data Data
SageMaker
Model Model Model
SageMaker
Custom Script
Algorithms or
Models
Custom script on
supported framework
BYO algorithm and
framework
17 Built in high performance
algorithms
Supported Frameworks: Apache MXNet,
TensorFlow , Scikit-learn, PyTorch,
Chainer
Docker containers with your own algorithms
and frameworks
3rd party algorithms and models
SageMaker
Custom Script
and Custom
Framework
SageMaker
Supported
Framework
Built in
Algorithms

Amazon SageMaker built-in algorithms
Classification Computer Vision Topic Modeling
Working with Text
Recommendation
Forecasting
• Linear Learner*
• XGBoost
• KNN
• Image Classification <>
• BlazingText
• Supervised
• Unsupervised*
• Factorization Machines*
• DeepAR*
• LDA
Anomaly Detection
• Random Cut Forests*
Sequence Translation
• Seq2Seq*
• Object Detection <>
Clustering
• Kmeans*
Feature Reduction
• PCA
Regression
• Linear
Learner
• IP Insight*s
• Semantic Segmentation
• Object2Vec• XGBoost
• KNN
• NTM

빌트인 알고리즘 예제 – Object detections
• Deep NN을 이용해서 이미지 안의 객체 발견 & 분류
• 출력은 사각형 Bounding box 와 분류 결과의 신뢰도
• Transfer Learning 지원 (freeze layer 선택)
• Momentum, weight_decay 등 하이퍼파라미터 조정
• Base network로 VGG와 Resnet 선택
• Single shot multibox detector (SSD) 구조를 이용

ML/DL 프레임워크와 사용자 스크립트
• Apache Spark
• TensorFlow
• Apache MXNet
• Scikit-learn
• PyTorch
• Chainer
• SparkML Serving
https://github.com/aws/sagemaker-python-sdk

Bring Your Own Algorithm
/opt/ml
├── input
│ ├── config
│ │ ├── hyperparameters.json
│ │ └── resourceConfig.json
│ └── data
│ └── <channel_name>
│ └── <input data>
├── model
├── code
├── output
└── failure

ML 모델 마켓플레이스

- 빌트인 알고리즘 (Built-in algorithms)
- 딥러닝 프레임워크 & 사용자 스크립트
- Bring your own algorithm
- 기계학습 모델 마켓플레이스
- SageMaker AutoPilot
- SageMaker Experiment
- SageMaker Preprocessing
- SageMaker Debugger
- SageMaker Managed Spot Training

SageMaker RL - Training Results in model updates

SageMaker RL Components
RL Environments to model real-world problem
RL Toolkits for RL agent algorithm implementation
SageMaker Deep Learning Frameworks
Open AI baselines …
PyTorch Chainer
https://docs.aws.amazon.com/ko_kr/sagemaker/latest/dg/reinforcement-learning.html
AWS Simulation Env Open Source Env Custom Env Commercial

SageMaker DGL (Deep Graph Library)
• Graph Neural Networks 모델을 신속하게
구축, 학습 및 평가할 수 있도록 돕는 Python
오픈 소스 라이브러리
• 딥러닝 컨테이너 및 SageMaker에서 사용 가능

Automatic Model Tuning (HPO)
Hyperparameter tuning finds the best hyperparameter using Bayesian optimization
All ML Algorithms Supported
• SageMaker Built-in Algorithms or custom algorithms
• Amazon SageMaker pre-built containers for ML Frameworks (TensorFlow, MXNet, Chainer)
= bring-your-own-container
Training Data Set
ML Algorithm
Objective
Selected
Hyperparameters
Guessing
Hyperparameters
to get the best result
Training Models using
chosen
hyperparameters
Giving
the best
Model
Configuration Bayesian Optimization Training Jobs

Automatic Model Tuning (HPO)
https://aws.amazon.com/blogs/aws/sagemaker-automatic-model-tuning/

- 빌트인 알고리즘 (Built-in algorithms)
- 딥러닝 프레임워크 & 사용자 스크립트
- Bring your own algorithm
- 기계학습 모델 마켓플레이스
- SageMaker RL (강화학습)
- SageMaker DGL (Deep Graph Library)
- Automatic Model Tuning(하이퍼파라미터 튜닝)

Amazon SageMaker Autopilot
지원 알고리즘
• XGBoost
• Linear Learner
+ 계속 추가 예정
문제 유형
• Linear regression
• Binary Classification
• Multi-Class classification

AutoPilot 내부 동작 방식

AutoPilot 하이퍼파라메터 튜닝 결과 비교

SageMaker Experiments

Experiments Trail간 지표비교

SageMaker Preprocessing
• Null 값 제거
• 중복값 또는 중복 라인
• Class 값들을 수치로 변환
• One-hot 인코딩
• 수치값 Scaling
42개 열
à
72개 열

SageMaker Debugger
훈련 과정에 아래 모든 것들이 영향을 줄 수 있습니다.
• Vanishing gradients
• Exploding gradients
• Epoch마다 Loss가 줄어들지 않는 경우
• Weight 업데이트 값이 너무 작거나 너무 큰 경우
• Tensor의 값이 모두 0인 경우

Debugger Built-in Rules

Amazon SageMaker Managed Spot Training
훈련 비용을 최대 90%까지 절감합니다.
각 학습 작업에 대한
비용 절감을 시각화
Amazon EC2 On-Demand
인스턴스와 비교하여
학습 비용 절감
스팟 용량 관리 및 중단
자동 처리
빌트인 알고리즘 및 사용자
정의 알고리즘 및
프레임워크 지원
모든 SageMaker
학습 가능
중단 없음 알고리즘 및
프레임워크 지원
완벽한 가시성
자동 모델 튜닝 및
강화 활용
90%까지 비용 절감
서울 리전 기준 Image Classification & Object Detection 약 65% 절감, BlazingText 약 75% 절감

SageMaker Batch Transform
EXECUTE
Batch
Transform
Input data in
Amazon S3
Output data in
Amazon S3
Algorithm

SageMaker Endpoint
주피터
노트북 서버
Amazon
SageMaker
GPU/CPU
서버 클러스터
1-클릭
배포
오토
스케일링
엔드포인트 API
게이트웨이
Lambda

SageMaker Endpoint
Amazon ECR
30 50
10 10
모델 산출물
예측 모델 이미지
엔드포인트 설정
Amazon SageMaker
ProductionVariant
InstanceType: c3.4xlarge
InitialInstanceCount: 3
ModelName: prod
VariantName: primary
InitialVariantWeight: 50
여러 버전의 모델
엔드포인트
I
ML Hosting Service
하나 이상의
ProductionVariant를 이용
EndpointConfiguration 및
Endpoint 생성

SageMaker Multi-model Endpoint
EP-1
Model 1
EP-2
Model 2
EP-10
Model 10
…
EP
Model 1
Model 2
…
Model 10
Sample scenario: ml.c5.xlarge, $0.238/hour, 2 instances running 24/7
10 separate endpoints
$3,430/month
1 multi-model endpoint
$343/month

SageMaker Multi-model Endpoint
Mode:
Artifact location:
predict
nevada.tar.gz
s3://bucket/your-endpoint-models/
load
new_york.tar.gz
texas.tar.gz
florida.tar.gz
nevada.tar.gz
Amazon SageMaker
Multi-model endpoint Amazon S3
model storage

SageMaker Neo

SageMaker Neo
Neo
• 오픈소스 컴파일러 & 런타임
• 모델 사이즈 1/10로 감소

SageMaker Model Monitor
자동 데이터 수집 지속적 모니터링
CloudWatch
통합
엔드포인트에서 배포한
모델 관련 데이터 자동
수집
CloudWatch 경고(alerts)를
기반으로 수정 작업 자동화
시각적 데이터
분석
사전에 정의한 기준에 따라
모니터링 일정을 정의하고
품질 변화 감지
SageMaker Studio에서
모니터링 결과, 데이터 통계
시각화 및 통합
규칙에 따른 유연성
빌트인 규칙을 사용한
데이터 변화 감지, 혹은
맞춤형 분석을 위한
사용자 정의 규칙 작성
배포 중인 모델을 지속적으로 모니터링합니다.

Model Monitor in Production
특정 Feature에 대해서
Baseline과 Production
시의 값의 변화

Model Monitor – 결과확인

Model Monitor – 위반 확인 유형
위반 확인 유형 설명
Data type check 현재 실행 중인 데이터 유형이 baseline 데이터셋의 데이터 유형과
동일하지 않은 경우 이 위반이 표시됩니다.
Completeness check 현재 실행에서 관찰된 completeness(non-null items의 비율)이
feature마다 지정된 completeness 임계값에 지정된 임계값을
초과하면 이 위반이 표시됩니다.
Drift check 현재 데이터셋과 baseline 데이터셋 간의 분포 거리(예: KL
divergence)가 지정된 임계값보다 큰 경우 이 위반이 표시됩니다.
Missing column check 현재 데이터셋의 컬럼 수가 baseline의 컬럼 수보다 작으면 이 위반이
표시됩니다.
Extra column check 현재 데이터셋의 컬럼 수가 baseline의 컬럼 수보다 많으면 이 위반이
표시됩니다.
Categorical values check baseline 데이터셋보다 현재 데이터셋의 unknown value들이 더
많으면 이 위반이 표시됩니다.

A2I (Amazon Augmented AI)
클라이언트
어플리케이션이
입력 데이터
전송
AWS AI 서비스
또는 맞춤형 ML
모델이 예측 생성
S3에 결과
저장
1 2
64 휴먼 리뷰를 위해 낮은
신뢰도 예측 데이터 전송
3 높은 신뢰도의 예측이 즉시
클라이언트 어플리케이션에
바로 리턴
5 A2I 답변 통합
알고리즘을 사용하여
통합된 리뷰
클라이언트
어플리케이션
Amazon Rekognition
Amazon Textract

A2I Textract 통합 예제
Amazon
Textract
Input ML 신뢰도 < 80%
잘못된 철자 확인

A2I Textract 통합 예제
작업자(Worker)가 잘못된 결과(철자)를 수정

AWS IoT Edge deployment
Inference Training
Local
actions Edge Cloud
Amazon SageMaker
Optimize with Neo
AWS IoT
Greengrass
Feedback
Model Deployment
Data collection

AWS IoT Greengrass
Data and
state sync Security
Over-the-air
updatesConnectors
Operate
devices offline and
synchronize data
when reconnected
Local
actions
Simplify device
programming
with AWS
Lambda
Mutual
authentication
and authorization
between cloud
and devices
Easily update AWS
IoT Greengrass
Core
Machine-
learning
inference
Perform ML
inference
locally
Local
resource
access
Lambda functions
can access and
use local
resources of a
given device
Extend edge
devices with
connections to
external services
Local
messages
and triggers
Enable device
communication
without a cloud
connection
Secrets
manager
Deploy secrets to
edge devices
Device
software

AWS IoT Greengrass
SageMaker로 학습된 모델 선택

AWS EMR (Elastic Map Reduce)
• Livy, an open source REST interface for
Spark, is installed on EMR with one click.
https://aws.amazon.com/blogs/machine-learning/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/
EMRSageMaker
Jupyter Notebook
Server
Sparkmagic
Web
Service
Spark
Livy

From EMR to SageMaker
Start Training
Parameters
Hardware
Apply Model
https://docs.aws.amazon.com/sagemaker/latest/dg/apache-spark.html

From R to SageMaker
https://aws.amazon.com/ko/blogs/machine-learning/using-r-with-amazon-Sagemaker/

SageMaker와 GitHub / CodeCommit 연결

CI/CD with CodePipeline
.zip

StepFunctions를 이용한 ML Workflow 관리

StepFunctions를 이용한 ML Workflow 관리
https://docs.aws.amazon.com/ko_kr/step-functions/latest/dg/connect-sagemaker.html

Kubectl apply
YAML
Key Features
• Amazon SageMaker
Operators for training,
tuning, inference
• Natively interact with
Amazon SageMaker jobs
using K8s tools (e.g., get
pods, describe)
• Stream and view logs
from Amazon SageMaker
in K8s
• Helm Charts to assist
with setup and spec
creation
SageMaker Operators for Kubernetes

SageMaker Operators for Kubernetes
https://github.com/aws/amazon-sagemaker-operator-for-k8s
https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-operators-for-kubernetes/

Creating Kubeflow Pipeline Components
@dsl.pipeline(
name='Sample Trainer',
description=’’
)
def sample_train_pipeline(... ):
create_cluster_op = CreateClusterOp('create-cluster', ...)
analyze_op = AnalyzeOp('analyze', ...)
transform_op = TransformOp('transform', ...)
train_op = TrainerOp('train', ...)
predict_op = PredictOp('predict', ...)
confusion_matrix_op = ConfusionMatrixOp('confusion-matrix', ...)
roc_op = RocOp('roc', ...)
kfp.compiler.Compiler().compile(sample_train_pipeline , 'my-
pipeline.zip’)

Apache Airflow SageMaker Operators
https://airflow.apache.org/docs/1.10.3/_api/airflow/contrib/operators/index.html
• sagemaker_training_operator
• sagemaker_tuning_operator
• sagemaker_model_operator
• sagemaker_endpoint_config_operator
• sagemaker_endpoint_operator
• sagemaker_transform_operator
• segment_track_event_operator

Apache Airflow with SageMaker
https://aws.amazon.com/ko/blogs/machine-learning/build-end-to-end-machine-learning-workflows-with-
amazon-sagemaker-and-apache-airflow/

더 나은 세미나를 위해
여러분의 의견을 남겨주세요!
▶ 질문에 대한 답변 드립니다.
▶ 발표자료/녹화영상은 추후 별도로
전달 드릴 예정입니다.

Thank you!

Amazon SageMaker 오버뷰 - 강성문, AWS AI/ML 스페셜리스트 :: AIML 특집 웨비나

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Amazon SageMaker 오버뷰 - 강성문, AWS AI/ML 스페셜리스트 :: AIML 특집 웨비나

Similar to Amazon SageMaker 오버뷰 - 강성문, AWS AI/ML 스페셜리스트 :: AIML 특집 웨비나 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

Recently uploaded

Recently uploaded (6)

Amazon SageMaker 오버뷰 - 강성문, AWS AI/ML 스페셜리스트 :: AIML 특집 웨비나