[오픈소스컨설팅] AWS re:Invent 2018 기계학습(ML)부분 후기

re:Invent 2018
aws 리인벤트 후기
2018.12.17

- Internal Use Only -
AWS re:Invent 2018 후기
- 7개의 캠퍼스
- 50,000명 이상의 참가자
- 여러 세션 타입
(Hands-on-Lab, Spotlight Lab, Keynote, Boot Camps,
Chalk Talk, Workshops, Overflows, Builders Fair etc..)
NOV. 26 – 30, 2018
@ Las Vegas, NV

- 3200개가 넘는 세션들
(database, security, enterprise, machine learning,
serverless, compute등의 세분화된 토픽)
- 순수 세션만 650개
(세분화된 토픽 중
ML – 110여개,
Serverless – 50여개
Containers – 50여개)

사진 참고 : https://www.geekwire.com/2017/amazon-web-services-ceo-andy-jassy-lead-uber-nope-not-going-happen/

https://tech.osci.kr/2018/12/06/50693623/

What do builders want?
I Want It All
-Queen
: AWS 환경으로
빠르고 쉽게 옮길 수
있도록 새로운
데이터 전송 도구 및
스토리지 서비스
I’ve Been Waiting
-Mattew Sweet
: AWS 환경으로
이전함에 있어
조금 더 자동화에
초점을 둔 서비스들
Black Bird
-The Beetles
(Freedom)
: 기존 DB의 제약조건
을 폐지하고,
작업부하에 적합한
툴을 선택할 수
있도록
Satisfy Me
-Elvis Presley
: 사용자들은 실제
사용가능 한 AI, ML
서비스들을 원했는데
이런 피드백을 통해
ML관련된 서비스들
출시
Should I Stay
Or Should I Go
-The Clash
: 생태계를 확장하기
위하여 새로운
하이브리드 클라우드
서비스를
채택하였습니다.
- VMware와
파트너쉽 확장

Sessions
ML, AI Serverless Containers ETC

AWS
Inferentia
Amazon
Elastic
Inference
Amazon
SageMaker
Ground
Truth
Amazon
Market
place to
ML
Amazon
SageMaker
Reinforcement
Learning
Amazon
Deep
Racer
Amazon
Market
place to
ML
Amazon
SageMaker
Ground
Truth

AWS
Inferentia
Amazon
Elastic
Inference
Amazon
SageMaker
Ground
Truth
Amazon
Market
place to
ML
Amazon
SageMaker
Reinforcement
Learning
Amazon
Deep
Racer
Amazon
SageMaker
Ground
Truth
Amazon
Market
place to
ML

Inference?
- 추론에 관련한 것
- 알고있는 사실에서 결론을 도출 하는 것

AWS
Inferentia
저비용으로 고성능을 제공하도록 설계된
기계학습 추론 칩

CPU GPU
사진 참고 : http://biz.chosun.com/site/data/html_dir/2016/07/24/2016072400125.html

CPU GPU

사진 참고 : https://perspectives.mvdirona.com/2018/11/aws-inferentia-machine-learning-processor/
- 32 TOPs(초당 테라 연산) – 512 TOPs의 추론 량 제공

Amazon
Elastic
Inference
EI를 이용하여 응용프로그램에 맞는 CPU선택 후
추론에 필요한 GPU 가속화 양을 별도로
구성할 수 있습니다.

CPU
C5.9xlarge
(36 vCPUs / 71GiB MEM)
시간당 $1.53 > 단일추론 호출 400밀리 초
GPU
P2.xlarge
(4 vCPUs / 61GiB MEM)
시간당 $0.90 > 단일추론 호출 180밀리 초
- CPU 인스턴스 선택 후 GPU 가속화 양을 별도로 구성 가능

사진 참고 : https://www.techjini.com/blog/machine-learning/
https://adeshpande3.github.io/Deep-Learning-Research-Review-Week-2-Reinforcement-Learning

Supervised
사진 참고 : https://medium.com/mlrecipies/machine-learning-basics-supervised-learning-theory-part-1-d910b96d56fc

Unsupervised
사진 참고 : https://towardsdatascience.com/clustering-based-unsupervised-learning-8d705298ae51

사진 참고 : https://www.slideserve.com/sumana/reinforcement-learning
Reinforcement

aws marketplace?
파트너와 판매자가 aws 클라우드에서 실행되는
소프트웨어 솔루션을 쉽게 제공 할 수 있게 해주는
판매채널

Amazon
SageMaker
Ground
Truth
능동학습을 선택하여
입력 데이터들의 라벨링을
자동화 해주는 서비스
- 능동학습 : 사람이 직접 레이블을 지정해야 하는 데이터와
시스템에서 레이블을 지정할 수 있는 데이터를
식별하는 기계학습

데이터 세트에 라벨을 지정하는 단계
1. S3에 데이터 저장
2. 라벨 작업 할 인력 선택
3. 라벨작업

데이터를 S3버킷에 저장
1. 데이터 세트의 매니패스트 파일을 만듭니다.
2. 매니패스트 파일과 해당 이미지를 S3로 복사합니다 데이터 세트에는 3548장의 사진 / 레이블링은 test로 10개
자동차를 구별하는 기계학습 – 자동차 레이블링

라벨작업 할 인력 생성
1. 인증을 통해 새로운 그룹을 만들어서 작업을 선택할 수 있습니다.
2. 혹은 이미 인증이 된 팀으로 지정할 수 있습니다.

라벨작업 만들기
1. 매니페스트 파일과 데이터 세트의 위치를 선택해 줍니다.
2. 전체 데이터를 선택할지 혹은 SQL 쿼리를 작성하여 필터링도 가능합니다.
3. 이미지 선택 타입을 선택합니다.

라벨작업 만들기
4. 라벨링작업을 할 팀과, 인원을 선택해 줍니다 (test용 이기에 혼자서 다 해보겠습니다.)

이미지에 라벨지정
1. 자동차 이미지에 맞춰서 사격형을 지정해 줍니다

데이터세트를 이용하여 모델 교육
이러한 정보들을 가지고 기계를 교육해 주면 됩니다.

https://www.mturk.com/

Amazon
SageMaker
Reinforcement
Learning
SageMaker에 내장된 강화학습 알고리즘
- 많은 양의 데이터가 없는 모델을 훈련할 때 용이

SageMaker RL 구성요소
- 다양한 프레임 워크 지원 (TensorFlow, MxNet)
- 에이전트와 환경의 상호작용을 도와주는 툴킷추가
사진 참고 : https://docs.aws.amazon.com/sagemaker/latest/dg/reinforcement-learning.html

사진 참고 : https://nervanasystems.github.io/coach/dashboard.html

자율주행 강화학습(RL)을 위한
소형 경주용 자동차
Amazon
Deep
Racer

클라우드 기반 3D 경주 시뮬레이터
- 뒤에 달린 카메라를 통해 방향 결정, 엑셀레이터가 내장되어 직진코스에서 속도조절

"It isn't sufficient just to want
you've got to ask yourself
what you are going to do
to get the things you want"

참고자료
CPU, GPU 그림 이미지 : http://biz.chosun.com/site/data/html_dir/2016/07/24/2016072400125.html
머신러닝 알고리즘 : http://solarisailab.com/archives/1785
https://www.techjini.com/blog/machine-learning/
Amazon SageMaker : https://aws.amazon.com/sagemaker/
Amazon SageMaker GroudTruth : https://aws.amazon.com/blogs/aws/amazon-sagemaker-ground-truth-build-highly-accurate-datasets-and-reduce-labeling-costs-
by-up-to-70/
Amazon SageMaker RL : https://docs.aws.amazon.com/sagemaker/latest/dg/reinforcement-learning.html
DeepRacer 영상 : https://www.youtube.com/watch?v=hXRR2-jQdGI
https://youtu.be/swusfj91Kis
AWS DeepRacer 인센티브 플랜 - https://docs.aws.amazon.com/deepracer/latest/developerguide/deepracer-train-models-define-reward-function.html

[오픈소스컨설팅] AWS re:Invent 2018 기계학습(ML)부분 후기

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to [오픈소스컨설팅] AWS re:Invent 2018 기계학습(ML)부분 후기

Similar to [오픈소스컨설팅] AWS re:Invent 2018 기계학습(ML)부분 후기 (20)

More from Ji-Woong Choi

More from Ji-Woong Choi (20)

[오픈소스컨설팅] AWS re:Invent 2018 기계학습(ML)부분 후기