개인화 추천 및 시계열 예측을 위한 신규 AI 서비스 살펴보기 - 남궁영환 AI/ML 스페셜리스트 솔루션즈 아키텍트 :: AWS Innovate 2019

© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Amazon AI/ML 서비스를 통한
개인화 추천 및 시계열 예측
남궁영환 AWS 솔루션즈 아키텍트

© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
기계학습(Machine Learning)을 위해
AWS를 선택해야 하는 이유
데모 존
실제 사용 환경에서
기계학습의 사용방법을
살펴보세요
AWS 기반 머신러닝
https://aws.amazon.com/
machine-learning/
전문가에게 물어보세요
AWS 전문가가 질문에
답변드립니다

AWS 전문가로부터 기술과 지식을 습득하고,
AWS 클라우드와 함께 미래를 설계하세요
클라우드 역량을 개발할 준비가 되셨다면
https://www.aws.training/ 을 방문하세요!
온라인 교육
AWS 전문가가 진행하는
무료 온라인 교육 과정
강의식 교육
AWS 공인 강사가 진행하는
오프라인 교육 과정
AWS 자격증
클라우드 전문성 입증을 위한
업계에서 인정 받는
AWS 공인 자격증

Agenda
o The centerpiece of Digital Transformation
o Amazon ML Stack
o AI Services on Amazon ML
 Amazon Personalize
 Amazon Forecast
o Summary

디지털 트랜스포메이션
혁신의사결정
경쟁력 높은
특장점
비즈니스
운영
고객의
경험
(CX)

Amazon ML Stack
M L F R A M E W O R K S &
I N F R A S T R U C T U R E
A I S E R V I C E S
R E K O G N I T I O N
I M A G E
P O L L Y T R A N S C R I B E T R A N S L A T E C O M P R E H E N D L E XR E K O G N I T I O N
V I D E O
Vision Speech Language Chatbots
A M A Z O N
S A G E M A K E R
B U I L D T R A I N
F O R E C A S T
Forecasting
T E X T R A C T P E R S O N A L I Z E
Recommendations
D E P L O Y
Pre-built algorithms & notebooks
Data labeling (GROUND TRUTH)
One-click model training & tuning
Optimization (N E O )
One-click deployment & hosting
M L S E R V I C E S
F r a m e w o r k s I n t e r f a c e s I n f r a s t r u c t u r e
EC2 P3
&
P3DN
EC2 C5 FPGAs GREENGRASS ELASTIC
INFERENCE
Reinforcement learningAlgorithms & models
(AWS MARKETPLACE FOR MACHINE LEARNING)
(App developers with
little knowledge of ML)
(ML developers and
data scientists)
(ML researchers and
academics)
INFERENTIA
: 가장 깊고 폭넓은 역량과 기술의 집약

Amazon Personalize
Amazon.com의 기술을 기반으로 한
실시간 맞춤화 및 추천 서비스
(In preview)

개인화(Personalization)
사용자 경험(UX)에 기반한 개인화(Personalization)를 통해,
이미 많은 곳에서 검색 성능, 결제, 사용자 만족도, 매출 등의 향상을 경험하고 있습니다.
의 경우, 전체 페이지뷰의
30%는 추천을 통해 발생
… 그러나, 많은 고객은 단순한 추천이 아닌
개인의 취향, 성향을 기반으로 한
높은 퀄리티의 정보를 원합니다.

좋은 퀄리티의 개인화 결과를 얻기 위해 해결해야 할 여러가지 어려운 문제들이 있습니다.
실시간으로 사용자에게 인터랙션 방식의 응답 제공
인기 있는 아이템 보다는 개인에게 맞는 아이템을 제공
신규 사용자/아이템에 대한 데이터가 부족할 경우도 잘 처리할 수 있어야 함
(Cold Start)
높은 확장성

기존의 추천 시스템은 이제 한계에 다다랐습니다 . .
 룰(Rule) 기반 시스템
 실망스러운 결과
 비효율적인 확장성
 유지관리의 어려움
 Collaborative Filtering, Matrix Factorization
 룰(Rule) 기반 시스템보다는 좋은 성능을 보임
 Deep Learning 기반의 모델에 비해 낮은 성능을 보임
( ☞ 사용자의 행동 이력(the sequence of a user’s activity) 반영 여부 )

Deep Learning 기술을 통해 과거 대비 뛰어난 성능 향상을 이룰 수 있었습니다 !
SimilarityPopularity
Neural
network
Matrix
Factorization
+15.4%
Engagement
RNN + Bandit
(RNN: Recurrent Neural Net)
Rule-based
card ranker
Bayesian network
model
+7.4%
Engagement
+29%
Click Through
+20%
Click Through

Amazon Personalize
 API 를 통해 사용자에게 개인화 기반의 추천 결과 생성
 기존의 기술 대비 뛰어난 성능을 보이는 최신 Deep Learning 알고리즘 적용
 AutoML 기능을 통해 데이터 준비부터 추론까지 전체 과정을 자동화
 사용자 클릭스트림 데이터 확보 및 사용 세션/컨택스트 기반으로
추천 결과를 실시간으로 분석
 다양한 분야에서 활용 가능
 Retail and E-commerce
 Video on demand
 News
 Travel
 Personalized notifications
Amazon.com에서 사용하는 머신 러닝 기술을 바탕으로 한
실시간 개인화 및 추천 서비스 입니다.
개인화 추천
관련상품 추천
검색 랭킹 분석
맞춤형 안내

Amazon Personalize
 미리 만들어 놓은 알고리즘(패키지
형태로 제공되는 개인화 Recipe)의
선택을 통한 추천 모델 생성
 사용자 전용 Deep Learning 모델을
이용한 트레이닝 및 정확도 메트릭
비교를 위한 API 제공
Use AutoML or pick a
pre-defined algorithm
Amazon Personalize
Campaigns
 캠페인 론칭을 통해 엔드포인트 생성에
필요한 인프라 리소스 배포
 getRecommendations() 또는
getPersonalizedResults() API를
이용하여 간단하게 구현 가능

Amazon Personalize
콘솔을 통해 개인화된 추천 결과에 대한
손쉬운 테스트 가능
콘솔상에서 추천 작업을 위한 모든
단계별 모니터링 및 추적 가능

Amazon Personalize: ALGORITHMS
learned
user representation
HRNN
User
Representation
✓
✗
HRNN: Hierarchical Recurrent Neural Network
(available in Amazon Personalize)

Amazon Personalize: ALGORITHMS
0.954
0.928 0.925 0.922
0.91
0.856
Rolling
Average
T-SVD
[2009]
PMF [2008] RRN [2017] DeepRec
[2017]
HRNN
Ratings RMSE on Netflix
98 MM interactions, 500k users, 18k items
Rolling Average T-SVD [2009]
PMF [2008] RRN [2017]
DeepRec [2017] HRNN
0.933
0.916
0.871
0.857
0.846
Rolling
Average
FM [2012] I-AutoRec
[2015]
RNN HRNN
Ratings RMSE on MovieLens
20 MM interactions, 173k users, 131k items
Rolling Average FM [2012]
I-AutoRec [2015] RNN
HRNN

Amazon Personalize: Referred cases

Amazon Personalize: Summary
 Hierarchical Sequential models
 많은 개인화 작업에 대해 좋은 성능을 보임
 안정성
 블랙박스 형태로 제공되는 솔루션: API 를 통한 손쉬운 활용
 Deep Learning 의 실제 비즈니스 적용을 통해 얻은 다양한 노하우가 반영됨
 AutoML and Hyperparameter Optimization
 최소한의 노력으로 입력 데이터셋에 대해 가장 좋은 결과를 기대할 수 있음
 Bring your own Recommender
 사용자만의 특화된 기술을 기반으로 Amazon Personalize 튜닝도가능

Amazon Forecast
Amazon.com의 기술과 노하우를 활용한
높은 정확도의 시계열 예측 서비스
(In preview)

Time-Series Forecasting
상품 수요
예측
다양한 유스케이스를 대상으로 모든 비즈니스를 위한 전략상의 특장점을 제공
노동력
수요 예측
재무지표
예측
재고 관리
예측

Forecast
정확도(Accuracy)는 예측에 있어 가장 중요한 요소입니다! 하지만 . .
“정확한 예측”이란 대단히 어렵습니다. 왜 그럴까요?
외부요인: 날씨, 휴일, 이벤트, 수요에 영향을 주는 트렌드 등이 예측 분석에 반영되어야 함
추가 변수들: 기존 모델들의 경우 추가 메타데이터 등을 구하기가 어려워서 거의 고려하지 못했음
과거 이력(history)의 부재: 신상품, 신규 프로세스 등은 과거 데이터가 없음
Spikey, Intermittent Data: 실제 데이터의 경우 불규칙한 패턴을 많이 보임
(기존 모델들로 예측할 경우 실패 확률이 높음)
(이럴 땐 어떻게 예측?)

Amazon Forecast
Amazon.com에서
사용하는 기술을
바탕으로 한
높은 정확도를 지닌
시계열 예측 서비스
ML 경험, 역량 불필요
Amazon 물류센터(FBA)에서 Deep Learning
기반 기술을 적용한 후 13.9% 의 배송 증가율을
확인. 현재 FBA의 예측 기술은 Amazon의
물류센터에서 200만 이상의 판매자를 대상으로
활용 중 (최적의 재고 관리, 배송 예측 등)

Amazon Forecast
1/10의 비용으로 최대 50%의 예측 정확도를 향상시킬 수 있습니다.
콘솔과 API를 통한
손쉬운 사용
모든 종류의 시계열 데이터에
적용 가능
외부 데이터 반영을 통한
예측 정확도 향상
주 요 특 징
여러가지 시계열
데이터를
한 번에 고려
AutoML
기능 제공
콘솔을 통한 예측
결과 시각화
및
손쉬운 결과 임포트
콘솔을 통한
모델 정확도
평가
주기적인
모델 예측,
리트레이닝
설정 지원
SageMaker에서
제공하는
알고리즘도
사용 가능

Amazon Forecast: How it works
Historical data
Sales, inventory, pricing, etc.
Related data
Weather, competitive promotions, etc.
1. Load data
2. Inspect data
3. Identify features
4. Select algorithms
5. Select Hyperparameters
6. Train models
7. Optimize models
8. Deploy and host models
Amazon Forecast
Customized
Forecasting
API
Private

Amazon Forecast: ALGORITHMS
https://arxiv.org/pdf/1711.11053.pdf
 Deep Learning 기반 MQ-RNN 알고리즘 활용
(amazon.com의 수요 예측에서 가장 좋은 성능을 보임)
 amazon.com 에서 파악된 4가지 상품의 추이 예
(신규 상품 출시, 단기 이벤트 등 예측이 어려운 문제에
대해서도 좋은 결과를 보임)
 제공되는 레시피(ALGORITHMS)
 ARIMA
 DeepAR+
 Exponential Smoothing (ETS)
 Mixture Density Networks (MDN)
 MQ-RNN
 Non-parametric Time-Series
 Prophet
 Spline Quantile Forecaster
Deep Learning을 통한 예측 정확도 향상

Amazon Forecast
다양한 비즈니스 도메인에 적용 가능
Target time-series:
Historic time-series data of items to forecast
Related time-series:
Related time-series (e.g. price, web-hits, etc.)
Item metadata:
Attributes of the item
(e.g. category, genre, brand, etc.)
Forecast에서 사용되는 3가지 타입의
입력 데이터셋
 콘솔 또는 API를 통해
비즈니스 도메인 세팅
가능
 비즈니스 도메인에 대한
여러가지 스키마를
이용하여 데이터셋
업로드 지원

Amazon Forecast
여러가지 연관성을 갖는 시계열 데이터들
사이의 상호관계를 학습
외부 데이터 활용(휴일, 이벤트 등)
새로운 아이템에 대한 예측 결과 생성
불규칙한 패턴에 대해서도 정확하게 예측!

Amazon Forecast: Referred cases
”Amazon Forecast has been applied
to CJ Logistics’ parcel volume forecasting
process to optimize the amount of human
resources, transportation, and warehouse space
we provision to meet demand. Amazon Forecast
allows us to use sophisticated machine learning-
based forecasting techniques without building our
own system. Looking forward, we have a clear
vision of increasing our operational efficiency by
using Amazon Forecast.”
YoungSoo Kim,
Vice President of TES Strategy
Unit,
CJ Logistics
”We have been using Amazon Forecast to
predict demand for over 50,000 different
products, using Amazon Forecast’s state-of-the-
art deep learning algorithms that we can use
right out of the box. Amazon Forecast takes
care of all the heavy lifting of setting up
pipelines, re-training schedules, and re-
generating forecasts, so we can experiment with
hundreds of models very easily.”
Fernando Crocer,
Head of Analytics, Mercado Libre

Amazon Forecast: summary
예측(Forecast)을 위한 데이터 유입/처리/분석 파이프라인을
손쉽고 간단하게 구축할 수 있습니다.
 사용 가능할 때 새로운 데이터를 자동으로 유입하여 리트레이닝(re-training)에 활용
 주기적으로 모델을 리트레이닝(re-training)하고 재예측(re-forecasting)할 수 있음
 데이터 값, 피처(feature)의 오버라이드 허용
데이터
파이프라인
구축
• AutoML
• 빌트인 Forecast
알고리즘 지정
모델 배포
모델들 간의
정확도 비교
예측 결과
생성

Amazon Forecast: summary
예측(Forecast)을 위한 데이터 유입/처리/분석 파이프라인을
손쉽고 간단하게 구축할 수 있습니다.
 사용 가능할 때 새로운 데이터를 자동으로 유입하여
리트레이닝(re-training)에 활용
 주기적으로 모델을 리트레이닝(re-training)하고 재예측(re-
forecasting)할 수 있음
 데이터 값, 피처(feature)의 오버라이드 허용

© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
AWS Innovate 에 참석해주셔서 대단히 감사합니다.
저희가 준비한 내용, 어떻게 보셨나요?
더 나은 세미나를 위하여 설문을 꼭 작성해 주시기 바랍니다.
aws-korea-marketing@amazon.com
twitter.com/AWSKorea
facebook.com/amazonwebservices.ko
youtube.com/user/AWSKorea
slideshare.net/awskorea
twitch.tv/aws

개인화 추천 및 시계열 예측을 위한 신규 AI 서비스 살펴보기 - 남궁영환 AI/ML 스페셜리스트 솔루션즈 아키텍트 :: AWS Innovate 2019

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 개인화 추천 및 시계열 예측을 위한 신규 AI 서비스 살펴보기 - 남궁영환 AI/ML 스페셜리스트 솔루션즈 아키텍트 :: AWS Innovate 2019

Similar to 개인화 추천 및 시계열 예측을 위한 신규 AI 서비스 살펴보기 - 남궁영환 AI/ML 스페셜리스트 솔루션즈 아키텍트 :: AWS Innovate 2019 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

개인화 추천 및 시계열 예측을 위한 신규 AI 서비스 살펴보기 - 남궁영환 AI/ML 스페셜리스트 솔루션즈 아키텍트 :: AWS Innovate 2019