4. WHY AI/ML in Language?
음성 데이터
• 고객 지원 센터
• 각종 회의, 미팅
영상 데이터
• TV 방송
• 온-디맨드 비디오
• 소셜 미디어
최근 디지털 데이터의 증가 수준은 전례가 없을 정도로 폭발적입니다.
특히, ‘언어’와 관련된 음성/영상 데이터의 비중은 더욱 커지고 있습니다.
Deloitte Insights: https://www2.deloitte.com/insights/us/en/focus/tech-trends/2017/dark-data-analyzing-unstructured-data.html
“In 2020,
the digital universe is
expected to reach
44 zettabytes”
- Deloitte Insights
5. WHY AI/ML in Language?
Image Source: http://magizbox.com/training/natural_language_processing/site/tasks.html
자연어 처리(NLP)는 언어학의 개념과 깊은 연관성을 지니고 있으며,
다양하고 복잡한 여러 과정으로 구성되어 있습니다.
• 음성 인식 (음운론)
Speech-to-Text
Text-to-speech
• 형태소 분석 (형태론)
동의어, 동음이의어 처리
중의성 해소
신조어, 미등록어 판별 및 등록
• 구문 분석 (통사론, 의미론)
문법 기반 구조 분석
맥락 기반 추론
6. WHY AI/ML in Language?
• 높은 노이즈
• 대화 상의 artifacts와 뉘앙스(nuance)
• 화자가 여럿일 경우
• 처음 접하는 용어들
• 방언, 사투리 처리
• 활용 사례가 적은 언어 또는 은어 처리
자연어 처리의 한 분야인 음성 인식(ASRAutomatic Speech Recognition)에서
특히 해결이 쉽지 않은 문제들로 어떤 것들이 있을까요?
7. WHY AI/ML in Language?
APAC :
e-Commerce회사의
글로벌 확장 시도
EUROPE :
여행사 웹사이트에서
외국어로 작성된
고객 리뷰 검토
LATIN AMERICA :
금융 서비스 회사에서
수십 만건의 뉴스를 제공
한편, 전세계의 많은 사람들은 대부분 하나의 언어만 구사합니다.
이런 경우에는 또 어떤 어려움이 있을까요?
8. WHY AI/ML in Language?
“My compliments on the very rapid
road openings in New York following
Hurricane Sandy”
Entity: Location -> City
Entity: Hurricane Sandy
Sentiment: positive Language: English
또, 수없이 쏟아지는 텍스트에 대해서도 빠르게 파악하고 이해해야 합니다.
이를 위해서는 어떤 것들을 해결해야 할까요?
• 고유명사 구분 및 추출 (NER)
• 언어에 대한 자동 인식
• 핵심 키워드 파악 및 문서 요약
• 텍스트의 성향 분석
감성 분석
의도 분석, 오피니언 마이닝
• 맥락 기반 추론
• 언어에 대한 자동 인식
• 시간 흐름에 따른 변화 내역 추적
• 지능형 질의 응답
9. WHY AI/ML in Language?
새로운 AI/ML 기술의 적용을 통해 자연어 처리 분야에서는
큰 변화와 혁신이 일어나고 있습니다.
특히, Machine Translation 분야의 성과를 주목할 필요가 있습니다.
기존 방식: Data-driven technology
• 과거 최소 30년 전부터 시도되어 온 방법
• 전문 번역가를 통해 만들어진 고품질의 샘플 데이터
확보가 중요
• 대단히 많은 샘플 데이터 확보가 요구됨
• Rule-based Machine Translation
언어학을 기반으로 한 룰(Rule)을 이용하여
입력 언어에 대한 출력 언어 번역 결과를 생성
• Statistical Machine Translation
말뭉치(Corpus)를 기반으로 한 통계 모델을 이용하여
입력 언어에 대한 출력 언어 번역 결과를 생성
최근 방식: Neural technology
• Deep Neural Architecture를 이용
• 전체 입력 문장 단위로 어떻게 번역할 것인지 모델링
• 어순, 단어의 의미 (중의성), 문맥 파악 등이 반영됨
• 데이터의 희박성을 극복
• 언어간의 교차 지식도 활용 가능
• 주요 알고리즘
Encoder-Decoder model
Bi-directional RNN (Recurrent Neural Network)
Sequence-to-sequence (seq2seq)
GAN-NMT
CNN (Convolutional Neural Networks)
. . .
10. WHY AI/ML in Language?
이렇게 뛰어난 기술 발전에도 불구하고
여전히 AI/ML은 다가가기 어려운 영역일 수 있습니다.
왜 그럴까요..?
학습용 데이터셋이 없어요 데이터 과학자, 머신 러닝 전문가가 없어요.
컴퓨팅 리소스가 부족해요
지금 비즈니스에서 UX를 향상시키고 싶은데
시스템 API 개발만 가능해요
머신 러닝 같은 거 잘 몰라도
그냥 바로 쓸 수 있는 건 없나요?
모든 걸 직접 만들려고 하니
엄두가 안나요
Image source: https://en.wikipedia.org/wiki/The_Scream
11. AWS ML Stack
FRAM EWORKS AN D I N TERFAC ES
AWS D E E P LE ARN IN G API
Apache MXNet TensorFlowCaffe2 Torch KerasCNTK PyTorch GluonTheano
PLATFORM SERVI C ES
V I SI ON
AWS DeepLensAmazon SageMaker
LA NGUA GE
A P P L I C A T I O N S E R V I C E S
Amazon Rekogni
tion
Amazon Polly Amazon Lex
Amazon Rekognitio
n Video
Amazon Transcribe Amazon Translate Amazon Comprehend
Alexa for Business
V R / I R Amazon Sumerian
Amazon Kinesis
Video Streams
Amazon Transcribe Amazon Translate Amazon Comprehend
13. Amazon Transcribe
고객에 대한 인사이트
글로벌 서비스
맞춤형 광고
아카이브 검색
서비스 확장 (수요 증가)
Automatic
Speech Recognition
음성 입력 정보에 대한 정확한 스크립트를 자동으로 생성해내는
완전 관리형 음성 인식 (ASR) 서비스입니다.
Amazon
Transcribe
14. Amazon Transcribe
오디오/비디오
데이터
데이터 전처리 작업
Amazon Transcribe
Deep Learning 기반
음성 인식 작업
데이터 후처리 작업
텍스트 변환 결과
(Transcription)
Amazon Transcribe는 자체적으로 지속적인 학습을 통해
성능을 향상시킵니다.
15. Amazon Transcribe
Timestamps and
Confidence scores
낮은 음질의
8KHz, 16KHz
음성 데이터도
모두 지원
Punctuation
and
Formatting
§
S3와의
손쉬운
통합
Hello/
Hola
프리뷰 단계에서는
영어, 스페인어 지원
(향후 지속적인 확대)
Amazon
S3
다자간 대화 시
2명 이상의
화자(speaker)
식별, 추적
맞춤형 어휘집
구축 제공
Amazon Transcribe는 다양한 기능과 특징을 통해
더 현실적이고 효용성 높은 음성-텍스트 변환 결과를 제공합니다.
16. Amazon Transcribe
원음에 충실한 변환 다양한 포맷 지원
주요 특징
(1) 다양한 오디오/비디오 데이터를 지원합니다.
8KHz (전화) 음성을 포함한
다양한 오디오 데이터에 대해
원음에 잘 맞는 텍스트 변환 결과를 제공합니다.
FLAC, WAV, MP3, MP4 등
다양한 포맷의 오디오/비디오 데이터를
지원합니다.
17. Amazon Transcribe
1.0 2.0 3.0 4.0 5.0 6.0 7.0 8.0 9.0 10.0 11.0 12.0 13.0 14.0 15.0 16.0 17.0
“Hi I would like to reschedule my flight to Seattle to later tonight”
start time: 3.480 sec
end time: 3.750 sec
Confidence : 1.00
주요 특징
(2) 음성 데이터의 텍스트 변환시 Timestamp와 함께 변환된 텍스트의
Confidence score를 제공합니다.
start time: 6.402 sec
end time: 7.688 sec
Confidence : 0.95
start time: 10.541 sec
end time: 11.124 sec
Confidence : 1.00
18. Amazon Transcribe
please extrapolate the projections based on
market growth and segment share can you email
it to me once you are done
주요 특징
(3) 구두점 반영, 문장 스타일링을 통해
텍스트로 변환된 결과의 가독성을 높여줍니다.
Please extrapolate the projections based on
market growth and segment share. Can you email
it to me once you’re done?
Other
Transcription
Solutions
Amazon
Transcribe
19. Amazon Transcribe
Speaker 1
Speaker 2
Speaker 3
Speaker 1
We are speaking with the
customer tomorrow.
Speaker 2
What’s our plan for the meeting?
Speaker 3
I have it covered.
We are speaking with the
customer tomorrow.
What’s our plan for the
meeting?
I have it covered.
주요 특징
(4) 화자(Speaker) 구별을 통해 텍스트 변환 결과에서 맥락을
맥락을 보다 쉽고 직관적으로 이해할 수 있도록 합니다.
Amazon
Transcribe
Other
Transcription
Solutions
21. Amazon Transcribe
- AWS Console 기반 - AWS CLI/SDK 기반
transcribe.start_transcription_job(
TranscriptionJobName='transcribe-‐demo',
Media={'MediaFileUri':
'https://s3-‐us-‐east-‐1.amazonaws.com/transcribe-‐
demo/demo.wav'},
MediaFormat='wav',
LanguageCode='en-‐US',
MediaSampleRateHertz=16000
)
Amazon Transcribe에서 제공하는 다양한 인터페이스를 통해
목적에 맞춰 편리하게 음성-텍스트 변환 작업을 수행할 수 있습니다.
22. Amazon Transcribe
• 각 요청별 최소 15초 단위 기준으로 초당 $0.0004
• 프리 티어: 첫 1년 동안은 매달 60분 까지는 무료
• 프리뷰 기간 동안에는 무료 사용 가능
비용 정책
23. Amazon Transcribe
콜센터 상담
• 높은 정확도로 8KHz의 전화 음성
기록을 텍스트로 변환
• Amazon Comprehend를
이용해서 텍스트 분석
• Amazon QuickSight를 통해
결과를 시각화
VOD 자막
제공
폐쇄자막(CC)
방송
• 오디오/비디오 텍스트를 기록
• 사후 편집/QA 작업 수행
• 필요할 경우 번역 작업 수행
(Amazon Translate)
• 타임스탬프를 기준으로 비디오와
텍스트 맞춤 작업 수행
미팅 내용 기록
• 미팅 관련 음성 기록을 Amazon
S3로 저장
• 음성 기록을 Amazon
Transcribe로 텍스트 변환
• Amazon ES를 이용한 텍스트
인덱싱
• VOD content 검색에 활용
음성 인식이 필요한 곳이라면
어디든 Amazon Transcribe를 활용할 수 있습니다.
24. Amazon Transcribe: 주요 고객 사례
isentia
• Media Intelligence & Data Technology company (HQ at Sydney Australia)
• Real-time, relevant information for better decisions for clients
• Mediaportal for comprehensive media data and accurate search with analytics
isentia
Media Intelligence
Pipeline
기존의 작업 방식 – 사람을 통한 컨텐트 요약
• 느린 작업 속도, 높은 비용, 노동 집약적
• 비효율적이고 중복 작업 과다 발생
Amazon Transcribe를 통한 개선
• 자동화된 음성 텍스트 변환을 통한 미디어 분석 파이프라인
상에서 컨텐트 요약 결과의 양적 확대
• 엔티티 추출, 토픽 추출 같은 부가 정보 확보
Ingest (Audio/Video)
Segment
Store (Amazon S3)
Summarize
(Human Summarization)
Relevance (send to each customer)
Ingest (Audio/Video)
Segment
Summarize
Relevance
Amazon Transcribe
Store (Amazon S3)
25. Amazon Transcribe: 주요 고객 사례
• Deep Learning 기반 전화 상담 지원 시스템
• 전화 상담 내역으로부터 인사이트를 추출
- Conversation AI
기존의 업무 방식 – 일반 전화 상담
• 고객 정보 부족으로 인해, 문제 해결방안 제시보다 문제
파악에 더 많은 시간을 소비
• 숙련도가 낮은 신규 직원의 상담 건에 대한 불만 사례 발생
Amazon Transcribe를 통한 개선
• 자동화된 음성 텍스트 변환을 통해 고객의 이력을 축적
• 상담 사례에 대한 자동 분류 및 손쉬운 검색을 통한 빠른 대응
• 고객 상담 내역의 분석 결과 활용(고객 지원, 마케팅)
• 신규 직원에 대한 빠른 숙련도 향상에 기여
• 약 2배 이상의 상담 처리 건수 증가 효과를 보임
27. Amazon Translate
• 글로벌 확장을 위한 필수 요소
• 다양한 활용 사례를 통한 대규모 처리
"Amazon(Web(Services(is(a(collection(of(cloud(computing(services"
“Amazon(Web(Services(es(una(colección(de(servicios(de(computación(en(la(nube”
Context aware: knows not to
translate “Amazon” to
“Amazonas“ (Amazon Jungle)
Learns to re-order words &
phrases according to the
grammar of each language
Neural Architecture
• Encoder-Decoder
• Convolutional
• Transformer
• …
Amazon Translate는 높은 퀄리티로 다양한 언어에 대해
대량의 컨텐트 번역, 실시간 번역을 제공하는
완전 관리형 Neural Machine Translation 서비스입니다.
28. Amazon Translate
대용량 컨텐트
번역
실시간 번역
총 6개 언어에 대해
번역 서비스 제공
번역 대상 언어
자동 탐지
Amazon Translate는 현재 PREVIEW 단계로서
다음과 같은 주요 기능을 제공하며
향후 공식 서비스 단계에서는 더 확장될 예정입니다.
Arabic, Chinese, French,
German, Portuguese, Spanish
29. Amazon Translate
- AWS Console 기반 - AWS CLI/SDK 기반
Amazon Translate에서 제공하는
다양한 인터페이스를 통해 손쉽게 번역 작업을 수행할 수 있습니다.
import boto3
Amazon.translate =
boto3.client(service_name='translate',
region_name='region', endpoint_url='endpoint',
use_ssl=True)
result = Amazon.translate(Text="Hello, World",
SourceLanguageCode="en", TargetLanguageCode="de")
print('TranslatedText: ' +
result.get('TranslatedText'))
30. Amazon Translate
Example: A “Pocket” knife on amazon.de
Really a very good Pocket knife. Had yesterday after breakfast
something poppy hang between the teeth. Because I once
again found no toothpicks, I ordered mine without further
ADO this pocket knife. The integrated toothpick (Nr. 3) is very
stable and very quickly I could clean my teeth. Super! To the
rest I can tell nothing unfortunately because I him not be
emergency.
Really a very good pocket knife. Had a little poppy between the
teeth yesterday after breakfast. Since I didn’t find a toothpick
again, I ordered this pocket knife shortly. The integrated
toothpick (No.3) is very stable and I could clean my teeth very
quickly. Great! I can’t say anything about the rest because I
don’t need it.
Open Source engine Translation:
Amazon Translate
Amazon Translate는 보다 자연스럽고 매끄러운 번역 결과를 제공합니다.
31. Amazon Translate
비용 정책
• $15 per 1,000,000 characters
(가입 비용, 최소 약정 비용 없슴)
• 프리 티어 : 사용 시작 후 첫 1 년 까지는
매월 2,000,000 characters 무료
• 프리뷰 기간 동안에는 무료
[ 참고 ]
ü 1,000,000 characters
ü Approximate 163,934 words
ü Printed length:
http://m.wolframalpha.com/input/?i=1,000,000+characters
32. 전세계 디지털 컨텐트 공유
Amazon Translate
기계 번역
• 사용자에 의해 작성된 컨텐트
(고객 서비스, 고객 리뷰,
포럼 게시글, 검색 결과 등)
• 텍스트 분석
(감성 분석, 문서 분류 등)
• 실시간 의사 소통
(고객 지원, 판매사)
• 상품 목록, 상품 상세 설명,
안내사항
• 웹사이트 컨텐트
기계 번역 + 사후 편집
• 법률 관련 문서 자료
• 헬스케어 문서 자료
• 광고 컨텐트
대용량 텍스트 번역 작업, 빠르고 적절한 시간이 요구되는
텍스트 번역 작업에 Amazon Translate를 활용하십시오!
37. Amazon Comprehend: 텍스트 분석 예제
A m a z o n . c o m , I n c . i s l o c a t e d i n
S e a t t l e , W A a n d w a s f o u n d e d J u l y
5 t h , 1 9 9 4 b y J e f f B e z o s . O u r
c u s t o m e r s l o v e b u y i n g e v e r y t h i n g f r o m
b o o k s t o b l e n d e r s a t g r e a t p r i c e s
Document Topic Proportion
Doc.txt 0 .89
Doc.txt 1 .67
Doc.txt 2 .91
Topic Term Weight
0 Washington .89
1 Silicon Valley .67
2 Roasting .91
Keywords Topic Groups Document Relationship to Topics
TOPIC MODELING
Named Entities
• Amazon.com : Organization
• Seattle, WA : Location
• July 5th, 1994 : Date
• Jeff Bezos : Person
Key Phrases
• Our customers
• books
• blenders
• great prices
Sentiment
• Positive
Language
• English
38. Amazon Comprehend
- AWS Console 기반 - AWS CLI/SDK 기반
import boto3
import json
comprehend = boto3.client(service_name='comprehend',
region_name='region')
text = "It is raining today in Seattle"
print('Calling DetectEntities')
print(json.dumps(comprehend.detect_entities(Text=text,
LanguageCode='en'), sort_keys=True, indent=4))
print('End of DetectEntitiesn')
Amazon Comprehend에서 제공하는 다양한 인터페이스를 통해
자연어 처리 서비스를 경험하실 수 있습니다.
39. Amazon Comprehend
Synchronous
• DetectDominantLanguage and BatchDetectDominantLanguage
– to detect the dominant language in a document. We can detect up to 100 languages.
• DetectEntities and BatchDetectEntities
– to detect the entities, such as persons or places, in the document.
• DetectKeyPhrases and BatchDetectKeyPhrases
– to detect the key noun phrases that are most indicative of the content.
• DetectSentiment and BatchDetectSentiment
– to detect the emotional sentiment, positive, negative, mixed, or neutral, of a document.
Asynchronous
• StartTopicDetection – to start a topic modeling job
• ListTopicDetection – to list all your submitted jobs
• DescribeTopicDetection –to get progress status and information about each submitted job
다양한 API를 이용해서 여러 서비스와 연동, 통합시킬 수 있습니다.
40. Amazon Comprehend: 주요 활용 분야
고객 요청/문의 사항 분석
- 상품, 브랜드, 서비스에 대한 고객의 의견을 분석 (리뷰/코멘트)
- 전화 상담, 이메일 피드백
Knowledge Management/Discovery
- 대규모 데이터셋을 대상으로 개별 텍스트/메시지 분석 또는 트렌드 분석
- Topic, 개인 경험 등을 바탕으로 한 문서 정리, 카테고리 분류
- 자연 언어 처리/분석 경험의 축적
시맨틱 검색
- 핵심 문장, 감성, 주제에 대한 검색을 통해 보다 현명한 검색 결과를 제공
41. Amazon Comprehend
AWS 서비스와의 연동, 통합을 통해서
다양한 텍스트 분석을 할 수 있습니다.
Amazon
Kinesis
Amazon
Elasticsearch
Service
Amazon
EMR
• Semantic
• Rich Filtering
• Grouping, Trends
• Joining, Correlating
• Clustering
• Graph, Search
• Near real-time
• Alerts
Amazon
S3
게시글,
각종 문서 자료
소셜 미디어,
기술지원 자료,
고객지원 자료
Amazon
Redshift
Amazon
Aurora
Amazon
Comprehend
42. Amazon Comprehend: 주요 고객 사례
Amazon Comprehend
• 수많은 자료들 속 텍스트의 의미와 관계를 파악해냄
• 수집한 텍스트 모음을 대상으로 한 토픽 분류
• 지속적인 학습을 통한 꾸준한 성능 향상 및 개선
• Topic 별로 손쉬운 정리 및 카테고리화 지원
• 동일한 Topic에 관련된 다른 자료의 추천을 통한
컨텐트 추천 개인화 서비스 지원
• 완전 관리형 서비스
• 끊임없이 자체 학습을 지속
뉴스피드 분석 및 요구사항
• Global Supply Chain: 지역 언어 번역 기능 필요
• 재난 감지 시스템: 필요시 사전 추천 대응 시스템 구축
(자연재해, 파업, 현지 정치적 이슈 등)
• 비즈니스 연속성 강화
• 지속적인 Supply-Chain 워크플로우 구축
Supply Chain Management
• 조달, 물류, 제조, 재고 운영 등을 통합하는 실시간 end-to-end 플랫폼 제공
• 현명한 의사 결정, 혼란 상황 예측 지원을 통해 올바른 대응 및
자칫 놓칠 수 있는 손해/손실을 기회로 전환할 수 있도록 지원
Operational Excellence
수익성 개선
• 시간에 맞춰 정확한 상품을 전달
• 필요할 경우 대응 방안의 사전 추천
운영 최적화
• 시장 진출 시기를 앞당길 수 있음
• 성능 vs 안정성의 지속적인 모니터링
43. Amazon Comprehend: 주요 고객 사례
뉴스 피드 분석 – 워크플로우
Amazon
S3
News from
multiple
channels
Amazon
Comprehend
Amazon
S3
Amazon
Athena
Processing
Natural Language
Ad Hoc Queries
Amazon
EMR
Amazon
DynamoDB
User
Application
Feedback
Build predictions &
alternative route
recommendations
44. Amazon Comprehend: 다른 서비스와의 연동
Amazon
Transcribe
Amazon
Comprehend
Audio
Input
Amazon
S3
AWS
Lambda
Amazon
QuickSight
Amazon
Athena
Amazon Transcribe와 Comprehend를 함께 이용해서
더욱 다양한 형태로 분석 결과를 얻을 수 있습니다.
45. Amazon Comprehend: 다른 서비스와의 연동
Hello Harry I see you have a flight to
Seattle tonight is that what you’re
calling about?
Yes I was hoping I could get a seat
upgrade.
Sure thing I see you are a platinum
member and there is a seat in first
class number 1C available. Does that
work?
That would be great.
Ok. You are all set and I have
upgraded your seat to 1C. Is there
anything else I can help with?
No thank you so much. Bye.
높은
정확도
문장부호
반영
Amazon Transcribe + Comprehend
46. Amazon Comprehend: 다른 서비스와의 연동
Hello Harry I see you have a flight
to Seattle tonight is that what
you’re calling about?
Yes I was hoping I could get a seat
upgrade
Sure thing! I see you are a platinum
member and there is a seat in first
class number 1C. available Does
that work?
That would be great!
Ok. You are all set and I have
upgraded your seat to 1C. Is there
anything else I can help with?
No thank you so much. Bye!
Hello Harry I see you have a flight
to Seattle tonight is that what
you’re calling about?
Yes I was hoping I could get a seat
upgrade
Sure thing! I see you are a platinum
member and there is a seat in first
class number 1C. available Does
that work?
That would be great!
Ok. You are all set and I have
upgraded your seat to 1C. Is there
anything else I can help with?
No thank you so much. Bye!
Hello Harry I see you have a flight
to Seattle tonight is that what
you’re calling about?
Yes I was hoping I could get a seat
upgrade
Sure thing! I see you are a platinum
member and there is a seat in first
class number 1C. available Does
that work?
That would be great!
Ok. You are all set and I have
upgraded your seat to 1C. Is there
anything else I can help with?
No thank you so much. Bye!
Named Entities 추출 +
핵심 구문 + 감성 분석
Named Entities 추출 +
핵심 구문
Named Entities 추출
Amazon Transcribe + Comprehend
47. Pairing Amazon ML Services
AWS에서 제공하는 ML 관련 서비스들을 서로 연동시켜서
더 다양한 분야에 폭넓게 적용시킬 수 있습니다.
Amazon
Comprehend
Amazon
Transcribe
Amazon
Lex
Amazon
Connect
Amazon
Translate
Amazon
Transcribe
Amazon
Translate
Amazon
Comprehend
Amazon
Rekognition
Amazon
Transcribe
Amazon
Connect
Amazon
Transcribe
…
48. 본 강연이 끝난 후…
1. 서비스 관련 자료
1. https://aws.amazon.com/ko/transcribe/resources/
2. https://aws.amazon.com/ko/translate/resources/
3. https://aws.amazon.com/ko/comprehend/features/
2. 프리뷰 신청
1. Transcribe (https://pages.awscloud.com/amazon-transcribe-preview.html)
2. Translate (https://pages.awscloud.com/amazon-translate-preview.html)