More Related Content Similar to [한국IBM] 비정형데이터분석 WEX 솔루션 소개 (20) More from Sejeong Kim 김세정 (10) 1. 비정형 데이터 분석을 위한
IBM Watson Explore
Jun. 2018
이동연실장
IBM Analytics Team, IBM Korea
2. WatsonExplorerV12의제품종류
• IBM Watson Explorer Deep Analytics Edition Foundational
Components V12.0.0 (Windows, Linux)
• IBM Watson Explorer Deep Analytics Edition Analytics Components
V12.0.0 (Windows, Linux, AIX, Linux on System z)
• IBM Watson Explorer Deep Analytics Edition oneWEX V12.0.0 for
ICP Linux
• IBM Watson Explorer Deep Analytics Edition oneWEX V12.0.0
(Windows, Linux)
3. IBMWatsonExplorerDeepAnalyticsEditionV12
• 간편해진 패키징
• 새로운 oneWEX는 업데이트된 클래식 구성 요소를 포함하고 있습니다.
• oneWEX 플랫폼을 소개합니다.
• 목표 : 최첨단 기술의 FC/AC와 함께 제공되는 검색 및 컨텐츠 분석 솔루션
• 더 보강된 FC/AC 기능 구현
Deep Analytics Edition
V11 V12
Enterprise Edition
FC
Advanced Edition
ACFC FC oneWEXAC
4. 목차
• IBM Watson Explorer 를 사용하고 있는 고객들
• 다양한 산업군과 유형
• 비정형 데이터의 중요성
• IBM Watson Explorer 기능
• 비정형 데이터 분석에 특화된 솔루션
• 서비스 구성도 및 컨텐츠 마이너
• UMIA 아키텍처
• IBM Watson Explorer 12의 새로운 기능들
• 새로운 아키텍처
• 새로운 컨텐츠 마이너
• ML 기반의 문서 분류(Document Classification)와 유사 문서(Ranker) 검색 기능
• 확장성
• 요약
6. 6
다양한산업군에서WEX를이용하실수있습니다
Financial Services 고객 활동을 기반으로 한 통찰력 유도(VoC), , 사기 행위 조사, 글로벌 기업 간 안전한
데이터 투명성 확보
재검사 감소, FDA규정 준수에 걸리는 시간 단축, 환자 및 전문가를 위한 정보를 찾는
데 걸리는 시간 단축
문서 검색 정확도 향상, 검색 기능 향상, 민감한 데이터 규칙을 준수하면서 정보 공유,
상담원 생산성 및 고객 만족도 대폭 증가, 클레임 손실 비율 및 사기 감소, 캠페인 효과
향상
제품 개발을 위해 소셜 미디어 및 소비자 의견을 분석, 제품 문제를 보다 빨리 파악,
맞춤형 제품 생산 및 생산 / 유지 보수 관리 비용을 줄이고, 공급망의 일관성을
개선하고 상품 배송 / 관리 필요한 최신 정보 제공
제품 조사에 필요한 정보를 찾는 데 걸리는 시간을 단축하고 전 세계 환자 및 연구
데이터에 대한 접근을 개선합니다.
규제 업데이트 속도 향상, 시민들의 공개 정보 연결, 밀수품 활동 식별, 불만 사항 검색
및 분석, 검거율 향상
제품 분석을 개선하고, 고객의 의견에 기초한 핵심 의사 결정을 개선하고, 설문 조사
정보를 실행 가능한 인텔리전스로 변환
콜 센터 해결률 개선, 이탈 가능 고객 탐색, M&A활동 후 정보 통합 및 정상화
Healthcare
Insurance
Manufacturing
Pharma
Public Sector
Retail / CPG
Telco
IBM Analytics / © 2018 IBM Corporation 6
7. 또한다양한업무환경에서도WEX를활용할수있습니다
고객의 소리 분석 및 대응
• 분석 : 콜로그, e-메일, 웹/소셜 미디어
• 목적 : 고객 불만 대응, 구매자 행동 패턴,
고객 이탈 방지,챗봇 서비스를 위한 코퍼스 분석
• 효과 : 고객 만족도 향상, 새로운 수익 기회 발견,
마케팅 및 캠페인 고도화, 효과적인 챗봇 계획
범죄 / 위협 징후 모니터링
• 분석 : 사건 조서, 외부 뉴스, SNS, 911 콜 기록 등
• 목적 : 범죄 분석 및 예측, 용의자 프로파일링
• 효과 : 안전한 지역사회 만들기, 경찰 인력 배치
최적화
장비 결함 분석 및 제품 품질 통찰
• 분석 : 결함 및 정비 기록, 고객 피드백
• 목적 : 결함 정비 정보 자산화, 품질 보증 서비스
• 효과 : 신속한 정비 지식 확보(정비 지연 최소화),
보증 비용 절감, 고객 만족도 향상, 마케팅 캠페인
마케팅 인사이트
• 분석 : 콜센타 고객 상담 로그, 웹/소셜 미디어 및
멀티 컨텐츠 저장소
• 목적 : 타겟 고객 확보, 고객 이탈 예측, 신제품 트렌드,
브랜드 이미지 고도화
• 효과 : 고객 만족도의 향상, 마케팅, 캠페인, 새로운
수익 기회 발견, 제품 브랜드의 품질 문제의 발견
보안 및 규정 준수, 보험 사기 방지, 지능형 문서
검색
• 분석 : 이메일, 채팅, 보험 청구 내역 등
• 목적 : 보안 규정 및 법률 준수, 부정 행위 및 패턴
감지, 규제 패턴 탐색
• 효과 : 보안 및 규제 준수 모니터링 및 감지, 업무
프로세스 감시
헬스 케어
• 분석 : e-Medical 기록/처방전, 병원 보고서
• 목적 : 임상 기록, 처방 최적화
• 효과 : 만성병 화자의 사전 진료 관리, 처방전 최적화,
향상된 치료 효과
반복적이고 시간이 소요되는, 사람이 해야 하는 작업의 생산성 및 품질 향상
비정형 데이터로부터 새로운 인사이트 도출 및 확보 용이
7
분석 : 결함 및 정비 기록, 고객 피드백 분석 : e-Medical 기록/처방전, 병원 보고서
분석 : 콜센타 고객 상담 로그, 웹/소셜 미디어 및
멀티 컨텐츠 저장소
분석 : 콜로그, e-메일, 웹/소셜 미디어
분석 : 사건 조서, 외부 뉴스, SNS, 911 콜 기록 등
분석 : 이메일, 채팅, 보험 청구 내역 등
7
IBM Analytics / © 2018 IBM Corporation
8. HEALTHCARE DATA
GOVERNMENT
& EDUCATION DATA
99% 88% 94% 84%
Healthcare data comes from sources such as: Government & education data comes from
sources such as:
Patient
Sensors
Electronic
Medical
Records
Test
Results
Vehicle Fleet
Sensors
Traffic
Sensors
Student
Evaluations
UTILITIES DATA MEDIA DATA
93% 84% 97% 82%
Utilities data comes from sources such as: Media data comes from sources such as:
Utility
Sensors
Employee
Sensors
Location
Data
Video
and Film
Images Audio
growth by 2017 unstructured growth by 2017 unstructured
growth by 2017 unstructured growth by 2017 unstructured
2020년경이면 지구상의 모든
인간이 생성하는 데이터는
초당 1.7MB의 새로운
정보를 생성해 낼 것입니다.
What answers
lie in the 88%
that is dark?
기존의비정형데이터에서우리는새로운도전과기회를얻을수있습니다.
IBM Analytics / © 2018 IBM Corporation 8
9. 정형분석
“WHAT is happening?”
비정형분석
“WHY is it happening?”
온라인 의류업체 3분기 연속 판매 부진 주문/포장/배송상의 서비스 미흡에 대해 고객은
부정적인 감정을 표출함
Healthcare
Insurance
Crime
Customer Insight
울혈성 심부전 환자의 재입원율 20%
증가
보험사 지난 달 민원 12% 증가
범죄율이 서서히 증가한 지난 6개월 간
체포 건수 감소
의사가 직접 작성한 환자 노트에서 알 수 있는 나이와
재입원율의 상관관계 등 놓친 의학정보
특정 지역 설계사들의 상품 설명 불충분 등 불완전 판매
행태
새로운 패턴의 범죄에 대응할 수 있는 인력재배치 미흡
비정형데이터분석은“무엇”뒤에숨어있는“왜”를알수있도록합니다
IBM Analytics / © 2018 IBM Corporation 9
10. AI for your enterprise data
Watson Explorer 기능
IBM Analytics / © 2018 IBM Corporation
11. 11
IBMWatsonExplorer는비정형데이터분석에특화된솔루션입니다.
확장텍스트 정형화 시각화 / 마이닝
• 트렌드, 패턴, 시간, 빈도, 분포, 연관관계
• 비즈니스 컨텍스트 추출 및 감성 분석
Not only was the pick-up line
at the counter very long, but
I waited 30 minutes just to
talk to a rude representative
who gave me a car that
smelled like smoke, had
stained floor mats, a dented
fender, and only half a tank
of gas
• 형태소 분석
• 용어사전을 이용한
키워드/개체 분석
• Rule기반 문장패턴
인식을 통한 의미 분석
• ML기반의 Classifier
• 웹 기반의 전용 화면
• 패싯 검색 /
• 빈도/상관, 고급 검색
• 시계열 / 편차 /패싯 쌍
/ 연결
• 정형 데이터와 연계
(외부 데이터와 통합 화면)
• IBM Cognos Analytic &
DSX 연계
• 외부데이터와 연계한 화면을 구성하기 위한 환경 제공 (AppBuilder)
• 정형 분석이 가능한 형태로 반출하여 BI솔루션인 Cognos Analytics
및 고급분석 도구인 IBM Data Science Experience에서 활용
RDB
IBM Analytics / © 2018 IBM Corporation 11
12. 12
IBMWatsonExplorer는비정형데이터분석에특화된솔루션입니다.
기업내부
• 콜센터, 상담메모, 녹취,…
• eMail, 게시판, KMS, ECM
• 설비결함 및 정비로그
• 진단 및 처방기록,. 등
기업외부
• SNS(페이스북, 트위터,
밴드,..)
• 웹 사이트
• 리서치 기관 자료
• 특허, 논문, 잡지,.. 등
아우~~~~! 너무 귀여운
에스쁘아 미니미 러브코치!
향은 5가지다 물론 좋구요..
향수라는 느낌보다 엄마가
좋은 향기 넣어
빨래한.스쳐지나갈떄 은은한
향기가나는! 참 좋은
향기였어요 !모든 향기가
대부분 시원했으며. 달콤한
사랑의 향기! 에스쁘아
미니미
일반명사 아우
부사 너무
형용사 귀엽다
수정된명사 귀엽다 … 에스쁘아
긍정적 귀엽다
기타 에스쁘아
명사 시퀸스 에스쁘아 미니 미 러브
일반명사 미니
명사시퀸스 미니 미 러브 코치
일반명사 미
비정형을 정형화
Cognitive View
Export전 처리
자연어 분석 기술은 다양한 형태의 대내외 비정형 데이터를 수집, 분석하고 그 분석 결과를 시각화하여 다양한
인사이트를 제공합니다.
IBM Analytics / © 2018 IBM Corporation 12
13. 관리자
사용자
분석가
관리
보고서
분석도구
REST
대시보드,
정형보고서 및 검색
Financial
Applications
Scorecards
Planning and
Reporting
Business Intelligence
& Analytics
ETL
기업 외부
FTP
기업내부
거버넌스 개발환경 보안
Thumbnail
Index
Facet Count
Sub Index
Taxonomy
Index
Search
Index
뉴스 빅데이터 분석서버
Crawler
Framework
Importer
Framework
Document Processor
Parser
Document
Generator
Annotator
UIMA
Annotator
ExporterCommon Infrastructure
Control Monitor Configuration
Logging Security Scheduler
Raw Data
Store
Document
Cache
Crawler
Plug-in
Crawlers
CSV
Importer
Indexer
Service
Indexer
Export Plug-in
Inspector
Text Analytics
& Search
Runtime
xx용
수집 DB
SNS
뉴스기사
원문
뉴스기사
카테고리
뉴스기사
메타데이터
Crawler
영역
UMIA 분석 엔진
자연어 분석 결과
저장 및 검색
분석 결과 보기 및
API
시스템 설정 / 관리 사용자 인터페이스
WEX서비스구성도
16. 16
텍스트처리를위한UIMA아키텍처(2/2)
ABC생명 의 가나 연금보험으로 건강한 노후를 준비하세요
Text Analysis
ABC생명
고유명사
회사명
상품홍보
형태소 분석
품사 정보 분석
개체명 분석
이벤트 분석
UIMAFramework
의 가나
조사
형용
사
으
로
조사
건강한
형용사
노후
준비하세
요
명사 동사
상품명
연
금
명사
보
험
명사
를
조사
회사명+상품명+’노후 를 준비하세요’
(ABC생명 + 가나 연금 보험 + ‘노후를 준비하세요’)
반복
IBM Analytics / © 2018 IBM Corporation 16
17. AI for your enterprise data
Watson Explorer 12(oneWEX)새로운 기능들
IBM Analytics / © 2018 IBM Corporation
18. 18
oneWEX의새로운기능들
• ICP(IBM Cloud Private) 기반 환경의 유연한
확장성
• Docker 컨테이너 기반 환경하에서 마이크로
서비스 기반으로 운영됨
• 새로운 컨텐츠 마이닝과 관리
• LoB 기반의 사용자 인터페이스
• 사용자는 마이닝 히스토리를
• 새로운 마이닝 기법으로 가이드를 제시
• 새로운 개념의 관리 기법
• 데이터 세트와 컬렉션
• 기계 학습 기반의 역량
• 문서 분류(Document Classification)
• 상관 관계 기반의 검색(Ranker)
IBM Analytics / © 2018 IBM Corporation 18
19. oneWEX아키텍처
• Based on Docker/Kubernetes
• Services
• Ingestion Service
• Crawl and convert
• Enrichment Service
• Apply annotator per fields
• Machine Learning Service
• ML based Classifier/Ranker
• Exploration Service
• Solr based new index/search
• Applications
• Content Miner
• AppBuilder
• Admin GUI
AppBuilder
Content
Miner
Admin
Ingestion
Service
Enrichment
Service
Exploration
Service
M-Learning
Service
Embedded
TensorFlow
Embedded
HDFS/YARN
Solr x
ZooKeeper
nginx
WEX Frontend
WEX Ingestion
CouchDB
Fluentd
WEX Plugin
IBM Cloud Private (K8s)
WEX IngestionWEX Ingestion
ZooKeeperZooKeeper
Solr xWEX PluginSolr xWEX Plugin
Embedded
TensorFlow
Embedded
HDFS/YARN
Embedded
TensorFlow
Embedded
HDFS/YARN
ICP(IBM Cloud Private) 기반 환경의 유연한 확장성
20. 20
oneWEX서비스구성도
Database
File System
Data
Sources
Data Crawler
Data Enricher
Classifier
Runtime
Classifier
Trainer
Labeler
Model
Labeler
Model
Classifier
Model
Data
Importer
Dataset
File
Data
Converter
Miner Application
AppBuilder
and other
Applications
DictionaryDictionary
Dictionary
Custom
Annotator
Collection
Search
Analytics
Runtime
Acquire
Analyze and SearchEnrich
IBM Analytics / © 2018 IBM Corporation 20
ICP(IBM Cloud Private) 기반 환경의 유연한 확장성
21. 21
Content Miner 인터페이스는 손쉬운 화면, ML 및 AI 기능을 사용하여 일반 사용자 또는 Data
Scientist에게 의미 있고 주요 항목을 제시합니다.
컨텐츠
마이너는
분석을위해
사용됩니다
IBM Analytics / © 2018 IBM Corporation 21
새로운 컨텐츠 마이닝과 관리
oneWEX 컨텐츠마이너
25. 25
WEX의기계학습(MachineLearning)기능
새로운 기계 학습기능이 WEX Core엔진에 내장되어 있으며, 이미 다수의 금융권 사례를 통하여 검증된 기능을
제품화 한 솔루션입니다
• 문서 분류(Document Classifier)
• 문서 내용 분류에 대한 자동 학습을 통한
문서 분류
• 보험 청구 자동 심사 : 규칙 기반 분류의
모호함을 기계학습 모형으로 보강
• 유사 문서(Ranker) 추천
• 유사 문서에 대한 자동 학습 기반 Ranking
• 콜센터 자동 응답 추천 기능 – 주어진 질문
내용에 대해 가장 유사한 답변을 자동 매핑
NLP
ML
model
Classifier
Machine
Learning
Cognitive
Advise
Document
IBM Analytics / © 2018 IBM Corporation 25
기계학습 기반의 역량
26. 26
ML기반의문서분류기능(1/2)
Documents
Classification
by Machine Learning Classification Result
(Labels)
Politics, Economy,
Science, Sports, …
"더 빨리 뛰게 하는 신발 기술의
발전은 100미터 달리기 기록의
향상에 기여합니다."
Sports
Economy
✓
✗
Science ✗
자동 분류는 현재 기계 학습 기술의 가장 실용적인 응용 프로그램입니다.
▪ 인간과 비교 : 압도적으로 빠름
▪ 규칙 기반 분류와 비교 : 충분한 학습 데이터로 높은 정확도와 많은 양의 복잡한 규칙을 관리 할 필요가 없음
IBM Analytics / © 2018 IBM Corporation 26
기계학습 기반의 역량
27. 27
ML기반의문서분류기능(2/2)
Content (문서 본문 ) Class Labeling(내용 분류)
Three pieces of chocolate missing from a
dozen-pack
Amount.shortage
One cup of mint jelly missing from a 12-p
ack
Amount.shortage
I bought chocolate ice cream, but the insi
de of the container was dirty.
Is it safe?
Package_container.dirt
Some juice leaked from the bottom of th
e juice pack.
Package_container.lear
IBM Analytics / © 2018 IBM Corporation 27
기계학습 기반의 역량
28. 28
[ Backup Slide] 문서 분류자 기반 정확도
Training:
Run the Trained Model:
WEX ML-DC
IBM Analytics / © 2018 IBM Corporation 28
기계학습 기반의 역량
29. 29
ML기반의유사문서추천-Sumitomo Mitsui Banking Corp.
학습된 유사문서
기준에 따라 결과
Ranking을 조정
• 비즈니스 요구 사항
▪ 잦은 이직으로 인한 전문 콜센터 요원의
부족
▪ 체계화되지 않은 고객 응대로 느린 응답
시간 및 잦은 업무 중단
▪ 고객 서비스에 대한 업무 개선이 필요
• 소스 데이터
▪ 운영 매뉴얼, 오류 코드, 지점 정보,
스크립트, FAQ 등
구현 항목
• 상담원은 논의 된 주제를 기반으로
컨텐츠 추천
▪ 순위가 매겨진 답변 후보군 제시 최상의
정보를 즉각적으로 표시
• NLQ1) 기반의 정보 검색
• ML 적용
• 다국어 지원(일본어, 영어) 확장
▪ 신용 관리 전문 주제를 포함, 국내 유럽,
미국 고객까지 지원 확대
IBM Analytics / © 2018 IBM Corporation 29
기계학습 기반의 역량
30. 30
확장 : Watson Explorer Integration with DSX Local
▪ WEX 기능은 DSX Local Notebook에서 이용할 수 있습니다.
• 비정형 데이터 분석으로 확장:
Notebook에서 데이터 분석가는 다양한 라이브러리 (예 : numpy로 숫자
분석)로 구조화 된 데이터를 분석하고 WEX NLP로 구조화되지 않은
데이터를 완벽하게 분석 할 수 있습니다
• Reporting:
WEX의 분석 결과는 Notebook으로 시각화 할 수 있으며 데이터 분석가
사이에서 공유 될 수 있습니다.
▪ Cognos Analytics 고객은 Watson Explorer를 활용함으로써 보다 더큰
이익을 얻을 수 있습니다.
• Cognos Analytics는 구조화된 데이터에 구조화되지 않은 데이터를
추가하여 분석 및 보고 역량을 확장 할 수 있습니다.
• 보고서, 시각화 및 배포를 위해 Watson Explorer 분석내용을 Cognos
Analytics로 직접 보낼 수 있습니다.
• Watson Explorer는 초기 분석에 사용할 수 있으므로 대용량 데이터 집합을
줄여 Cognos Analytics로 내 보내어 더 많은 사용자가 더 많은 분석과
액세스를 할 수 있습니다.
• Watson Explorer는 Cognos Analytics에서 제공하는 "What"뒤에 "Why"에
대한 답을 제공합니다.
IBM Analytics / © 2018 IBM Corporation 30
확장성
31. WEX를 정리해보면
좋은 인지적 탐사 및 콘텐츠 분석 요구 사항
• 필요한 데이터를 효율적인 데이터 세트로 관리
• 강력한 자연어 분석 기반 검색 및 분류
• 규칙 기반 학습과 기계 학습 학습의 폭 넓고 유연한 NLP 및 텍스트 분석
• 손쉬운 사용과 강력한 시각화
• 사용을 통한 새로운 인사이트 및 개선
IBM Watson Explorer
Explore Analyze
Advise
IBM Analytics / © 2018 IBM Corporation 31
