4. 자연어 처리(Natural Language Processing)란? - 1
• 인간의 언어(텍스트)를 기계적으로 분석해서 컴퓨터
가 이해할 수 있는 형태로 변환하는 일
문서를 문장으로 분할하고,
문장을 최소의 의미 단위인 형태소로 나누어 품사를 부여하고,
문장에 포함된 인물명, 기업명, 장소, 숫자 표현 등을 인식함
14. Word Embedding
• Word Representation
cat=[0,0,0,0,0,…,1,0,0,…0]
• Word Embedding
• 대량의 문서 집합을 이용하여 단어 하나 하나를 수십
혹은 수백차원의 벡터로 변환
• cat= [0.286, 0.792, -0.177, -0.107, 0.109,
-0.542, 0.349, 0.271, …]
15. Word Embedding - similarity
Tomas Mikolov et al.
“Efficient Estimation of Word Representations in Vector Space”
23. Sentiment Classification - 2
고불만
포인트유효기간을 들먹이며 강매당했다고 주장
좋지도 않은물건을 팔려고 한거아니냐, 바쁜데 전 화해서 전화끊지도
않고 주위에서도 사기당한거 아니냐며 강매당한거 같아 기분이 나
쁘다고함
딥러닝(Deep Learning)엔진
불만
차단확인안내했으나 차단한적없다고 주장 통신사쪽으로 확인해보시
라 안내하니 차단한거 없으면 당신 책임이다 단선하심
알지도 못하는 사람에게 카드가 발급되었다며, 불법 아니냐고 불만
딥러닝 학습
감성 분류 모델
중립
…
고불만
포인트유효기간을 들먹이며 강매당했다고 주장
좋지도 않은물건을 팔려고 한거아니냐, 바쁜데 전 화해서 전화끊지도
않고 주위에서도 사기당한거 아니냐며 강매당한거 같아 기분이 나
쁘다고함
고불만
포인트유효기간을 들먹이며 강매당했다고
주장
좋지도 않은물건을 팔려고 한거아니냐, 바
쁜데 전 화해서 전화끊지도 않고 주위에서
도 사기당한거 아니냐며 강매당한거 같아
기분이 나쁘다고함
불만
차단확인안내했으나 차단한적없다고 주장 통신사쪽으로 확인해보시
라 안내하니 차단한거 없으면 당신 책임이다 단선하심
알지도 못하는 사람에게 카드가 발급되었다며, 불법 아니냐고 불만
불만
차단확인안내했으나 차단한적없다고 주장
통신사쪽으로 확인해보시라 안내하니 차단
한거 없으면 당신 책임이다 단선하심
알지도 못하는 사람에게 카드가 발급되었다
며, 불법 아니냐고 불만
중립
…
중립
…
24. MindsClassifier
탐지패턴사전
HMD
문서
분류 결과
(Top N Tagged)
탐지패턴 보강
(HMD Boosting)
파라미터 튜닝
(Parameter Tuning)
학습데이터 보강
(Training Data Boosting)
자연어처리(NLP)
용례추출
학습데이터 구축
(Training Data)
패턴기반 분류기
(HMD Classifier)
딥러닝 자동분류기
(DNN Classifier)
하이브리드 분류기
(Hybrid Classifier)
워드 임베딩
(Word Embedding)1
2
3
5
6
7
8
9
4