엘라스틱서치 실무가이드 출간 기념 세미나 자료입니다.

1. 공감세미나
한글 형태소 분석기 활용하기
JAVACAFE
김흥래

2. 공감세미나발표자
김흥래 (Naver Business Platform)
자바카페 커뮤니티의 운영진이다.
심심할 틈 없이 신기술이 쏟아지는 IT와 사랑에 빠진 개발자로,
개발자간의 소통과 교류를 즐긴다.
현재 네이버 비즈니스 플랫폼에서 다양한 서비스를 개발하고 있다.
hrkim3468@gmail.com

3. 공감세미나형태소
예) 가방
‘가‘와 ‘방’으로 나누면 본래의 의미를 잃어버리므로 하나의 형태소이다.
의미를 가지는 가장 작은 단위를 “형태소”라 한다.
예) 책가방, 돈가방
각각 [‘책’, ‘가방’], [‘돈’, ‘가방’]으로 나눠도 각각 본래의 의미를 가진다.
이는 각각 2개의 형태소로 나눌 수 있다.

4. 공감세미나형태소
한글의 품사 체계

5. 공감세미나형태소
품사, 어간, 어근, 접사, 어미

6. 공감세미나형태소
품사, 어간, 어근, 접사, 어미

7. 공감세미나형태소
방 or 가방
아버지가 방에 들어가신다.
아버지 가방에 들어가신다.
아버지가방에들어가신다.

8. 공감세미나형태소
[주차 + 장] or [주 + 차장]
주차장

9. 공감세미나한국어의 형태론적 특성
예) like (명사/동사/형용사/전차사/접속사)
I don't like to study English.
영어는 단어의 중의성이 큰 반면
어절 분리의 문제가 없다.

10. 공감세미나한국어의 형태론적 특성
예) ‘감기는’
감기(명사) + 는(조사)
감기(동사) + 는(어말어미)
감(동사) + 기 (명사형어미) + 는(조사)
한국어는 품사의 중의성은 적은 반면
어절 유형에 따른 형태소 분리가 문제이다.
많은 사람들이 겨울에 감기에 걸려요.
테이프가 앞으로 감기 재생 모드입니다.
피곤한 두 눈을 감기 전에, 그는 방을 둘러보았다.
어떤 유형을 우선순위로 사용하느냐에 따라
한국어 형태소 분석기의 성능이 좌우된다.

11. 공감세미나한국어 말뭉치
21세기 세종 계획은 1997년에 그 계획이 수립되어
1998년부터 2007년까지 10년 동안 시행
대부분의 한글 형태소 분석기들이 사용하고 있는 사전이
여기서 파생됨
https://ithub.korean.go.kr/user/corpus/corpusSearchManager.do

12. 공감세미나형태소 분석 과정

13. 공감세미나형태소 분석 과정
CharFilter

14. 공감세미나형태소 분석 과정
Tokenizer +
TokenFilter

15. 공감세미나형태소 분석 과정
Tokenizer +
TokenFilter +
복합어사전

16. 공감세미나한글 형태소 분석기
오늘 소개할 한글 형태소 분석기
1. Arirang
2. Seunjeon
3. OpenKoreaText
4. Nori

17. 공감세미나한글 형태소 분석기
플러그인 다운로드
https://github.com/javacafe-project/elastic-book-etc

18. 공감세미나한글 형태소 분석기 (Arirang)
루씬 한글 분석기 커뮤니티에서 개발중인 한글 형태소 분석기
http://cafe.naver.com/korlucene

19. 공감세미나한글 형태소 분석기 (Arirang)
설치 및 제거
1) 설치
bin/elasticsearch-plugin install https://github.com/javacafe-project/
elastic-book-etc/raw/master/plugin/elasticsearch-analysis-arirang-
6.4.3.zip
2) 제거
bin/elasticsearch-plugin remove analysis-arirang

20. 공감세미나한글 형태소 분석기 (Arirang)
테스트 (기본)

21. 공감세미나한글 형태소 분석기 (Arirang)
테스트 (기본)

22. 공감세미나한글 형태소 분석기 (seunjeon)
스칼라로 개발된 Mecab 기반의 한글 형태소 분석기
https://bitbucket.org/eunjeon/seunjeon/src/master

23. 공감세미나한글 형태소 분석기 (seunjeon)
설치 및 제거
1) 설치
bin/elasticsearch-plugin install https://github.com/javacafe-
project/elastic-book-etc/raw/master/plugin/elasticsearch-analysis-
seunjeon-6.4.3.zip
2) 제거
bin/elasticsearch-plugin remove analysis-seunjeon

24. 공감세미나한글 형태소 분석기 (seunjeon)
테스트 (기본)

25. 공감세미나한글 형태소 분석기 (seunjeon)
테스트 (기본)

26. 공감세미나한글 형태소 분석기 (OpenKoreanText)
트위터에서 개발한 한글 형태소 분석기
https://github.com/open-korean-text

27. 공감세미나한글 형태소 분석기 (OpenKoreanText)
설치 및 제거
1) 설치
bin/elasticsearch-plugin install https://github.com/javacafe-
project/elastic-book-etc/raw/master/plugin/elasticsearch-analysis-
openkoreantext-6.4.3-plugin.zip
2) 제거
bin/elasticsearch-plugin remove elasticsearch-analysis-
openkoreantext

28. 공감세미나한글 형태소 분석기 (OpenKoreanText)
테스트 (기본)

29. 공감세미나한글 형태소 분석기 (OpenKoreanText)
테스트 (기본)

30. 공감세미나한글 형태소 분석기 (Nori)
Lucene에서 제공하는 공식 한국어 형태소 분석기
https://github.com/apache/lucene-solr/tree/master/lucene/analysis/nori
https://www.elastic.co/kr/blog/nori-the-official-elasticsearch-plugin-for-korean-language-analysis

31. 공감세미나한글 형태소 분석기 (Nori)
설치 및 제거
1) 설치
bin/elasticsearch-plugin install analysis-nori
2) 제거
bin/elasticsearch-plugin remove analysis-nori

32. 공감세미나한글 형태소 분석기 (Nori)
테스트 (기본)

33. 공감세미나한글 형태소 분석기 (Nori)
테스트 (기본)

34. 공감세미나한글 형태소 분석기 비교하기
테스트1 (아버지가 방에 들어가신다.)
테스트2 (아버지가방에들어가신다.)
테스트3 (주차장)

35. 공감세미나한글 형태소 분석기 비교하기
테스트1 (아버지가 방에 들어가신다.)

36. 공감세미나한글 형태소 분석기 비교하기
테스트2 (아버지가방에들어가신다.)

37. 공감세미나한글 형태소 분석기 비교하기
테스트3 (주차장)

38. 공감세미나
Thank You