DeepLearning Keyboard

1. 모두의 키보드
2018.12.01
CosmosBee
전 창 욱

2. 2015. 10
모두의 연구소 참여
(DL/ML 시작)
2016. 10
국립과천과학관
관장상 수상
(거울아거울아)
2016. 10
Google Hack Fair
Seoul Make Fair
(거울아거울아)
2016. 12
명견만리 출연
(덕후편)
2017. 12
서울혁신챌리지
혁신챌린지상 수상
(오 마이 베이비)
2018. 10
국어 정보 처리
시스템 경진 대회
일반 부분 최초 금상 수상
(모두의 키보드)
2019. 01 (예정)
머신러닝과 텐서플로우로
시작하는 자연어처리
부재: 로지스틱 부터 트랜스포머까지
(위키북스)
발표자 소개
Software Engineer

3. 동영상(1분 30초)

4. 만든 이유
빨리 쉽게 모바일비 일반인

5. 개발 과제
음절 예측
문장 추천
STANDALONE APP
KEYBOARD
비 일반인을 위한 기능

6. 음절 예측
초성 음절 예측 추천
앞 음절을 통한 예측 추천
(예) 입력: 안ㄴ 추천:내, 녕, 는, 노, 나, 너, 년, 논, 난, 놓)
(예) 입력: 안 추천:에, 으, 을, 하, 되, 내, 전, 타, 은)

7. 음절 예측
ㅇ ㅏ ㄴ ㄴ ㅕ ㅇ ㅎ ㅏ ㅅ ㅔ ㅇ ㅛ
ㅇ 아 안 ㄴ녀 녕 ㅎ하 ㅅ세 ㅇ 요
초성에서 현재 음절 예측 : 5회
음절에서 다음 음절 예측 : 7회
총 12회 예측 발생

8. 음절 예측
ㅇㅏ
ㄴ
초성 중성
종성
한글 코드 : 1,656,000 (약 백 육십 만)
현대 한글 : 11,172 (약 만 천)
상위 99.9% : 2,350

9. 음절 예측
음절 데이터 : 약 27,000,000 (약 이천 칠백만)
현대 문어체 : 95%
현대 구어체 : 5%
데이터 가공 / 데이터 수집

10. 음절 예측음절 예측
X
X
F(X)
Short-cut connections
CNN
Conv1d
- filter: 100d
- kernel size : 5
residual layer output

11. 음절 예측
Attention
Softmax
상위 99.9% : 2,350
Cross Entropy
Adam10

12. 문장 추천
자주 사용하는 문장 추천
최근에 사용한 문장을 우선 순위 높여 추천
예) 입력: 안 추천: 안녕하세요.
초성 문장 추천
예) 입력: ㅇㄴ 추천: 안녕하세요.

13. 문장 추천
문장 입력 회수 문장 입력 시간
문장 입력 추천 특성
Count Timestamp
Feature Table 구성
입력 문장
Sentence

14. 문장 추천
검색
업데이트입력
검색
미 추천추천
입력 완료 입력 중

15. 초성 추천
ㅇㅏ
ㄴ
초성 중성
종성
Feature Table 완성형 문장 등록

16. 초성 추천
유니코드 한글 소리 마디
유니 코드 사용
초성 중성 종성 영역이
각 음절 마다 코드로 매핑 됨
‘가’ AC00 ‘힣’ D7A3
11184(약 만천)개 AC00 ~ D7AF 범위
19 (초성)
21 (중성)
28 (종성)

17. 초성 추천
21(중성) * 28(종성) = 588
초성 19개
추천 가능 음절
‘ㄱ’, ‘ㄴ’, ‘ㄷ’ …., ‘ㅎ’

18. 초성 추천
S1 + S2 + S3 + S4 …. + Sn
588 * 588 * 588 * 588 * 588 * 588 * 588 * 588 * 588 * 588 * 588

19. 초성 추천 검색 성능 고려 필요
Database File 입출력 최소화 (WAL 적용)

20. 초성 추천 검색 성능 고려 필요
구문 컴파일러 사용(compileStatement 사용)

21. 초성 추천 검색 성능 고려 필요
Index 사용

22. 후보 문장
가장 많이 사용될 확률이 높은 문장 1000개 입력
데이터 가공 / 데이터 입력

23. 전체 구조
User Interface
Keyboard Input Manager
한글 Automata
Candidate
Manager
예측모델
(Tensor Flow)
Data I/O

24. STANDALONE APP (장점)
서비스 비용
오프라인 서비스
지연 시간
개인 정보 보안

25. STANDALONE APP (고려 사항)
Mobile Tensorflow lib 활용
SQLite 활용
Mobile 환경에 적합한 얇고 정확도 좋은 모델 설계
Memory 효율적 사용

26. STANDALONE APP (Save PB)
Package : from tensorflow.python.tools import freeze_graph
Input : graph.pbtxt, model.ckpt-10000
Output : mobile.pb
Function: freeze_graph.freeze_graph

27. STANDALONE APP (Load PB)
Package :
import org.tensorflow.contrib.android.TensorFlowInferenceInterface
Input : AssetManager object, model file path
Output : interface object
Function: new TensorFlowInferenceInterface

28. STANDALONE APP
Android 5.0 (API 21)
Lollipop
Device Dependency

29. KEYBOARD
한글 영문 숫자 기호 지원
한글 조립법(오토마타) 기능
음절 추천 문장 추천 VIEW 지원
진행 중 문장 및 작성 문자 Buffering 기능

30. 비 일반인을 위한 기능
블루투스 스위치를 통한 키보드 제어 기능 지원

31. 문제점
Keyboard 공간 효율적 설계 필요
사용자 맞춤형 음절 예측 필요 (나이, 성별)
대화에 전체적인 맥락적 추천 어려움

32. 개발 순환 구조
1. 데이터 수집
2. 모델링
3. TF Mobile 변환4. Mobile 연동
5. Mobile 최적화
6. Mobile 테스트

33. 개발 마음가짐
생각을 행동으로 옮기는 도전 정신
Deep Learning 중급 지식
Mobile 중급 지식
끝까지 포기하지 않는 끈기
NLP 기초 지식

34. 감사합니다.