2017 Googl I/O Extended Seoul에서 발표한 자료입니다. Google Assistant와 Actions on Google에 대해서 설명합니다.

1. 이원제
Lezhin Entertainment
nurinamu
Ready~ Actions! on Google
ft. Google Assistant

2. 이원제 ( nurinamu )
Lezhin Entertainment
Backend 개발자
ONCE

3. Google I/O 2017

4. 참고 URL : https://medium.com/appchance/from-mobile-first-to-ai-first-google-i-o-2017-conference-c93247d8c234

5. Mobile First to AI First
at 2017 Google I/O
at #madebygoogle 2016 10

7. Mobile First
모바일 사용자의 확대
멀티터치, 카메라, 좌표계 등을 이용한 서비스들의 사용자 경험의 변화
인증, 결제 등의 새로운 사용자 경험의 탄생

8. A.I. First
모든 서비스에 대한 ML 적용
AI를 이용한 사용자의 요구사항 해결
??

9. 참고 URL : https://ai.google/

10. A.I.?
인공지능!

11. 참고 URL : http://www.lgblog.co.kr/lg-story/lg-product/75099
오래전부터
들어는 봤다

12. 출처 : 레진코믹스
“그리고 인간이 되었다.”
참고 URL : https://www.lezhin.com/ko/comic/human

13. 인지
음성인식, 영상인식
이해 / 판단
자연어처리, 사물인식, 영상인식
학습
인공지능이 뭐하는 것?
기계 학습, 강화 학습, 설명 기반 학습, 유추에 의한 학습, 지도 학습, 비지도 학습………

14. Google Voice Search
참고 URL : http://chromespot.com/wp-content/uploads/2013/05/google-search-voice.png

15. Face Detection
참고 URL : http://scontent.cdninstagram.com/t51.2885-15/e35/13385876_146541885765268_1170746032_n.jpg?ig_cache_key=MTI3NTczMTMzMzUxNzA3NDIxMw%3D%3D.2

16. 인지
음성인식, 영상인식
이해 / 판단
자연어처리, 사물인식, 영상인식
학습
인공지능이 뭐하는 것?
기계 학습, 강화 학습, 설명 기반 학습, 유추에 의한 학습, 지도 학습, 비지도 학습………

17. = Natural Language Processing (자연어처리)
= No Look Pass

18. 가가가가가가
방금 본 저 사람
주격조사
가씨성을 가진 집안
저번에 이야기 했던 그 사람
맞나요? (의문형 술어)
학습하지 않으면 의미를 알 수 없는 Text

19. 사물인식

20. Google Lens
https://www.youtube.com/watch?v=neB1S0UP
JFw

22. 인지
음성인식, 영상인식
이해 / 판단
자연어처리, 사물인식, 영상인식
학습
기계 학습, 강화 학습, 설명 기반 학습, 유추에 의한 학습, 지도 학습, 비지도 학습………
인공지능이 뭐하는 것?

23. 가가가가가가
이젠 이 텍스트 만으로 의미를 알 수 있음. 왜?

24. 학습완료.
( 오늘도 나의 뇌 신경이 하나 더 배웁니다. )

26. 사장님 : 우리도 AI 해야지?

27. 그래서 있습니다.

28. 인공지능 기능을 제공
음성/문자 인식, 자연어처리, 학습
Assistant SDK
Google Home에서만 가능했던 Assistant기능을 다른 기기로 확장
진화중
아직 한국어 지원이 되지 않고 있음!!
Google Assistant

29. 참고 URL : https://www.youtube.com/watch?v=NDI0H9F08n8

30. 참고 URL : https://aiyprojects.withgoogle.com/

31. 참고 URL : https://www.youtube.com/watch?v=BsL9SKj-K68

32. 참고 URL : https://www.youtube.com/watch?v=BsL9SKj-K68

33. 참고 URL : https://www.youtube.com/watch?v=BsL9SKj-K68

34. Google Assistant SDK는 IoT.. 3rd Party Things를 위
한 것.
그렇다면 3rd Party Apps을 위한 것은!?
( 나 혼자 다 하는 것보다 eco system이 중요하다는 것은 모두 알고 있으니. )

35. 또 있습니다.
참고 URL : https://www.orbacles.com/2017/05/Google-Assistant-New-Features.htm

36. What?
Google Assitant에서 수행될 동작들을 만드는 것
How?
Api.ai 또는 Actions SDK 사용
Where?
Google Asisstant가 지원되는 모든 곳에서 가능
Actions on Google

37. Ready~
간단한 프리뷰

38. Actions
Action
Intent Intent Intent Intent
Fulfillmen
t
Fulfillmen
t
Fulfillmen
t
Assistant

39. 사용자의 의도
사용자의 의도를 처리하는 하나의 단위.
Action은 사용자의 입력을 자연어 처리 후 가장 적합한 실행 조건을 가진 Intent를 수행한다
Entity 추출
Intent가 선택이 되면 Intent에서 필요로하는 Entity들을 사용자 질의에서 추출하고 가공할
Fulfillment 연결
Webhook을 통해 외부 응답을 받아올 수 있다.
Intent

40. Intent에서 사용할 변수
Entity명은 내부에서 사용할 변수명이 되고 해당 값들은
미리 지정이 되어있어야 입력값이 해당 entity로 설정이됨.
시스템 Entity
Api.ai에서 이미 만들어져 있는 entity들로 sys.xxx 로 참고 가능함.
https://api.ai/docs/reference/system-entities
동음 처리
하나의 entity 값을 반영할때 동음처리가능한 여러 단어를 입력가능.
action으로 값을 받기위해 동의어로 auction을 입력하면 사용자가 auction 발음시 action으로 처리
Entity

41. Webhook을 실행
Fulfillment에 정의된 url로 rest api로 action을 전달한다.
제약사항
5 sec timeout, Response size limit : 64k
SlotFilling
Required Parameter를 Webhook을 통해 채울 수 있는 기능
Fulfillment

42. Action을 설계하고 만들 수 있는 대화형 플랫폼
Actions SDK 기능들을 wrapping하고 있으며 사용하기 쉽게 IDE를 제공함
쉬운 사용
간단한 대화나 시나리오들을 샘플로 제공해서 해당 Action을 수정해서 사용가능하게 제공
Action의 실시간 테스트
Api.ai 작업창에서 바로 생성한 intent를 테스트해볼 수 있게 환경을 제공

43. App 생성
Api.ai Console에서 생성
Intent 등록
질의 처리를 위한 Intent 등록
Entity 등록
질의에서 사용되는 Entity 정의
Api.ai를 이용한 개발 순서
Integration
외부와 연결할 Webhook 등록
Test
Emulator 또는 Device에서 테스트
App 등록
배포를 위해 등록

44. Converstion 설계의 고려사항
같은 App이더라도 Surface Capabilities에 따라 사용자의 response나 ask가 달라질 수 있다.
Actions의 다양한 응답방법을 통해서 사용자의 다음 동작을 유도하는 설계가 필요하다.
Responses
Simple Responses
Rich Responses : Basic Card, List Selector, Carousel Selector, Suggestion Chip
Conversation의 설계
Surface Capabilities
현재는 AUDIO, SCREEN 두 가지만 존재

45. Simple Response
- Audio (TTS/SSML)
SSML : Speech Synthesis Markup Language

46. Basic Card
- Image
- Title, Sub-Title
- Text body
- Link Bottom

47. List Selector

48. Carousel Selector

49. Suggestion Chips

50. Purchase / Reservation / Appointment
주소입력 -> 주문 -> 결제 -> 배송확인으로 이뤄지는
기본적인 Transaction 처리를 위해 제공되는 API
Preview
아직은 구글 허락을 받아야함. 기다려달라.
Transaction API

51. Action!
시연을 해보아요~!

52. Query 단어의 정의
발음의 차이로 인한 인식률이 떨어지는 단어(비슷한 음의 다른 단어)를 피해야한다.
잘 만들어 놓고 App이 실행 안되면…
빨리 등록하자
App Triggger가되는 단어는 선점형. 이미 대기업 것들은 다 등록됨.
UX 고민
사용자 경험이 여기서는 화면입력이 아닌 자연어.
화면 배치가 주요했던 UX 경험은 안녕.
App 만들면서 고려가 필요한 부분

53. 참고 URL : http://www.la-screenwriter.com/2014/03/04/her-script/

54. 누가누가 잘하나?
Google Assistant, Amazon Alexa, Apple Siri, Samsung Bixby
한국어는 누가누가 잘하나?
SKT NUGU, KT GiGA Genie
Naver(Line?) Clova - 한국어 서비스일까?
IBM Watson, MS Zo
이건 언제 서비스화?
A.I. Wars

55. 참고 URL : https://developers.google.com/actions/challenge

56. 레진에서는 백엔드개발자를 찾고 있습니
다.
레진에서는 데이터전문가를 찾고 있습니
다.
레진에서는 안드로이드개발자를 찾고 있
습니다.
같이 즐겁게 일하실 분을 찾고 있습니다.
https://github.com/lezhin/apply

57. 감사합니다.
https://www.lezhin.com 많이 애용해주세요.