„Computer, Tee, Earl Grey, heiß“ Jeder Star-Trek-Fan wird dieses Zitat kennen, mit dem Capt. Picard sich regelmäßig sein Lieblingsgetränk replizieren lässt. Die Sprachsteuerung von Computern und Maschinen ist fester Bestandteil vieler Science-Fiction-Szenarien. Daher ist es auch nicht verwunderlich, dass schon mehrere Versuche unternommen wurden, diese Technologie zu etablieren, mit eher durchschnittlichem Erfolg. Allerdings deutet sich aktuell ein großer Fortschritt in der Entwicklung von Sprachsteuerungen an, die sich am deutlichsten in der Inkarnation von Geräten wie Amazon Echo oder Google Home darstellt. In der Session zeigen wir die prinzipielle Funktionsweise einer Sprachsteuerung, die Vergleichbarkeit mit Chatbots, und erweitern einen bestehenden Dienst um ein Voice-User-Interface. Dabei zeigen sich die Besonderheit dieser Benutzerschnittstelle im Vergleich zu grafischen Interfaces und die Herausforderungen, die damit verbunden sind. Event: MobileTech Conference 2017 Datum: 15.03.2017 Speaker: Dominik Helleberg, inovex GmbH Weitere Tech-Vorträge unter https://www.inovex.de/de/content-pool/vortraege/

1. Sprachsteuerung mit dem Google Assistant
Add a new User Interface to your Product
Dominik Helleberg

2. CC 3.0 https://de.wikipedia.org/wiki/2001:_Odyssee_im_Weltraum#/media/File:HAL9000_Better_Reflection.svg
CC 3.0 https://en.wikipedia.org/wiki/KITT#/media/File:KITT_Interior_at_Toronto_Auto_Show_2011.jpg
CC 2.0 https://commons.wikimedia.org/wiki/Category:Star_Trek:_The_Next_Generation#/media/File:MasterSituationMonitor.jpg
Voice User Interfaces
The Hollywood Version

3. https://www.youtube.com/watch?v=N3i6NoUZsSw
https://en.wikipedia.org/wiki/Dragon_NaturallySpeaking#/media/File:Dragon_Naturally_Speaking_Logo.png
https://en.wikipedia.org/wiki/Nao_(robot)
https://en.wikipedia.org/wiki/Interactive_voice_response#History
Voice User Interfaces
The History

4. https://en.wikipedia.org/wiki/Siri
https://en.wikipedia.org/wiki/Cortana_(software)
https://en.wikipedia.org/wiki/Google_Voice_Search
https://pixabay.com/p-627876/?no_redirect
Voice User Interfaces
The new(er) ones

5. https://en.wikipedia.org/wiki/Google_Assistant
https://en.wikipedia.org/wiki/Amazon_Alexa
https://en.wikipedia.org/wiki/Amazon_Echo
https://madeby.google.com/home/
Voice User Interfaces
The hot ones

6. https://en.wikipedia.org/wiki/Amazon_Echo
https://madeby.google.com/home/
Voice User Interfaces
The hot ones - Features
Nachrichten / News abfragen
Smarthome steuern
Musik abspielen
Wettervorhersage
Chromecast steuern
Wecker / Timer stellen
Taxi rufen
Sportergebnisse
TV Programm abfragen
Kochrezepte
Übersetzungen
Kalender vorlesen
ToDo Liste
Fluginformationen
Verkehrslage
Shopping

7. Voice User Interfaces
The hot ones - APIs
Skills
Custom Skills
Smarthome Skills
Flash Briefing Skills
Actions
on Google
Conversational Actions
Direct Actions
https://en.wikipedia.org/wiki/Amazon_Echo
https://madeby.google.com/home/

8. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
Natural Language
Understanding

9. Voice User Interfaces
Actions on Google

10. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition

11. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection

12. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction

13. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment

14. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment

15. Voice User Interfaces
Actions on Google – Smart Transport
Google
Home
Speech
Recognition
Action
Selection

16. Voice User Interfaces
Actions on Google – Smart Transport
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction

17. Voice User Interfaces
Actions on Google – Smart Transport
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
https://

18. Voice User Interfaces
Actions on Google – Smart Transport
Welcome Message
WELCOME_INTENT
Complete Entities?
Suchanfrage
Query Entities
Nein Ja
Antwort
(1. Verbindung)
„Nächste“
Antwort
(2. Verbindung)
Query Fulfillment

19. Voice User Interfaces
Actions on Google – Smart Transport

20. Voice User Interfaces
Actions on Google – Smart Transport
Entities
Name Type Req
From * +
To * +
Depature_Date Date (sys)
Depature_Time Time (sys)
Transport_Type „Bus“,
„Tram“, ..

21. Voice User Interfaces
Actions on Google – Smart Transport

22. Voice User Interfaces
Actions on Google – Smart Transport
Welcome Message
WELCOME_INTENT

23. Voice User Interfaces
Actions on Google – Smart Transport
Complete Entities?
Suchanfrage

24. Voice User Interfaces
Actions on Google – Smart Transport
Complete Entities?
Suchanfrage

25. Voice User Interfaces
Actions on Google – Smart Transport
Complete Entities?
Suchanfrage

26. Voice User Interfaces
Actions on Google – Smart Transport
Complete Entities?
Suchanfrage

27. Voice User Interfaces
Actions on Google – Smart Transport
Antwort
(1. Verbindung)
„Nächste“
Antwort
(2. Verbindung)

28. Voice User Interfaces
Actions on Google – Smart Transport

29. Voice User Interfaces
Actions on Google – Smart Transport

30. Voice User Interfaces
Actions on Google – Smart Transport
Welcome Message
WELCOME_INTENT
Complete Entities?
Suchanfrage
Query Entities
Nein Ja
Antwort
(1. Verbindung)
„Nächste“
Antwort
(2. Verbindung)
Query Fulfillment
Ready to publish?
Let‘s beta test... No.

31. Voice User Interfaces
Actions on Google – Smart Transport - Testing
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
ChatBot

32. Voice User Interfaces
Actions on Google – Smart Transport

33. Voice User Interfaces
Actions on Google – Smart Transport

34. Voice User Interfaces
Actions on Google – Smart Transport

35. Voice User Interfaces
Actions on Google – Smart Transport

36. Voice User Interfaces
Actions on Google – Smart Transport

37. Voice User Interfaces
Actions on Google – Smart Transport

38. Voice User Interfaces
Actions on Google – Smart Transport

39. Voice User Interfaces
Actions on Google – Smart Transport

40. Voice User Interfaces
Actions on Google – Smart Transport

41. Voice User Interfaces
Actions on Google – Smart Transport

42. Voice User Interfaces
Actions on Google – Smart Transport
• Beta Tests sind sinnvoll
• User finden unsere Features nicht
• Dafür möchten sie andere Features
• Entities sind immer zu überprüfen
• Deutsch / Englisch zu mischen ist keine good idea...

43. Voice User Interfaces
Actions on Google – Smart Transport
Demo Time

44. Voice User Interfaces
Lessons Learned
• VUI‘s vs. ChatBots

45. Voice User Interfaces
Lessons Learned
• VUI‘s vs. ChatBots
• User fragen sehr spezifische Dinge
• VUI‘s sind gut für kurze, präzise Informationen / Abläufe
• Reaktionszeiten sind wichtig
• Benutzerführung ist wichtig
• Automatisierung / Deployment noch nicht vorhanden
• Neue „Gatekeeper“

46. Voice User Interfaces
Summary / Outlook
• Speech Recognition ist deutlich besser
• NLU braucht noch Verbesserungen
• Abläufe sind immer noch geskripted
• Multi-Account
• Privacy / Security
• Rückkopplung an andere UIs
• Discovery
• Testing

47. Voice User Interfaces
Summary / Outlook
• VUIs sind schon ziemlich cool, aber
Alexa, Du musst echt noch viel lernen...
Danke