2018年10月17日に開催された「Tech Night Vol.11〜明日から実践！スマートホーム・VUI勉強会〜」にて講演した内容です。 https://datahotel.connpass.com/event/102244/

1. インターホンと中国語の部屋
NHNテコラス@運用技術室@運用技術チーム@渡邊 崇文

2. 自己紹介

3. 渡邊 崇文
インフラエンジニア
24/365で物理サーバのお世話をしています。
AWS認定ソリューションアーキテクト プロフェッショナル資格持ち
趣味は読書と新しい何かで遊ぶこと

4. せにょーる
と読んでいただければ。
インターネット界では senyoltw という名前で過ごしています

5. 趣味でIoT周りで遊んでいます
• テックブログに書いたり

6. 趣味でIoT周りで遊んでいます
• GitHubにプログラムを
公開したり

7. その結果・・・

8. http://www.ratocsystems.com/info/news/2018/0222.html

9. 音声制御も可能とな?
• 本製品は、iOS HomeKit APIをエミュレートした、サーバー
「Homebridge」に対応。 Homebridgeを使うことで、お手持ちのiPhone
から音声で家電をコントロールすることが可能です。記事本文より)
• お、自分もこれでお家の家電を操作できるようにしたな!
どんなプログラム使っているのだろう・・・

10. HomebridgeでRPi-IREXを制御する方法
• https://github.com/ratocsystems/rpi-irex より
4.homebridge-cmdプラグインインストール
HomebidgeからRPi-IREX用PythonサンプルファイルでRPi-IREXを制御でき
るようにhomebridge-cmdプラグインをインストールします。
以下のコマンドを実行し、homebridge-cmdをインストールします。
$ sudo npm install -g homebridge-cmd

11. homebridge-cmd・・・?

12. 自分のプログラムだった

13. 自分のプログラムがいろんな所で使われた
• 自分のコードを公開したことでたくさんの人に使用される
• 英語でPull requestsやIssuesが飛んでくる
• Forkされて独自の機能が追加されたプログラムができた
• ブログで動かないって文句言われたり
• TwitterのDMで動かないと文句を言われたり
• プログラムをオープンソースしたことでいろんな出来事が発生した
• 簡単なプログラムだったのでこんなことになるとは思わなかった
• 楽しかった

14. お部屋をスマートホーム化したことで
インタビューも受けた
ソニーネットワーク
コミュニケーションズ株式会社
PreBell
【実例つき】スマートホームって
なに？導入のメリットと4つの注
意点を解説！(01/18公開)

15. 本題

16. 今日、話すこと

17. ・LINEのスマートスピーカー Clovaを
google homeで乗っ取る話
・音楽プレーヤーを再デザインした話
・スマートホーム設計パターン
・玄関のインターホンと連動して会話をし
てくれるbotを作る話
・Actions on Googleからハードウェアを
操作してコーヒードリップ機能付きgoogle
homeを作成した話

18. ・LINEのスマートスピーカー Clovaを
google homeで乗っ取る話
・音楽プレーヤーを再デザインした話
・スマートホーム設計パターン
・玄関のインターホンと連動して会話をし
てくれるbotを作る話←今日はこの話
・Actions on Googleでハードウェアを操
作してコーヒードリップ機能付きgoogle
homeを作成した話

19. 玄関のインターホンと連動して
会話をしてくれるbotを作る話
ところで・・・

20. 中国語の部屋って知ってる?

21. チューリングテストって知ってる?
中国語の部屋はチューリングテストの発展形なので。

22. チューリングテストとは
コンピューターが知能をもつかどうかを判定するテスト。
1950年に英国の数学者アラン・チューリングが考案。
人間および人間を模倣するコンピューターに対し、ディスプレーとキーボードを介してさま
ざまな質問をし、その返答の様子から、どちらが人間でどちらがコンピューターか区別が
できないようであればコンピューターが知能をもつとみなすというもの。(大辞林より)
男性はメールの相手が
コンピュータか女性か
判断できるだろうか・・・?
もし、判断できないのであれば
コンピュータは知性を持っている。

23. 中国語の部屋とは
チューリングテストの発展形

24. 中国語の部屋とは
チューリングテストの発展形
哲学者のジョン・サールが、1980年に学術誌に発表した論文「心・脳・
プログラム」の中で提唱した思考実験。

25. 中国語の部屋とは
サールは、自分が部屋に一人で閉じこめられているところを想像する。室内には中国語
で書かれたたくさんの本があるが、彼には中国語が読めないので、それらはミミズがのた
くったような無意味な記号の羅列にしか見えない。しかし、彼には英語で書かれたマニュ
アルが与えられている。マニュアルには中国語の意味は書かれていないが、一連の記号
をある規則に従って別の記号に変換する方法が詳細に説明されている。 そこへ部屋の
外から、やはり中国語で書かれた質問が与えられる。もちろんサールには質問の意味は
分からない。しかし、マニュアルに従って、中国語の本に並んだ記号を参照した結果、そ
の質問を適切な中国語の回答に変換することができる──「はい、その男はハンバーグ
を食べました」とか何とか。 部屋の外にいる人間は、返ってきた回答文を見て、室内の
人間が中国語に精通していると思いこむ。しかし、依然としてサールは中国語をまったく
知らず、質問の意味も回答の意味も理解していない。規則に従って機械的に作業を行
なっているだけなのだ。 この比喩をＡＩに置き換えてみよ、とサールは言う。中国語の文
書の山を一連のデータに、英語によるマニュアルをプログラムに、作業を行なうサールを
コンピュータに置き換えてみれば、真実は明白だ。ＡＩがどんなに人間そっくりに振舞い、
質問に正しく答えられたとしても、ＡＩに考える力があることを証明することにはならない。
ＡＩは機械的な作業を行なっているだけであって、質問の意味など理解していない。
山本弘/神は沈黙せず より

26. 中国語の部屋とは
・・・・・複雑なので具体例で説明します

27. 中国語の部屋とは
セニョールテクニカルサポートセンター。
ここにはLinuxのことはすべて理解できるエンジニアが
そろっているという、うたい文句のサポートセンター。
実際、ユーザーから来た質問には
すべて正しく回答し、解決に導いていた。
業績はうなぎのぼり、
サポート契約も順調に増えていた。

28. しかし!ここで不祥事発生!!!
サポートセンターの内実がバレてしまった!!

29. 中国語の部屋とは
セニョールテクニカルサポートセンター。
ここにはLinuxのことがすべて書いてあるマニュアルと、
そのマニュアルを引いて、
その質問の意味も、回答の意味もわからず、
マニュアルに書いてある通りに答える
パソコンの素人しかいなかったのだ・・・。

30. 中国語の部屋とは
契約しているユーザーは、
スーパーフルスタックSREエンジニアなんていなかったんだ!!
解約だ!!返金だ!!!と騒ぎます。
しかし、セニョールサポートセンターの公式回答は、
「スーパーフルスタックSREエンジニアは存在する」
「マニュアルとマニュアルを引く人セットで
スーパーフルスタックSREエンジニアなのだ。」
あなたはサポートセンターの言うことに賛成?反対?

31. 中国語の部屋とは
・部屋には中国語を網羅したマニュアルとマニュアルを引く人間が存在する
・部屋にはたまに中国語で質問が舞い込む
・マニュアルを引く人は中国語の意味はわからないが、
マニュアルにそって回答を外に返す。
・すると、その外にいる人は、
「部屋には中国語を理解する人がいる」と考える。
・しかし、実際は部屋の中には
中国語を理解してる人などいない

32. 中国語の部屋とは
• AIはマニュアルとマニュアルを引く能力から成立するとする
• チューリングテストで、AIが人間と区別がつかないくらい
合格な会話できるとしても、それはルールに従って、
マニュアルから回答しているだけなので、
AIは知性というものを持たないのではないか。

33. ところで、

34. Dialogflow
という、サービスが存在します。

35. Dialogflowとは
Dialogflowとは、Googleが提供している自然言語対話プラットフォーム。
Dialogflowは日本語(自然言語)を解析し、事前に設定された会話ルー
ルに従って、回答を出力する。
あなたが使っているスマートスピーカーのアプリにもこのサービスが使
用されている(というより、このサービスでないと使い物にならないので
はないか・・・というくらいすごい)

36. Dialogflowとは
Dialogflowは日本語(自然言語)を解析し、事前に設定された会話ルー
ルに従って、回答を出力する。
中国語の部屋とは
・部屋には中国語を網羅したマニュアルとマニュアルを引く人間が存
在する

37. Dialogflowって
中国語の部屋にいる人間では
外部から与えられた言葉(質問)に対して、
ルールに従い、データベース(マニュアル)から回答する
という機能を提供するサービスだし・・・

38. じゃ、部屋も用意してみましょ。

39. インターホン
ドア越しに部屋の中と外をつなげるもの。
返事がしても、本当に、部屋の中に人がいるかどうか判断はできない
それが、人間の声か機械の音声かどうかも・・・

40. Dialogflow
Dialogflowは日本語(自然言語)を解析し、事前に設定された会話ルールに従って、
回答を出力する。

41. 組み合わせたら中国語の部屋
が実装出来るのでは

42. 作ってみた

43. インターホンと中国語の部屋
NHNテコラス@運用技術室@運用技術チーム@渡邊 崇文
(ようやく伏線回収)
(タイトル2回目で意味がわかるって最高の演出だよね)
(ストーリー途中でタイトルがバーンって出るアニメは名作)

44. 概念図

45. フローチャート
1. インターホン・玄関に人がいることを検知(Cloud Vision API)
↓
2. 誰かを尋ねる音声を出力
↓
3. 返事をテキスト化(Google Cloud Speech-to-Text)
↓
4. Dialogflowにテキストを送り、レスポンスをもらう
↓
5. レスポンスと一致した音声を出力する
↓
6. カメラの動きを確認し、まだ玄関に人がいるなら3に戻る

46. Dialogflow-for-aiy-voicekit
• https://github.com/senyoltw/dialogflow-for-aiy-voicekit
• DialogflowをVoice Kit(Raspberry Piで作る自作Google Home)で使え
るように
• Dialogflowに直接接続できるのでアプリのテストにも最適
• 「OK Google [テスト中アプリ]につないで」とか言わなくても大丈夫
• うまく使えば独自のスマートスピーカーも
• 単一の機能しか必要がない場合のスマートスピーカーを作れる
• 例えば会社の受付に置くとか、イベントで製品の説明に使うとか

47. 実験結果その1
宅配便さんその1の場合

48. 実験結果その1
• 宅配便さんその1の場合
チャイム音
宅配便さん「宅配便でーす」
ロボ「はい」
宅配便さん「・・・・・」
宅配便さん「ゴソゴソ」
宅配便さん「立ち去る音」
宅配ボックスに入っていた。

49. 実験結果その1 失敗
宅配便さんその1の場合

50. 実験結果その1 考察と対応
• BOTの音量が小さかった?
• 会話の初回からはっきり指示を
する必要があった?
• ハンコ不要の荷物だったから諦
めが早かった
• 宅配ボックスが明示的だった
• BOTの音量を大きくする。
• Dialogflowの会話内容を修正。
複数パターンの台本を作り対応
できるように
• ハンコ必要なくらいの大きさの
荷物を注文する
• 対応???

51. 実験結果その1 考察と対応
ビフォー アフター

52. 実験結果その1 考察と対応
ビフォー アフター

53. 実験結果その1 考察と対応
• BOTの音量が小さかった?
• 会話の初回からはっきり指示を
する必要があった?
• ハンコ不要の荷物だったから諦
めが早かった
• 宅配ボックスが明示的だった
• BOTの音量を大きくする。
• Dialogflowの会話内容を修正。
複数パターンの台本を作り対応
できるように
• ハンコ必要なくらいの大きさの
荷物を注文する
• 宅配ボックスとひと目でわから
なくする(苦肉の策・・・)

54. 実験結果その2
宅配便さんその2の場合

55. 実験結果その2
• 宅配便さんその2の場合
チャイム音
宅配便さん「宅配便でーす」
ロボ「お疲れ様です。今、手が離せないのでドアに
ある宅配ボックスに入れていただけますか」
宅配便さん「わかりました」
ロボ「よろしくおねがいします。」
宅配ボックスに入っていた。

56. 実験結果その2 成功!
宅配便さんその2の場合

57. 実験を終えての考察

58. 実験を終えての考察
• (ドアの外にいる人に、本当に人間と見られたかはともかく)
Dialogflowを使用して、玄関での対応を自動かできた
• VUIを作る場合は、使用者が望む状況に、
最短で連れて行く必要がある
• 会話は複数パターン存在するので、それに対応出来るよう
Dialogflowの会話を充実させる
• VUIなんかなくてもどうにかなってしまう場合がある。
本当にそれはVUIで解決すべき問題なのか考える。
(宅配ボックスの教訓)

59. まとめ

60. VUI(Voice User Interface)
デザインについて提案

61. 道具の透明化・身体の拡張
• 朝は四本足 昼は二本足 夜は三本足 この生き物は何か？
と神話から言われるほど、道具(杖)は「身体の拡張」として
昔から扱われる
• あなたは今、文字を打ち込んでいるキーボードの存在を
意識しているか? 良いキーボード(道具)ほど、存在を意識しない。
それを道具の透明化という
• VUI以前のユーザーインターフェースは
道具の透明化を目標としてきた。
融けるデザイン ハード×ソフト×ネット時代の新たな設計論
渡邊 恵太

62. ではVUIも道具の透明化を
目指すべきだろうか?

63. VUIは道具の透明化・身体の拡張を
目指してはいけない
• 声は昔から「他者」に話しかけるもの
他者に自分の存在を伝えたり、意見と伝えたり
操作しようとしたりするときに使用される
• あなたは声を出すときに相手の存在を意識しない
(他者の透明化をしている)のか?
• VUI(Voice User Interface)は今までの道具とは違う目標を目指すべき

64. VUIが目指す目標とは
• 声で話しかける限り、VUIシステムは
「他者」であることからは抜けられない
• VUIのバックエンドは基本、機械が受け持っているので
話している人間に都合の良い「他者」であるべき
• 都合の良い「他者」とは話し手が気持ちよく会話出来る相手である
• 話し手が気持ちよく会話出来る状態とは、
話し手が想像する内容で望む情報を返してくれる状態であると定義
する。会話のキャッチボールが気持ち良い相手。
• VUIの「他者」とは都合の良い相手と関係を持つことである。
つまり、ファンタジーで言う「使い魔」を持つことと同じ。

65. VUIは杖(身体の拡張)ではない
使い魔(関係性の拡張)。

66. VUIをデザインする提案手法
具体的な話

67. いつの間にかチューリングテスト
1. 被験者(ユーザー)からわからないようにVUIの受け答えを人間が受け持つ
2. 被験者(ユーザー)を問題なく誘導できた会話を成功事例として、コンピュータ
に登録する
3. 成功例を増やし、ユーザーからの回答をほぼコンピュータで処理できるように
する
4. ユーザーが会話の相手がコンピュータでも問題ない状態にする

68. VUIを実装する提案手法
• いつの間にかチューリングテストが有効そうな例
• レシピを伝えて料理を作ってもらうbot
• 宅配を受け付けるbot
• 単純な1ワードで済むサービスではなく、
ある程度の会話やVUIからの誘導が必要なサービスに向いている

69. VUIをデザインするには会話集を
つくる事が大事
いつの間にかチューリングテストを成功させるには

70. 気持ち良い会話がVUIの都合の
良さを高め、また使ってくれる

71. 終わり。
senyoltw.net