20160907rsj16ロボット聴覚OS発表資料

1. 実世界知識を扱う音声対話技術
～言葉と能力の壁を超える技術の実現に向けて～
国立研究開発法人 情報通信研究機構
杉浦孔明，岡本拓磨，廣江厚夫，河井恒

2. 音声言語処理はコンシューマデバイスで利便性を提供できるレベルに
到達したが、ロボティクスでは十分活用されていない
背景
スマホやホームデバイスへの音声
インタフェース機能の導入
音声認識分野の市場規模
880億円@2013→1700億円@2018予測*
今日の予定は？
* NEDO, TSC Foresight Vol.8, 2015
○○に電話を
かけて
質問応答
・検索で
の利便性
位置 連絡先 履歴
ロボット対話機能の現状
実世界情報に基づく言語処理で
利便性を提供できていない*
牛乳まだ残って
たっけ？
新聞片付け
といて
??
??
どれを、どこに、どうやって、開
始終了条件、をユーザが明示的に
指定しなければ動作できない
*展示会に限れば流暢に会話するように見えるロボット⇔実際には騒音や会話における省略の処理が不十分

3. 言葉の壁を超える技術の実現に向けたNICTの取り組み：
非言語情報を扱わない事例
①音声翻訳VoiceTra
関連アプリも含め１００万ダウンロード以上。
東京オリンピック・パラリンピックに向け、10言語の音声翻訳を強化中。
②WFST対話制御と音声対話SDK
基本パーツを入れ替え編集するだけで、多様な音声
対話システムが構築可能なツールキットを公開
③音声認識・対話応用
音声認識・合成・対話技術の応用として、京都観光案内対話システムや
ニュース動画への字幕付与システムを開発。
④クラウドロボティクス基盤rospeex
ロボット向け音声認識・合成APIとして公開し40,000ユニークユーザを獲得。
声優による日本語の対話調合成音声としては世界最高レベル。

4. 多言語字幕付与システムを開発可能なツールキットを公開
しました（2016/9/1）
無料ですが、接続時間制限があります。
「逐次音声認識SDK」で検索

5. 音声対話向けクラウドロボティクス基盤ROSPEEX

6. 背景：ロボット対話の開発において、音声認識や合成が
低コスト化を妨げている
• 想定するタスク
– サービスロボットとのインタラク
ション
• ロボット開発者が直面する壁
– コストと比較して、音声認識・合成の性能が悪い
XIMERA 3
（読み上げ）
声優

7. デモ
7

8. （付録）
Rospeex：多言語音声対話のためのクラウドロボティクス基盤*
• ４万ユニークユーザ
• ロボット向けに特化した音声合成 [Sugiura+ 2014]
• 多言語の音声認識および合成
Python & C++のサンプ
ルを公開中
rospeex Search
* 研究開発目的の利用に限る

9. ネットワーク接続を前提とすれば音声対話に関する
問題を解決できる
9
クラウドAPI型
（Google, Microsoft, IBM,
NTT docomo, Wit.ai,など）
フリーソフト
商用ソフト
OpenHRI,
PocketSphinx, Festival
クラウド型
スタンドアロン型
ロボットミドル
ウェア対応
対応無
低スペックなマシン
では非合理的 
ロボット関連ログ
が埋もれる 
要認証
品質に問題 
価格が疑問 
rospeexユーザの分布
rospeexの利活用事例（４万ユニークユーザ*）
高齢者施設での会話活性化、サービスロボット
への音声指示、ヒューマノイド、対話エージェ
ント、カーナビ・スマートホーム向け音声イン
タフェース、など

10. rospeexが提供する機能
rospeex core
Dialogue
management
(written by user)
Speech
synthesis
Speech
Output
Speech
recognition
Rospeex cloud TTS
Noise
reduction
Voice activity
detection
Third party’s ASR API
Browser UI
OR
Smarphones On-board mic
Task management
Rospeex cloud ASR
What
time is it? It’s 6 pm.
Third party’s TTS API
Speech synthesis
designed for robots
WER = 7.9% for IWSLT tst2011
(1st Place Winner: IWSLT12, 13, 14)

11. Q「クラウドって遅いんじゃないの？」
→A.分割送信を導入し必要時間は3.44→0.84秒に短縮された
• 目的：代表的な利用環境での分割送信速度を計測する
• コーパス：ATR503文の中からVADが成功した495文
• 通信環境：サーバと異なるIPドメインからの無線接続
短縮
音声 処理通
信
通
信一括
分割
頻
度
※RTF≒0.7 ([Sugiura+ Adv Rob. 15])
速度が大幅に向上した
（中央値は3.44秒→0.8秒）

12. 非モノローグHMM音声合成により、対話に適した
音声合成が可能
• 声優の掛け合い対話コーパスを構築
– 約10時間（16,538文）
• サービスロボットタスクでは上限に近い品質
• 読み上げタスクでもベースラインと同等
Sugiura, K.et al, ICRA14 12
上限
ベースライン
提案手法

13. 「NICT声優対話コーパス」を公開しました（2016/6）
• 規模：14,179発話
– 日本語音声合成用コーパスとして世界最大の公開コーパス
• 利用例
– 非モノローグ音声合成[Sugiura, ICRA14], 文選択[Nose,
Interspeech15]
• ALAGIN会員は無料でダウンロード可
– ALAGIN会員＝大学関係者は無料、企業は有料
NICT声優対話コーパス Search
●書き起こしファイル
例: だいたい予算が三千円ぐらいになるんです。
それから店構えがこのようなものなんですけれども。
●自動生成した読み
例:ダイタイ ヨサンガ サンゼンエング'ライニ ナ'ルンデス
ソレカラ ミセガ'マエガ コノヨ'ーナモノ'ナンデスケレドモ

14. Lessons learned:
研究者がクラウドサービスを作るときに気をつけること
• プラス面
– 学習済みモデル等の知財を公開する必要がない
– ロボット以外もアクセス可能にすれば潜在ユーザ層を大きくできる
– アクティブユーザ数を測れる。⇔オープンソースのダウンロード数は不十分
• マイナス面
– 知名度が高くなると、攻撃やAbuseの対象になる恐れがある
– サーバ監視者にインセンティブを与えにくい
• これからクラウドサービスを作りたい人へ
– 成功をどうやって計測するか？（何年でユーザ何人？）
– ユーザのインセンティブを本気で考えたか？
– 「Google/Microsoft/..が作るかもしれないよ」を気にしすぎないこと
VoiceTra京都観光Navi

15. 能力の壁を超える技術に向けて：
インテリジェントホームロボティクス
15

16. 背景：日常の簡単なタスクを支援すればQoLを維持できる
これから
ホームロボット・エージェント
による生活支援およびQoL向上
現在、介助犬が担っているタス
クをロボットが分担
（現状の介助犬ユーザ≒ポテン
シャルユーザの0.5%）
【背景】2030年に主要７ヶ国（G7）全て
で高齢化率が20%を超える[総務省]
社会課題：少子高齢化
家族の世話
を分担して
ほしい
簡単なことは
人に頼みにく
い…
介助犬は世話
できない
2030
片付けてお
きます
何をとってきま
しょうか？
いつもの洗剤、
なくなりそうで
すよ。

17. ロボカップ＠ホームタスクは何が難しいか：
未知環境での移動・実店舗の利用・日用品の把持・遠隔音声認識
世界大会優勝（2008, 2010），準優勝(2009, 2012)：玉川大、電通大と共同
17

18. ロボカップ＠ホームの概要
• 生活支援ロボットの競技会として世界最大*
– ロボカップのリーグのひとつ
– 中心課題：移動マニピュレーション・ヒューマンロボットインタラク
ション
– ７個の規定タスクと３つのデモタスクにより評価される
• 参加チーム
– 世界大会は２０チーム前後で推移し、日本大会は増加傾向
– １０人程度のチームが多い
18

19. 来年、標準ロボットを用いる部門が開始されます
「ロボット聴覚研究者が参加すれば音源定位タスクは満点とれるのでは？」
• 目的：ターゲット機能の開発に集中する（ROS,
DRC, NAOの成功なども追い風）
• 11社の応募から、Toyota HSRとSoftbank Pepper
が選出
• RoboCup@Homeは、自由ハードウェア部門、
HSR部門、Pepper部門にわかれる
2016/9? 標準PF利用者募集 開始
2016/10? 標準PF利用者募集 締切
2016/12? 標準PF到着
2016/1-3? 世界大会出場申込 締め切り
2017/5? RoboCupジャパンオープンにて試行
2017/7 RoboCup世界大会＠名古屋
7/3日経新聞１面

20. 規定タスク（2015年）
Stage タスク名 内容 場所
1
Manipulation and
Object Recognition
棚に置いてある物体についてPick & Placeタスクを複数回行う フィールド
Navigation フィールド中を移動したのちフィールド外で人を追従する
フィールド
外部
Person Recognition 複数の人物がいる状況において、顔画像の学習と性別推定を行う フィールド
Speech Recognition &
Audio Detection
音声認識および音源方向推定を計１０回行う フィールド
RoboZoo
並んだ展示ブースでロボットにパフォーマンスを行わせ、観客に
投票させる
フィールド
General Purpose Service
Robot
複文の指示の解釈、曖昧な指示を明確化（例：「何の飲み物を
持ってきますか」）し，指示を実行する
フィールド
2
Open Challenge 自由に選んだテーマに関する研究要素のデモ フィールド
Restaurant
レストランにおいて、場所を学習したのち、ロボットを呼んだ人
を発見して注文を取り、オブジェクトを届ける
外部
Robo-Nurse
ボトルに入った薬を把持するとともに、動作を認識して必要な支
援を行う
フィールド
Wake Me Up
ユーザに注文された朝食を運ぶとともに、スマートホームの制御
を行う
フィールド
決勝 Final 自由に選んだテーマに沿ったデモ フィールド

21. ロボカップにおける未知語学習の応用例
• 未知語学習の難しさ：音素認識の精度は高くない
• 提案手法
– 音素列（認識用）
– EigenVoice Gaussian Mixture Modelによる声質変換（合成）
Nakamura, T., Sugiura, K.et al, Learning Novel Objects for …", Journal of Intelligent and Robotic Systems, 2011
CMOS（２者の比較）を評価尺度として比較
• ベースライン手法（音素列を合成）より
提案手法が好まれた
21

22. （補足）ロボカップ関連の社会展開
• Quince: ロボカップレスキューから原子炉建屋投入へ
• Kiva SystemsをAmazonが7.75億ドルで買収 → 年間
4.5～9億ドルのコスト削減効果*
– 2016年Amazon Picking ChallengeはRoboCupと共催
• ロボカップでのNAOの採用を機にAldebaranが業績を伸
ばし、ソフトバンクが1億ドルを出資 →Pepperの原形
22
by Kiva SystemsQuince NAO
*Janney Capital Marketsによる試算

23. 実世界知識を扱う音声対話技術
23

24. 最近ロボティクスx人工知能は応用面から注目されてい
るが、基礎研究への投資も重要
2012 Amazonが約650億円でKiva Systemsを買収
2013 Googleが約100億円でロボットベンチャー８社を買収
2014 ソフトバンクがPepperを発売することを発表
2015-16 産総研AIセンター、理研AIP設立。約50億円/5年規模の投資
2016 トヨタリサーチインスティテュート設立。約1000億円/5年の投資
2018/20 首相「2020年に東京ロボット五輪開催」→ロボット国際競技大会
by ソフトバンクHPby Economistby Double Robotics
応用成果は長期・地道な基礎研究活動の
うえに得られた賜物

25. 言語化できれば
言語化のために 利用できる実世界情報は多い
25
• これまでのロボティクス
– 大規模データが利活用されることはなく、大規模データの生成に
貢献することもなかった
• 音声認識では大量データが学習可能な深層学習アプローチが成功
– ロボティクスでも同様のイノベーション（実世界情報の言語化に
よる価値創出）が起こせるはず。
• 大規模マルチモーダルデータを使った学習とクラウドサービス化によ
るスパイラル的改善

26. マルチモーダル言語理解に関する国内外の研究動向
Kollar+ 2010
HRI 2010 Best Paper
• 入力：テキスト、LRF、画像等 → 出力：移動
• 例：”Go down the hallway”
Iwahashi &
Sugiura+ 2010
• 入力：（動）画像および音声 → 出力：物体操作
• 例：”（赤い箱に）ぬいぐるみのせて”
Visual QA[2015-]
参加30チーム以上
• 入力：画像＋質問 → 出力：回答
• 例：”How many elephants are there?” -> “2”

27. LCore[Iwahashi & Sugiura, 2010]ができること：
単語学習、動作学習、文法学習、発話理解・生成
ユーザ発話の解釈に非言語情報を利用
27
マルチモーダル
発話理解
音声
（HMM）
動作
（HMM）
視覚
（ガウス分布の
ベイズ学習）
動作-オブジェクト関係
（ガウス分布のベイズ学習）
行動コンテキスト
（MCE学習）weight

28. マルチモーダル入力に基づく意思決定：
各モダリティの尤度を考慮して出力行動を決定する
28
コンテキスト状況行動発話
音声スコア
予測軌道スコア
視覚特徴
動作-オブジェクト関係
行動コンテキスト

29. マルチモーダル言語理解を伴う確認発話生成[杉浦2010]
例：「カップのせて」→「赤いカップをテーブルにのせていいですか」
• 学習フェーズ
ベイズロジスティック回帰による
発話理解確率の推定
• 入力：マージン(d)
• 出力：発話理解確率
マージン
発話理解確率
• 実行フェーズ
期待効用最大化による応答選択
29

30. まとめ
30

31. 31
実世界知識を扱う音声対話技術
～言葉と能力の壁を超える技術の実現に向けて～
1. クラウドロボティクス基盤の構築
2. インテリジェントホームロボティクス
3. 実世界知識を扱う音声対話技術
公開ソフトウェア・コーパスは「rospeex」「逐次音声認識SDK」
「NICT声優対話コーパス」「SLC-SDK」で検索してください
各要素技術の説明は、論文またはslideshareをご参照ください