SlideShare a Scribd company logo
1 of 22
ロボカップ@ホーム入門
~サービスロボットの音声対話技術~
情報通信研究機構(NICT) ユニバーサルコミュニケーション研究所
杉浦孔明
komei.sugiura@nict.go.jp
2013/07/09
自己紹介:経歴
• 委員
– RoboCup@Home Executive Committee、ロボカップジャパン
オープン @Homeリーグ実行委員
• 受賞
– RoboCup世界大会優勝(2008, 2010)、準優勝(2009, 2012)
• 専門
– 知能ロボティクス、ロボット対話、機械学習
1998-2002 京都大学工学部 電気電子工学科
2002-2007 京都大学情報学研究科 修士課程・博士課程
2006-2008 学術振興会 特別研究員
2008- 情報通信研究機構 研究員
ロボカップ@ホームの概要
• 生活支援ロボットの競技会として世界最大*
– ロボカップのリーグのひとつ
– 中心課題:モバイルマニピュレーション・ヒューマンロボットインタ
ラクション
– 7個の規定タスクと3つのデモタスクにより評価される
• 参加チーム
– 約15か国の大学・研究機関から200人以上の参加者
– 6~10人程度のチームが多い
*同様の競技会として、Mobile Manipulation ChallengeやSemantic Robot Visionがある 3
ロボカップ@ホーム関連文献(解説)
References Focus
大橋健, “RoboCup@Homeにおける課題設定と技術開発”, 計測と制御,
Vol. 52, No. 6, pp. 481-486, 2013.
移動
杉浦孔明, 長井隆行, "ロボカップ@ホームにおける日用品マニピュ
レーション", 日本ロボット学会誌, Vol. 31, No. 4, pp. 370-375, 2013.
2012タスク
杉浦孔明, "ロボカップ道しるべ第8回「ロボカップ@ホームリー
グ」", 情報処理, Vol. 53, No. 3, pp. 250-261, 2012.
音声処理
岡田浩之,大森隆司,“ロボカップ@ホーム: 人とロボットの共存
を目指して,” 人工知能学会誌,vol.25,no.2,pp.229-236,2010.
2009タスク
J. Stuckler, D. Holz, and S. Behnke, “RoboCup@Home: Demonstrating
Everyday Manipulation Skills in RoboCup@Home,” Robotics &
Automation Magazine, IEEE, vol.19, no.2, pp.34–42, 2012.
日用品把持
L. Iocchi, and T. van der Zant, “RoboCup@Home: Adaptive Benchmarking
of Robot Bodies and Minds,” Proc. of SIMPAR, pp.171–182, 2010.
得点分布
チーム数の推移
場所 事前登録チーム
(書類選考前)
世界大会
参加チーム
日本大会
参加チーム
2006 ドイツ 20 11 -
2007 アメリカ 16 11 -
2008 中国 18 14 2
2009 オーストリア 25 18 2
2010 シンガポール 31 24 2
2011 トルコ 30 19 6
2012 メキシコ 22 20 10
2013 オランダ 22 21 10
6
タスクの難しさ
• モバイルマニピュレーション
– 未知環境における地図作成・移動
– 観客(移動障害物)の存在
– 実際の店舗の利用
– 日用品の物体認識・把持
• ヒューマンロボットインタラクション
– 高騒音環境(Leq=75dB)
– 頑健な対話処理
– ジェスチャ認識
8
規定タスク(2013年)
Stage Task name Abstract 場所
1
Robot Inspection
and Poster Session
競技形式で移動機能・停止スイッチ等の動作を確認する フィールド
Follow Me 人混みやエレベータの中で未知ユーザを追従する 外部
Clean Up 20個のオブジェクトを指定された場所に移動させる フィールド
Cocktail Party
ロボットを呼んでいる3人を見つけて注文を聞き、飲み物を取り
に行く
フィールド
Emergency 煙と要救助者を探索してマップにまとめる フィールド
Open Challenge ロボットの性能に関する,研究面で優れている点のデモ フィールド
2
Enduring General Purpose
Service Robot
複文の指示の解釈、曖昧な指示を明確化(例:「何の飲み物を
持ってきますか」)し,指示を実行する
フィールド
Restaurant
未知環境(実際の店舗)で棚から3個のオブジェクトを持ってく
る
外部
Demo Challenge 毎年変更されるテーマに沿ったデモ フィールド
決勝 Final 自由に選んだテーマに沿ったデモ フィールド
規定タスク例:Cocktail Party
項目 配点 項目毎最高点 平均点
呼んでいる人を発見 150 x 3 300 95
人名・飲み物名を復唱 100 x 3 300 108
オブジェクトを把持 200 x 3 400 32
• ロボットを呼んでいる3人を見つけて注文を聞き、飲み物を取りに
行く
規定タスク例:Restaurant
項目 配点 項目毎最高点 平均点
Guide phaseで5箇所移動 50 x 5 250 143
Navigation phaseで4箇所移動 100 x 4 200 50
オブジェクトを把持 250 x 3 500 45
• 未知環境(実際の店舗)で棚から3個のオブジェクトを持ってくる
• ロボットを別の会場(実際の店舗)に輸送してタスクを行う
規定タスク例:Enduring General Purpose Service Robots
NimbRo(ボン大学)
12
Finalデモ例: 家事動作の模倣学習
模倣学習モジュールの内部構成「捨てる」動作の模倣学習例
「捨てる」と発話しながら 空き缶 を捨てる動作を数回見せる
空き缶 と ゴミ箱 が「捨てる」に関連することを自動推定。空き缶の移動軌道
を一般化して「捨てる」という音声と対応づける
教師:
ロボット:
「ペットボトルをゴミ箱に捨てる」と指示
他の場所にある ペットボトル と ゴミ箱 を探し、「捨てる」軌道を実行
利用者:
ロボット:
対話例
ルールは、いつ誰がどうやって決めるのか?
• When?
– 2年ごとにタスクを大改正
– ドラフト版は2~3月にリリース(e.g. 2011/3/13, 2010/2/12)
• Who?
– EC(Executive Committee):ルール執筆
– TC(Technical Committee):ルール執筆
– OC(Organizing Committee):事前審査
• How?
– Google groupsで意見を募る
– http://groups.google.com/group/athome2012
– TCは方向性の決定・投票・執筆を行う
ER@SERSの音声対話技術
音声認識は難しい:今までの失敗例
• 「eR@sers, start!」という号令でモジュールが再起動
– 音声でリスタートできるようにしていた
• 音声でスタートできるようにしたら、音声認識失敗し続
ける
– タイムアウトが入っていなかった
• 2単語認識を3連続で失敗
– 日本人の”R”の発音は認識されにくい
音声対話機能の標準的構成
• 上位5チームの音声認識・合成ソフトウェア
– ATRASR, Loqendo, MS & CSLU Toolkit, pocket sphinx
– XIMERA, Loquendo TTS, MAC OS X Leopard Speech Synthesis API,
festival
音声モジュール
音声認識 発話理解 応答生成
タスクシナリオ管理
システム
音声応答
音声入力
他モジュールからの入力
(センサ、画像認識結果
等)
他モジュールへの出力
(アクチュエータ、
表示、学習等)
雑音抑圧前 雑音抑圧後
60dBA
70dBA
80dBA
75dBA環境では50cmの距離での音声認識すら難しい
• eR@sersの騒音環境への対処法
– (指向性マイクロホン)
– パーティクルフィルタによるノイズの逐次推定[Fujimoto+06]
– noisy 音響モデルの利用
Fujimoto, M et al, “Sequetial non-stationary noise tracking using particle filtering with switching dynamical system, ICASSP,
2006
未知語学習[Nakamura&Sugiura,et al 2011]
• 未知語学習の難しさ:音素認識の精度は高くない
• 提案手法
– 音素列(認識用)
– EigenVoice Gaussian Mixture Modelによる声質変換(合成)
Nakamura, T., Sugiura, K.et al, Learning Novel Objects for …", Journal of Intelligent and Robotic Systems, 2011
CMOS(2者の比較)を評価尺度として比較
• ベースライン手法(音素列を合成)より
提案手法が好まれた
非モノローグコーパスによるHMM音声合成
• 一般的な合成音声のデメリット
– 自然な声・親しみやすい声でない
– 質問されたことに気づかない
• 既存研究
– 読み上げ用途は自然性が高いが、対話用途では
自然性が低い
XIMERA
(読み上げ)
Sugiura, K.et al, “Non-monologue Speech Synthesis for Service Robots”, Proc. of 5th Workshop on Gaze in HRI, 2013
まとめ
まとめ
• 背景
• @ホームタスク例
– Cocktail party, Restaurant, E-GPSR
• eR@sersの音声対話機能
– 雑音抑圧、未知語学習、音声合成
ジャパンオープン2013出場ロボット 世界大会2013出場ロボット

More Related Content

More from Komei Sugiura

生活支援ロボットにおける 大規模データ収集に向けて
生活支援ロボットにおける大規模データ収集に向けて生活支援ロボットにおける大規模データ収集に向けて
生活支援ロボットにおける 大規模データ収集に向けてKomei Sugiura
 
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...Komei Sugiura
 
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...Komei Sugiura
 
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard PlatformNew challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard PlatformKomei Sugiura
 
20160907rsj16ロボット聴覚OS
20160907rsj16ロボット聴覚OS20160907rsj16ロボット聴覚OS
20160907rsj16ロボット聴覚OSKomei Sugiura
 
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置Komei Sugiura
 
20160221statistic imitation learning and human-robot communication
20160221statistic imitation learning and human-robot communication20160221statistic imitation learning and human-robot communication
20160221statistic imitation learning and human-robot communicationKomei Sugiura
 
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバックKomei Sugiura
 
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測Komei Sugiura
 
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験Komei Sugiura
 
Cloud Robotics for Human-Robot Dialogues
Cloud Robotics for Human-Robot DialoguesCloud Robotics for Human-Robot Dialogues
Cloud Robotics for Human-Robot DialoguesKomei Sugiura
 
Language acquisition framework for robots: From grounded language acquisition...
Language acquisition framework for robots: From grounded language acquisition...Language acquisition framework for robots: From grounded language acquisition...
Language acquisition framework for robots: From grounded language acquisition...Komei Sugiura
 
rospeex: a cloud-based speech communication toolkit for ROS
rospeex: a cloud-based speech communication toolkit for ROSrospeex: a cloud-based speech communication toolkit for ROS
rospeex: a cloud-based speech communication toolkit for ROSKomei Sugiura
 
Introduction to RoboCup@Home
Introduction to RoboCup@HomeIntroduction to RoboCup@Home
Introduction to RoboCup@HomeKomei Sugiura
 

More from Komei Sugiura (15)

生活支援ロボットにおける 大規模データ収集に向けて
生活支援ロボットにおける大規模データ収集に向けて生活支援ロボットにおける大規模データ収集に向けて
生活支援ロボットにおける 大規模データ収集に向けて
 
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
 
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
 
20161014IROS_WS
20161014IROS_WS20161014IROS_WS
20161014IROS_WS
 
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard PlatformNew challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
 
20160907rsj16ロボット聴覚OS
20160907rsj16ロボット聴覚OS20160907rsj16ロボット聴覚OS
20160907rsj16ロボット聴覚OS
 
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
 
20160221statistic imitation learning and human-robot communication
20160221statistic imitation learning and human-robot communication20160221statistic imitation learning and human-robot communication
20160221statistic imitation learning and human-robot communication
 
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
 
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
 
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
 
Cloud Robotics for Human-Robot Dialogues
Cloud Robotics for Human-Robot DialoguesCloud Robotics for Human-Robot Dialogues
Cloud Robotics for Human-Robot Dialogues
 
Language acquisition framework for robots: From grounded language acquisition...
Language acquisition framework for robots: From grounded language acquisition...Language acquisition framework for robots: From grounded language acquisition...
Language acquisition framework for robots: From grounded language acquisition...
 
rospeex: a cloud-based speech communication toolkit for ROS
rospeex: a cloud-based speech communication toolkit for ROSrospeex: a cloud-based speech communication toolkit for ROS
rospeex: a cloud-based speech communication toolkit for ROS
 
Introduction to RoboCup@Home
Introduction to RoboCup@HomeIntroduction to RoboCup@Home
Introduction to RoboCup@Home
 

Recently uploaded

デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)UEHARA, Tetsutaro
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案sugiuralab
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)Hiroshi Tomioka
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...博三 太田
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?akihisamiyanaga1
 

Recently uploaded (8)

デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
 

ロボカップ@ホーム入門