SlideShare a Scribd company logo
1 of 33
生活支援ロボットの
マルチモーダル言語理解技術
国立研究開発法人 情報通信研究機構
杉浦孔明
ここ10年で
音声コミュニケーション技術は世界を変えた
• 2005年頃
– 社会の反応「遅い。性能悪い。
使い物にならない」
• 現在
– 検索の約半分が音声由来(米国)
(2010年頃)
長期・地道な基礎研究活動は重要
• 1986年 ATR自動翻訳電話研スタート
• 2011年 VoiceTraが100万ユーザ達成
Q. では、ロボットのコミュニケーション機能はすぐ作れるか?
A. No! 実際には、研究課題・開発課題は多い
耐雑音性の向上が
必要な例
(信号処理研究)
言語理解精度の向上が
必要な例
(音声言語処理研究)
生活支援ロボットのマルチモーダル言語処理
Motivation: 介助犬レベルの支援を行う生活支援ロボットの
音声言語理解技術を構築する
社会課題
• 要支援者を物理的・経済的に支える
生産年齢人口の減少
• ポテンシャルユーザのなかで介助犬
(育成に2年300万円)の利用者≒0.5%
家族の世話で仕事
辞めないと…
介助犬を世話
できない
Motivation: 介助犬レベルの支援を行う生活支援ロボットの
音声言語理解技術を構築する
https://www.toyota.com/usa/toyota-effect/romy-robot.html
音声(言語)
を使った場合
はどんな課題
があるの?
候補が少ないならいいけど、
多いならタッチパネルは不便。
音声のほうが便利では?
社会課題
• 要支援者を物理的・経済的に支える
生産年齢人口の減少
• ポテンシャルユーザのなかで介助犬
(育成に2年300万円)の利用者≒0.5%
家族の世話で仕事
辞めないと…
介助犬を世話
できない
悪い対話例:
質問が多いため不便
( 質問多すぎ…)
ユーザは、「現在把持中のペットボトルをキッチンで一番
大きい棚の3段目の右側に片付けて」とは言わない
どのペットボトルですか?どこに片
付けますか?キッチンのどの棚です
か?棚の何番目の段ですか?…
ペットボトルを
片付けておいて
状況
Q. 生活支援ロボットによる音声言語理解で何が技術的困難か?
A. 主に2つの曖昧性(不完全情報+記号接地)である。
• 不完全情報への対応
– 「どれを・どこに・どうやって」、をユーザが明示的に指定しな
ければ動作できない
• 記号接地への対応
– 言語的特徴(単語、文節、文脈等)を表す確率モデル
– 物理的特徴(物体/シーン、物体間関係性、関節角時系列等)を表
す確率モデル
• つまり、
– 言語表現が不完全または欠損した部分を、マルチモーダル情報で
どう補うか、が問題
生活支援ロボット音声対話システム
• 変化する状況に応じてユーザの命令を理解し、意図した
物体を取ってくる
• 直前に物体を動かされたり、場所を細かく指定されな
かった場合でも、命令を適切に理解して実行可能
20fpsレベル(≒物体検出速度)で
言語理解結果を更新可能
マルチモーダル言語理解の関連研究
例
• SHRDLU [Winograd, 1970s]
• 物体操作の言語理解・生成[Iwahashi,Sugiura+ 10]
• 移動指示の言語理解[Kollar+ HRI10 Best paper](左)
• ビデオおよび内容を表す文の対応の学習[Yu+ ACL 2013 Best Paper]
• ピッキング指示の言語理解[Hatori+ ICRA18 Best paper](右)
道具立て1)最近のDeep Neural Network (DNN)のホット
トピックであるGenerative Adversarial Nets (GAN)
G
(Generator)
𝑝𝑝(𝑆𝑆 = 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟|𝑥𝑥)
𝒙𝒙𝒇𝒇𝒇𝒇𝒇𝒇𝒇𝒇
𝒛𝒛
𝒙𝒙𝒓𝒓𝒓𝒓𝒓𝒓𝒓𝒓
D
(Discriminator)
Discriminator(D)とGenerator(G)のコスト関数
DCGAN [Radford+ 15]
乱数
1024x1024画像の生成[Karras+ ICLR18]
Latent Classifier Generative Adversarial Nets(LAC-GAN)
[Sugiura+2017]
分類に有効な表現をExtractorに生成させ、
それをGeneratorに真似させる点がミソ
K. Sugiura and H. Kawai, "Grounded Language Understanding for Manipulation Instructions Using GAN-Based Classification", In Proc.
IEEE ASRU, Okinawa, Japan, pp. 519-524, 2017.
Dのコスト関数を、Sに関するコストと、分類結果のクロス
エントロピーの重み付き和とする
• LAC-GANの学習順序
z,cの生成+Dの学習
(Gは固定)
z,cの生成+Gの学習
(Dは固定)Eの学習
• E,D,Gのコスト関数
(cross entropy)
分散表現
応用1)
動作タスク成功度の予測
• 入力:物体名称+状況(「Bottle, please」)
• 出力:動作成功度
• Baseline[Odena+ 16]の精度58.2%を、67.1%に改善
Name: bottle
Situation: insulated water
bottle with sipper top. ... a set
of keys by the water bottle.
ラベル
1:禁止
2:不可能
3:困難
4:容易
分散表現
Name: bottle
Situation: a bottle in a
woman's hand. … woman
holding a water bottle.
ラベル
1:禁止
2:不可能
3:困難
4:容易
K. Sugiura and H. Kawai, "Grounded Language Understanding for Manipulation Instructions Using GAN-Based Classification", In Proc.
IEEE ASRU, Okinawa, Japan, pp. 519-524, 2017.
応用2)「どこへ」が指定されていない場合に、対象領域
を(障害物・タスク実行難易度に依存して)推定
※安全性の観点からユーザに敢えて確認を求めることが重要
Multimodal Classifier GAN (MMC-GAN)を開発し、 Carry
and Placeタスクの言語理解精度を改善した
• 入力例:「お茶を片付けて」
• LAC-GANとの違い=Extractorを
全結合型からCNN型に変更
• MMC-GANにより、精度を
82.2%から86.2%に改善
A. Magassouba, K. Sugiura, H. Kawai, "A Multimodal Classifier Generative Adversarial Network for Carry and Place Tasks from
Ambiguous Language Instructions", IEEE Robotics and Automation Letters (with IROS 2018 option), 2018.
軌道生成:
マニピュレーションとコミュニケーションの共通項
模倣学習の主要手法
手法 References
制御ベース Dynamic Motion Primitives [Ijspeert 2002]
ニューラルネット
&強化学習
• RNNPB [Sugita 2005, Ogata 2007]
• 深層強化学習[Levine 2015]
確率モデル • ガウス過程 [Lawrence 2004], ガウス回帰[Calinon 2010]
• 確率最適制御 [松原 2015]
• 隠れマルコフモデル(HMM; Hidden Markov Model)
[Ogawara 2002, Inamura 2004]
• 模倣学習は音声合成と相似形である
– 共通: 多次元の時系列回帰
– 違い: 座標変換、衝突回避等
• 模倣学習 ≒動作学習+動作認識+動作生成
杉浦孔明, "模倣学習における確率ロボティクスの新展開", システム制御情報学会誌, Vol. 60, No. 12,
pp. 521-527, 2016.
参照点に依存したHMMによる模倣学習
[Sugiura+ 07][Sugiura+ 11]
デルタパラメータの物理的意味
=速度・加速度の2次精度中心差分近似
: 時刻 tにおける位置
最尤の座標系の探索
参照オブジェクトID
HMM
パラメータ
座標系タイプ
* Sugiura, K. et al, “Learning, Recognition, and Generation of Motion by …”, Advanced Robotics, Vol.25, No.17, 2011
: 位置・速度・加速度の時系列
特徴量
AをBにのせる
[Tokuda 2000]の手法で音声と同様に動作軌道生成が可能
最尤軌道生成: 位置・速度・加速度の時系列
AをBにのせる
: 差分近似係数の行列
*Tokuda, K. et al, “Speech parameter generation algorithms for HMM-based speech synthesis”, 2000
デモ
21
模倣学習の展望
• 音声合成で成功した手法は、模倣学習でも使えるはず
• 最近の音声合成(声質変換含む)
– CycleGAN, PixelRNN, PixelCNN++, Parallel WaveNet, Tacotron2
– 入手可能なソースコードも多い
• LINE山本氏: https://github.com/r9y9/Colaboratory
生活支援ロボットのベンチマーク評価
ベンチマーク評価例1:ロボカップ@ホーム
• 生活支援ロボットの競技会として世界最大*
– ロボカップのリーグのひとつ
– 中心課題:移動マニピュレーション・ヒューマンロボットインタラクション
– 8個の規定タスクと3つのデモタスクにより評価される
• 技術的難しさ
– 未知環境での移動(実店舗)、日用品の把持、騒音下での音声対話
24
ロボカップ関連の社会展開
• Quince: ロボカップレスキューから原子炉建屋投入へ
• Kiva SystemsをAmazonが7.75億ドルで買収 → 年間
4.5~9億ドルのコスト削減効果*
– 2016年Amazon Picking ChallengeはRoboCupと共催
• ロボカップでのNAOの採用を機にAldebaranが業績を伸
ばし、ソフトバンクが1億ドルを出資 →Pepperの原形
25
by Kiva SystemsQuince NAO:5000台稼働
*Janney Capital Marketsによる試算
ベンチマーク評価例2:World Robot Summit (WRS) 10/17-21
Partner Robot Challenge Virtual Space
• 賞金 1位1000万円, 2位300万円, 3位100万円
• 分野:マルチモーダル言語理解、ジェスチャ認識、マルチモーダル言語生成
• シミュレーションが有用性を持つ領域に特化
– 100平米レベルの環境を複数(→リグレッションテストが可能になる)
– ランダムに状況を生成して統計的に有意な結果を得る
HandyManタスク:
3つのサブタスクのひとつ
• ランダムに生成された指示(言語理解、移動、物体操作)を実行する
タスク
– 例:「キッチンに行ってペットボトルを見つけて、寝室のテーブ
ルに届けて」
• 現状のレベル
– タスク達成率19.5%(=WRS Pre-event 2018 1位)
ロボット
Fetch and Carry:
「AをBから取る」「AをBに置く」
• ランダムに配置される物体の把持
– 日用品(既知32種類、未知4種類)
• ランダムに選択される家具
– 机・テーブル・棚等(15種類)
Go to the living
room, grasp the
apple and give
it to me.”
x2
自然言語理解
• 入力: ランダムに生成される長い命令文(平均16単語/文)
– 例:「ベッドルームに行って、空のマヨネーズを取って、燃え
るゴミのゴミ箱に捨てて」
• 出力
– どこへ(destination)
– どこから(source)、何を(target)、どこへ(destination)、
どうする
x2
システムインテグレーション視点の展望
「有り物は何で、どこまでやればいいのか」
ツール例
Rospeex On-Premiseによる高速な音声認識(企業向けのみ)
• RospeexOn-Premise=Rospeex On-Cloud(5万
ユニークユーザ)を自社内に設置可能
– HSRに搭載可能なサイズ
• 顧客の発話履歴をクラウドに送りたくない場合
に最適
• NICT VoiceTraは既に180の企業・研究機関と連携
31
Rospeex On-Cloudユーザ分布
2018/3/2
日経新聞
1面トップ
Q. 何をどこまでやればよいのか?
A. IAADPタスクを基準として理解(と実行)を評価すればよい
タスク略称 細目 タスク内容 曖昧性
Retrieve 12
Aを持ってくる・捨てる(例:ス
マートフォンを持ってくる)
中
Carry 8
AからBにCを移動させる(例:要
支援者から家族に物を渡す)
高
OpenClose 20
ドア・食器棚・引き出し等の開閉
(把手ストラップ有)
低
Following 2
人発見・追跡(例:要支援者のあ
とを付いて物を運ぶ)
低
SoftObjManip 7
柔軟物等の複雑な物体操作(例:
食材を布袋から取り出す)
中
IAADP*が定義した介助犬タスクのうち、生活支援ロボットHSRが可能
なタスクは全49細目
*International Association of Assistance Dog Partners
1. マルチモーダル言語理解
2. マニピュレーションとコミュニケーションの共通項
3. 生活支援ロボットのベンチマーク評価
4. SI視点の展望
まとめ
謝辞:本研究にサポートをいただきました※50音順
• 研究助成( JSPS科研費、 JST CREST、総務省SCOPE)
• 共同研究機関(トヨタ自動車)

More Related Content

What's hot

ICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
ICML2013読み会 ELLA: An Efficient Lifelong Learning AlgorithmICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
ICML2013読み会 ELLA: An Efficient Lifelong Learning AlgorithmYuya Unno
 
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングJubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングYuya Unno
 
ICASSP読み会2020
ICASSP読み会2020ICASSP読み会2020
ICASSP読み会2020Yuki Saito
 
Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会
Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会
Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会Yuya Unno
 
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)Yasunori Ozaki
 
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用Yuya Unno
 
音声の声質を変換する技術とその応用
音声の声質を変換する技術とその応用音声の声質を変換する技術とその応用
音声の声質を変換する技術とその応用NU_I_TODALAB
 
segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)
segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)
segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)Haruka Shimojima
 
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPythonKimikazu Kato
 
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)Yuya Unno
 
深層学習と音響信号処理
深層学習と音響信号処理深層学習と音響信号処理
深層学習と音響信号処理Yuma Koizumi
 
Facebookの人工知能アルゴリズム「memory networks」について調べてみた
Facebookの人工知能アルゴリズム「memory networks」について調べてみたFacebookの人工知能アルゴリズム「memory networks」について調べてみた
Facebookの人工知能アルゴリズム「memory networks」について調べてみた株式会社メタップスホールディングス
 
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...Yuya Unno
 
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズムDNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズムShinnosuke Takamichi
 
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習Preferred Networks
 
実環境音響信号処理における収音技術
実環境音響信号処理における収音技術実環境音響信号処理における収音技術
実環境音響信号処理における収音技術Yuma Koizumi
 
Lighting talk chainer hands on
Lighting talk chainer hands onLighting talk chainer hands on
Lighting talk chainer hands onOgushi Masaya
 

What's hot (20)

ICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
ICML2013読み会 ELLA: An Efficient Lifelong Learning AlgorithmICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
ICML2013読み会 ELLA: An Efficient Lifelong Learning Algorithm
 
bigdata2012nlp okanohara
bigdata2012nlp okanoharabigdata2012nlp okanohara
bigdata2012nlp okanohara
 
Sapporo20140709
Sapporo20140709Sapporo20140709
Sapporo20140709
 
Jubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニングJubatusの紹介@第6回さくさくテキストマイニング
Jubatusの紹介@第6回さくさくテキストマイニング
 
ICASSP読み会2020
ICASSP読み会2020ICASSP読み会2020
ICASSP読み会2020
 
Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会
Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会
Twitter分析のためのリアルタイム分析基盤@第4回Twitter研究会
 
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
 
Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用Chainerのテスト環境とDockerでのCUDAの利用
Chainerのテスト環境とDockerでのCUDAの利用
 
音声の声質を変換する技術とその応用
音声の声質を変換する技術とその応用音声の声質を変換する技術とその応用
音声の声質を変換する技術とその応用
 
segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)
segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)
segmentation-modelsでざっくり動かすセマンティックセグメンテーション(U-Net)
 
機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython機械学習ゴリゴリ派のための数学とPython
機械学習ゴリゴリ派のための数学とPython
 
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
企業における自然言語処理技術の活用の現場(情報処理学会東海支部主催講演会@名古屋大学)
 
深層学習と音響信号処理
深層学習と音響信号処理深層学習と音響信号処理
深層学習と音響信号処理
 
miyoshi17sp07
miyoshi17sp07miyoshi17sp07
miyoshi17sp07
 
Facebookの人工知能アルゴリズム「memory networks」について調べてみた
Facebookの人工知能アルゴリズム「memory networks」について調べてみたFacebookの人工知能アルゴリズム「memory networks」について調べてみた
Facebookの人工知能アルゴリズム「memory networks」について調べてみた
 
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
NIPS2013読み会: Distributed Representations of Words and Phrases and their Compo...
 
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズムDNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
DNNテキスト音声合成のためのAnti-spoofingに敵対する学習アルゴリズム
 
Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習Jubatusにおける大規模分散オンライン機械学習
Jubatusにおける大規模分散オンライン機械学習
 
実環境音響信号処理における収音技術
実環境音響信号処理における収音技術実環境音響信号処理における収音技術
実環境音響信号処理における収音技術
 
Lighting talk chainer hands on
Lighting talk chainer hands onLighting talk chainer hands on
Lighting talk chainer hands on
 

Similar to 生活支援ロボットのマルチモーダル言語理解技術

Statistical Machine Translation Overview
Statistical Machine Translation OverviewStatistical Machine Translation Overview
Statistical Machine Translation OverviewHiroki Kawano
 
人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)
人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)
人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)KIT Cognitive Interaction Design
 
音声インタフェースとWebアクセシビリティ
音声インタフェースとWebアクセシビリティ音声インタフェースとWebアクセシビリティ
音声インタフェースとWebアクセシビリティTakuya Nishimoto
 
Nishimoto110126 v15-light2
Nishimoto110126 v15-light2Nishimoto110126 v15-light2
Nishimoto110126 v15-light2Takuya Nishimoto
 
探索的検索のための音声入力インタフェースの検討
探索的検索のための音声入力インタフェースの検討探索的検索のための音声入力インタフェースの検討
探索的検索のための音声入力インタフェースの検討Takuya Nishimoto
 
マイニング探検会#12
マイニング探検会#12マイニング探検会#12
マイニング探検会#12Yoji Kiyota
 
記号を用いたコミュニケーションを実現するために何が必要か?― 記号創発ロボティクスの 視点から ―
記号を用いたコミュニケーションを実現するために何が必要か?― 記号創発ロボティクスの 視点から ―記号を用いたコミュニケーションを実現するために何が必要か?― 記号創発ロボティクスの 視点から ―
記号を用いたコミュニケーションを実現するために何が必要か?― 記号創発ロボティクスの 視点から ―Tadahiro Taniguchi
 
Acoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief NetworksAcoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief NetworksJunya Saito
 
hirai23slp03.pdf
hirai23slp03.pdfhirai23slp03.pdf
hirai23slp03.pdfYuki Saito
 
音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組み音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組みAtsushi_Ando
 
対話システムにおけるインタラクション 技術のこれまでとこれから:携帯機器での音声情報検索案内システムを例として(南 泰浩)
対話システムにおけるインタラクション 技術のこれまでとこれから:携帯機器での音声情報検索案内システムを例として(南 泰浩)対話システムにおけるインタラクション 技術のこれまでとこれから:携帯機器での音声情報検索案内システムを例として(南 泰浩)
対話システムにおけるインタラクション 技術のこれまでとこれから:携帯機器での音声情報検索案内システムを例として(南 泰浩)KIT Cognitive Interaction Design
 
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)Webpla LLC.
 
学会・研究会の情報保障におけるソーシャルネットワークの役割
学会・研究会の情報保障におけるソーシャルネットワークの役割学会・研究会の情報保障におけるソーシャルネットワークの役割
学会・研究会の情報保障におけるソーシャルネットワークの役割Takuya Nishimoto
 
人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人
人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人
人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人KIT Cognitive Interaction Design
 
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクールYuya Unno
 

Similar to 生活支援ロボットのマルチモーダル言語理解技術 (20)

Statistical Machine Translation Overview
Statistical Machine Translation OverviewStatistical Machine Translation Overview
Statistical Machine Translation Overview
 
Nishimoto110111twcu p2
Nishimoto110111twcu p2Nishimoto110111twcu p2
Nishimoto110111twcu p2
 
対話システム, 南泰浩
対話システム, 南泰浩対話システム, 南泰浩
対話システム, 南泰浩
 
人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)
人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)
人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)
 
音声インタフェースとWebアクセシビリティ
音声インタフェースとWebアクセシビリティ音声インタフェースとWebアクセシビリティ
音声インタフェースとWebアクセシビリティ
 
Nishimoto110126 v15-light
Nishimoto110126 v15-lightNishimoto110126 v15-light
Nishimoto110126 v15-light
 
Nishimoto110126 v15-light2
Nishimoto110126 v15-light2Nishimoto110126 v15-light2
Nishimoto110126 v15-light2
 
探索的検索のための音声入力インタフェースの検討
探索的検索のための音声入力インタフェースの検討探索的検索のための音声入力インタフェースの検討
探索的検索のための音声入力インタフェースの検討
 
マイニング探検会#12
マイニング探検会#12マイニング探検会#12
マイニング探検会#12
 
記号を用いたコミュニケーションを実現するために何が必要か?― 記号創発ロボティクスの 視点から ―
記号を用いたコミュニケーションを実現するために何が必要か?― 記号創発ロボティクスの 視点から ―記号を用いたコミュニケーションを実現するために何が必要か?― 記号創発ロボティクスの 視点から ―
記号を用いたコミュニケーションを実現するために何が必要か?― 記号創発ロボティクスの 視点から ―
 
Acoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief NetworksAcoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief Networks
 
hirai23slp03.pdf
hirai23slp03.pdfhirai23slp03.pdf
hirai23slp03.pdf
 
20100831.あしたの研第14回座談会moses.スライド
20100831.あしたの研第14回座談会moses.スライド20100831.あしたの研第14回座談会moses.スライド
20100831.あしたの研第14回座談会moses.スライド
 
音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組み音声感情認識の分野動向と実用化に向けたNTTの取り組み
音声感情認識の分野動向と実用化に向けたNTTの取り組み
 
対話システムにおけるインタラクション 技術のこれまでとこれから:携帯機器での音声情報検索案内システムを例として(南 泰浩)
対話システムにおけるインタラクション 技術のこれまでとこれから:携帯機器での音声情報検索案内システムを例として(南 泰浩)対話システムにおけるインタラクション 技術のこれまでとこれから:携帯機器での音声情報検索案内システムを例として(南 泰浩)
対話システムにおけるインタラクション 技術のこれまでとこれから:携帯機器での音声情報検索案内システムを例として(南 泰浩)
 
seminar-paper_karaoke.pptx
seminar-paper_karaoke.pptxseminar-paper_karaoke.pptx
seminar-paper_karaoke.pptx
 
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
MAごころを、君に - #7 ChatGPT勉強会(2023-03-28)
 
学会・研究会の情報保障におけるソーシャルネットワークの役割
学会・研究会の情報保障におけるソーシャルネットワークの役割学会・研究会の情報保障におけるソーシャルネットワークの役割
学会・研究会の情報保障におけるソーシャルネットワークの役割
 
人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人
人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人
人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人
 
言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール言語と知識の深層学習@認知科学会サマースクール
言語と知識の深層学習@認知科学会サマースクール
 

More from Komei Sugiura

生活支援ロボットにおける 大規模データ収集に向けて
生活支援ロボットにおける大規模データ収集に向けて生活支援ロボットにおける大規模データ収集に向けて
生活支援ロボットにおける 大規模データ収集に向けてKomei Sugiura
 
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...Komei Sugiura
 
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...Komei Sugiura
 
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard PlatformNew challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard PlatformKomei Sugiura
 
20160907rsj16ロボット聴覚OS
20160907rsj16ロボット聴覚OS20160907rsj16ロボット聴覚OS
20160907rsj16ロボット聴覚OSKomei Sugiura
 
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置Komei Sugiura
 
20160221statistic imitation learning and human-robot communication
20160221statistic imitation learning and human-robot communication20160221statistic imitation learning and human-robot communication
20160221statistic imitation learning and human-robot communicationKomei Sugiura
 
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバックKomei Sugiura
 
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測Komei Sugiura
 
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験Komei Sugiura
 
Cloud Robotics for Human-Robot Dialogues
Cloud Robotics for Human-Robot DialoguesCloud Robotics for Human-Robot Dialogues
Cloud Robotics for Human-Robot DialoguesKomei Sugiura
 
Language acquisition framework for robots: From grounded language acquisition...
Language acquisition framework for robots: From grounded language acquisition...Language acquisition framework for robots: From grounded language acquisition...
Language acquisition framework for robots: From grounded language acquisition...Komei Sugiura
 
rospeex: a cloud-based speech communication toolkit for ROS
rospeex: a cloud-based speech communication toolkit for ROSrospeex: a cloud-based speech communication toolkit for ROS
rospeex: a cloud-based speech communication toolkit for ROSKomei Sugiura
 
Introduction to RoboCup@Home
Introduction to RoboCup@HomeIntroduction to RoboCup@Home
Introduction to RoboCup@HomeKomei Sugiura
 

More from Komei Sugiura (15)

生活支援ロボットにおける 大規模データ収集に向けて
生活支援ロボットにおける大規模データ収集に向けて生活支援ロボットにおける大規模データ収集に向けて
生活支援ロボットにおける 大規模データ収集に向けて
 
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
SuMo-SS: Submodular Optimization Sensor Scattering for Deploying Sensor Netwo...
 
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
Spatio-Temporal Pseudo Relevance Feedback for Large-Scale and Heterogeneous S...
 
20161014IROS_WS
20161014IROS_WS20161014IROS_WS
20161014IROS_WS
 
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard PlatformNew challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
New challenge in RoboCup 2017 Nagoya: RoboCup@Home Standard Platform
 
20160907rsj16ロボット聴覚OS
20160907rsj16ロボット聴覚OS20160907rsj16ロボット聴覚OS
20160907rsj16ロボット聴覚OS
 
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
20160606劣モジュラ性を利用したドローンによるばらまき型センサ配置
 
20160221statistic imitation learning and human-robot communication
20160221statistic imitation learning and human-robot communication20160221statistic imitation learning and human-robot communication
20160221statistic imitation learning and human-robot communication
 
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
20140513大規模異分野データ横断検索における時空間情報を用いた擬似適合性フィードバック
 
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
20150531Deep Recurrent Neural Networkによる環境モニタリングデータの予測
 
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
階層型評価構造に基づく観光スポット推薦システムの構築と長期実証実験
 
Cloud Robotics for Human-Robot Dialogues
Cloud Robotics for Human-Robot DialoguesCloud Robotics for Human-Robot Dialogues
Cloud Robotics for Human-Robot Dialogues
 
Language acquisition framework for robots: From grounded language acquisition...
Language acquisition framework for robots: From grounded language acquisition...Language acquisition framework for robots: From grounded language acquisition...
Language acquisition framework for robots: From grounded language acquisition...
 
rospeex: a cloud-based speech communication toolkit for ROS
rospeex: a cloud-based speech communication toolkit for ROSrospeex: a cloud-based speech communication toolkit for ROS
rospeex: a cloud-based speech communication toolkit for ROS
 
Introduction to RoboCup@Home
Introduction to RoboCup@HomeIntroduction to RoboCup@Home
Introduction to RoboCup@Home
 

Recently uploaded

2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦Sadao Tokuyama
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 

Recently uploaded (12)

What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 

生活支援ロボットのマルチモーダル言語理解技術