12. Latent Classifier Generative Adversarial Nets(LAC-GAN)
[Sugiura+2017]
分類に有効な表現をExtractorに生成させ、
それをGeneratorに真似させる点がミソ
K. Sugiura and H. Kawai, "Grounded Language Understanding for Manipulation Instructions Using GAN-Based Classification", In Proc.
IEEE ASRU, Okinawa, Japan, pp. 519-524, 2017.
14. 分散表現
応用1)
動作タスク成功度の予測
• 入力:物体名称+状況(「Bottle, please」)
• 出力:動作成功度
• Baseline[Odena+ 16]の精度58.2%を、67.1%に改善
Name: bottle
Situation: insulated water
bottle with sipper top. ... a set
of keys by the water bottle.
ラベル
1:禁止
2:不可能
3:困難
4:容易
分散表現
Name: bottle
Situation: a bottle in a
woman's hand. … woman
holding a water bottle.
ラベル
1:禁止
2:不可能
3:困難
4:容易
K. Sugiura and H. Kawai, "Grounded Language Understanding for Manipulation Instructions Using GAN-Based Classification", In Proc.
IEEE ASRU, Okinawa, Japan, pp. 519-524, 2017.
16. Multimodal Classifier GAN (MMC-GAN)を開発し、 Carry
and Placeタスクの言語理解精度を改善した
• 入力例:「お茶を片付けて」
• LAC-GANとの違い=Extractorを
全結合型からCNN型に変更
• MMC-GANにより、精度を
82.2%から86.2%に改善
A. Magassouba, K. Sugiura, H. Kawai, "A Multimodal Classifier Generative Adversarial Network for Carry and Place Tasks from
Ambiguous Language Instructions", IEEE Robotics and Automation Letters (with IROS 2018 option), 2018.
28. Fetch and Carry:
「AをBから取る」「AをBに置く」
• ランダムに配置される物体の把持
– 日用品(既知32種類、未知4種類)
• ランダムに選択される家具
– 机・テーブル・棚等(15種類)
Go to the living
room, grasp the
apple and give
it to me.”
x2