2021/05/21 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers] Manipulation-Independent Representations(MIR) for
Successful Cross Embodiment Visual Imitation
XIN ZHANG, Matsuo Lab
http://deeplearning.jp/

2. 目次
2
1. 書誌情報
2. Introduction
3. Related Works
4. Manipulator-Independent Representations for Visual Imitation
5. Experiment, Evaluation
6. Discussion

3. 書誌情報
● タイトル：
○ Manipulator-Independent Representations for Visual Imitation
● 著者
○ Yuxiang Zhou, Yusuf Aytar, Konstantinos Bousmalis
● 所属：DeepMind
● 投稿日：2021/3/18 (arXiv)
● 概要
○ Cross-embodiment visual imitationで使える良い表現を学習したい.
○ 1.環境に依存せず、2.時空間の概念を取り入れ、3.行動の射影ができる
○ 条件を満たすManipulator-Independent Representations(MIR)を提案した。 3

4. Imitation Learning：Easy to teach a new skill to a robot
4
4
Recent Advances in Robot Learning from Demonstration
(Ravichandar el.at. 2020 )
Simple
Humanoid, mobile robot.
Remote, easy
Need to develop the interface Mapping the joint from
different kind robot(human)
Easy

5. Introduction：Manipulation Imitation Learning
5

6. - 模倣学習を、別の見方で、大きく２種類に分類できる。
1. 十分なデモンストレーションデータで、一般化した方策を学習させる
2. 初見のデモンストレーションで、特定の動きを模倣させる
- 種類１：一般化した方策を学習する
- Behavioral Cloning
- Inverse reinforcement learning
- 種類２：軌道でタスクを特定し、模倣する
- One-shot Imitation Learning
- Trajectory tacking
Related work
6

7. 1. Manipulator-Independent Representations（MIR表現を学習する）
a. Cross-Domain Alignment
i. Domain Gapに対応できるように
b. Temporal Smoothness
i. 時空間に関する概念をうまく取り入れるように
c. Actionable Representations
i. 行動できるような表現、後の学習に使えるように
2. Cross-Embodiment Imitation via RL（MIR表現を使って、模倣学習する）
提案手法：MIR
7

8. - Domain Gapに対して、domain-randomized simulated environmentsを用い
る。
- 普通にやると、表現空間と方策は密に結合してしまう
- manipulator’s body, actions space, the task at handは表現空間に基づく
- 提案手法MIRは、どのマニピュレータでも使える表現空間を学習したい
- マニピュレータ、特定タスクの情報を含まない表現空間
- つまり、２つの特性を持つ表現が欲しい：
1. ドメインに影響させず
2. 環境に関する理解を射影できる
1.a: Cross-Domain Alignment
8

9. 1.a: Cross-Domain Alignment
9
- そこで、模倣学習について考え直すと、２種類の考え方がある。
1. mimic the movements of the manipulator（軌道重視）
2. replicate the effect of the manipulator on the environment（結果重視）
- Case study：物体を持ってゴールまで運んでいく途中で物体を落とした。
- どうする？
- 主張：軌道の模倣というより、目的状態までの変化を再現するのが大事

10. 1.a: Cross-Domain Alignment
10
(上)：マニピュレータに関する情報をエンコードするため
(下)：環境の変化をキャプするため

11. 1.b: Temporal Smoothness
11

12. TCN：同一ドメインで、Temporal Smoothnessをやる
TSCN：TCNをことなるドメインに汎化させる
1.b: Temporal Smoothness
12

13. 1.c : Actionable Representations
13

14. 1.c : Actionable Representations
14
Goal Conditioned Policy：同一ドメイン
Cross-Domain Goal-Conditional Policies(CD-GCP)：異なるドメインへ拡張

15. 2. Cross-Embodiment Imitation via RL
15

16. 実際模倣するプロセス：
- 学習済みMIRで、デモンストレーションが与えられる：
- N-step後のゴールをサンプリングする：
- 現在の観測oからゴールを達成した際の報酬：
- RLアルゴリズムは、Maximum a Posteriori Policy Optimization (MPO)を使う。
2. Cross-Embodiment Imitation via RL
16

17. Experiments and Data
17
- 7194のデモを収集、ドメインだけを変化させる
- 二つのタスクで評価している。
- 積んだ物体を下ろすタスク
- Objectを他のObjectの上に積むタスク

18. Evaluation：Comparison of Imitation Performance
18
Paired across domainの軌道を使わない手法：(上の２つ)
- Navie Goal-Conditioned Policies(GCP)
- Temporal Distance Classification(TDC)
Paired across domainの軌道を使う手法：（下の３つ）
- Time-Contrastive Networks(TCN)
- Cross-Modal Distance Classification(CMC)
- MIR

19. Evaluation：Ablation Study
19
MIRは、CD-GCPとTSCNから構成される

20. - Cross-embodiment visual imitationに対して、 MIRを提案した
- 未知な形態のマニピュレータにも汎化できた(jaco hand)
- human handのデモンストレーションでもある程度成功
- MIRをドメインシフトに強くした要素は、３つ
- focus on the change of object configurations(環境の用意)
- temporally smooth（TSCN）
- actionable(CD-GCPs)
- 感想
- マニピュレーションに関して、状態の変化に注目した研究
- 良い実験設定で、検証できたが、まだ研究が出てきそう。
- マニピュレーションだけでなく、行動に関する一般化的な話にでも適応できる
のでは？
Conclusion
20

21. Appendix

22. Appendix