More Related Content Similar to [DL輪読会]Fast and Slow Learning of Recurrent Independent Mechanisms (7) More from Deep Learning JP (20) [DL輪読会]Fast and Slow Learning of Recurrent Independent Mechanisms1. DEEP LEARNING JP
[DL Papers] Fast and Slow Learning of
Recurrent Independent Mechanisms
XIN ZHANG, Matsuo Lab
http://deeplearning.jp/
2. 書誌情報
● タイトル:
○ Fast and Slow Learning of Recurrent Independent Mechanisms
● 著者
○ Kanika Madan, Rosemary Nan Ke, Anirudh Goyal, Bernhard Scholkopfm, Yoshua
Bengio.
● ICLR 2021
● 概要
○ 脳に存在する機能毎に独立な部分を,Modular Networkで実現しようと...
○ Recurrent Independent Mechanisms(RIM)はその一種.
○ RIMの学習を異なるStepで行う仕組みを提案し, 手法を改良した研究. 2
6. 6
Learning Modular Neural Network Policies for Multi-Task and Multi-Robot Transfer 2016
Introduction:Modular Networks
➢ ロボットのModule, タスクのModuleを学習して, 新たな組み合わせに汎化できる.
9. Meta Learning of RIM
9
➢ Fast Inner:RIM, Policy head.
➢ SLOW:Input Attention & Communication Attention, Value head.
11. - Modular Networks(Introdcution)
Related Work
11
- Meta Learning
- Modular meta-learning 2018
- Meta-Learning to Disentangle Causal Mechanisms
- A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms
- Learning neural causal models from unknown interventions
14. b: Lead to policy that generalize better?
14
➢ Yes, More DifficultはZero shot Transfer, Baselineを大きくリード.
15. c: Fast adaptation to new distributions?
15
➢ 簡単な環境でPre-trainして,target 環境で成功率を測る.
○ もっと効率的に知識のピースを再利用していると言える.
18. Ablation: Value function Visualization
18
➢ 左の図, Valueが上がったり下がったり...ゴールが見えている時は, 高い値を示す.
➢ Frame 12はゴールの目の前にいて,すごく高い, 13はタスク終了なので,低くなる.
20. Ablation: Importance of Fast and Slow Update Loops.
20
➢ Inner loop, Outer loopの役割を交換すると,精度は落ちる. Vanilaと同じ程度に.
➢ AttentionのLearning rateだけを落としても,うまくいかない.(slowLR)
21. Ablation: Roles of the Active Modules
21
➢ Active Modulesを減らしたら,エピソードを完成するのに,より長い時間をかけた.
23. まとめ:
- 知識の分解と再利用を実現するのに, 必要なアーキテクチャに関する研究.
- 多くの関連分野(meta RL, HRL, time scale in RL, attention)をうまく繋げた面白い研
究.(OpenReview.)
- 具体的にはRIMをMete-Learning的な考え方で実現してみた.
- Meta-learningの活用で,汎化性能を挙げられることに期待.
まとめ&感想
23
感想:
- Modular Networkの研究が面白い, RIMはBengio先生が推してて重要な研究.
- それぞれのModuleが異なる役割をもっと明確に担当させるのに, 方法がありそう.
- DADS の
24. Appendix
- 関連研究:
- Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with
Attention over Modules
- ブログ RIM:
- https://www.zhihu.com/search?type=content&q=Recurrent%20independent%20mechanism
s