強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
•Download as PPTX, PDF•
2 likes•2,568 views
本資料は2019年11月15日~11月16日に行われた統計・機械学習若手シンボジウムで今井が行った招待公演「強化学習エージェントの内発的動機付けによる探索とその応用」で使用した資料を，自主公開版として一部修正したものです． いわゆる内発的報酬（Intrinsic Reward）を用いた強化学習の手法について，近年（〜2019年）の手法や内容をまとめたものになります．
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
Similar to 強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演） (20)
強化学習エージェントの内発的動機付けによる探索とその応用（第4回 統計・機械学習若手シンポジウム 招待公演）
- 1. 第４回統計・機械学習若手シンポジウム 招待公演 強化学習エージェントの 内発的動機付けによる探索とその応用 東京大学 大学院工学系研究科 技術経営戦略学専攻 今井 翔太 Email:imais@weblab.t.u-tokyo.ac.jp 2019年11月16日（2020年9月修正公開） Twitter：えるエル@ImAI_Eruel
- 2. 本資料について 本資料は2019年11月15日~11月16日に行われた統計・機械学習若手シンボジウムで今井 が行った招待公演「強化学習エージェントの内発的動機付けによる探索とその応用」で 使用したものを，自主公開版として一部修正したものです 新たにSlideShareで公開するにあたり，一部内容の修正（所属，手法の説明等）や表現 の変更を加えました Shota Imai | The University of Tokyo 2
- 3. 発表の前に 基本的な強化学習の知識(Q学習など)はあることを前提に資料を作成しています 強化学習，深層強化学習の基礎については，いくらでも詳しい資料があるため， このスライドでは解説しません 強化学習のニッチ分野の発表なので，「こんな概念・手法があるんだな」くらいの感覚 で聞いていただければ
- 4. 発表内容 人間と強化学習における内発的動機付け 外発的報酬と内発的報酬 内発的報酬の生成手法 - カウントベース - 予測誤差 - その他の手法 内発的報酬を用いた強化学習の応用 - 生体反応×内発的報酬 - ロボティクスにおける多様な行動 - マルチエージェント環境における協調行動誘発 - 世界モデルの構築
- 6. 強化学習における内発的動機付け 通常の強化学習では，報酬は環境に固有のゴール状態や，特別な状態（アイテム獲得 等）に対して，環境から与えられる外発的報酬に依存する →人間でいう外発的動機付け 環境から与えられる報酬とは別に，何らかの基準でエージェント自身が報酬（内発的報 酬）を生成する強化学習 →人間における内発的動機付けに近い 特に状態がどれくらい未知であるか？を基準に内発的報酬を生成することが多く，一部の 手法は好奇心による探索（curiosity driven exploration）とも呼ばれる
- 7. 強化学習における外的報酬と内発的報酬 外発的報酬（Extrinsic Reward） - 環境で本来の目的を達成したときに獲得できる報酬𝑅 𝑒 内発的報酬(Intrinsic Reward) - 環境内で何らかの基準で，エージェント自身が勝手に生み出す報酬𝑅𝑖．探索ボーナス とも 最終的に受け取る報酬:𝑅 = 𝑅 𝑒 + 𝑅𝑖 エージェン ト 報酬 普通の強化学習 外的な報酬だけに頼った場合 でも，ランダム探索で現実的 な時間で学習可能 報酬がスパースな場合 ランダム探索では，いつまで たっても報酬到達しない →何らかの基準で内発的報酬 を生成し，探索に方向性，偏 りを与える 例）行ったことのない状態に 到達すると報酬生成 エージェント 報酬 7 報酬がスパースなタスクで はほとんどの場合0 報酬がスパースなタスクでも0になりにくく，外発 的報酬に代わって価値関数改善のきっかけとなる
- 8. 内発的報酬を用いた強化学習手法 状態への訪問回数のカウントベース手法 予測器の予測誤差を用いた内発的報酬生成 その他 - 遷移確率の変化＝環境に対する情報量の改善とみなして内発的報酬 - ２つのネットワーク間の蒸留と出力予測により内発的報酬生成 - 特殊な強化学習（？）
- 9. 内発的報酬の例：カウントベースの内発的報酬 ある状態𝑠で選択した行動aの回数をカウントし，𝑛(𝑠, 𝑎)とする 𝑛(𝑠, 𝑎)に反比例して内発的報酬を与えると，𝑛(𝑠, 𝑎)が少ない (新規性が高い)状態遷移の 価値評価が高まる いままであまり選択しなかった行動を選択すると，内発的報酬は， 𝛽 𝑛(𝑠, 𝑎 𝑢𝑝) = 𝛽 1 𝛽 𝑛(𝑠, 𝑎𝑙𝑒𝑓𝑡) = 𝛽 2 と大きくなり，行動価値， 𝑄 𝑠, 𝑎 𝑢𝑝 や 𝑄 𝑠, 𝑎𝑙𝑒𝑓𝑡 は高く評価される 一方，今まで何度も選択した行動を選択すると，内発的報酬は， 𝛽 𝑛(𝑠, 𝑎 𝑑𝑜𝑤𝑛) = 𝛽 𝑛(𝑠, 𝑎 𝑟𝑖𝑔ℎ𝑡) = 𝛽 4 と小さくなり，行動価値， 𝑄 𝑠, 𝑎 𝑢𝑝 や 𝑄 𝑠, 𝑎𝑙𝑒𝑓𝑡 は低く評価される 内発的報酬𝑅𝑖𝑛 𝑛(𝑠, 𝑎 𝑟𝑖𝑔ℎ𝑡)＝4𝑛(𝑠, 𝑎𝑙𝑒𝑓𝑡)＝2 𝑛(𝑠, 𝑎 𝑑𝑜𝑤𝑛)＝4 𝑛(𝑠, 𝑎 𝑢𝑝)＝1 Shota Imai | The University of Tokyo 9
- 10. 人間が，ある種の探索課題をクリアする場合も内発的報酬を用いた 探索に似たようなこ とをしている 【ゲームのダンジョン探索の例】 複数進行方向の候補がある 今まで１度行ったことがある方向（青色矢印）は 目的地にたどり着かなかったので除外 今まで行ったことがない方向（赤色矢印）の方向を 目指せばゴールにたどり着けそう カウントベースの内発的報酬による探索のうれしさ（直観的に） １回 １回 ０回 ドラゴンクエスト2 ロンダルキアの洞窟 Shota Imai | The University of Tokyo 10
- 11. 状態数があまりにも多すぎたり，状態空間が連続の場合は，ほとんどの状態カウントが ゼロになり，意味をなさない この性質上，最近の強化学習主要ベンチマークである物体制御タスクや，Atariゲームで はほとんど意味がない カウントベース手法の欠点 Atariゲーム：状態数が多すぎる物体制御：状態が連続値 11 Shota Imai | The University of Tokyo
- 12. Atariゲーム中，最高の難しさを誇るゲーム 最初の深層強化学習アルゴリズムDQNではスコア0でまったく攻略できず このゲームの攻略のため，内発的報酬を用いるRL手法が注目，発展 難しいタスクの例 / Montezuma’s Revenge • 計24個からなる全体マップ．各部屋も非常に広く，状態数も膨大 • 回り道→鍵入手→ロック解除など，一連の複雑な行動が必要 少 し の 刺 激 で 死 亡 す る 激 弱 主 人 公 12 Shota Imai | The University of Tokyo
- 13. 疑似カウントベース手法（Pseudo-Count） 一つ一つの状態の訪問回数を直接カウントせず，画像ピクセル単位で見た状態の類似度， 発生確率から，疑似的に状態カウント 状態のハッシュ化を用いたカウントベース手法 状態をハッシュを用いて変換して抽象化し，似た状態をまとめてカウント カウントベースを改良した手法 Shota Imai | The University of Tokyo 13
- 14. 観測𝑥𝑡と，その時選択する行動𝑎 𝑡から，次の観測𝑥𝑡+1がどうなるか予測するモデル 𝑓(𝑥𝑡, 𝑎 𝑡)を考える（順モデル） モデルの出力と実際に𝑥𝑡で𝑎 𝑡を選択した場合の次の観測𝑥𝑡+1を用いて二乗誤差を計算し， NNを学習 既に観測した遷移は予測精度が高くなり（二乗誤差が小さくなる），観測が少ない遷移 は予測精度が低くなる（二乗誤差が大きい） →この予測誤差を内的報酬とすれば，未知状態への探索を促進可 予測誤差による内発的報酬生成 Shota Imai | The University of Tokyo 14
- 15. NoisyTV problem Unity（ゲームエンジン）で作った強化学習環境に，次々と違う映像が映し出されるテレ ビを設置し，内発的報酬による探索をさせてみた →エージェントの動きが止まってしまう 理由 - 常に観測がランダム変化することで，予測器の学習が意味をなさず，TVを観測する状態に高 い報酬が生成されるため 環境内の無意味な情報を無視できる 特徴抽出が必要 Shota Imai | The University of Tokyo 15 エージェント視点 壁のTVに映し出される画像が高速で切り替わり続ける ↑常に変化 ↑どれだけ学習 しても予測でき ない
- 16. エージェントにとって意味のある観測 エージェントの観測には以下のものが含まれる (1)エージェントに影響を与え，エージェントによって コントロールできるもの →マリオ本体 (2)エージェントに影響を与えるが，エージェントが直 接的にコントロールできないもの →クリボーなどの敵 (3)エージェントに影響を与えず，エージェントがコン トロールすることもできないもの（だけど予測誤差 には影響を与えてしまう） →画面上部のコインのピカピカ (3)は無視して，(1)と(2)のみに注目したい →無駄なものを無視する特徴抽出器を使用した予測誤差 Shota Imai | The University of Tokyo 16 (1) (3) (2 )
- 17. エージェントの行動に関係があるもののみに注目する特徴抽出器を逆モデルを用いて学 習し，予測誤差により内発的報酬を生成する機構をつける IＣＭ (Intrinsic Curiosity Module) 意図的にランダムノイズを入れたゲーム画面からでも， うまく特徴抽出して学習可 Shota Imai | The University of Tokyo 17
- 18. 環境に対する情報量の改善＝好奇心とし，情報量が改善されるような状態遷移に対して 多くの内発的報酬を付与 情報量の改善は，状態遷移前後の遷移確率の分布の分布間のKLダイバージェンス 𝜉𝑡 = {𝑠1, 𝑎1, . . . , 𝑠𝑡}:時刻𝑡までの状態と行動による遷移の列 𝑠𝑡：時刻tにおける状態 𝑎 𝑡：時刻tでとった行動 𝑝 𝑠𝑡+1 𝑠𝑡, 𝑎 𝑡; 𝜃 ：𝑠𝑡で行動𝑎 𝑡を選択したとき状態𝑠𝑡+1に遷移する確率 その他の内発的報酬生成方式 / 情報量の改善による内発的報酬 VIME Shota Imai | The University of Tokyo 18
- 19. その他の内発的報酬生成方式 / 二つのネットワークの蒸留と出力予測 RND（Random Network Distillation） 二つのネットワーク，ターゲットネットワーク，予測ネットワークを用意 両ネットワークに，評価したい状態を入力 予測ネットはターゲットの出力を真似るよう学習を行い，両出力の二乗誤差が内的報酬 となる →新しく観測した状態に大しては内発的報酬が大きくなる Shota Imai | The University of Tokyo 19
- 20. RNDがMontezuma’s Revengeで 初めて人間の平均スコア超え ↑DQNの悲惨なスコアから， 3年でここまで発展 Shota Imai | The University of Tokyo 20
- 22. 従来の好奇心による探索手法の問題点 緑色の部分が内的報酬を獲得できる場所 （新規状態） 渦の中心ほど，深い探索が必要 一度は内的報酬に従って，深い状態まで探 索を行っても，何らかの理由で 別エリア の探索に切り替わった場合を考える そうすると，既に探索済みの場所（白い部 分）は内的報酬が得られないため，深い状 態に到達するための探索が難しくなる
- 23. Go-Explore/大まかな手法の概要 ２つのフェーズに分けてエージェントの学習を行う フェーズ１：目標状態到達まで探索 - 探索をしながら，特定の状態”Cell”をArchiveに追加 - 探索のスタート時にArchiveからランダムにCellを選択し, その状態まで移動 - その状態からスタートしてランダム探索(繰り返し) フェーズ２：方策のロバスト化 - フェーズ１で得られた軌道のうち目標に到達した軌道を 通るような方策を模倣学習で獲得 Shota Imai | The University of Tokyo 23 ここまで解説してきた内発的報酬とは本質的に関係がなく，特殊な手法
- 24. 内発的報酬を用いた応用手法 Atariや迷路，物体制御などの主要ベンチマークだけでなく，内発的報酬を用いて特定の課 題に取り組んだ研究をいくつか紹介します 人間の生体反応を用いた内発的報酬生成 内発的報酬を用いたロボットの優しい操作獲得 マルチエージェントタスクで，影響のある行動に報酬を与えて協調行動誘発 内発的報酬により環境の重要情報を保持する世界モデル構築
- 25. 人間の生体反応を元にした内発的報生成 外的な報酬𝑟と，人間の生体反応を教師データとして学習したCNNの出力 から得た内発的報酬 𝑟を重みづけし，最終的な報酬とする CNNの学習には，実際に人間の運転手を運転させて得た運転者視点画像 と，生体パルスを使用 (一種の模倣学習といえる) Visceral Machines Daniel McDuff and Ashish Kapoor. Visceral Machines: Reinforcement Learning with Intrinsic Rewards that Mimic the Human Nervous System.
- 26. 人間の生体反応を元にした内発的報生成/実験と結果 実験環境として，運転シミュレータAirSimを使用 ベースアルゴリズムとしてはDQNを使用 重みλが1の場合は外的報酬のみによるただのDQN，0の場合は内発的報酬のみに頼った 学習となる 運転の各要素の制御タスク におけるパフォーマンス 以下に長くエピソードを続け られるか（衝突したら終了）
- 27. 壊れやすい物体操作のための優しい操作を内発的報酬により獲得 ロボットによる壊れやすい物体操作には，強すぎる操作をした場合の罰則 を与える必要があるが，これだけでは局所解に陥る これを回避するため，ペナルティに加えて，環境に対する予測誤差の内発 的報酬と，ペナルティに対する予測誤差の内的報酬を導入 内発的報酬 - Impact Penelty: 時刻𝑡でエージェントが与えた衝撃に対する罰則報酬 - Deynamics-based surprise 複数ネットワークに行動と状態を入力し，出力の分散が大きければ報酬大 - Penalty-based surprise Impact Penaltyをベースに報酬生成 最終的な報酬はタスク報酬と これらの組み合わせ 学習手法としてはD4PGを使用
- 28. 壊れやすい物体操作のための優しい操作を内発的報酬により獲得 /実験と結果 タスクの外部報酬，強い操作に対するペナルティ，2つの予測誤差による内発的報酬の組 み合わせを変えてみたパフォーマンスの違い 上が物体圧縮操作，下は壊れやすいブロック操作 Shota Imai | The University of Tokyo 28 ペナルティの予測誤差による内発的報酬が 一番効いており，両タスクで高いパフォーマ ンス
- 32. 環境の重要な情報を発見する世界モデル構築 World Discovery Models 環境の構造をモデリングする世界モデルに関する研究 通常の強化学習とは違い，環境内で与えられた明確なタスクを解く方策を学習するので はなく，内発的報酬により学習した方策で，環境に関する重要な情報をどれだけ捉えら れるかをみる 世界モデル(World Model) 今までの遷移情報から得た表現を保持するRNN(GRU)と，その表 現を用いて，kステップ先の観測𝑜𝑡+𝑘の確率分布 𝑝𝑡+𝑘|𝑡を出力する MLPからなる Reward Generator 世界モデルの出力から内発的報酬生成 RL Agent 実際に報酬を受け取って方策を学習する部分 (世界モデル的にはコントローラ)．R2D2で学習 Evaluation 探索性能向上や方策改善とは直接関係ない． 世界モデルの内部表現の良さを評価する部分
- 33. NDIGO/世界モデル 各タイムステップkにおける観測の分布を出 力 各タイムステップにおける行動と， GRUの出力をMLPの入力とする NDIGO(Neural Differential Information Gain Optimization) 予測誤差 学習のた めのロス 内発的報酬 時間的に差がある予測誤差の差
- 34. 実験と結果 POMDPの設定で，環境内に存在するいくつかのオブジェクトの中から，重要な情報を内 部表現として獲得し，逆にランダムに動く物体など，重要でないものを無視できるかみる 時間が進むごとに，fixed（赤色 動きに規則性あ り）の状態推定ができている White noise (黄緑 ランダムな動き)は推定できな いので，ずっとバラバラなまま • fixedのvisit countが→fixedに集中して行動 • White noiseのvisit countが小→white noiseを無視 • Fixedのvisit timeが小→すぐにfixedを発見可能 • White noiseのvisit timeが大→white noiseに向かわない行動 POMDPにおける環境状態推 定 オブジェクトへの到達数と到達時間
- 35. 内発的報酬の生成手法/まとめ 環境内で何か数値で表せる対称がある場合，大体は内発的報酬生成のきっかけにできる ただし，あるタスクに固有のイベントを内発的報酬の生成きっかけにすると，他のタス クでは使用できないアルゴリズムとなる 様々なタスクに共通する概念をうまく見つけ出して，報酬生成のきっかけにすれば様々 な分野への応用が期待できる