深層強化学習と実装例
•
3 likes•3,016 views
牧野浩二 山梨大学工学部付属モノづくり教育実践センター准教授 西崎博光 山梨大学大学院総合研究部准教授 DLLAB 強化学習 Day 2021
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
More from Deep Learning Lab（ディープラーニング・ラボ）
More from Deep Learning Lab（ディープラーニング・ラボ） (20)
Recently uploaded
Recently uploaded (20)
深層強化学習と実装例
- 2. 自己紹介（牧野 浩二） 所属： 山梨大学 工学部附属ものづくり教育実践教育センター 准教授 歩行ロボット 小学生ｘ人工知能 経歴 東京工業大学 卒 本田技術研究所 研究員 高度情報科学技術研究機構 研究員 東京工科大学 助教 山梨大学 地球シミュレータ（当時，世界最速） を用いた新奇ナノカーボン構造体 研究： 医療福祉ロボット 暗黙知の工学的解析 人工知能 まきの こうじ
- 3. 自己紹介（西崎 博光） 所属： 山梨大学 大学院総合研究部工学域（工学部メカトロニクス工学科） 准教授 経歴 2003.3 豊橋技術科学大学 卒 2003.4〜 山梨大学 2015.8〜2016.3 国立台湾大学 客員研究員 2016.4〜 山梨大学 准教授 研究： ディープラーニングを用いたマルチメディア情報処理の基礎研究と応用研究 ・認識分類系： 音声（音）認識，感情認識，AI-OCR（文字認識），画像認識 ・応用系 ： ぶどうの色判定や歩行解析（画像認識応用）， 電子ノート・技術伝承支援システム（音声認識応用）， 聞き耳インタフェース（音声認識応用），など にしざき ひろみつ
- 5. その他教材 実践！ Chainerとロボットで学ぶ ディープラーニング 深層学習（深層強化学習） https://www.nhk-ep.co.jp/nep-development-proposal- 4/ 小学生向けAIエンターテインメントコンテンツの開発 [2019年度 NHKエンタープライズ開発案件] https://ai.afrel.co.jp/chainer.html レゴ® マインドストーム® EV3×Chainer™ Preferred Network×アフレル NHKエンタープライズ×Tech Kids School
- 7. 目次 • 歴史と概要 • 強化学習とは • 深層学習とは • ロボットと学習 • 問題設定と利点 • 計算機と今後 原理を知ることで 問題設定をしやすく
- 8. 目次 • 歴史と概要 • 強化学習とは • 深層学習とは • ロボットと学習 • 問題設定と利点 • 計算機と今後 原理を知ることで 問題設定をしやすく
- 9. 深層学習の歴史 ニューラルネットワーク 深層学習 （ディープラーニング） ブレークスルー 深層学習の進歩 パーセプトロン 1960年代 1980年代 2000年代 2010年代 1990年代 イヌ ネコ ウサギ ネコ ①学習 ②テスト 1950年代 1940年代 ヘッブの シナプス強化法則 マッカロ・ピッツの ニューロンモデル 深層学習 学習スイッチ 回答スイッチ 反射型光センサ 青透明のふた LED 画像認識が人間レベルを超えた
- 13. 深層強化学習の応用例 • 建物の揺れ制御（ダンパーの動きを制御） • スマートグリッド（送電ネットワークの最適化） https://ledge.ai/reinforcement-learning/ • 運搬車などの自動運転 • エレベーターの最適化制御
- 14. 目次 • 歴史と概要 • 強化学習とは • 深層学習とは • ロボットと学習 • 問題設定と利点 • 計算機と今後 原理を知ることで 問題設定をしやすく
- 16. 強化学習とは学習の枠組み 良い状態と悪い状態だけ与えられ，それに至る行動を 獲得する学習が強化学習の考え方である。 有名な強化学習の種類 強化学習は学習方法の枠組みであり， それを実装するアルゴリズムが必要になる。 • Qラーニング • Sarsa • Actor-Critic法 • モンテカルロ法 原理を知ることで 問題を考案する際 のヒントとなる
- 17. Qラーニング（１人の意思決定） 電源ボタン 餌ボタン 電源OFF 0 0 電源ON 0 0 Q値によって行動を決定 電源ボタン 餌ボタン 電源OFF 0 0 電源ON 0 0.5 電源ボタン 餌ボタン 電源OFF 0.225 0 電源ON 0 0.5 餌を得る 餌を得る直前の状態になる 更新方法 報酬によりQ値が変化 Q値の伝播によりQ値が変化
- 18. Qラーニング（１人の意思決定） MINT MINT MINT 開ける （𝑎 = 0, 𝑟 = 0） 傾ける （𝑎 = 2, 𝑟 = 1） 閉める （𝑎 = 1, 𝑟 = 0） ミント菓子がある ミント菓子がない 閉じている（𝒔 = 𝟎） 開いていて， 開いていて， 報酬あり ミント菓子がある（𝒔 = 𝟏） ミント菓子がない（𝒔 = 𝟐） 開ける 閉める 傾ける 閉じている 0.8 0.1 0.3 空いている（ミントあり） 0.2 0.2 0.9 空いている（ミントなし） 0.4 0.6 0.5 ミントタブレットを食べる問題 値が大きい行動が選ばれる
- 19. Qラーニング（２人の意思決定） 0 1 2 3 4 5 6 7 8 なし：０ 〇 ：１ × ：２ 〇 × 1 × 30 + 0 × 31 + 0 × 32 + 0 × 33 + 2 × 34 + 0 × 35 + 0 × 36 + 0 × 37 + 0 × 38 = 163 状態を数で表す 〇 × 1 × 30 + 1 × 31 + 0 × 32 + 0 × 33 + 2 × 34 + 0 × 35 + 2 × 36 + 1 × 37 + 2 × 38 = 16933 × 〇 〇 × 19682 0 1 2 3 4 5 6 7 8 0 1 ・・・ 19682 場所の番号と記号の番号 0 1 2 3 4 5 6 7 8 0 1 ・・・ 19682 〇プレーヤーのQテーブル ×プレーヤーのQテーブル
- 20. Qラーニング（２人の意思決定） 0 1 2 3 4 5 6 7 8 0 0.0 0.0 0.0 0.0 0.5 0.0 0.0 0.0 0.0 1 0.0 0.0 0.0 0.0 0.7 0.0 0.0 0.0 0.0 ・・・ 19682 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 〇 0 1 2 3 4 5 6 7 8 0 0.5 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ・・・ 19682 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 〇プレーヤーのQテーブル ×プレーヤーのQテーブル 0 1 2 3 4 5 6 7 8 〇 0 1 2 3 4 5 6 7 8 〇 × 状態: 0 状態: 1 行動： 0番に打つ 行動： 4番に打つ 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 〇 0 1 2 3 4 5 6 7 8 0 0.5 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ・・・ 16933 -0.1 -0.2 0.8 0.0 0.0 0.0 -0.2 -0.1 -0.2 ・・・ 19682 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 〇プレーヤーのQテーブル 状態: 16933 行動： 2番に打つ 〇 × × 〇 〇 × 〇 × × 〇 〇 × 〇の勝ち
- 22. 目次 • 歴史と概要 • 強化学習とは • 深層学習とは • ロボットと学習 • 問題設定と利点 • 計算機と今後 原理を知ることで 問題設定をしやすく
- 24. ニューラルネットワーク 𝑥1 𝑥2 1 ℎ1 1 ℎ2 ℎ3 𝑦1 𝑦2 入力層 中間層 出力層 𝑦1 𝑦2 ℎ1 𝑚 1 ℎ2 𝑚 ℎ3 𝑚 ℎ𝑛𝑚 1 𝑥1 𝑥2 1 ℎ1 1 1 ℎ2 1 ℎ3 1 ℎ𝑛1 1 入力層 出力層 中間層 𝑥𝑛𝑥 𝑦𝑛𝑥 𝑥1 𝑥2 1 𝑦1 𝑦2 入力層 出力層 パーセプトロン（1960年代） ニューラルネットワーク（1980年代） 深層学習（2000年代） ニューラルネットワーク 深層学習 （ディープラーニング） ブレーク スルー 深層学習の進歩 パーセプトロン 1960年代 1980年代 2000年代
- 26. パーセプトロンにできたこと 学習スイッチ 回答スイッチ 反射型光センサ 青透明のふた LED 1000 千円 1000 日本銀行券 5か所の色の濃さ（明るさ）を測る 明るさ 位置 1985～90年ごろ 「お札の分別機（パーセプトロン）」 これらにより新しい価値が生まれた。 • 深層学習の原理を知り、 • 課題をその原理に合わせて簡略化し、 • 適切な前処理、後処理が必要
- 27. 強化学習と深層強化学習 迷路 𝑦1 𝑦2 ℎ1 𝑚 1 ℎ2 𝑚 ℎ3 𝑚 ℎ𝑛𝑚 1 𝑥1 𝑥2 1 ℎ1 1 1 ℎ2 1 ℎ3 1 ℎ𝑛1 1 入力層 出力層 中間層 𝑥8 𝑦8 0 0 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 〇 0 1 2 3 4 5 6 7 8 0 0.5 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 1 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 ・・・ 16933 -0.1 -0.2 0.8 0.0 0.0 0.0 -0.2 -0.1 -0.2 ・・・ 19682 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 〇プレーヤーのQテーブル 状態: 16933 行動： 2番に打つ 〇 × × 〇 〇 × 〇 × × 〇 〇 × 1 2 3 4 5 6 7 8 0 1 2 3 4 5 6 7 8 〇 × × 〇 〇 × 1 1 0 0 0 2 2 1 2 〇 〇 〇 × × × 0.1 0.1 0.8 0.3 0.2 0.1 0.1 0.2 0.1 0 1 2 3 4 5 6 7 8 〇 行動： 2番に打つ 〇 × × 〇 〇 ×
- 30. 目次 • 歴史と概要 • 強化学習とは • 深層学習とは • ロボットと学習 • 問題設定と利点 • 計算機と今後 原理を知ることで 問題設定をしやすく
- 36. 目次 • 歴史と概要 • 強化学習とは • 深層学習とは • ロボットと学習 • 問題設定と利点 • 計算機と今後 原理を知ることで 問題設定をしやすく
- 37. 向く・向かない問題 向く問題 向かない問題 • 良い状態が一意に決まらない問題 • 環境とのインタラクションがない問題 • 良い状態が明確な問題 • 環境が行動によって変化する問題 病気の診断、天気予報、文書作成など ロボットの動作、対戦ゲーム、テレビゲーム 問題設定が難しい
- 38. 深層強化学習の問題点と利点 学習前の問題 • 問題設定が難しい • 報酬の与え方 学習中の問題 • 学習中は危なくて使えない • 学習に時間がかかる • シミュレーションとの整合性 • 学習の収束性がない • 必ずしも収束結果が一意に決まらない 学習後の問題 • 安全性の確保 • 人間の想定外の行動 利点 人間活動との親和性が高い
- 39. 目次 • 歴史と概要 • 強化学習とは • 深層学習とは • ロボットと学習 • 問題設定と利点 • 計算機と今後 原理を知ることで 問題設定をしやすく
- 43. まとめ • 歴史と概要 • 強化学習とは • 深層学習とは • ロボットと学習 • 問題設定と利点 • 計算機と今後 原理を知ることで 問題設定をしやすく
- 44. 共同研究について 牧野の研究分野 西崎の研究分野 連絡先： 山梨大学 社会連携・知財管理センター • 医療福祉ロボット • 暗黙知の工学的解析 • 人工知能 kohjim@yamanashi.ac.jp hnishi@yamanashi.ac.jp renkei-as@yamanashi.ac.jp ディープラーニングを用いたマルチメディア情報 処理の基礎研究と応用研究 • 認識分類系：音声（音）認識，感情認識，AI- OCR（文字認識），画像認識 • 応用系：ぶどうの色判定や歩行解析（画像 認識応用），電子ノート・技術伝承支援シス テム（音声認識応用），聞き耳インタフェース （音声認識応用），など アンケートのお願い