Deep Q-LearningでFXしてみた
•
13 likes•15,513 views
立教大学で話したセミナーの内容です。Deep Q-Learningについての説明と、それを応用して「FXで勝つ」Agentの構築について話しました。簡単な結果も出たので、それについの簡単な考察もしています。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Deep Q-LearningでFXしてみた
Similar to Deep Q-LearningでFXしてみた (20)
Deep Q-LearningでFXしてみた
- 3. 3 自己紹介 2006: ボートを漕ぎすぎて留年 2011: 東京大学大学院理学系 研究科物理学 修了（博士） 2011-16: Stanford大学と広島大学で ポスドク（日本学術振興会; 高エネルギー宇宙物理学) 2016.4: GMOインターネット 次世代システム研究室 データサイエンティスト兼アーキテクト 超新星残骸 勝田 隼一郎
- 5. 5 機械学習(教師あり学習) input data output data 与えられたデータyに合うように パラメータを学習(人のアナロジー) モデル x f(x) = ax + b f(x) vs y f(x) = 1*x + 7 f(x) = 2.1x + 1.6
- 8. 8 Outline 1. 理論 • Deep Q-Learningとは 2. 実装 • Keras & TensorFlowによる実装 • デモ：ゲームの学習 (テストとして) 3. 実践 • Deep Q-LearningでFX
- 10. 10 Deep Q-Learningとは？ Deep Learningの技術を Q-Learning (強化学習の一種)というフレーム ワークに応用 1. 強化学習 2. Q-Learning 3. Deep Learning
- 12. 12 囲碁の場合 状態: 盤上の碁の位置 行動: 自分の石を一つ置く 報酬: 勝つか負けるか
- 13. 13 Q-Learning 行動関数Qπ (s, a): 方針πの下、状態sで行動aをしたとき、最終 的に得られる報酬(最終報酬)の期待値 「アリとキリギリス」を例にすると、、 Qキリギリス ：s=夏遊ぶ（報酬大きい） -> 冬大変（最終報酬は小さい） Qアリ ：s=夏働く(報酬小さい) -> 冬助かる（最終報酬は大きい）
- 15. 15多すぎて、全ての経路の報酬はわからない t=0 s t s1 t s2 1 s a1 a2 a3 ？ ？ ？ ？ ？ ？ ？ ？ a1 a1 a1 最終報酬 までの経路 最終報酬
- 16. 16 最初 → ランダムに行動 → 徐々に最終報酬が記録される → 最終報酬が高い経路の付近を選択的に行動 → 新たに得られた最終報酬が記録される → 繰り返し=学習 (精度が良くなると期待) t s1 t s2 ？ 0 2 ？10？ ？ ？ a1 a1 a1 最終報酬
- 18. 18 教師あり学習 input data output data 与えられたデータyに合うように パラメータを学習(人のアナロジー) モデル f(x) x f(x) = ax + b f(x) vs y f(x) = 1*x + 7 f(x) = 2.1x + 1.6
- 19. 19 教師あり学習 f(x) = a*x + b f(x) = a*sin(b*x) 適切なモデルを考える必要がある → 大変!!! (データが増えるほど) モデル モデル
- 21. 21 実装＆デモ
- 23. 23 色々なゲームを強化学習用にemulateした ライブラリ => Agentの作成に集中 でき、テストもできる。 OpenAI Gym OpenAI Gym 1. Cart pole 2. Pong
- 24. 24 Keras & TensorFlow 直感的に使える TensorFlow, Theanoをバックエンドで使用 Python コード量が少ない → 初心者に優しい → 海外で人気
- 25. 25 Game1: Cart pole 状態: 棒の傾き、カートの位置 行動: カートの動き (右 / 左) 報酬: 倒れるまでの時間（step数） 単純 -> 学習速度が速い。 最初にテストするのに最適
- 27. 27 Game2: Pong 状態: 画像 行動: ラケットの動き (上 / 下) 報酬: 得点 / 失点 敵 自分 ボール
- 28. 28 結果 学習数 合計得点 勝ち 負け ① 学習前 ② 学習後(48h) 0 - 21 21 - 20
- 29. 29 CPU -> GPU CPUでは時間がかかりすぎる（数十時間は 当たり前）。Trial & Errorができず、研究が 難しい。 より計算スピードが速いGPUに切り替えた • AWS (Amazon Web Services) • Keras/TensorFlowともにGPU対応
- 30. 30 CPU -> GPU CPU環境 • QEMU Virtual CPU version • 仮想12CPU, m120GB, 2.7GHz • 速度：135 min / 500 episodes GPU (AWS) • g2.8xlarge (Intel Xeon E5-2670プロセッサー) • NVIDIA GPU(1,536 CUDA コアと 4GB のビデオメモ リ) • 4GPU, m60GB • 速度：25 min / 500 episodes (~6倍速); 1GPUのみ使 用
- 31. 31 FX
- 32. 32 FX (Foreign eXchange) 通貨の相対価値は変化する 儲け：安いときに買って、高いときに売る 円安（ドル高） 円高（ドル安） 買い 買い 売り 売り ドルが高くなった分が利益 ドルが安くなった分が利益
- 34. 34 2通貨ペア（JPY/USD, JPY/EUR）を採用 人が見つけられない複雑な組み合わせパター ン複雑をAgentが学習する、かも。 FXデータ 円/USD 円/EUR レート(2時間平均) 時間 学習期間 評価期間 Forex historical dataより取得
- 38. 38 スタート 終了考察 疑似レート (円/USD) 時間 所持している 各通貨量 (JPY: 100万円 USD: 1万ドル) ドル高 ドル安
- 39. 39 テスト2 通貨ペアを2つ使い、両者の情報を学習しないと 儲けることができない疑似データを作成 通貨ペア x 1 → 通貨ペア x 2 trade期間 円/USD 円/EUR 時間 疑似FXデータ
- 41. 41 行動関数Q(s, a)の変更 行動関数 = Deep Learningのモデルの形状が 適切でないため、学習を妨げている？ → 変更 (4モデル試す)
- 45. 45 実データ 2つの通貨ペア (JPY/USD, EUR/USD) ランダム要素が強い 円/USD 円/EUR* レート 時間 trade期間 *EURは見やすさのため normalized
- 47. 47 Summary