Recommended
More Related Content
Viewers also liked
More from ReNom User Group
More from ReNom User Group (20)
強化学習を用いたポートフォリオマネジメントの試み
- 1. INFRASTRUCTURE + LIFE + INNOVATION 12017/10/5 RNUG 02 分散投資を強化学習でマネジメントしてみる
- 3. ポートフォリオマネジメント 32017/10/5 投資商品全体（ポートフォリオ）のバランスを考慮し 商品の分析・検討を行い、最適な投資配分の意思決定をすること 株式 58% 日本国債 23% 外国債 10% リート 9% ポートフォリオマネジメントの例 l 価値が上昇しそうな商品を多めに保有 l リスクの少ない商品を多めに保有 l 多数の商品を平等に分散して保有 為替、株、証券…
- 4. 色々なアプローチ：例1 42017/10/5 ポートフォリオマネジメント 時々の市場価格に基づくアプローチ ● Follow the Winner アルゴリズム ● Follow the Loser アルゴリズム など 市場の移動平均などを見て、 決められた数式に従って 一定量の資産を買う(売る)
- 5. 色々なアプローチ：例2 52017/10/5 ポートフォリオマネジメント 価格予測に基づくアプローチ ● Deep Learning in Finance J. B. Heaton, N. G. Polson, J. H. Witte 価格予測 モデル 売買コスト評価 モデル 意思決定 モデル 注文 市場 データ 将来の価格を過去のデータから 予測し、その商品を買う(売る) 価格予測モデル + 売買コスト評価モデル + 意思決定を行うモデルが必要
- 6. 色々なアプローチ：例3 62017/10/5 ポートフォリオマネジメント 強化学習に基くアルゴリズム ● A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem Zhengyao Jiang, Dixing Xu, Jinjun Liang データ評価 売買コスト評価 意思決定 注文 市場 データ 売買コスト評価と意思決定の全てがエージェントによって行われる
- 12. 深層強化学習において ニューラルネットワークが果たす役割 122017/10/5 状態を認識 行動(意思) 決定 状態 行動 状態sを受け、行動aを出力するポリシーネットワーク NNで置き換え
- 14. 参考論文の紹介 142017/10/5 ● A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem Zhengyao Jiang, Dixing Xu, Jinjun Liang ⇒ フィナンシャル ポートフォリオ マネジメントのための 深層強化学習フレームワーク ビットコイン市場で30分ごとに保有資産の割合を 変更し、資産の最大化を目指す。
- 16. 状態を定義 162017/10/5 参考論文の紹介 市場のトレンド と 自分の保有資産 を状態として扱う。 時刻ごとの各商品の価格比を並べ、行列データとする。 一つの状態は50時刻分のトレンドデータと保有資産ベクトルからなる。 EUR t1 t2 … t50 USD t1 t2 … t50 JPN t1 t2 … t50 時系列 エージェントは “市場を見て売買割合を決める” ので、 状態を以下のように定義する 商 品
- 19. 実装してみました 192017/10/5 2年分(30分 30000ステップ)の取引データを用いて学習 約20日(30分 1000ステップ)の取引データを用いてテスト 学習データ テスト 2017/9/222015~ 2017/8~ ※いくつか分からない点が残っていますが、無理やり実装しました。 ● 電子通貨市場で11種類の商品に対して分散投資を行った
- 22. まとめ 222017/10/5 実装結果 ● 強化学習によるポートフォリオマネジメントアルゴリズムを実装した ● Backテスト(過去のデータに基づくテスト)では非常にハイパフォーマンス ● 全ての資産を一つの商品に割り当てる傾向がある(リスク管理が足りない) ※実験の仮定として… 1. 自分の売買が市場に影響を与えないぐらい市場が大きい 2. 自分の注文は直ちに売り買いが行われる という条件がある。特に2番の仮定により、実取引はパフォーマンスが出ないかもしれない。
- 23. 参考資料 232017/10/5 実装結果 ● A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem Zhengyao Jiang, Dixing Xu, Jinjun Liang ● Online Portfolio Selection: Principles and Algorithms[p.23~p.29] Bin Li、Steven Chu Hong Hoi ● Deep Learning in Finance J. B. Heaton, N. G. Polson, J. H. Witte