20171024 DLLab#04_PFN_Hiroshi Maruyama
•
6 likes•5,224 views
Deep Learning Lab #04 PFN session material
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
More from Preferred Networks
More from Preferred Networks (20)
Recently uploaded
Recently uploaded (11)
20171024 DLLab#04_PFN_Hiroshi Maruyama
- 1. ディープラーニング よもやま話 10/24, 2017 Preferred Networks, 丸山 宏 Deep Learning Lab
- 2. 2 AlphaGo Zero：事前知識無しでの学習 3時間後 – 人間の初心者と同様、多くの石を取ることに執着 https://deepmind.com/blog/alphago-zero-learning-scratch/
- 9. 9 Chainer V3 / Cupy V2をリリース （ほとんどのユーザーにとって）後方互換！ 高階微分が可能に — Wasserstein距離を使ったWGAN-GPなどの実装 処理の高速化 — スパース行列のサポート — GPUメモリ管理の効率化 “seq2seq”サンプル： 12GB 3GB
- 10. Assessment PoC Pilot Deployment Maintenance • お客様の理解 度 • ビジネス目標 • 機械学習への 適合度 • データの入手 可能性 ： • データの量・ 品質は足りて いるか • 期待する精度 が達成できそ うか ： • ビジネスプロ セスへの組み 込みはうまく いったか • ビジネス目標 は達成できた か ： CP1 CP2 CP3 CP4 • 性能の監視 • データ・ドリフト の監視 ： 機械学習工学： 典型的なシステム構築サイクル より探索的
- 11. 11 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
- 12. 12 Neural Network Exchange Format 訓練 https://www.khronos.org/nnef
- 13. ONNX message ModelProto { optional int64 ir_version = 1; : optional GraphProto graph = 7; }; message GraphProto { repeated NodeProto node = 1; optional string name = 2; repeated TensorProto initializer = 5; optional string doc_string = 10; repeated ValueInfoProto input = 11; repeated ValueInfoProto output = 12; repeated ValueInfoProto value_info = 13; } message TensorProto { repeated int64 dims = 1; optional DataType data_type = 2; optional Segment segment = 3; repeated float float_data = 4 [packed = true]; : optional string name = 8; } message NodeProto { repeated string input = 1; repeated string output = 2; optional string name = 3; optional string op_type = 4; repeated AttributeProto attribute = 5; optional string doc_string = 6; } Node Tensor Tensor https://github.com/onnx/onnx
- 14. 14 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
- 15. 機械学習システムは、高金利クレジット！ • CACE (Changing Anything Changes Everything) 原理 – すべてが絡み合っ ている • グルーコード、試験的なコード片な ど、すべてが将来のメインテナスの 悪夢につながる • … https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43146.pdf
- 17. 品質指標 – 多くの場合プロセス品質指標 http://www.ipa.go.jp/files/000028859.pdf How “safe” is this car? … is translated into process metrics 例： どのくらいレビュー に時間を割いたか？
- 18. 第3者による客観的な品質指標の可能性 How “safe” is this car? 非公開の評価用データ 自動化された、第3者による評価 評価 評価結果のみ を返す
- 19. 19 機械学習工学の課題 1. 再利用 2. 品質の担保 3. 要求の厳密化
- 21. 21 IJCAIにおける自律性に関する議論 Keynote by Stuart Russell, “Provably Beneficial AI” — 人：「コーヒーをとってきて」 — ロボット： スタバへ行き、列に並んでいる他の客を殺してコーヒーを とってくる — 人の指示は常に不完全 どちらも、最適化問題における「正しい仕様のあり方」の問題を提起
- 23. 23 Thank You