東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
•
13 likes•6,334 views
2020年4月6日 東京大学大学院 電子情報学特論Ⅰでの講義資料を公開します。（2-2） 「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦 https://www.eidos.ic.i.u-tokyo.ac.jp/~tau/lecture/tokuron/
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
Similar to 東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦 (20)
More from Preferred Networks
More from Preferred Networks (20)
東大大学院 電子情報学特論講義資料「ハイパーパラメタ最適化ライブラリOptunaの開発」柳瀬利彦
- 1. https://bit.ly/optuna-tutorial 1 年 月 日 東京大学 柳瀬 利彦 ハイパーパラメタ最適化 ライブラリ の開発
- 2. https://bit.ly/optuna-tutorial 2 自己紹介： 柳瀬 利彦 • -2010 東大電気系伊庭研究室・博士：進化計算 • 2010-2018 日立製作所 研究開発グループ：言語処理 • 2018- Preferred Networks：Optunaの開発
- 6. https://bit.ly/optuna-tutorial 6 ハイパーパラメタのチューニング はじめにこの値で試 そう learning_rate: 0.1 num_units: 30 … 完了! Accuracy: 0.6 Trial 1 小さくしたらどうかな ? learning_rate: 0.01 num_units: 20 … 完了! Accuracy: 0.5 Trial 2 うーん、次は少し大き くして... learning_rate: 0.05 num_units: 50 … 完了! Accuracy: 0.8 Trial 3
- 7. https://bit.ly/optuna-tutorial 7 チューニングには多大なコストがかかる はじめにこの値で試 そう learning_rate: 0.1 num_units: 30 … 完了! Accuracy: 0.6 Trial 1 小さくしたらどうかな ? learning_rate: 0.01 num_units: 20 … 完了! Accuracy: 0.5 Trial 2 うーん、次は少し大き くして... learning_rate: 0.05 num_units: 50 … 完了! Accuracy: 0.8 Trial 3 オペレーションのコスト計算機の料金・電気代１回に数時間〜数日
- 8. https://bit.ly/optuna-tutorial 8 チューニングの自動化 はじめにこの値で試 そう learning_rate: 0.1 num_units: 30 … 完了! Accuracy: 0.6 Trial 1 小さくしたらどうかな ? learning_rate: 0.01 num_units: 20 … 完了! Accuracy: 0.5 Trial 2 うーん、次は少し大き くして... learning_rate: 0.05 num_units: 50 … 完了! Accuracy: 0.8 Trial 3
- 9. https://bit.ly/optuna-tutorial 9 自動ハイパーパラメタ最適化の問題設定 問題設定 これまでのチューニング 履歴から次のパラメタをどう決めるか？ 履歴： ハイパーパラメタの値と評価値の組 学習率 ドロップアウト率 のとき精度は だった 学習率 ドロップアウト率 のとき精度は だった 自動チューニングのアプローチ グリッドサーチ： 網羅的に探す ランダムサーチ： 乱数に基づく モデルベースの最適化 のデフォルト
- 13. https://bit.ly/optuna-tutorial 13 例 の場合 Default parameters of Gradient Boosting Random search
- 14. https://bit.ly/optuna-tutorial 14 例 の場合 Default parameters of Gradient Boosting Random search SMBO
- 18. https://bit.ly/optuna-tutorial 18 ハイパーパラメタ最適化のための ライブラリ ベイズ最適化や並列分散実行による効率的な自動探索 ユーザは目的関数を記述するだけでよい 年 月ベータ版リリース 年 月 リリース
- 19. https://bit.ly/optuna-tutorial 19 例： の訓練スクリプト ハイパラ最適化前
- 20. https://bit.ly/optuna-tutorial 20 例： の訓練スクリプト ハイパラ最適化前 データのダウンロード ネットワーク構築 訓練と評価
- 21. https://bit.ly/optuna-tutorial 21 例： の訓練スクリプト ハイパラ最適化前 ユニット数は？ 学習率は？
- 24. https://bit.ly/optuna-tutorial 24 基本的な使い方 • の訓練ロジックを で包む • ハイパーパラメタの値を で取得
- 25. https://bit.ly/optuna-tutorial 25 基本的な使い方 は 回の訓練、 は最適化における一連の
- 33. https://bit.ly/optuna-tutorial 33 一歩進んだ使い方 分散並列処理 枝刈り 早期終了 枝刈りのチュートリアル を参照 を参照
- 36. https://bit.ly/optuna-tutorial 36 並列化の方法 名と を指定 各ワーカーでスクリプトを実行
- 38. https://bit.ly/optuna-tutorial 38 並列化の仕組み ● 最適化の履歴は全て共有ストレージに保存 ● 各ワーカーは履歴を参照して探索アルゴリズムを実行
- 39. https://bit.ly/optuna-tutorial 39 の基本的な使い方まとめ 訓練コードを 点書き換えるだけ 目的関数 パラメタ取得 最適化の実行 非依存 も も。機械学習でなくても 分散最適化 を共有 複数のプロセスで同じコードを実行
- 42. https://bit.ly/optuna-tutorial 42 ベースの エンジン のプロジェクト 画像出典 https://voice.mozilla.org/
- 44. https://bit.ly/optuna-tutorial 44 の利用箇所 該当 ：https://github.com/mozilla/DeepSpeech/pull/2783 教科書的な利用例
- 45. https://bit.ly/optuna-tutorial 45 自己位置推定と地図生成を同時に行う技術 のパラメタチューニングに利用 画像出典: Geiger et al., Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite, CVPR 2012 自動車とセンサ 観測 推定された軌跡
- 46. https://bit.ly/optuna-tutorial 46 はハイパーパラメタだらけ 画像サイズ ロバストコスト関数選択 法の イテレーション回数 と のバランス 外れ値しきい値 画像ピラミッドのレイヤー数 特徴点数 収束判定条件 自動で最適化する 出典: 第６回 ３D勉強会＠関東 のmiyanegi 「SLAM開発における課題と対策の一例の紹介」
- 47. https://bit.ly/optuna-tutorial 47 で最適化 出典: 第６回 ３D勉強会＠関東 のmiyanegi「SLAM開発における課題と対策の一例の紹介」
- 48. https://bit.ly/optuna-tutorial 48 導入のポイントと効果 の実験を１コマンド化 最適化したい評価指標を定義 実績：手動調整より 向上 出典: 第６回 ３D勉強会＠関東 のmiyanegi「SLAM開発における課題と対策の一例の紹介」
- 49. https://bit.ly/optuna-tutorial 49 分析 出典: https://twitter.com/maruyama/status/1231836868221603840
- 50. https://bit.ly/optuna-tutorial 50 の検査陽性数の推移 公開データ 疑問： 時点の感染者数は？何日で回復？ 出典: https://twitter.com/maruyama/status/1231836868221603840
- 51. https://bit.ly/optuna-tutorial 51 モデルのパラメタフィッティング 変数 からの経過日 感受性宿主数 免疫が低下し感染症になりやすい人 感染者数（症状のない者も含む） 回復者数 発症者数 観測される数 推定したいパラメタ 初期の感染者 ある感染者がある日に発症する率 感染率 発症期間 感染力がなくなるまでの日数 の逆数 が観測数と合致するようにパラメタチューニング モデル 出典: https://twitter.com/maruyama/status/1231836868221603840
- 53. https://bit.ly/optuna-tutorial 53 結果 のプロット のパラメタ 時点の感染者数 人 何日で回復 ≒ 日 出典: https://twitter.com/maruyama/status/1231836868221603840
- 55. https://bit.ly/optuna-tutorial 55 大企業とスタートアップでの開発の違い 大企業の研究所（前職） ニーズ → （研究） → 再実装（開発） → お客さま 研究所のコードは基本書き捨て😢 インターバルは数ヶ月 〜 数年🚢 スタートアップでの ニーズ → 実装 → ユーザ 自分のコードが直接ユーザに😀 インターバルは数時間 〜 数ヶ月🚀 徐々に加速
- 56. https://bit.ly/optuna-tutorial 56 の成長 コア開発者 コントリビュータ ユーザ 日 コア開発者 年 月 年 月 社内ユーザ 開発者数 倍、ユーザ数 社員数
- 57. https://bit.ly/optuna-tutorial 57 開発スピードも飛躍的に向上 要望 は 倍 改善 は 倍 社員だけでは難しい
- 60. https://bit.ly/optuna-tutorial 60 開発ロードマップ（ 時点） ハイパーパラメタの重要性分析 目的値への影響の大きいハイパーパラメタを分析 多目的最適化 の を最小化しつつ を最大化 のレジューム・並列処理 の チューニング の改善
- 64. https://bit.ly/optuna-tutorial 64 スタートアップ企業での 開発：まとめ リリースから 倍以上の開発コミュニティの拡大 社員の枠を超えて、良いプロダクトを作る いろいろなタスク、いろいろな個性＝チームワーク ・ での開発 イベントの企画・運営 論文の執筆・学会でのプレゼンテーション での広報 成長の機会がたくさん！
- 65. https://bit.ly/optuna-tutorial 65 まとめ ● 機械学習のハイパーパラメタ最適化 ○ データから訓練できないパラメタは試行錯誤で決める ● で簡単にハイパーパラメタ最適化 ● は機械学習・非機械学習を問わず応用可能 ● スタートアップ企業での 開発について ○ 会社の枠を超えたコミュニティで良いものを作っていく
- 66. https://bit.ly/optuna-tutorial 66 夏季インターン「 開発」募集中！ 期間 年 月 日 火 〜 月 日 金 応募締切 年 月 日（金） 正午（日本時間） は カテゴリ アルゴリズムに強い人 に強い人