スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
•Download as PPTX, PDF•
1 like•3,319 views
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ)の勉強会の資料です。 2.3節〜2.5節のスライドです。
Recommended
More Related Content
What's hot
What's hot (20)
More from Hakky St
More from Hakky St (18)
スパース性に基づく機械学習(機械学習プロフェッショナルシリーズ) 2.3節〜2.5節
- 2. 自己紹介と告知 • Twitter : @St_Hakky • ブログ：http://st-hakky.hatenablog.com/ • 関西で機械学習勉強会を実施中!! • 団体のモットー： • 圧倒的スピード感で大量の書物と論文をぶった切る • 「えっ、まだ読んでないの？」と煽り奉り、輪講会を乱立させる • 過去のイベント例 • PRML輪講会、PRML上巻/下巻一気読み • データ解析のための統計モデリング入門の輪講会 • わかりやすいパターン認識(続)の輪講会 • 参加したい方は、Facebookのグループにまずは参加を。 • URL :https://www.facebook.com/groups/1767916400127792/
- 4. コンテンツ • 2.3 : 正則化 • 2.4 : 交差確認 • 2.5 : 制約付き最小化問題と罰則項付き最小化問 題の等価性
- 5. 正則化 • 仮説集合の大きさの制御方法 • 特徴量の増減だけじゃない！ • →同じ特徴空間であってもパラメータベクトル𝒘をより 小さい集合から選ぶことで分散を減少できる • この様な方法として、パラメータベクトルのノルム の制約がある。
- 6. ノルムとは • 関数 ・ ∶ ℝ 𝑑 → ℝ が以下の3つの性質を満たす とき、 ・ はノルム(norm)という。 • (斉次性) 任意の𝛼 ∈ ℝ, 𝒙 ∈ ℝ 𝑑に対して、 𝛼𝒙 = 𝛼 𝒙 が成立 • (劣加法性)任意の に対して、 が成立。 • (独立性)
- 13. ノルムの値による違い 多項式回帰問題に対して罰則項付き経験誤差最小化 (2.19)を用いた結果を示す。 λ=10-6 : 概ね正しい関数を推定 λ=10-2 : 0 ≤ 𝑥 ≤ 0.6 の範囲で学習された関数がほ ぼ直線になり、誤差が大きくなってしまう
- 14. パラメータの数の変化と正則化パラメータの 変化の比較 (c)と(d)の比較 (d)：期待誤差は正則化パラメータλ=10-5付近で最小。極端な変化はなし (c)：次数p=3付近でやや急峻に誤差が変化 (c)の場合は、p=3以上ではバイアスと呼ぶ誤差要因がゼロになる一方で、(d)で はラムダ＝0でない限り、バイアスはゼロにならないから起こる。 (c) : パラメータの数を変化 (d) : 正則化パラメータを変化
- 15. 2.4 交差確認 • 2.3節で多項式の次数pと正則化パラメータλあるいはCを 調節することでバイアスと分散のトレードオフを測ることが できることを見た。 • これらのパラメータは、モデルの持つパラメータと区別する ためにハイパーパラメータと呼ぶ。 • ハイパーパラメータを決定する問題はモデル選択という。
- 16. データを基にハイパーパラメータの決定 • ハイパーパラメータの決定を客観的にするにはど うしたらいいか？ • 訓練データに対する当てはまり：× • 理由：モデルが複雑なほど小さくなる。汎化性能がない • 期待誤差を用いる？：× • 理由：未知の分布に対する期待値が必要なので、基準として 用いることができない • どうする？
- 17. データを基にハイパーパラメータの決定 • 一般的に、次の2つがよく用いられる • 検証データを用いる方法 • 交差確認(cross validation)
- 18. 検証データを用いる方法 • 検証データを用いる方法： • 与えられたデータを訓練用と検証用に分割 • 訓練データでパラメータを学習(ハイパーパラメータは 固定) • 検証データで、検証データに対する誤差を最小にする 様にハイパーパラメータを決定 • 訓練用と検証用の比率は、8:2 or 9:1が一般的
- 19. 交差確認(cross validation) • 交差確認を用いる方法： • 訓練データをK分割 • K-1個の部分で学習して、誤差評価 • これをすべての1,2,…,K部分で行い、誤差平均を取る • Kは5や10が一般的
- 20. 検証データを用いる方法と交差確認の比較 • データの規模： • 検証データを用いる方法：大規模データ • 交差確認と比べて計算量が少ないから • 交差確認：小〜中規模データ • データの分割方法： • 検証データを用いる方法：分割を固定することが多い • 検証データに対する誤差に再現性があるため、コンペでもこの方法 を使うことが多い様子。 • 交差確認：分割はランダム
- 22. 制約付き最小化問題と罰則項付き最小化問題の等 価性 あるCにおける制約付き最小化問題(2.21) の最小値をL(C)とする 青の実線𝐿(𝐶) ：目的関数 の最小値を示す 制約𝑔 𝜔 ≤ Cの元で達成可能な 目的関数𝐿(𝜔)の値の領域 共通部分を持つという制約の中で 最も小さい𝑡に対応する直線 制約なし最小値𝐿0 = 𝑚𝑖𝑛 𝒘 𝐿(𝒘)より𝐿(𝐶)が小 さくなることはないことに注意。 交点の座標が罰則項付き 最小化問題(2.22)の解 𝒘 𝐿 + λ𝐶 = 𝑡
- 23. 制約付き最小化問題と罰則項付き最小化問題の等 価性 青の実線� (� ) ：目的関数 の最小値を示す 制約� � ≤ Cの元で達成可能な 目的関数� (� )の値の領域 共通部分を持つという制約の中で 最も小さい�に対応する直線 交点の座標が罰則項付き 最小化問題(2.22)の解� � + λ� = � この𝐶の値に対する制約付き最小化問題(2.21)の解は、罰則項付き最小 化問題の解 𝒘を含む。 逆に、曲線上側領域の凸性から、任意の𝐶に対して対応するλの値があ り、罰則項付き最小化問題(2.22)の解はこの𝐶に対する制約付き最小化 問題(2.21)の解を含む
- 24. おしまい