More Related Content
More from Prunus 1350 (11)
統計的学習の基礎 第2章後半
- 9. 2.6 統計モデル, 教師あり学習, 関数近似
• ここでの目的は、背後に潜む入出力関係f(x)の有用な近似を行うこと
である。
• 高次元に起因する問題を解決するためには、回帰関数f(x)の他のクラ
スの近似モデルを考えるのが有意義である。
- 11. 2.6.2 教師あり学習
• 機械学習の観点から関数当てはめの問題を説明しておく。
• 学習中のシステムの入力と出力の両方を観察し、それらを集めて観測
値の訓練集合を構成する。
• 観測された𝑥𝑖を人工システムへ入力すると、その出力 𝑓(𝑥𝑖)を得る。
• 真のシステムによる出力𝑦𝑖と人工システムによる出力 𝑓(𝑥𝑖)の違いに応
じて入出力関係 𝑓を修正していく。(例による学習)
• 学習プロセスを終えた段階では、真のシステムと人工システムの出力
が十分に近いことが期待される。
- 15. 2.7.1 なぜ問題が困難なのか
• 全ての訓練データ点を通るような関数は無数に存在する。
• 残差2乗和は最小化されるが、汎化性能が低い。
• データ数が有限の場合、解となる関数の集合を限定し、残差2乗和の
解を制限して考える必要がある。
• 学習に用いられる制約は、さまざまな形式の複雑度(complexity)と
して表現されることが多い。
• 複雑度とは、入力空間内の小さな近傍領域内でのある種の規則性である。
• 制約の強さは近傍の大きさによって決まる。
• 制約の性質は入力空間の計量に依存する。
- 18. 2.8.1 粗度に対する罰則とベイズ法
• このクラスの方法では、残差2乗和 RSS(f) に粗度に対する罰則を加え
を最小化することで関数のクラスを制限する。
• ユーザーが指定する汎関数 J(f) は、関数fが入力空間の小さな領域で急激に変化
する場合に大きな値をとる。
• 罰則関数や正則化(regularization)を用いると、推定対象の関数にあ
る特定の滑らかさを持たせることができる。
• 粗度に関する罰則を用いたアプローチ ⇒ 第5章
• ベイズ的な枠組み ⇒ 第8章