Slides for machine learning workshop @ rkmt-lab. Topics include Widrow-hoff learning and Perceptron learning.

1. 第5章
誤差をできるだけ少なくしよ
う

2. 誤差をできるだけ少なくしよう
1. 誤差評価に基づく学習とは
2. Widrow-Hoffの学習規則
3. パーセプトロンの学習規則との比較

3. 誤差をできるだけ少なくしよう
• ここまでは、学習データを誤りなく判別
する決定境界をどうやって得るのかを考
えてきた
– 確かに学習データを誤りなく判別できている
が、未知のデータを正しく判別できるのか？

4. 誤差をできるだけ少なくしよう
• むしろ、未知のデータに対してもなるべく誤り
が少なくなるようにすべきでは
• そういう意味では、(b)よりも学習データに対し
ては少し誤りがあるけれども(a)のほうが学習
データの分布から少し外れたみちデータも正し
く判別できるかも

5. 分離できない場合
• 区分的線形関数を用いても誤り0で決定境
界を決められない場合もある
→誤差を最小にする決定境界を探す
→Widrow-Hoffの学習規則

6. 要するに
• パーセプトロンの学習規則
– 識別結果が間違った場合に重みを修正する
• Widrow-Hoffの学習規則
– 識別関数の出力と教師信号の間の誤差をでき
るだけ小さくするように重みを修正する

7. 定義
• 学習データの集合
• 学習データ に対するc個の識別関数の値
を並べたc次元ベクトル
• 教師信号
– 識別関数の望ましい値
• 教師ベクトル
– 教師信号を各クラスについて並べたもの

8. 教師信号の値の決め方
• あるデータ がクラスiに属する時
＞他のすべての識別関数の値
• 今回は、正解のクラスに対応する次元だ
けが1で、あとは0のc次元ベクトルである、
教師ベクトル を定義する

9. 誤差
• 実際の識別関数の値と教師信号の値との
誤差を定義

10. 誤差の2乗和
• 誤差は+にも-にも出る
→2乗して評価する
• 全クラスの識別関数の誤差の2乗和

11. すべての学習パターンの誤差の和
• は特定の学習データ に関する識
別関数の誤差を評価したもの
– 最終的に評価すべき誤差は、すべての学習パ
ターンの誤差の和をとったもの
– このJを最小にするように各クラスの識別関数
の重みを調整すること

12. 最急降下法
• 興味がある人はググってください
• Windrow-Hoffの学習規則

13. 例題5.1
• あ

15. 5.3パーセプトロンの学習規則との比較
• パーセプトロンの学習規則は、Widrow-
Hoffの学習規則の特殊なケースである
• Widrow-Hoffの学習規則は、前学習データ
に対して誤差を求める
• パーセプトロンの学習規則との比較のた
め、個々のデータに対して重みを修正し
ていく

16. 5.3パーセプトロンの学習規則との比較
• 閾値関数の定義
– 識別関数の出力を0or1に限定する
– 正解のクラスだけ識別関数の出力が正になる
ように、その他のクラスは負になるように学
習すれば良い

17. 5.3パーセプトロンの学習規則との比較
• あ

18. 5.3パーセプトロンの学習規則との比較
• 閾値関数の意味
– 正しい結果が出る学習データに関しては重み
の修正をしないということ
→パーセプトロンの学習規則と同様
→すべての学習データに対して正しい識別がで
きなければ、パーセプトロンのアルゴリズムは
停止しない
（学習データが線形分離可能であれば、必ず有
限時間で停止する→パーセプトロンの収束定
理）

19. 5.3パーセプトロンの学習規則との比較
• Widrow-Hoffの学習規則
– 識別結果が正しくても、識別関数の出力と教
師信号の間に差があれば、それを小さくする
ように重みを修正する
→識別結果に関係なく重みを修正する
→すべての学習データを正しく識別できなくて
も、誤差を最小にするところでアルゴリズムが
停止

20. • 以上です