More Related Content
More from Takashi J OZAKI (17)
Simple perceptron by TJO
- 4. と、その前に…
パーセプトロンが分からなきゃ、
サポートベクターマシンも分からない!
パーセプトロンが分かれば、
サポートベクターマシンなんて余裕!
今も流行中、(おそらく)史上最強の
機械学習分類器!
3
- 5. 本日のお題は…
線形識別器の基本のき、
パーセプトロンを理解しよう!
4
- 6. 簡単な例から…
【初心者向け】
分かりやすいパーセプトロンの例
5
- 8. 簡単な例から…
返値 重みベクトル 入力信号
(「±の符号」が大事!) (こいつが学習結果) (これから識別したいもの)
7
- 11. 簡単な例から…
返値 重みベクトル 入力信号
(正なら非SPAM (メールの単語頻度)
負ならSPAM)
10
- 14. 簡単な例から…
「会議」は非SPAM
「目標」は非SPAM
「お買い得」はSPAM
13
- 21. ここからは…
【ガチで勉強したい人向け】
いよいよガチなパーセプトロンのお話
20
- 28. 理屈を見てみよう
各○&△にラベルy(k)を振る。
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
27
- 30. 理屈を見てみよう
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
29
- 31. 理屈を見てみよう
初期化してみた。
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
30
- 33. 理屈を見てみよう
各○&△のラベルy(k)を見て!
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
32
- 34. 理屈を見てみよう
おかしいのはどれ?
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
33
- 35. 理屈を見てみよう
紫の線で囲まれたところはどうなっていた?
– ラベルt(k)とy+cの「符号」が一致してない
その他のところはどうなっていた?
– ラベルt(k)とy+cの「符号」が一致している
つまり…
– ラベルt(k)とf(x,y)の積の符号を見れば、
何か良いことがあるのでは?
34
- 37. 理屈を見てみよう
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
36
- 40. 理屈を見てみよう
「ズレ」を減らしていこう!
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
39
- 41. 理屈を見てみよう
「ズレ」を減らしていこう!
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
40
- 42. 理屈を見てみよう
「ズレ」を減らしていこう!
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
41
- 48. 理屈を見てみよう
こんな感じで逐次更新される。
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
47
- 49. 理屈を見てみよう
こんな感じで逐次更新される。
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
48
- 50. 理屈を見てみよう
こんな感じで逐次更新される。
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
49
- 52. 理屈を見てみよう
例えば値が5とかならこんな感じ。
1 1
1 1
1 1 1
1 1
1 1 1
1
1
1 1 1 1
-1 -1 1
-1 -1 1
-1 1 1
1
-1 -1 -1 1 1
-1
-1 -1 -1 -1
-1
-1 -1 -1
-1 -1 -1 -1
-1 -1
-1
51