秘密の集会のおすそ分け．

1. 脳裏に焼き付けて
二度と復習しない
誤差逆伝搬法
@piroyoung

2. 今日のまとめ
「誤差逆伝搬って，フィードフォワードネットワークの勾配法でしょ？」

3. 今日のまとめ
「誤差逆伝搬って，フィードフォワードネットワークの勾配法でしょ？」
▶それっぽい発言で友達が増える．

4. 今日やること
キーワード
● ニューロン（neuron）
● パーセプトロン（perceptron）
● 活性化関数（activation function）
● シグモイド（sigmoid）
● 勾配法（gradient descent）
● フィ・・・（feed forward network）
● 誤差逆伝搬法（back propagation）

5. ニューロン（newron)

6. Neuron

7. Neuron
◀input

8. Neuron
◀input
◀output

9. Neuron
◀input
◀output
◀answer

10. Neuron
◀input
◀output
◀answer
◀neuron

11. パーセプトロン（perceptron)

12. Perceptron

13. Perceptron
◀weight

14. Perceptron
◀weight
◀activation function

15. Perceptron
＼LinearなNeauron！／

16. Perceptron (learning)
収束するまで繰り返す！

17. Perceptron (learning)

18. Perceptron (learning)
●

19. Perceptron (learning)
●

20. Perceptron (learning)
●

21. シグモイド（sigmoid)

22. Sigmoid
関数 を下記で定義する．
また，その導関数は

23. Sigmoid
関数 を下記で定義する．
また，その導関数は
◀脳裏に焼き付ける

24. Sigmoid

25. フィ．．（Feedfoward Network)

26. Feed-foward Network

27. Feed-foward Network
Input layer hidden layer output layer

28. Feed-foward Network
input!

29. Feed-foward Network
input!
◀receptive field

30. Feed-foward Network
input!
◀receptive field
▼脳裏に焼き付ける

31. 勾配降下（Gradient Descent）

32. Gradient descent method
：損失関数・残差
(e.g) 二乗誤差

33. Gradient descent method

34. Gradient descent method
▼脳裏に焼き付ける
▲勾配ベクトル

35. 誤差逆伝搬（Backpropagation）

36. Backpropagation
Feed Forward Network の各重みの更新式は下記で得られる．
ただし，

37. 自明ですか？？

38. 自明ですか？？
Yes → ＼ｽｹﾞｪ！／

39. 自明ですか？？
Yes → ＼ｽｹﾞｪ！／
No → 進む

40. 一番単純なケースを
考えます．

41. Backpropagation (first layer)

42. Backpropagation (first-layer)

43. Backpropagation (first-layer)

44. Backpropagation (first-layer)

45. Backpropagation (first-layer)

46. Backpropagation (first-layer)
◀脳裏に焼き付ける

47. Backpropagation (second layer)

48. Backpropagation (second layer)

49. Backpropagation (second layer)

50. Backpropagation (second layer)

51. Backpropagation (second layer)
◀脳裏に焼き付ける

52. を得る．
Backpropagation (second layer)
一般のFeedfoward Networkについても，微分の線形性を繰り返し用いれば

53. 脳裏（Nori）

54. 脳裏に焼き付けた式

55. 脳裏に焼き付けた式

56. 脳裏に焼き付けた式

57. 脳裏に焼き付けた式

58. 脳裏に焼き付けた式

59. 脳裏に焼き付けた式

60. Matome（まとめ）

61. 今日のまとめ
「誤差逆伝搬って，フィードフォワードネットワークの勾配法でしょ？」