MLP深層学習 LSTM
- 20. メモリセル
主語が男か女かを判断例)
He is a student and she is a student
・「and」の前後で文が独立している
このような場合,she is ・・の文を学習するにあたって
これまでの状態(He is a・・)を捨てたい
- 33. 逆伝搬計算
✏t
j =
X
k
wout
kj δout,t
k +
X
j0
wj0jδt+1
j0
ここで
とおき
δvt
k
δuO,t
j
= wout
kj f0
(uO,t
j )f(st
j)
をデルタO,tに代入すると・・
δO,t
j = f0
(uO,t
j )f(st
j)✏t
j
となる
j’
δu
(t+1)
j0
δuO,t
j
= wj0jf0
(uO,t
j )f(st
j)