37. Recurrent Neural Network(再帰型ニューラルネット)
1. 内部状態を持たせる方法(オートマトン)
a. 時間方向のグラフを持ち重みとバイアスを共有する
i. 同一データでも入力順によって反応が変わる
ii. BPTT(Back propagation through time)
1. 誤差を時系列と逆方向にも 伝搬する
iii. RTRL (Real Time Recurrent Learning)
1. 誤差を時系列方向にも伝搬する(オンライン処理向き)
iv. 重みの伝搬やノイズ、記憶の取捨選択など、問題が山積み
b. ElmanN(中間層→中間層の結合を持つ )、LSTM(Long short-term memory)など
38. Recurrent Neural Network(再帰型ニューラルネット)
2. LSM(Liquid state machine)
a. データ入力と重み計算を分離する方法
b. 相互接続した中間層に時系列データを適用し、その後教師データに線形回帰する
3. 時間軸を持たせてFFNNに流し込んでしまう方法
a. TDNN(Time delay neural network)
i. 時間軸を持たせる場合、長さの違いやずれを吸収する仕組みが必要
ii. ディレイを中間層でスケールすることで差異を吸収する