最近流行の機械学習！！ RNNを両方から学習させる仕組み

1. BRNNとは
RNNを双方向に拡張した仕組み

2. BRNNとは？
• Bi-directional RNN（双方向性RNN）のこと。
• そもそもRNNは順伝播において過去から未来へと一方向のみ。BRNNは過去から未来への順伝
播と、未来から過去への逆伝播を組み合わせたもの。
• 通常のRNNより性能がいいと言われている。
それってどういうこと？通常のRNNとどう違うの？

3. まずは通常のRNNのしくみ
• 画像 を入力する場合を考える。
• 通常のRNNはこのようになる。
t=1, ２
出力層 入力層中間層
4 2
3 6
t=1, ２
0.2 0.9
0.8 0.1
過去から未来へと続く順方向データのみが入力される
入力順→
4 2
3 6
é
ë
ê
ù
û
ú

4. BRNNのしくみ
• 画像 を入力する場合を考える。
• BRNNは逆向きの入力データが入る部分が加わる。
t=1, ２
出力層 入力層中間層
4 2
3 6
t=1, ２
0.3 0.6
0.7 0.4
入力層および中間層では、順方向（過去から未来）の部分と
逆方向（未来から過去）の部分が独立している
入力順→
4 2
3 6
é
ë
ê
ù
û
ú
2 4
6 3
ひっくり返る

5. BRNNにおける順伝播の計算はどうな
る？• 入力層、中間層においては、順方向（過去から未来）の部分は通常のRNNと
同じ。出力層においては逆方向（未来から過去）の部分と統合される。
t=1, ２
出力層 入力層中間層
4 2
3 6
t=1, ２
0.3 0.6
0.7 0.4
入力順→
uk
t
= wkj
f
zj
f ,t
+
j
å wkj'
b
zj'
b,t
j'
å
u0
t
u1
t
z1
b,t
0
1
0
1
z0
b,t
z0
f ,t
z1
f ,t

6. 逆方向部分の順伝播計算はどうな
る？• 入力層、中間層においては、逆方向（未来から過去）の部分は通常のRNNと
同じく計算する。出力層において順方向（過去から未来）の部分と統合される。
t=1, ２
出力層 入力層中間層
t=1, ２
0.3 0.6
0.7 0.4
入力順→
uk
out,t
= wkj
f
zj
f ,t
+
j
å wkj'
b
zj'
b,t
j'
å
u0
out,t
u1
out,t
0
1 z1
f ,t
z0
f ,t
z1
b,t
z0
b,t
0
1
2 4
6 3

7. BRNNにおける逆伝播の計算はどうな
る？• もっともシンプルなモデルで考える。
• t=1,2の2時刻で考える。
出力層 入力層中間層
順方向
逆方向

8. 出力層のδは？
• まず出力層のδが求まる。
出力層 入力層中間層
順方向
逆方向
t=2
順方向
逆方向
t=1
dout,2
dout,1
uout,2
uout,1

9. t=2における中間層のδは？
• 次にt=2における中間層のδが求まる。
• 例えば、 は以下。
出力層 入力層中間層
順方向
逆方向
t=2
順方向
逆方向
t=1
dout,2
d fmid,2
dbmid,2
ufmid,2
ubmid,2
d fmid,2
uout,2

10. t=1における中間層のδは？
• 次にt=1における中間層のδが求まる。
• 例えば、 は以下のように、t=2の順方向中間層の およびt=1の出力層
の から求まる。
順方向
逆方向
t=2
順方向
逆方向
t=1
dout,1
d fmid,1
=
¶E
¶ufmid,1
=
¶E
¶ufmid,2
¶ufmid,2
¶ufmid,1
+
¶E
¶uout,1
¶uout,1
¶ufmid,1
d fmid,2
ufmid,1
ubmid,1
d fmid,1
uout,1
dbmid,1
d fmid,1
dbmid,2
d fmid,2
dout,1
ufmid,2

11. t=1における中間層のδは？
順方向
逆方向
t=2
順方向
逆方向
t=1
dout,1
d fmid,2
ufmid,1
ubmid,1
uout,1
dbmid,1
=d fmid,2
wfmidR
f ' ufmid,1
( )+dout,1
wfout
f ' ufmid,1
( )
d fmid,1
dbmid,2
ufmid,2

12. 入力層のδは？
順方向
逆方向
t=2
順方向
逆方向
t=1
d fmid,2
dbmid,1
d fmid,1
dbmid,2
 入力層のδは中間層のδからそれぞれ求まる。
d fin,2
dbin,2
dbin,1
d fin,1
これで全てのδが求まる。よって全ての重みの更新量も求まる。