KNPのN先生にNMTを説明する際に使ったスライドを置いておきますので、ご自由にお使いください。4,5枚目はinspired by Yang Liuです http://nlp.csai.tsinghua.edu.cn/~ly/talks/cwmt2016_ly_v3_160826.pptx

1. Attention-based Neural Machine Translation
新
た
な
翻
訳
手
法
を 提
案
す
る
Encoder
入力文の
情報を
行列に変換
Attention
どの単語に
注目するかを
1出力ごとに
計算
Decoder
先頭から
1単語ずつ
翻訳を生成
2000
0.1
0.5
…
0.3
0.8
0.1
…
1.2
1.5
0.2
…
0.7
0.7
0.3
…
0.6
0.9
1.1
…
1.0
0.3
0.2
…
0.1
0.45
0.20
0.25
0.05
0.02
0.03
we propose a novel
[0.642 0.338 … 0.603]
2000
context vector
……
6
6
6
Encodeされた
入力文
入力単語の
注目度
入力文 出力文

2. Attention-based Neural Machine Translation
- Encoder -
新たな 翻訳 手法 を 提案 する
[0.1 0.5 … 0.3] [0.8 0.1 … 1.2] [1.5 0.2 … 0.7] [0.7 0.3 … 0.6] [0.9 1.1 … 1.0] [0.3 0.2 … 0.1]
[0.6 … 0.4] [0.3 … 0.2] [0.2 … 0.8] [0.7 … 0.1] [0.4 … 0.4] [0.9 … 0.3]
LSTM LSTM LSTM LSTM LSTM LSTM
LSTM LSTM LSTM LSTM LSTM LSTM
2000次元
2つのベクトルの結合
[0.1 … 0.5] [0.8 … 0.2] [1.5 … 0.1] [0.7 … 1.1] [0.9 … 0.8] [0.3 … 0.4]
[0.2 … 0.3] [1.9 … 1.2] [0.2 … 0.7] [1.5 … 0.6] [0.1 … 1.0] [1.4 … 0.1]
620次元
各単語独立
1000次元
前の単語列の
情報を含む
Source Embedding

3. Attention-based Neural Machine Translation
- Attention & Decoder -
0.1
0.5
…
0.3
0.8
0.1
…
1.2
1.5
0.2
…
0.7
0.7
0.3
…
0.6
0.9
1.1
…
1.0
0.3
0.2
…
0.1
0.45
0.20
0.25
0.05
0.02
0.03
[0.642 0.338 … 0.603]
LSTM
we propose a novel
[0.2 … 0.8]
LSTM
Encodeされた
入力文
LSTM
Softmax
[0.01 … 0.6 … 0.03]
Target
Embeddin
g
目的言語の
語彙数次元
1つ前の出力を使う
context vector
入力単語の
注目度
[1.70 0.89 1.11 -0.50 -1.41 -1.01]
非線形変換
正規化

4. Attention-based Neural Machine Translation
新たな 翻訳 手法 を 提案 する
embedding
forward LSTM
backward LSTM
we propose a novel translationmethod
attention
decoder LSTM
softmax
input
output
<EOS>
<EOS>

5. Attention-based Neural Machine Translation
新たな 翻訳 手法 を 提案 する
embedding
forward LSTM
backward LSTM
we propose a novel translationmethod
attention
decoder LSTM
softmax
input
output
<EOS>
<EOS>