[DL輪読会]Implicit Representations of Meaning in Neural Language Models (ACL2021)
1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Implicit Representations of Meaning in Neural Language
Models (ACL2021)”
Okimura Itsuki, Matsuo Lab, B4
3. 1 書誌情報
タイトル: Implicit Representations of Meaning in Neural Language
Models
出典: ACL2021(https://aclanthology.org/2021.acl-long.143/)
著者: Belinda Z. Li, Maxwell Nye, Jacob Andreasら(MIT)
選んだ理由:ニューラル⾔語モデルは記述する世界を表現、推論するの
かというテーマが興味深いと感じたため。
3
7. 4 意味論
⽂は情報状態の更新を⾏う
7
You see an open chest.
The only thing in the chest is an old key.
There is a locked wooden door leading east.
(a)
You pick up the key.
(b)
ここで情報状態は明⽰されないものも更新される。(ex. chestはemptyになった)
9. 5 プロービング
プロービングにより意味状態がエンコードされるかを調査する
9
You see an open chest.
The only thing in the chest is an old key.
There is a locked wooden door leading east.
(a)
You pick up the key.
(b)
LM Encoder
LM Decoder
Probe
Φ!: open(chest)→T
Φ": in(old key, chest) →F
Φ#:matches(old key, wooden door) →?
:
:
プローブが⾔語モデルでの表現状態のみから論理命題を復元することができ,
ベースラインモデルから説明できない場合, 意味状態がエンコードされているとする
10. 5 プロービング
1 論理命題の埋め込みを作成する(embed)
10
You see an open chest.
The only thing in the chest is an old key.
There is a locked wooden door leading east.
The chest is open
LM Encoder
11. 5 プロービング
2 表現状態を抽出、集約する(localize)
11
You see an open chest.
The only thing in the chest is an old key.
There is a locked wooden door leading east.
LM Encoder
You see an open chest
The chest is open
LM Encoder
12. 5 プロービング
3 命題の真理値を予測する線形分類器Wを訓練する(classify)
12
You see an open chest.
The only thing in the chest is an old key.
There is a locked wooden door leading east.
LM Encoder
You see an open chest
The chest is open
LM Encoder
W →True
13. 6 実験設定
⾔語モデルとデータセットを⽤いて論理命題を復元する
13
事前学習済み⾔語モデル
BART(Lewis et al., 2020)
T5(Raffel et al., 2020)
データセット
Alchemy(Long et al., 2016) : ビーカーの状態の操作を記述
Textworld(Cote et al., 2018):テキストベースのゲーム⽤の合成世界を記述
モデルを各データセットで次の命令を⽣成するようにファインチューニングした後,
重みを凍結しプロービングを⾏う
23. DEEP LEARNING JP
[DL Papers]
“Implicit Representations of Meaning in Neural Language
Models (ACL2021)”
Okimura Itsuki, Matsuo Lab, B4
http://deeplearning.jp/