2014/11/22 EMNLP 2014 Reading @ PFI

1. 2014/11/22
EMNLP2014読み会@PFI
紹介：Preferred Networks ⼤大野健太
(oono@preferred.jp)

2. ⾃自⼰己紹介
• ⼤大野健太(@delta2323_)
• 経歴：数理理科学研究科（共形幾何）→2012.3 PFI→2014.10 PFN
• 所属：研究班（担当領領域：理理論論解析・ライフサイエンス）
• ブログ：http://delta2323.github.io
2

3. 概要
• 単語の分散表現に画像の分散表現（CNNの中間層）を加えて単語ペア
類似度度を推定した
• 単語の分散表現単独の場合よりも⼈人の評価に近づいた
• コンセプトの分散表現の抽出にDLのみを使⽤用したのは本研究が初めて
この図でほぼ説明が
尽きています→
※特に記述がなければ
画像はすべて現論論⽂文か
らの引⽤用
3

4. マルチモーダル学習
• 複数の異異なるソースからのデータを統合してタスクの精度度を上げる学
習⽅方法
• テキスト + ⾳音声 / テキスト + 画像 / ⾳音声 + 画像 etc.
• NNではマルチモーダル学習を⾃自然に⾏行行える
• 今回はこのようには使っていない
4

5. 既存研究
• ⾔言語特徴と画像特徴を組み合わせる
• [Feng+ ’10][Leong+ ’11][Bruni+ ’12][Roller+ ’13] [Kiela+ ’14]
• 画像特徴はlocal feature(SIFT, HOG, PHOW)によるBOVWが多い
• NNの中間表現を⽤用いる：[Driancourt+ ’90]
• マルチモーダル学習をDeep Learningで⾏行行う
• RBM[Srivastava+ ‘12][Feng+ ‘13]、Auto-encoder[Wu+ ‘13]、
RNN[Socher+ ’14]、Stacked Auto-encoder[Silberer+ ’14]
• ⾔言語特徴と画像特徴の間のクロスモーダル学習
• Deep Learning [Frome+ ’13]、BOVW[Lazaridou+ ‘14]
5

6. 画像の分散表現
• 7層のCNN[Oquab+ ’14]を学習した後、最終層を取り除いて6層⽬目の出
⼒力力を分散表現とする。
• 訓練データセット
• ImageNet : 12.5M images, 22K synsets
• ESPGame : 100K images (ave. 14tags/image), 20525 words
• 各画像について6144次元の特徴を得る
6

7. 画像データセットの性質の違い
• ImageNetとESP Gameで画像の性質が異異なる
• 前者は対象画像が中⼼心にある場合が多いが、後者はそれを期待できない
• 画像に紐紐づくコンセプトの性質も異異なる
• ESP Gameは1画像に紐紐づくコンセプトのバラエティが多い
• ImageNet : golden retriever
• ESP Game : dog, golden retriever, grass, field, house, door
• ImageNetのコンセプトは階層化されている（synset）
7
http://
wordnetweb.princeton.e
du/perl/webwn

8. 画像データセット例例：golden retriever
（上：ESP Game、下：ImageNet）
8

9. 画像前処理理
• ImageNet：[Krizhevsky+ ’12]の⽅方法
• 中⼼心が画像中央で取れる最⼤大の正⽅方形を256x256にリスケーリング
• 両端16ピクセルを除去して224x224に
• 各ピクセルから128を引く
• ESPGame
• 画像を224x224に収まるようにリスケーリング
• 各ピクセルから128を引く
• 画像がない所を0でpadding
9

10. 画像からの特徴抽出（ベースライン）
• BOVW
• VLFeatを⽤用いてDense SIFT特徴量量を抽出
• k-meansで100clusterに分ける
10

11. 単語の分散表現
• [Mikolov+ ‘13]のlog-linear skip-gram modelを利利⽤用
• 訓練コーパス：Wikipedia(400M words) + British National
Corpus(100M words)
• 各単語について100次元の分散表現を得る
11

12. テキストと画像の分散表現を合成
• 各コンセプトについて紐紐づく画像を選択（後述）
• 画像の分散表現達を”合成”
• 平均 (CNN-Mean/BOVW-Mean) or 次元ごとの最⼤大値(CNN-Max)
• 単語・画像の分散表現をそれぞれ正規化（平均0、L2ノルム1）
• 重み付きで連結する：
12

13. 単語から画像への紐紐付け
• ImageNet
• 単語の部分⽊木からランダムにN個画像を取ってくる（N=1000）
• 部分⽊木の中にN個未満の画像しかなかったら、hypernymに対して
同様のサンプリングを⾏行行う
• ESPGame
• N個の画像をサンプリング
13

14. 評価⽤用データセット
• WordSim353 (W353) : 353 word pairs
• 単語の抽象度度が様々：
• 具体的(OPEC/Arafat/Maradona), 抽象的(antecedent/credibility)
• MEN : 751 word, 3000 word pairs
• ESP Gameに⼀一定数以上の画像がある単語のみ(50 images)
• ImageNetの⽅方には画像がないかもしれない
• W353-Relevant/MEN-Relevant
• それぞれについて、ImageNet/ESP Game両⽅方に画像がある単語のみを
取り出したもの
14

15. 評価⽅方法
• 2単語のペアの類似度度を評価する
• 類似度度はコサイン類似度度を利利⽤用
• 評価を⼈人⼿手での類似度度評価と⽐比較
• ⽐比較⽅方法はスピアマンの相関係数
15

16. 実験結果(1)：Ground Truthとのピアソン相関係数
評価データセット分散表現の取り⽅方
訓練データセット
16

17. 実験結果(1)：分析
• ImageNet/ESP Game共に画像の分散表現をを加えて精度度が向上した
• 画像の分散表現の⼊入れ⽅方により上昇幅は異異なる (BOVW CNN)
• 「似た単語に同じ画像が使われやすい」では説明できない
• 概してMENの⽅方が好スコア
• WordSim353には抽象的な概念念など画像を対応付け⾟辛い単語がある
• WordSim353はmultimodalな使い⽅方を想定されていない
17

18. 実験結果(2)：
単語分散表現と画像分散表現の重み付けのバランス
MEN
W353
AllRelevant
α
18

19. 実験結果(2)：分析
• 概してα=0.5が最も精度度が良良い
• 既存結果でもα=0.5付近が良良いとされ、今回もそうなった
• WordSim353についてはαが⼤大きめにする（=⾔言語情報に重みをおく）
と精度度が良良かった
19

20. エラー分析(1)
訓練データセット
評価データ
セット
ImageNetESP Game
W353-Rel
MEN-Rel
20

21. エラー分析(2)
• ベストスコアの単語ペアは訓練データセットによらず同じ
• 完璧に⼀一致しているけれど⼤大丈夫？
• ワーストスコアの単語ペアについて
• ImageNetで悪い
• potatoes/tomato (MEN)：ImageNetで取れる画像が悪い？
• king/queen(W353)：類似概念念に対し低スコアを与える
• ESP Gameで悪い
• stock/market(W353)：関連概念念に対し低スコアを与える
• 訓練データセットによらず悪い
• dessert/bread/fruit (MEN)：⾔言語分散表現が悪い？
21

22. 疑問点・議論論・感想
• 実験環境に対する説明がなかった：マシン台数・GPUの有無
• 各コンセプトに対する画像の分散表現をマージする⽅方法（平均・最
⼤大）は解釈できる？
• 単語の分散表現と画像の分散表現の次元のバランス
• 100次元 vs. 6144次元は偏りすぎでは？
• 画像データセットの特性を考慮した前処理理⽅方法は参考になった
22

23. まとめ
• 単語の分散表現に画像の分散表現（CNNの中間層）を加えて単語ペア
類似度度を推定した。
• 単語の分散表現単独の場合よりも⼈人の評価に近づいた。
• 精度度向上には、画像の分散表現の抽出⽅方法が寄与していると思われる。
• 類似度度推定の成功ケースは訓練データセットによらず共通していた。
• 類似度度推定の失敗ケースの傾向は訓練データセット・評価データセッ
トごとに異異なっていた。
23