5月22日、研究所内勉強会の担当回だった時の資料（一部変更）。 画像説明文生成や真相学習を利用した画像生成など、以下のオーラル発表5本を紹介。 1. Show and Tell: A Neural Image Caption Generator 2. Long-term Recurrent Convolutional Networks for Visual Recognition and Description 3. Deep Visual-Semantic Alignments for Generating Image Descriptions 4. Deep Neural Networks are Easilly Fooled: High Confidence Predictions for Unrecognizable Images 5. Understanding Deep Image Representation by Inverting Them

1. Copyright©2015 NTT corp. All Rights Reserved.
ベイズ勉強会
CVPR読み会（画像×言語を中心に）
基メ部 基識Ｇ 牛久祥孝

2. 1Copyright©2015 NTT corp. All Rights Reserved.
CVPR2015 (6月7日～12日)
カメラレディ論文公開：5/24～
• 個人webページで先んじて公開している
• arXivにも投稿する文化が広まりつつある
画像と自然言語、そして深層学習を
中心にいくつかの論文を紹介

3. 2Copyright©2015 NTT corp. All Rights Reserved.
次々見つかるDeep Learningの応用先
• 画像認識 [Krizhevsky+, NIPS 2012]
– 1000クラス130万枚
• 機械翻訳 [Sutskever+, NIPS 2014]
– 英仏1200万対訳対

4. 3Copyright©2015 NTT corp. All Rights Reserved.
• Googleのやつのニュース

5. 4Copyright©2015 NTT corp. All Rights Reserved.
日本でも反響
• Gigazine、「Googleが画像の説明文章を自
動生成する技術を開発」、2014年11月19
日
• TechCrunch Japan、「複雑な画像のキャプ
ション（説明文）を自動生成するシステ
ムをGoogleが研究開発中」、2014年11月
19日
• 日経BP、「MSやGoogleが研究、画像説明
文の自動生成機能」、2014年11月21日

6. 5Copyright©2015 NTT corp. All Rights Reserved.
今年のCVPRのオーラルセッション
CNN特化セッション
（去年もあった）
画像と言語セッション
（New!）

7. 6Copyright©2015 NTT corp. All Rights Reserved.
今年のCVPRのオーラルセッション
CNN特化セッション
（去年もあった）
画像と言語セッション
（New!）
Neural Networkによる説明文生成が
同時に3本オーラル発表
ポスターでもMSR等が説明文生成

8. Copyright©2015 NTT corp. All Rights Reserved.
紹介論文
1. Show and Tell: A Neural Image Caption
Generator [Vinyals+, CVPR 2015]
2. Long-term Recurrent Convolutional Networks
for Visual Recognition and Description
[Donahue+, CVPR 2015]
3. Deep Visual-Semantic Alignments for
Generating Image Descriptions
[Karpathy+Fei-Fei, CVPR 2015]

9. 8Copyright©2015 NTT corp. All Rights Reserved.
これまでの説明文生成
• これまでは、やや前時代的な組合せ
– 他の画像の説明文をそのまま流用
[Farhadi+, ECCV 2010][Hodosh+, 2013]
– 物体や動作、シーンを推定→テンプレートに
そって文生成
[Kulkarni+, CVPR 2011][Gupta+, AAAI 2012]

10. 9Copyright©2015 NTT corp. All Rights Reserved.
Google NIC[Vinyals+, CVPR 2015]
Googleで開発された
• GoogLeNet[Szegedy+, CVPR 2015]
• LSTM[Sutskever+, NIPS 2014]
を直列させて文生成する。
画像𝐼への文（単語列）𝑆0 … 𝑆 𝑁は
𝑆0: スタートを意味する単語
𝑆1 = LSTM CNN 𝐼
𝑆𝑡 = LSTM St−1 , 𝑡 = 2 … 𝑁 − 1
𝑆 𝑁: ストップを意味する単語

11. 10Copyright©2015 NTT corp. All Rights Reserved.
生成された説明文の例

12. 11Copyright©2015 NTT corp. All Rights Reserved.
LRCN[Donahue+, CVPR 2015]
• CNN+stacked LSTM
– 動作認識（下図左）
– 画像説明文生成（下図中央）
– 動画説明文生成（下図右）

13. 12Copyright©2015 NTT corp. All Rights Reserved.
生成された説明文の例

14. 13Copyright©2015 NTT corp. All Rights Reserved.
Visual-Semantic Alignments
[Karpathy+Fei-Fei, CVPR 2015]
• 画像説明文生成はCNN+Bidirectional RNN
– 他の手法とほぼ同一
– 並列でVisual Semantic
Alignmentを提案

15. 14Copyright©2015 NTT corp. All Rights Reserved.
画像領域と文の一部とのアライメント
Image-sentence score（右図）
画像領域𝐼𝑖・説明文単語𝑆𝑡で、
– 𝒗𝑖 = CNN 𝐼𝑖 ∈ ℝℎ
– 𝒔 𝑡 = BRNN 𝑆𝑡 ∈ ℝℎ
から 𝑖 𝑡 𝒗𝑖
⊤
𝒔 𝑡 を計算
対応する画像・説明文ペアの score
> 非対応ペアの score になるよう学習

16. 15Copyright©2015 NTT corp. All Rights Reserved.
アライメントの例

17. 16Copyright©2015 NTT corp. All Rights Reserved.
お互いにとても似ている
CNN（画像特徴量） RNN（文生成）
Google NIC GoogLeNet（22層CNN）
Fine Tuningあり
LSTM
LRCN VGG Net（19層CNN）
Fine Tuningあり
Stacked LSTMs
Visual-Semantic Alignment AlexNet（7層CNN）
Fine Tuningなし
BRNN → LSTM
表：Visual-Semantic Alignments [Karpathy+Fei-Fei, CVPR 2015] 内での比較

18. 17Copyright©2015 NTT corp. All Rights Reserved.
[Ushiku+, ACM MM 2012]と比べると
入力画像
[Ushiku+, ACM MM 2012]では：
Fisher Vector + 線形分類オンライン学習
CVPR 2015 の各論文では：
CNN（オンライン学習なのは一緒）
CVPR 2015 の各論文では：
RNNとビームサーチで文をつなぐ
[Ushiku+, ACM MM 2012]では：
キーフレーズと文法モデル、
ビームサーチで文をつなぐ
文の一部で重要そうなものを複数推定 文法モデルを利用して繋ぎ、説明文に
尽く引用されていないが、全体の流れは非常に似ている
“キーフレーズ”

19. Copyright©2015 NTT corp. All Rights Reserved.
紹介論文
4. Deep Neural Networks are Easilly Fooled:
High Confidence Predictions for
Unrecognizable Images [Nguyen+, CVPR
2015]
5. Understanding Deep Image Representation
by Inverting Them [Mahendran+Vedaldi,
CVPR 2015]

20. 19Copyright©2015 NTT corp. All Rights Reserved.
何の画像でしょうか？

21. 20Copyright©2015 NTT corp. All Rights Reserved.
何の画像でしょうか？

22. 21Copyright©2015 NTT corp. All Rights Reserved.
だまし画像生成[Nguyen+, CVPR 2015]

23. 22Copyright©2015 NTT corp. All Rights Reserved.
だまし画像生成[Nguyen+, CVPR 2015]
• 進化アルゴリズムを利用
– 特定のクラスへのconfidenceが99.99%になる
ように
1. ピクセルごとにランダム初期値→進化
2. 画像を生成するNeural Netを進化 [Stanley, 2007]

24. 23Copyright©2015 NTT corp. All Rights Reserved.
特徴量可視化[Mahendran+Vedaldi, CVPR 2015]
• [Nguyen+, CVPR 2015]は出力のみを見て画像
を生成
– CNNの途中のレイヤーなどは無視
– 各層での学習結果を直接可視化出来るか？
• 先行研究 [Zeiler+Fergus, ECCV 2014] では･･･
– Max poolingしたユニットの情報が必要
– ある入力画像による勾配を可視化しているだけ
[Simonyan+, ICLR 2014]

25. 24Copyright©2015 NTT corp. All Rights Reserved.
特徴量可視化[Mahendran+Vedaldi, CVPR 2015]
画像の正則化今の画像の
特徴量
目的の
特徴量画素（タテxヨコxチャネル数）
損失関数 =
正則化項 =

26. 25Copyright©2015 NTT corp. All Rights Reserved.
特徴量可視化[Mahendran+Vedaldi, CVPR 2015]
• 勾配降下法によって最適化
を入力したときの
の各レイヤを可視化すると･･･