More Related Content
Similar to CVPR2016 reading - 特徴量学習とクロスモーダル転移について (20)
More from Akisato Kimura (20)
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
- 1. Copyright©2014 NTT corp. All Rights Reserved.
CVPR2016 reading
特徴量学習とクロスモーダル転移について
Akisato Kimura <akisato@ieee.org>
_akisato
http://www.kecl.ntt.co.jp/people/kimura.akisato/
- 13. Copyright©2014 NTT corp. All Rights Reserved.
教師なし特徴量学習
• Mukuta+ “Kernel approximation via empirical orthogonal decomposition for
unsupervised feature learning”
• Pathak+ “Context encoders: Feature learning byinpainting”
• Zhang+ “Online collaborative learning for open vocabulary visual classifiers”
• Yang+ “Joint unsupervised learning of deep representation and image clusters”
- 15. 14
Kernel PCA
特徴ベクトル 𝒙𝒙 を変換する方法
𝒈𝒈 = 𝚲𝚲−1/2
𝑨𝑨⊤
𝒌𝒌
𝒌𝒌 = (𝐾𝐾 𝒙𝒙1, 𝒙𝒙 , 𝐾𝐾 𝒙𝒙2, 𝒙𝒙 , … , 𝑘𝑘(𝒙𝒙𝑛𝑛, 𝒙𝒙)), 𝑲𝑲 = 𝐾𝐾 𝒙𝒙1, 𝒙𝒙 𝑖𝑖,𝑗𝑗=1
𝑛𝑛
𝜆𝜆𝑖𝑖, 𝜶𝜶𝑖𝑖 𝑖𝑖=1
𝑛𝑛
: Sorted eigenvalues and normalized
eigenvectors of 𝑲𝑲𝑲𝑲 = 𝜆𝜆𝜶𝜶
𝜆𝜆1 ≥ 𝜆𝜆2 ≥ ⋯ ≥ 𝜆𝜆 𝑚𝑚, 𝜶𝜶𝑖𝑖, 𝛼𝛼𝑗𝑗 = 𝛿𝛿𝑖𝑖,𝑗𝑗
𝚲𝚲 = diag(𝜆𝜆1, 𝜆𝜆2, … , 𝜆𝜆 𝑚𝑚), 𝑨𝑨 = (𝜶𝜶1, 𝜶𝜶2, … , 𝜶𝜶 𝑚𝑚)
グラム行列が
大きい → 計算量大
小さい → 表現力不足
http://www.kecl.ntt.co.jp/people/kimura.akisato/titech/class.html
- 16. 15
グラム行列を近似する方法
• Nystrom method
‒ 学習サンプルの乱択 + 部分グラム行列の直交展開
‒ 直交展開に大きな計算量が必要
• Random feature method [Rahini+ NIPS07]
‒ カーネル関数を以下の形で表現
‒ パラメータ 𝑤𝑤 のサンプリングによる関数近似
‒ 近似に学習サンプルを用いない → 近似誤差が不十分
- 23. Copyright©2014 NTT corp. All Rights Reserved.
クロスモーダル転移
• “Cross modal distillation for supervision transfer”
• “Learning with side information through modality hallucination”
• “Image style transfer using convolutional neural networks”
• “Large scale semi-supervised object detection using visual and semantic
knowledge transfer”
• “Synthesized classifiers for zero-shot learning”
• “Semi-supervised vocabulary-informed learning”
- 24. 23
クロスモーダル転移
典型例 - Zero-shot learning
• 画像のラベルを予測する分類問題で,
予測したいラベルの学習データが1つもない.
[Frome+ NIPS13]
word2vec
CNN
CNN特徴から単語ベクトルを予測 単語ベクトルが類似する単語を
予測結果として出力
- 26. Copyright©2014 NTT corp. All Rights Reserved.
マルチモーダル特徴量学習
• “MDL-CW: A multimodal deep learning framework with cross weights”
• “Multi-view deep network for cross-view classification”
• “Visual Word2Vec: Learning visually grounded word embeddings using abstract
scenes”
- 30. Copyright©2014 NTT corp. All Rights Reserved.
クロスモーダル転移
• “Cross modal distillation for supervision transfer”
• “Learning with side information through modality hallucination”
• “Synthesized classifiers for zero-shot learning”
• “Semi-supervised vocabulary-informed learning”
• “Latent embeddings for zero-shot classification”
• “Image style transfer using convolutional neural networks”
• “Learning attributes equals multi-source domain generalization”
- 36. 35
(Gatys, Ecker and Bethge)
白色雑音で駆動
Styleだけ転移したい 中身だけ転移したい
Networkは実はどっちも同じ
フィルタ応答を
そのまま使う
フィルタ応答の
相関を使う