6. CNNのアーキテクチャの変遷 –畳み込み型ネットの発⾒見見
l 局所的な結合というアイディア
l 2種類(特徴抽出と情報集約)の処理理を繰り返す
Neocognitron (1980) [1]
5
[1] K. Fukushima. Neocognitron: A self-‐‑‒organizing neural network model for a mechanism of
pattern recognition unaffected by shift in position. Biological Cybernetics 36, 1980.
l 畳み込みとプーリング(サブサンプリング)の形に
l Back Propagation(BP) によって学習
LeNet (1998) [2]
[2] Y LeCun, L Bottou, Y Bengio, P Haffner. Gradient-‐‑‒based learning applied to document
recognition. Proceedings of the IEEE 86, 1998.
7. CNNのアーキテクチャの変遷 –プーリング,活性化関数,正則化
l ⾮非CNN系画像認識識のアイディアを導⼊入
Ave./Max Pooling, Local Contrast Normalization (2009) [3]
6
[3] K. Jarrett, K. Kavukcuoglu, M. Ranzato, Y. LeCun. What is the best multi-‐‑‒stage architecture for
object recognition?. CVPR, 2009.
l 活性化関数を単純に
ReLU (2011) [4]
[4] X. Glorot, A. Bordes, Y. Bengio. Deep Sparse Rectifier Neural Networks. AISTATS 11, 2011.
l 過学習を防ぐための正則化技術の導⼊入
Dropout (2012) [5]
[5] G. E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, R. R. Salakhutdinov. Improving neural
networks by preventing co-‐‑‒adaptation of feature detectors. arXiv: 1207.0580, 2012.
8. CNNのアーキテクチャの変遷 –畳み込みの多層化と複雑化
l ⼤大規模⼀一般物体認識識での成功
l Data Augmentationとこれまでの要素技術の結集 (8層)
AlexNet (2012) [6]
7
[6] A. Krizhevsky, I. Sutskever, G. E. Hinton. ImageNet Classification with Deep Convolutional
Neural Networks. NIPS, 2012.
l 畳み込み層に⾮非線形性を導⼊入
l 全結合部を使わないという提案 (global ave. pooling)
Network in Network, global ave. pooling (2013) [7]
[7] M. Lin, Q. Chen, S. Yan. Network In Network. arXiv: 1312.4400, 2013.
9. CNNのアーキテクチャの変遷 –畳み込みの多層化と複雑化
l ⼀一般物体認識識⽤用で19層のアーキテクチャへ
l ⼩小さい畳み込みサイズ(3x3)を多段にした
VGG-‐‑‒Net (2014) [8]
8
[8] K. Simonyan, A. Zisserman. Very Deep Convolutional Networks for Large-‐‑‒Scale Visual
Recognition. arXiv: 1409.1556, 2014.
l 22層のアーキテクチャ
l auxiliary classifiers , Inception module
GoogLeNet / Inception (2014 ~∼ 2015) [9, 10]
[9] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A.
Rabinovich. Going deeper with convolutions. arXiv: 1409.4842, 2014.
[10] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, Z. Wojna. Rethinking the Inception Architecture
for Computer Vision. arXiv: 1512.00567, 2015.
10. CNNのアーキテクチャの変遷 –アーキテクチャの多様化
l 様々なサイズの⼊入⼒力力画像を許容
l CNN⼊入⼒力力時のリサイズを回避
SPP-‐‑‒Net (2014) [11]
9
[11] K. He, X. Zhang, S. Ren, J. Sun. Spatial Pyramid Pooling in Deep Convolutional Networks for
Visual Recognition. arXiv: 1406.4729, 2014.
l プーリングをストライド2の畳み込みに置き換える
l guided BPによる超⾼高次層の特徴可視化
All Convolutional Net, guided BP (2014) [12]
[12] J. T. Springenberg, A. Dosovitskiy, T. Brox, M. Riedmiller. Striving for Simplicity: The All
Convolutional Net. arXiv: 1412.6806, 2014.
11. CNNのアーキテクチャの変遷 –学習⽅方法の多様化
l Data Augmentation を利利⽤用して教師なし表現学習
Exemplar CNN (2014) [13]
10
[13] A. Dosovitskiy, P. Fischer, J. T. Springenberg, M. Riedmiller, T. Brox. Discriminative Unsupervised
Feature Learning with Exemplar Convolutional Neural Networks. arXiv: 1406.6909, 2014.
l ユークリッド空間上でCNN上の特徴同⼠士が,
同クラスなら近くなるように, 別クラスなら遠くなるように
Triplet Network (2014) [14]
[14] E. Hoffer, N. Ailon. Deep metric learning using Triplet network. arXiv: 1412.6622, 2014.
12. CNNのアーキテクチャの変遷 –超多層アーキテクチャへ
l パラメータ付き正規化処理理
l 複雑なアーキテクチャをスクラッチで学習させる必須技術
Batch Normalization (2015) [15]
11
[15] S. Ioffe, C. Szegedy. Batch Normalization: Accelerating Deep Network Training by Reducing
Internal Covariate Shift. arXiv: 1502.03167, 2015.
l 152層からなる超多層アーキテクチャ
l 途中の特徴マップを何層か先にバイパスしてやる
Residual Network; ResNet (2015) [16]
[16] K. He, X. Zhang, S. Ren, J. Sun. Deep Residual Learning for Image Recognition. arXiv:
1512.03385, 2015.
13. 確率率率的勾配降降下法における学習率率率調整法
AdaGrad [17]
RMSProp [18]
AdaDelta [19]
Adam [20]
12
[17] J. Duchi, E. Hazan, Y. Singer. Adaptive Subgradient Methods for Online Learning and
Stochastic Optimization. Journal of Machine Learning Research 12 ,2011.
l ⼀一概にどれが最も良良いとは⾔言えない (AdaGrad以外は⽐比較的優秀…?)
l データセットや問題によって,適切切なハイパーパラメータ
が異異なってくる
[18] T. Tieleman, G. Hinton. Divide the gradient by a run-‐‑‒ ning average of its recent magnitude.
COURSERA: Neural Networks for Machine Learning 4, 2012.
[19] M. D. Zeiler. ADADELTA: An Adaptive Learning Rate Method. arXiv: 1212.5701, 2012.
[20] D. Kingma, J. Ba. Adam: A Method for Stochastic Optimization. arXiv: 1412.6980, 2014.
15. CNNの特徴量量解析 / 可視化
l DeconvolutionとUnpoolingで特徴マップを⼊入⼒力力空間へ
Deconvnet for visualizing
14
[21] M.D. Zeiler, and R. Fergus. Visualizing and understanding convolutional networks.
arXiv,: 1311.2901, 2013.
16. CNNの特徴量量解析 / 可視化
l 正則化⼿手法の導⼊入でより綺麗麗に再構成できるように
⼊入⼒力力画像の最適化
15
[22] A. Mahendran, A. Vedaldi. Understanding Deep Image Representations by Inverting Them.
arXiv: 1412.0035, 2014.
17. CNNの特徴量量解析 / 可視化
l ⼈人間からすると違いは分からないが,CNNは間違える
l そういったものはAdversarial exampleと呼ばれる
CNNを “だます”
16
[24] I. J. Goodfellow, J. Shlens, C. Szegedy. Explaining and Harnessing Adversarial Examples.
arXiv: 1412.6572, 2014.
ostrich !! ostrich !!
[23] C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. J. Goodfellow, R. Fergus. Intriguing
properties of neural networks. arXiv: 1312.6199, 2013.
18. CNNの特徴量量解析 / 可視化
l ⾼高い確信度度で分類する意味不不明画像も作れる
CNNを “だます”
17
[25] A. Nguyen, J. Yosinski, J. Clune. Deep Neural Networks are Easily Fooled: High Confidence
Predictions for Unrecognizable Images. arXiv: 1412.1897, 2014.
21. 物体検出
l 多段だった学習を1本に (分類と矩形回帰を同時に解く)
l CNNの特徴マップ上でROIを切切り出す (ROI Pooling)
l 物体候補領領域⾃自体はCVテクニックで取り出す必要がある
Fast R-‐‑‒CNN (2015/4)
20
[27] R. Girshick. Fast R-‐‑‒CNN. arXiv:1504.08083, 2015.
22. 物体検出
l 物体候補領領域の抽出もCNNでやる (Region Proposal Net)
Faster R-‐‑‒CNN (2015/6)
21
[28] S. Ren, K. He, R. Girshick, J. Sun. Faster R-‐‑‒CNN:
Towards Real-‐‑‒Time Object Detection with Region Proposal
Networks. arXiv:1506.01497, 2015.
26. セグメンテーション
l セグメンテーション / 物体検出のための領領域候補抽出
l 中央の物体の”セグメント”と”物体の有無”をそれぞれ学習
Deep Mask
25
[32] P. O. Pinheiro, R. Collobert, P. Dollar. Learning to Segment Object Candidates. arXiv: 1506.06204,
2015.
27. 顔認識識
l 3次元モデルで顔領領域をアライメントして, CNNで識識別
l ほぼ⼈人間と同等の顔認識識性能
Deep Face
26
[33] Y. Taigman, M. Yang, M. A. Ranzato and L. Wolf. DeepFace: Closing the Gap to Human-‐‑‒Level
Performance in Face Verification. CVPR, 2014.
34. 画像⽣生成
l Adversarial Networksで
⾼高画質な画像を作る
DCGANによる画像⽣生成とベクトル演算性
33
[40] A. Radford, L. Metz, S. Chintala. Unsupervised Representation Learning with Deep
Convolutional Generative Adversarial Networks. arXiv:1511.06434, 2015.
35. 超解像
l waifu2x[42]という名前のソフトウェアも登場した
Super-‐‑‒Resolution CNN (SRCNN)
34
[41] C. Dong, C. C. Loy, K. He, X. Tang. Image Super-‐‑‒Resolution Using Deep
Convolutional Networks. arXiv:1501.00092, 2015.
[42] waifu2x. http://waifu2x.udp.jp/index.ja.html
39. 3D タスクへ
l Selection Tower (depth推定)と,
Color Tower (⾊色推定) の2本のネットワークで視点補間
Deep Stereo
38
[46] J. Flynn, I. Neulander, J. Philbin, N. Snavely. DeepStereo: Learning to
Predict New Views from the World's Imagery. arXiv:1506.06825, 2015.
40. 3D タスクへ
Deep Stereo
39
[46] J. Flynn, I. Neulander, J. Philbin, N. Snavely. DeepStereo: Learning to
Predict New Views from the World's Imagery. arXiv:1506.06825, 2015.
[47] DeepStereo: Learning to Predict New Views from the Worldʼ’s Imagery -‐‑‒
YouTube, https://www.youtube.com/watch?v=cizgVZ8rjKA
42. 3D タスクへ
l マルチスケールなCNNで
depth, surface normal, semantic labelのタスクを解く
単⼀一画像による3Dタスク例例
41
[49] D. Eigen, R. Fergus. Predicting Depth, Surface Normals and Semantic Labels with
a Common Multi-‐‑‒Scale Convolutional Architecture. arXiv: 1411.4734, 2014.
input Eigen et al. proposal ground
truth
44. 映像への挑戦
l 487種のスポーツ(!?)を分類, Top-‐‑‒5で正解率率率およそ80%
l フレームごとにCNNで処理理 (復復数のアーキテクチャを提案)
スポーツ映像分類
43
[50] A. Karpathy, G. Toderici, S. Shetty, T. Leung, R. Sukthankar, F. Li. Large-‐‑‒
scale Video Classification with Convolutional Neural Networks. CVPR, 2014.
46. より ”⼈人間らしい” 機械知覚へ
l Memorability: どれくらい記憶に残りやすいか
l ⼼心理理実験から様々な画像のMemorability scoreを算出,
⼤大規模データセット: LaMem を公開
MemNet: CNN for Memorability
45
[51] LaMem, http://memorability.csail.mit.edu/
[52] A. Khosla, A. S. Raju, A. Torralba and A. Oliva. Understanding and
Predicting Image Memorability at a Large Scale. ICCV, 2015..
⾼高 低Memorability
47. より ”⼈人間らしい” 機械知覚へ
l Memorabilityを推定するようにCNNを学習
l Rank Correlation: 0.64(MemNet) v.s. 0.68(human)
MemNet: CNN for Memorability
46
[51] LaMem, http://memorability.csail.mit.edu/
[52] A. Khosla, A. S. Raju, A. Torralba and A. Oliva. Understanding and
Predicting Image Memorability at a Large Scale. ICCV, 2015..
49. マルチモーダルなアプリケーション
l もともと画像キャプション⽣生成課題はあった
l CNN(画像表現) + LSTM(⽂文⽣生成; 翻訳)
画像キャプション⽣生成
48
Google NIC [53] LRCN [54]
[53] O. Vinyals, A. Toshev, S. Bengio, D. Erhan. Show and Tell: A Neural Image Caption Generator. arXiv: 1411.4555, 2014./
[54] J. Donahue, L. A. Hendricks, S. Guadarrama, M. Rohrbach, S. Venugopalan, K. Saenko, T. Darrell. Long-‐‑‒term
Recurrent Convolutional Networks for Visual Recognition and Description. arXiv: 1411.4389, 2014.
51. マルチモーダルなアプリケーション
l 画像⼊入⼒力力に加えて⽂文⼊入⼒力力ができるアーキテクチャ
画像に関する質問に答える (Visual Turing Test)
50
mQA [55]
Neural-‐‑‒Image QA [56]
[55] H. Gao, J. Mao, J. Zhou, Z. Huang, L. Wang, W. Xu. Are You Talking to a
Machine? Dataset and Methods for Multilingual Image Question
Answering. arXiv: 1505.05612, 2015.
[56] M. Malinowski, M. Rohrbach, M. Fritz. Ask Your Neurons: A Neural-‐‑‒
Based Approach to Answering Questions About Images. ICCV, 2015.
54. マルチモーダルなアプリケーション
l Bidirectional RNNで⽂文章をエンコード, RNNで画像⽣生成
⽂文章から画像⽣生成
53
[57] E. Mansimov, E. Parisotto, J. L. Ba, R. Salakhutdinov. Generating
Images from Captions with Attention. arXiv: 1511.02793, 2015.
57. CNNと強化学習
l Q-‐‑‒Learning における価値関数の近似にCNN (DQN)
l 「ピンボール」や「ブレイクアウト」は得意,
「パックマン」や「モンテズマの復復讐」はかなり苦⼿手
Atari 2600 (Deep Q-‐‑‒Networks)
56
[60] V. Mnih, at al. Human-‐‑‒level control through deep reinforcement learning. nature, 2015.
[59] V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, M. Riedmiller. Playing
Atari with Deep Reinforcement Learning. arXiv:1312.5602, 2013.
59. CNNと強化学習
l ハードウェア⾯面での条件に注意だが,他の囲碁AIを圧倒
l 碁の欧州チャンピオンに5戦5勝, 3⽉月にトッププロと対戦
AlphaGo
58
[61] D. Silver, et al. Mastering the game of Go with deep neural networks and tree search. nature, 2016.
[62] Y. Tian, Y. Zhu. Better Computer Go Player with Neural Network and Long-‐‑‒term Prediction. arXiv:
1511.06410, 2015.
60. CNNと強化学習
l DQNを⾮非同期型の学習に拡張
l 1つのマシンで 16 actor-‐‑‒learner threads を⾛走らせる
⼀一⼈人称視点ゲームへの適⽤用 (Asynchronous DQN)
59
[63] V. Mnih, A.P. Badia, M. Mirza, A. Graves, T. P. Lillicrap, T. Harley, D. Silver, K.
Kavukcuoglu. Asynchronous Methods for Deep Reinforcement Learning. arXiv:1602.01783, 2016.