1. 1
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Generative Adversarial Networksの
学習方法進展・画像生成・教師なし画像変換
濱田晃一
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AI研究開発グループ 週次セミナー
2017/04/20
@hamadakoichi
2. 2
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆GANの教師なし画像変換
◆Generative Adversarial Networks(GAN)
◆GANの学習方法進展・画像生成
3. 3
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆GANの教師なし画像変換
◆Generative Adversarial Networks(GAN)
◆GANの学習方法進展・画像生成
4. 4
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Generative Adversarial Nets(GAN) (Goodfellow+2014)
Generative Adversarial Nets.
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu,
David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio.
arXiv:1406.2661. In NIPS 2014.
5. 5
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Generative Adversarial Nets(GAN) (Goodfellow+2014)
Generator(生成器)と Discriminator(識別器)を戦わせ
生成精度を向上させる
識別器: “本物データ”と “生成器が作った生成データ”を識別する
生成器: 生成データを識別器に“本物データ”と誤識別させようとする
(Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)
6. 6
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Generative Adversarial Nets(GAN) (Goodfellow+2014)
Minimax Objective function
Discriminator が
「本物データ」を「本物」と識別
(Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)
Discriminator が
「生成データ」を「偽物」と識別する
Discriminatorは
正しく識別しようとする
(最大化)
Generatorは Discriminator に誤識別させようとする(最小化)
Generator(生成器)と Discriminator(識別器)を戦わせ
生成精度を向上させる
7. 7
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Generative Adversarial Nets(GAN) (Goodfellow+2014)
SGDで Discriminator k回、Generator 1回と交互に学習
MCMC等のSampling必要なく、Back Propagation で解ける
Discriminatorでの
最大化(k 回)
Generator での
最小化(1回)
8. 8
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆GANの教師なし画像変換
◆Generative Adversarial Networks(GAN)
◆GANの学習方法進展・画像生成
9. 9
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
学習が難しいGAN。Batch Normalization、LeakyReLU、Adam、等、
学習の安定化のための各種工夫。クリアな画像生成を実現。
DCGAN (Radford+2015)
自然画像のクリアな画像生成 画像演算
Unsupervised Representation Learning with Deep
Convolutional Generative Adversarial Networks.
Alec Radford, Luke Metz, Soumith Chintala.
arXiv:1511.06434. In ICLR 2016.
10. 10
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Improved Techniques for Training GAN (Salimans+2016)
Improved Techniques for Training GANs.
Tim Salimans, Ian Goodfellow, Wojciech
Zaremba, Vicki Cheung, Alec Radford, Xi Chen.
arXiv:1606.03498. In NIPS 2016.
GANの学習安定化のための各種技術
DCGANとこれらの技術で、2016年以降GAN研究が活発に
1. Feature Matching
2. Minibatch discrimination
3. Historical averaging
4. One-sided label smoothing
5. Virtual batch normalization
Techniques Semi-supervised learning
MNIST
Semi-supervised training
with feature matching
Semi-supervised training
with feature matching and
minibatch discrimination
CIFAR-10
Generated samples
11. 11
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Extended Architectures for GAN (2016)
幅広い・クリアな画像生成のための各種GAN拡張
Figure by Chris Olah (2016) :https://twitter.com/ch402/status/793535193835417601
Ex)
Conditional Image Synthesis
With Auxiliary Classifier GANs.
Augustus Odena, Christopher
Olah, Jonathon Shlens.
arXiv: 1610.09585.
12. 12
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
InfoGAN (Chen+2016)
InfoGAN: Interpretable Representation
Learning by Information Maximizing
Generative Adversarial Nets.
Xi Chen, Yan Duan, Rein Houthooft, John
Schulman, Ilya Sutskever, Pieter Abbeel.
arXiv:1606.03657. In NIPS 2016
Latent code c、Generator 出力との Mutual Information を加え
GANで狙って表現ベクトル空間を学習
13. 13
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
StackGAN (Zhang+2016)
1段目で文章から低解像度画像を生成
2段目で低解像度画像から高解像度画像を生成
StackGAN: Text to Photo-realistic Image
Synthesis with Stacked Generative Adversarial
Networks.
Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang,
Xiaolei Huang, Xiaogang Wang, Dimitris Metaxas.
arXiv:1612.03242.
256 x 256 Image
14. 14
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Plug & Play Generative Networks (Nguyen+2016)
ImageNet1000カテゴリの幅広い対象で
高解像度の画像生成
Plug & Play Generative Networks: Conditional
Iterative Generation of Images in Latent Space.
Anh Nguyen, Jason Yosinski, Yoshua Bengio,
Alexey Dosovitskiy, Jeff Clune.
arXiv:1612.00005.
227 x 227 Image
15. 15
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
f-GAN (Nowozin+2016)
GAN目的関数を Symmetric JS-divergence から
f-divergence に一般化。各Divergence を用い学習・評価
f-GAN: Training Generative
Neural samplers using
variational Divergence
Minimization.
Sebastian Nowozin, Botond
Cseke, Ryota Tomioka.
arXiv:1606.00709.
In NIPS 2016.
Kernel Density Estimation on the MNIST
f-divergence
LSUN
16. 16
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
WGAN (Arjovsky+2017)
Wasserstein計量を用いたGenerator勾配損失の解消、学習の安定化
CriticがWasserstein計量を算出、Generatorが最小化
Wasserstein GAN.
Martin Arjovsky, Soumith Chintala, Léon Bottou.
arXiv:1701.07875.
LSUN
Wasserstein-1 metric
17. 17
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
LSGAN(Mao+2017)
Sigmoidに替え二乗誤差を用いた学習安定化
生成データ・実データをマージンありで識別
Least Squares Generative Adversarial Networks.
Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen
Wang, Stephen Paul Smolley.
arXiv:1611.04076. (v2 update: 2017/2/24)
Least square loss functionSigmoid cross entropy loss function
18. 18
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
BEGAN(Berthelot+2017)
AutoEncoderのDiscriminatorが生成・実画像の識別、実データ復元
生成画像の多様性・クリアさを指定した生成制御
BEGAN: Boundary Equilibrium Generative Adversarial
Networks.
David Berthelot, Thomas Schumm, Luke Metz.
arXiv:1703.10717.
128 x 128 image
Objective Function
Diversity/Sharpness Ratio
19. 19
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
WGAN with Gradient Penalty (Gulrajani+2017)
WGANで Lipschitz制約(勾配上限制約)を、Weight Clipping のかわ
りに、Gradient Penaltyを用い記述。高次の分布特徴を捉えられる
…
Improved Training of Wasserstein GANs.
Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin,
Aaron Courville.
arXiv:1704.00028.
Original critic loss Gradient penalty
20. 20
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆GANの教師なし画像変換
◆Generative Adversarial Networks(GAN)
◆GANの学習方法進展・画像生成
21. 21
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
画像ドメイン間の画像変換
対応関係の教師なしの、各画像集合のみを用いた変換学習
Unsupervised Image to Image translation
(Figures: Zhu+ 2017)
22. 22
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
同一の表現ベクトル z から2つのGeneratorで各ドメイン画像を生成
Discriminator が生成画像と、ドメインの実画像を識別
CoGAN (Liu+ 2016)
Coupled Generative Adversarial Networks.
Ming-Yu Liu, Oncel Tuzel.
arXiv:1606.07536. In NIPS 2016.
RGB and Depth Images
23. 23
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
VAE+CoGAN. 各ドメイン画像からEncoderで表現ベクトルzを作り
同一&別ドメインそれぞれのGenerator画像生成・Discriminator識別
UNIT (Liu+2017)
Unsupervised Image-to-Image Translation
Networks.
Ming-Yu Liu, Thomas Breuel, Jan Kautz.
arXiv:1703.00848
24. 24
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
2方向のDomain変換のGenerator。変換画像と実画像で各Domain
Discriminatorで識別。2回Domain変換し戻した画像復元、による学習
DiscoGAN (Kim+2017)
Learning to Discover Cross-Domain Relations with Generative
Adversarial Networks.
Taeksoo Kim, Moonsu Cha, Hyunsoo Kim, Jungkwon Lee, Jiwon Kim.
arXiv:1703.05192.
25. 25
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
2方向のDomain変換のGenerator。変換画像と実画像で各Domain
Discriminatorで識別。2回Domain変換し戻した画像復元、による学習
Unpaired Image-to-Image Translation using Cycle-
Consistent Adversarial Networks.
Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros
arXiv:1703.10593.
CycleGAN (Zhu+2017)
26. 26
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
2方向のDomain変換のGenerator。変換画像と実画像で各Domain
Discriminatorで識別。2回Domain変換し戻した画像復元、による学習
Adversarial Loss
Cyclic consistency Loss
Least Square Loss (LSGAN)
Objective Function
Unpaired Image-to-Image Translation using Cycle-
Consistent Adversarial Networks.
Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros
arXiv:1703.10593.
CycleGAN (Zhu+2017)
27. 27
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Photographs to Paintings
CycleGAN (Zhu+2017)
28. 28
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Monet paintings to Photographs
CycleGAN (Zhu+2017)
29. 29
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆GANの教師なし画像変換
◆Generative Adversarial Networks(GAN)
◆GANの学習方法進展・画像生成
30. 30
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
まとめ
・GANの学習方法進展、画像生成、教師なし画像変換、を紹介。
・GAN学習方法に関する研究が活発に行われ、生成のクオリティ向
上、多様性の向上、生成制御、学習安定化、等、進んでいる。
・教師なし画像変換も、GANを用いた新たな学習方法が試され、質
向上している。