Generative Adversarial Networks (GAN) @ NIPS2017

Copyright (C) 2018 DeNA Co.,Ltd. All Rights Reserved.
Generative Adversarial Networks
@NIPS2017
濱田晃一
@hamadakoichi
NIPS 2017 読み会
@Preferred Networks
2018/1/21
参加報告・テーマ発表

AGENDA
◆GANs @NIPS2017
◆Generative Adversarial Networks(GANs)
◆GANs Progress

講師
2010年6月
Mobageプラットフォーム全体の機械学習活用したサービス開発・洗練2011年4月～
濱田晃一 (@hamadakoichi)
・執筆：Mobageを支える技術
DeNA中途入社：ソーシャルゲームのデータマイニングチーム立上げ
DeNA全サービスの機械学習活用したサービス開発・洗練2014年10月～
・博士 : 量子統計場の理論 (理論物理)
・TokyoWebmining 主催者
- 機械学習の実活用コミュニティ。登録人数 1500人超。
- 8年継続、累積開催 60回超
Analytics Architect
・DeNA全サービスを対象とし、大規模機械学習活用したサービス開発
　- 数千万ユーザー、50億アクション/日、テキスト、画像、ソーシャルグラフ
　- 体験設計から、分散学習アルゴリズムの設計・実装まで
・深層学習活用
　- 画像表現学習・画像生成
　　対話・文章の表現学習・文章生成等

Generative Adversarial Nets @ NIPS 2017
問
NIPS2017本会議での
Generative Adversarial Networks の
論文の採択数は？

NIPS2017本会議では、34本のGAN論文(※)が採択
(※GANが中心となる論文)
課題分類課題内容合計 Oral Spotlight Poster
学習の収束性・安定性
Training Convergence/Stability
GAN学習での安定な平衡解や収束性の
理解、よい学習⽅法を得る 11 1 5 5
半教師あり学習
Semi-supervised Learning
限られた少数教師データを活⽤した
GAN学習をできるようにする 5 5
Mode Collapse回避
Avoiding Mode Collapse
GeneratorがDiscriminatorを騙せる
単⼀Modeに落ち込むのを回避。
多様な⽣成をできるようにする
3 1 2
解きほぐされた表現学習
Learning Disentangled
RepresentaCons
制御・活⽤しやすい
解きほぐされた潜在表現の獲得 3 1 2
模倣学習
ImitaCon Learning
模倣学習でのGAN活⽤ 3 3
構造的な⽣成
Structural GeneraCon
多様な構造をもった⽣成を
出来るようにする 2 2
データ拡張
Data AugmentaCon
データ拡張へのGAN適⽤ 2 2
その他他 5 2 3

NIPS2017本会議の Deep Learning Sessionでも
Oral:1/4、Spotlight: 8/8 がGAN研究
活発に研究進展している
Oral: 1/4
• TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning
• Train longer, generalize better: closing the generalization gap in large batch training of neural networks
• End-to-End Differentiable Proving
• Gradient descent GAN optimization is locally stable
Spotlight: 8/8
• f-GANs in an Information Geometric Nutshell
• Unsupervised Image-to-Image Translation Networks
• The Numerics of GANs
• Dual Discriminator Generative Adversarial Nets
• Bayesian GAN
• Approximation and Convergence Properties of Generative Adversarial Learning
• Dualing GANs
• Generalizing GANs: A Turing Perspective
青字：GAN関連の論文NIPS2017 Deep Learning Session - Presentations

Generative Adversarial Nets(GAN)
Progressive Growing of GANs for Improved Quality,
Stability, and Variation.
Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen.
arXiv:1710.10196.
GAN例
高解像度・クリアな画像生成(1024x1024画像) 教師なし画像ドメイン変換
Unpaired Image-to-Image Translation using Cycle-
Consistent Adversarial Networks.
Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros.
arXiv:1703.10593. In ICCV2017.

NIPS14: Generative Adversarial Nets(GAN) (Goodfellow+)
Generator(生成器)と Discriminator(識別器)を戦わせ
生成精度を向上させる
識別器: “本物データ”と “生成器による生成データ”を識別する
生成器: 生成データを識別器に“本物データ”と誤識別させようとする
Generative Adversarial Nets.
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio.
arXiv:1406.2661. In NIPS 2014.

Minimax Objective function
Discriminator が
「本物データ」を「本物」と識別
(Goodfellow+, NIPS2014, Deep Learning Workshop, Presentation)
Discriminator が
「生成データ」を「偽物」と識別
Discriminatorは
正しく識別しようとする
（最大化）
Generatorは Discriminator に誤識別させようとする（最小化）
Generator(生成器)と Discriminator(識別器)を戦わせ
生成精度を向上させる

Discriminator と Generator を交互に学習していく
Discriminatorでの
最大化(k 回)
Generator での
最小化(1回)
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio.
arXiv:1406.2661. In NIPS 2014.

学習が難しいGANに対し、各種工夫による学習安定化
Batch Normalization、LeakyReLU、Adam、等。クリアな画像生成を実現
ICLR16: DCGAN (Radford+)
自然画像のクリアな画像生成画像演算
Unsupervised Representation Learning with Deep
Convolutional Generative Adversarial Networks.
Alec Radford, Luke Metz, Soumith Chintala.
arXiv:1511.06434. In ICLR 2016.

NIPS16: Improved Techniques for Training GAN (Salimans+)
Improved Techniques for Training GANs.
Tim Salimans, Ian Goodfellow, Wojciech
Zaremba, Vicki Cheung, Alec Radford, Xi Chen.
arXiv:1606.03498. In NIPS 2016.
GANの学習安定化のための各種技術
DCGANとこれらの技術で、2016年以降GAN研究が活発に
1. Feature Matching
2. Minibatch discrimination
3. Historical averaging
4. One-sided label smoothing
5. Virtual batch normalization
Techniques Semi-supervised learning
MNIST
Semi-supervised training
with feature matching
with feature matching and
minibatch discrimination
CIFAR-10
Generated samples

Extended Architectures for GAN (2016)
幅広い・クリアな画像生成のための各種GAN拡張
Figure by Chris Olah (2016) :https://twitter.com/ch402/status/793535193835417601
Ex)
Conditional Image Synthesis
With Auxiliary Classifier GANs.
Augustus Odena, Christopher
Olah, Jonathon Shlens.
arXiv: 1610.09585.
In ICML 2017.

NIPS16: f-GAN (Nowozin+)
GAN目的関数を Symmetric JS-divergence から
f-divergence に一般化。各Divergence を用い学習・評価
f-GAN: Training Generative
Neural samplers using
variational Divergence
Minimization.
Sebastian Nowozin, Botond
Cseke, Ryota Tomioka.
arXiv:1606.00709.
In NIPS 2016.
Kernel Density Estimation on the MNIST
f-divergence
LSUN

ICML17: Wasserstein GAN (Arjovsky+)
Wasserstein計量を用いたGenerator勾配消失の解消、学習の安定化
CriticがWasserstein計量を算出、Generatorが最小化
Wasserstein GAN.
Martin Arjovsky, Soumith Chintala, Léon Bottou.
arXiv:1701.07875. In ICML 2017.
LSUN
Wasserstein-1 metric

ICCV17: Least Squares GAN (Mao+)
Sigmoidに替え二乗誤差を用いた学習安定化
生成データ・実データをマージンありで識別
Least Squares Generative Adversarial Networks.
Xudong Mao, Qing Li, Haoran Xie, Raymond Y.K. Lau, Zhen Wang,
Stephen Paul Smolley.
arXiv:1611.04076. In ICCV 2017.
Least square loss functionSigmoid cross entropy loss function

arXiv17：Boundary Equilibrium GAN (Berthelot+)
AutoEncoderのDiscriminatorが生成・実画像の識別、実データ復元
生成画像の多様性・クリアさを指定した生成制御
BEGAN: Boundary Equilibrium Generative Adversarial
Networks.
David Berthelot, Thomas Schumm, Luke Metz.
arXiv:1703.10717.
128 x 128 image
Objective Function
Diversity/Sharpness Ratio

学習の収束性・安定性：Training Convergence/Stability : 11論文
Gradient descent GAN optimization is locally stable.
Vaishnavh Nagarajan, J. Zico Kolter.
The Numerics of GANs.
Lars Mescheder, Sebastian Nowozin, Andreas Geiger.
[Oral +Poster : 1]
[Spotlight (SL) + Poster : 6]
Approximation and Convergence Properties of Generative.
Adversarial Learning.
Shuang Liu, Olivier Bousquet, Kamalika Chaudhuri.
f-GANs in an Information Geometric Nutshell.
Richard Nock, Zac Cranko, Aditya Krishna Menon, Lizhen Qu,
Robert C. Williamson.
Bayesian GAN.
Yunus Saatchi, Andrew Gordon Wilson.
Dualing GANs.
Yujia Li, Alexander Schwing, Kuan-Chieh Wang, Richard Zemel.
Fisher GAN.
Youssef Mroueh, Tom Sercu.
[Poster : 5]
GANs Trained by a Two Time-Scale Update Rule
Converge to a Local Nash Equilibrium.
Martin Heusel, Hubert Ramsauer, Thomas Unterthiner,
Bernhard Nessler, Sepp Hochreiter.
MMD GAN: Towards Deeper Understanding of Moment
Matching Network.
Chun-Liang Li, Wei-Cheng Chang, Yu Cheng, Yiming
Yang, Barnabás Póczos.
Improved Training of Wasserstein GANs
Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent
Dumoulin, Aaron Courville.
Stabilizing Training of Generative Adversarial
Networks through Regularization.
Kevin Roth, Aurelien Lucchi, Sebastian Nowozin, Thomas
Hofmann.
GANの学習の収束性・安定性
GAN学習での安定な平衡解や収束性の理解、よい学習方法を得る

学習の収束性・安定性：Training Convergence/Stability : 11論文
The Numerics of GANs.
Lars Mescheder, Sebastian Nowozin, Andreas Geiger.
[Oral +Poster : 1]
Approximation and Convergence Properties of Generative.
Adversarial Learning.
Shuang Liu, Olivier Bousquet, Kamalika Chaudhuri.
Bayesian GAN.
Dualing GANs.
Fisher GAN.
Youssef Mroueh, Tom Sercu.
[Poster : 5]
GANs Trained by a Two Time-Scale Update Rule
Converge to a Local Nash Equilibrium.
Martin Heusel, Hubert Ramsauer, Thomas Unterthiner,
Bernhard Nessler, Sepp Hochreiter.
MMD GAN: Towards Deeper Understanding of Moment
Matching Network.
Chun-Liang Li, Wei-Cheng Chang, Yu Cheng, Yiming
Yang, Barnabás Póczos
Improved Training of Wasserstein GANs
Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent
Dumoulin, Aaron Courville.
Stabilizing Training of Generative Adversarial
Networks through Regularization.
Kevin Roth, Aurelien Lucchi, Sebastian Nowozin, Thomas
Hofmann.
GANの学習の収束性・安定性
GAN学習での安定な平衡解や収束性の理解、よい学習方法を得る

NIPS17[Oral]:Gradient descent GAN optimization is locally stable(Nagarajan+)
GANの不安定性、平衡点の存在証明は行われてきたが
平衡点が局所安定なのかは解明されていなかった
また、GANは平衡点近傍でもConcave-Concave。安定性証明が難しい
■ Towards Principled Methods for Training Generative Adversarial Networks.
Martin Arjovsky, Léon Bottou.
arXiv:1701.04862. In ICLR 2017.
GANで生成分布と真の分布の support が互いに素な場合の不安定性
■ Generalization and Equilibrium in Generative Adversarial Nets (GANs).
Sanjeev Arora, Rong Ge, Yingyu Liang, Tengyu Ma, Yi Zhang.
arXiv:1703.00573. In ICML 2017.
GANのモデル表現力と平衡点の存在
arXiv:1706.04156. In NIPS 2017.

Wasserstein GAN
arXiv:1706.04156. In NIPS 2017.
非線形系の定理を用い、GAN平衡点での局所安定性を証明
(ただWasserstein GANは、収束しない循環構造を持ちうる)
GAN
Streamline plots around the equilibrium
(WGAN can have non-convergent
limit cycles near equilibrium.)

新たな正則化項も提案。正則化追加でWGANの平衡点の局所安定性も保証される
また、GAN・WGANともに収束速度の向上・Mode Collapse回避が行える
Wasserstein
GAN
η = 0.0 η = 0.25 η = 0.5 η = 1.0
GAN
Streamline plots around
the equilibrium (0, 1)
With Regularization
arXiv:1706.04156. In NIPS 2017.

NIPS17[SL]: Bayesian GAN (Saatchi+)
Generator/Discriminator のパラメータ分布を導入
ベイズ推定で逐次的更新
特殊な学習テクニックなくよい収束性を獲得
Bayesian Inference for GANs
Semi-Supervised Learning
Stochastic gradient HMC
Bayesian GAN.
arXiv:1705.09558. In NIPS 2017.

NIPS17[SL]: Bayesian GAN (Saatchi+)
1%ラベルデータの半教師ありクラス分類で State of the Art
Mode Collapse回避
Data MLGAN Bayesian GAN
Results on Synthetic Data Semi-supervised Results
Bayesian GAN.
arXiv:1705.09558. In NIPS 2017.

NIPS17[SL]: Dualing GAN (Li+)
Dualing GANs.
arXiv:1706.06216. In NIPS 2017.
MinMax Gameにより学習が不安定だった
Discriminatorを双対問題で定式化。全体最大化問題で学習安定化
Standard GAN
Dual GAN
Dual GAN Standard GAN
Standard GAN
Metrics and Generated Images
Dual GAN

NIPS17: WGAN with Gradient Penalty (Gulrajani+)
WGANのLipschitz制約(勾配上限制約)を、Weight Clipping のかわりに、Gradient
Penaltyを用い記述。高次の分布特徴を捉えられる
…
Improved Training of Wasserstein GANs.
Ishaan Gulrajani, Faruk Ahmed, Martin Arjovsky, Vincent Dumoulin,
Aaron Courville.
arXiv:1704.00028. In NIPS 2017.
Original critic loss Gradient penalty

半教師あり学習: Semi-supervised Learning: 5論文
[Poster : 5]
Good Semi-supervised Learning that Requires a Bad GAN.
Zihang Dai, Zhilin Yang, Fan Yang, William W. Cohen, Ruslan
Salakhutdinov.
Semi-Supervised Learning for Optical Flow with Generative
Adversarial Networks.
Wei-Sheng Lai, Jia-Bin Huang, Ming-Hsuan Yang.
GANの半教師あり学習
限られた少数教師データを活用したGAN学習をできるようにする
Semi-supervised Learning with GANs: Manifold Invariance
with Improved Inference.
Abhishek Kumar, Prasanna Sattigeri, P. Thomas Fletcher.
Triangle Generative Adversarial Networks.
Zhe Gan, Liqun Chen, Weiyao Wang, Yunchen Pu, Yizhe Zhang,
Hao Liu, Chunyuan Li, Lawrence Carin.
Triple Generative Adversarial Nets.
Chongxuan Li, Kun Xu, Jun Zhu, Bo Zhang.

半教師あり学習: Semi-supervised Learning: 5論文
[Poster : 5]
Good Semi-supervised Learning that Requires a Bad GAN.
Zihang Dai, Zhilin Yang, Fan Yang, William W. Cohen, Ruslan
Salakhutdinov
Semi-Supervised Learning for Optical Flow with Generative
Adversarial Networks.
Wei-Sheng Lai · Jia-Bin Huang · Ming-Hsuan Yang.
GANの半教師あり学習
限られた少数教師データを活用したGAN学習をできるようにする
Semi-supervised Learning with GANs: Manifold Invariance
with Improved Inference.
Abhishek Kumar, Prasanna Sattigeri, P. Thomas Fletcher.
Zhe Gan, Liqun Chen, Weiyao Wang, Yunchen Pu, Yizhe Zhang,
Hao Liu, Chunyuan Li, Lawrence Carin.

[先行研究]ICLR17: Adversarially Learned Inference/Bi-GAN
Adversarially Learned
Inference.
Vincent Dumoulin, Ishmael
Belghazi, Ben Poole, Olivier
Mastropietro, Alex Lamb, Martin
Arjovsky, Aaron Courville.
arXiv: 1606.00704. In ICLR 2017.
(x, z)ペアのDiscriminatorを用い、表現ベクトルz →データ x、
データx →表現ベクトルz、双方向の射影を同時学習。多様な生成
Adversarially Learned Inference (ALI)
Bi-directional GAN (Bi-GAN)
Adversarial Feature Learning.
Jeff Donahue, Philipp Krähenbühl, Trevor Darrell.
arXiv:1605.09782. In ICLR 2017.

[先行研究]NIPS16: Improved Techniques for Training GAN (Salimans+)
Improved Techniques for Training GANs.
Tim Salimans, Ian Goodfellow, Wojciech
Zaremba, Vicki Cheung, Alec Radford, Xi Chen.
arXiv:1606.03498. In NIPS 2016.
Discriminatorが偽物か、本物の場合はクラスを識別
本物・偽物、クラスは独立なため、Discriminatorが２つの識別双方での
同時最適解を得られない課題があった
1. Feature Matching
2. Minibatch discrimination
3. Historical averaging
4. One-sided label smoothing
5. Virtual batch normalization
Techniques
Semi-supervised learning
MNIST
with feature matching
with feature matching and
minibatch discrimination
CIFAR-10
Generated samples

NIPS17: Triple GAN(Li+)
arXiv:1703.02291. In NIPS 2017.
Generator:
Classifier :
(x, y)-pair Discriminator:
半教師ありでの条件付き生成学習
Generator: y →x、Classifier: x →y を同時学習
: y → x
: x → y
Discriminatorからクラス識別の役割を切り出し、GeneratorとDiscriminatorが同時に最適解を取れるように。
GANで少数ラベルデータでクラス条件付きの生成を学習できるようにした。
※α：論文を通し α=1/2を使用
※ラベルありのクラス識別Loss:

NIPS17: Triple GAN(Li+)
arXiv:1703.02291. In NIPS 2017.
半教師ありクラス分類
クラス条件付きでの
表現ベクトル空間の
Interpolation
生成画像
半教師ありのクラス分類でState of the Art
クラス条件付きの多様な画像生成

半教師ありの条件付き生成学習。本物ペアか否か・どちらの変換からきたものか識別
の2段Discriminator。多様なデータ種類間での条件付き生成
NIPS17: Triangle GAN(Gan+)
Zhe Gan, Liqun Chen, Weiyao Wang, Yunchen Pu, Yizhe Zhang, Hao Liu, Chunyuan Li, Lawrence Carin.
arXiv:1709.06548. In NIPS 2017.
Paired Data
Ex) Image & attribute
D2: (x, y)がPx(x,y), Py(x,y)
どちらの変換からきたものか識別
D1: 本物ペアデータか否か識別
本物ペアデータ
: 教師あり学習
: 教師なし学習

NIPS17: Triangle GAN(Gan+)
Zhe Gan, Liqun Chen, Weiyao Wang, Yunchen Pu, Yizhe Zhang, Hao Liu, Chunyuan Li, Lawrence Carin.
arXiv:1709.06548. In NIPS 2017.
Image & label pair
Image & Image Pair
Image & attribute pair
Image editing
クラス条件付き生成画像
半教師ありのクラス分類でState of the Art (Triple GANよりよい)
多様なデータ種類のペアで条件付き生成

Mode Collapse回避: Avoiding Mode Collapse: 3論文
VEEGAN: Reducing Mode Collapse in GANs using Implicit
Variational Learning.
Akash Srivastava, Lazar Valkov, Chris Russell, Michael U.
Gutmann, Charles Sutton.
GANの Mode Collapse回避
GeneratorがDiscriminatorを騙せる単一Modeに落ち込むのを回避
多様な生成をできるようにする
AdaGAN: Boosting Generative Models.
Ilya Tolstikhin, Sylvain Gelly, Olivier Bousquet, Carl-Johann
Simon-Gabriel, Bernhard Schölkopf.
Dual Discriminator Generative Adversarial Nets.
Tu Dinh Nguyen, Trung Le, Hung Vu, Dinh Phung.
[Poster : 2]

Mode Collapse回避: Avoiding Mode Collapse: 3論文
VEEGAN: Reducing Mode Collapse in GANs using Implicit
Variational Learning.
Akash Srivastava, Lazar Valkov, Chris Russell, Michael U.
Gutmann, Charles Sutton.
GANの Mode Collapse回避
GeneratorがDiscriminatorを騙せる単一Modeに落ち込むのを回避
多様な生成をできるようにする
AdaGAN: Boosting Generative Models.
Ilya Tolstikhin, Sylvain Gelly, Olivier Bousquet, Carl-Johann
Simon-Gabriel, Bernhard Schölkopf.
[Poster : 2]

NIPS17[SL]: Dual Discriminator GAN (Nguyen+)
本物と生成分布のKL Divergenceは複数Modeを学習できるが生成質があがらない
一方、Reverse KL Divergenceは生成質が向上するがMode Collapseが生じる
両方を組み合わせ、バランスをとったGANを構築する。
本物データ・生成データそれぞれを評価する2つのDiscriminatorを導入。
3 Player Gameを解く
arXiv:1709.03831. In NIPS 2017.

Mode Collapse回避し生成画像の多様性、生成の質、双方を実現
arXiv:1709.03831. In NIPS 2017.
Generated Images
NIPS17[SL]: Dual Discriminator GAN (Nguyen+)

NIPS2017本会議では、34本のGAN論文(※)が採択
(※GANが中心となる論文)
課題分類課題内容合計 Oral Spotlight Poster
学習の収束性・安定性
Training Convergence/Stability
GAN学習での安定な平衡解や収束性の
理解、よい学習⽅法を得る 11 1 5 5
半教師あり学習
Semi-supervised Learning
限られた少数教師データを活⽤した
GAN学習をできるようにする 5 5
Mode Collapse回避
Avoiding Mode Collapse
GeneratorがDiscriminatorを騙せる
単⼀Modeに落ち込むのを回避。
多様な⽣成をできるようにする。
3 1 2
解きほぐされた表現学習
Learning Disentangled
RepresentaCons
制御・活⽤しやすい
解きほぐされた潜在表現の獲得 3 1 2
模倣学習
ImitaCon Learning
模倣学習でのGAN活⽤ 3 3
構造的な⽣成
Structural GeneraCon
多様な構造をもった⽣成を
出来るようにする 2 2
データ拡張
Data AugmentaCon
データ拡張へのGAN適⽤ 2 2
その他他 5 2 3

解きほぐされた表現学習: Learning Disentangled Representations: 3論文
PixelGAN Autoencoders.
Alireza Makhzani, Brendan Frey.
解きほぐされた表現学習に関する3論文
制御・活用しやすい解きほぐされた潜在表現の獲得
Unsupervised Learning of Disentangled Representations
from Video.
Emily Denton, Vighnesh Birodkar.
Structured Generative Adversarial Network.
Zhijie Deng, Hao Zhang, Xiaodan Liang, Luona Yang, Shizhen
Xu, Jun Zhu, Eric P. Xing.
[Poster : 2]

[先行研究]NIPS16: InfoGAN (Chen+)
InfoGAN: Interpretable Representation
Learning by Information Maximizing
Xi Chen, Yan Duan, Rein Houthooft, John
Schulman, Ilya Sutskever, Pieter Abbeel.
arXiv:1606.03657. In NIPS 2016.
Latent code c、Generator 出力との Mutual Information を加え
cに関連する要素を表現ベクトル空間に埋め込む

[先行研究]NIPS17: Triple GAN (Li+)
arXiv:1703.02291. In NIPS 2017.
Generator:
Classifier :
(x, y)-pair Discriminator:
半教師ありでの条件付き生成学習
Generator: y →x、Classifier: x →y を同時学習
: y → x
: x → y
Discriminatorからクラス識別の役割を切り出し、GeneratorとDiscriminatorが同時に最適解を取れるように。
GANで少数ラベルデータでクラス条件付きの生成を学習できるようにした。
※α：論文を通し α=1/2を使用
※ラベルありのクラス識別Loss:

NIPS17: Structured GAN (Deng+)
Structured Generative Adversarial Networks.
Zhijie Deng, Hao Zhang, Xiaodan Liang, Luona Yang, Shizhen Xu, Jun Zhu, Eric P. Xing.
arXiv:1711.00889. In NIPS 2017.
z の推定network と(x, z)pairの識別network を追加導入し
zの推定、(x,z)識別、yとzの再構築も同時学習。
2つの敵対学習と2つの協調学習で、潜在表現のラベルに対応する部分を分離
Generator:
z Inference network:
y Inference network: (x, z)-pair Critic network:
(x, y)-pair Critic network:
I : 本物 x に対応した z に近づける
(x,z)-pair
(x,y)-pair
C: 本物(教師)ペア(x, y)で識別学習 C: 生成ペア(x, y) で識別学習
　 Data Augmentationの効果
G: 本物の yと識別される x に近づける
G: y条件付きで本物 x に近づける
G, I : y と分離されたzを学習
y のReconstruction
z のReconstruction
Collaborative Learning
Adversarial Learning (ALI)
(※青字：Triple GANとの差分)
G: z条件付きで本物 x に近づける

NIPS17: Structured GAN (Deng+)
Structured Generative Adversarial Networks.
Zhijie Deng, Hao Zhang, Xiaodan Liang, Luona Yang, Shizhen Xu, Jun Zhu, Eric P. Xing.
arXiv:1711.00889. In NIPS 2017.
半教師ありのクラス分類
スタイル変化：ラベル対応の潜在表現y を固定し、潜在表現z を変化
ラベル変化：潜在表現z を固定し、ラベル対応の潜在表現y を変化
ラベル以外を表現する潜在表現z での分類
ラベルに対応する潜在表現y での分類 (MNIST)
半教師ありでラベルに対応する潜在表現y、その他の潜在表現zを分離し獲得
各潜在表現ベクトルを用いたクラス分類各潜在表現ベクトル変化での生成変化

模倣学習: Imitation Learning: 3論文
[Poster : 3]
Robust Imitation of Diverse Behaviors.
Ziyu Wang, Josh Merel, Scott Reed, Greg Wayne, Nando de
Freitas, Nicolas Heess.
GAN模倣学習
模倣学習でのGAN活用
（今回、強化学習関連のテーマセッションが他に2つあるのでリストのみ紹介）
Multi-Modal Imitation Learning from Unstructured
Demonstrations using Generative Adversarial Nets.
Karol Hausman, Yevgen Chebotar, Stefan Schaal, Gaurav
Sukhatme, Joseph Lim.
InfoGAIL: Interpretable Imitation Learning from Visual
Demonstrations.
Yunzhu Li, Jiaming Song, Stefano Ermon.

構造的な生成: Structural Generation: 2論文
GANでの生成
構造を持った生成に課題がある
GANでの生成例
NIPS 2016 Tutorial: Generative Adversarial Networks, Ian Goodfellow.
(128x128 Imagenet)

構造的な生成: Structural Generation: 2論文
[Poster : 2]
構造的な生成
多様な構造をもった生成を出来るようにする
Pose Guided Person Image Generation.
Liqian Ma, Qianru Sun, Xu Jia, Bernt Schiele, Tinne Tuytelaars,
Luc Van Gool.
Dual-Agent GANs for Photorealistic and Identity Preserving
Profile Face Synthesis.
Jian Zhao, Lin Xiong, Panasonic Karlekar Jayashree, Jianshu Li,
Fang Zhao, Zhecan Wang, Panasonic Sugiri Pranata, Panasonic
Shengmei Shen, Shuicheng Yan, Jiashi Feng.

[先行研究]NIPS16: Learning What and Where to Draw (Reed+)
Learning What and Where to Draw.
Scott Reed, Zeynep Akata, Santosh Mohan, Samuel Tenka, Bernt Schiele, Honglak Lee.
arXiv:1610.02454. In NIPS 2016.
文章からの画像生成
表示位置情報も条件付したGAN

[先行研究]ICCV17: StackGAN (Zhang+)
1段目で文章から低解像度画像を生成
2段目で低解像度画像から高解像度画像を生成
StackGAN: Text to Photo-realistic Image
Synthesis with Stacked Generative Adversarial
Networks.
Han Zhang, Tao Xu, Hongsheng Li, Shaoting Zhang,
Xiaolei Huang, Xiaogang Wang, Dimitris Metaxas.
arXiv:1612.03242. In ICCV 2017.
(256x256 image)

NIPS17: Pose Guided Person Image Generation (Ma+)
Liqian Ma, Qianru Sun, Xu Jia, Bernt Schiele, Tinne Tuytelaars, Luc Van Gool.
arXiv:1705.09368. In NIPS 2017.
参照画像・姿勢条件付きの人画像生成。L1 Lossで姿勢変化した
低解像度の全体画像を生成し、条件付きGANで高解像度化
Pose Mask
(256x256 image) (128x64 image)

NIPS17: Pose Guided Person Image Generation (Ma+)
Liqian Ma, Qianru Sun, Xu Jia, Bernt Schiele, Tinne Tuytelaars, Luc Van Gool.
arXiv:1705.09368. In NIPS 2017.
(256x256 image)
(128x64 image)
参照画像に対し、多様な姿勢での画像生成

NIPS17: Dual-Agent GAN (Zhao+)
Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis.
Jian Zhao, Lin Xiong, Karlekar Jayashree, Jianshu Li, Fang Zhao, Zhecan Wang, Sugiri Pranata, Shengmei Shen, Shuicheng Yan,
Jiashi Feng. In NIPS 2017.
Simulatorの3Dモデルで回転させた不完全な顔画像を、Generatorで精緻化
顔方向・人物をあわせる形で、真の画像に近づけていく
Generator
Discriminator
(AutoEncoder)
Simulator
Optimization
- Generator :
- Discriminator :
→ Face RoI Extraction
→ 68-Point Landmark Detection
→ 3D Face Model
→ Simulated Profile Faces
with Pre-Defined Angles
同一の人物 (多クラスCross Entropy)
同一の顔方向 (Pixel-wise L1)
AutoEncodrでの復元 (Boundary Equilibrium Reg.)
y
x~
x~
x
x

NIPS17: Dual-Agent GAN (Zhao+)
Dual-Agent GANs for Photorealistic and Identity Preserving Profile Face Synthesis.
Jian Zhao, Lin Xiong, Karlekar Jayashree, Jianshu Li, Fang Zhao, Zhecan Wang, Sugiri Pranata, Shengmei Shen, Shuicheng Yan,
Jiashi Feng. In NIPS 2017.
Generated Images
State of the Art for Face Verification / Identification on NIST- IJB-A benchmark dataset
Recognition via generation (pre-trained models are fine-tuned on original data and generated data with DA-GAN)
各角度で余分な構造物を除去した顔画像生成が行えている
生成画像でデータ拡張し、Face Verification/Face IdentificationでState of the Art
Generated Images

データ拡張: Data Augmentation、その他
[Poster : 2]
A Bayesian Data Augmentation Approach for Learning
Deep Models.
Toan Tran, Trung Pham, Gustavo Carneiro, Lyle Palmer, Ian
Reid.
Learning to Compose Domain-Specific Transformations
for Data Augmentation.
Alexander J. Ratner, Henry R. Ehrenberg, Zeshan Hussain,
Jared Dunnmon, Christopher Ré.
データ拡張: Data Augmentation
データ拡張へのGAN適用
その他
Adversarial Ranking for Language Generation.
Kevin Lin, Dianqi Li, Xiaodong He, Zhengyou Zhang, Ming-
Ting Sun.
Unsupervised Image-to-Image Translation Networks.
Ming-Yu Liu, Thomas Breuel, Jan Kautz.
Generalizing GANs: A Turing Perspective.
Roderich Gross, Yue Gu, Wei Li, Melvin Gauci.
Temporal Coherency based Criteria for Predicting Video
Frames using Deep Multi-stage Generative Adversarial
Networks.
Prateep Bhattacharjee, Sukhendu Das.
Wasserstein Learning of Deep Generative Point Process
Models.
Shuai Xiao, Mehrdad Farajtabar, Xiaojing Ye, Junchi Yan, Le
Song, Hongyuan Zha.
[Poster : 3]
リストのみを記載

Generative Adversarial Networks (GAN) @ NIPS2017

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Generative Adversarial Networks (GAN) @ NIPS2017

Similar to Generative Adversarial Networks (GAN) @ NIPS2017 (20)

More from Koichi Hamada

More from Koichi Hamada (20)

Generative Adversarial Networks (GAN) @ NIPS2017