ICLR2017読み会 @ DeNA ICLR2017紹介

1. ICLR2017紹介
宮戸 岳
Preferred Networks, Inc.

2. 宮戸岳 (https://takerum.github.io/)
リサーチャー @ Preferred Networks, Inc.
● 04/2014-03/2016, 情報学修士 @ 京大
● 01/2016-05/2016, インターン @ Google Brain
● 06/2016-08/2016, 研究技術員 @ ATR
● 09/2016-(now)
○ リサーチャー @ Preferred Networks, Inc.
○ 客員研究員 @ ATR
最近の興味:
● Generative Adversarial Networks (GANs)
● Semi-supervised and Unsupervised Learing on Neural Networks
● Learning on Extremely Large Distributed Systems
https://arxiv.org/abs/1507.00677, https://arxiv.org/abs/1605.07725, https://arxiv.org/abs/1702.08720, https://arxiv.org/abs/1704.03976
https://openreview.net/forum?id=H1hLmF4Fx, https://arxiv.org/abs/1705.10941
(自己紹介)

3. 目次
● ICLRって何？
○ ICLRの主な特徴
● ICLR2017に行ってきました
● 話題のGANsとは？

4. ICLRとは?
● International Conferene on Learning Representations. ‘I CLeaR’って呼ぶ人が
多い。（Yann Lecun が最初にそうよんだらしい）.
● 3日間の国際会議, 通常大体5月のはじめに開かれる（今年は4/24-4/26).
● 今年が5回目の開催。最初のICLRは2013年。
● Website : http://www.iclr.cc/doku.php
○ Facebook page : https://www.facebook.com/iclr.cc/?fref=ts
○ Twitter account (ICLR2017) : https://twitter.com/iclr2017?lang=en
● ICLRの詳しい経緯とかが載っている記
事:http://www.kdnuggets.com/2016/02/iclr-deep-learning-scientific-publishing-
experiment.html

5. ICLRの主な特徴(1)
● Deep Learningとその応用に焦点をあてている。
○ 大体のアクセプトされた論文はneural networksを扱っている。
○ Learning Represenationとあるがこの言葉自体はあまり意味ないものと思っ
て良い。表現学習以外の論文がほとんど。
Variational Auto-Encoder
(ICLR2014)
ADAM optimizer
(ICLR2015)

6. ICLRの主な特徴(2)
● Open Review System https://openreview.net/
○ Single blind review (Reviewerのみが匿名)
○ だれでもreviewやrebuttalを(review process中に)みることができる。
○ だれでもreview processに加わることができる。

7. 他の特徴
● 2トラック : Conference track and Workshop track
● シングルのoralトラック
● ITジャイアントスポンサーがたくさん
https://blogs.sap.com/2017/05/22/dive-deep-into-deep-learning-
sap-at-the-international-conference-on-learning-representations
-iclr/

8. 投稿数と参加者数
http://www.iclr.cc/lib/exe/fetch.php?media=iclr201
7:ranzato_introduction_iclr2017.pdf

9. ICLR2017 http://www.iclr.cc/doku.php?id=ICLR2017:main (Toulon, France)
● 参加者 : 1100 (~300 last year)
● Accepted papers
○ Conference track : 196, 15 oral
○ Workshop track : ~110
https://twitter.com/iclr2017/status/864863545867079680
taken by Okumura-san

10. http://www.iclr.cc/lib/exe/fetch.php?media=iclr201
7:ranzato_introduction_iclr2017.pdf
New
（去年は28%くらい）

11. http://www.iclr.cc/lib/exe/fetch.php?media=iclr201
7:ranzato_introduction_iclr2017.pdf

12. 機関毎の投稿
企業はGoogleが特に多く,つい
で Facebook, Microsoft,
OpenAI
大学は Berkeley, Montreal,
CMU, Stanford, MIT, NYU
https://prlz77.github.io/iclr2017-stats/

13. 議論が活発だったsubmissionは通りやすかった
http://www.iclr.cc/lib/exe/fetch.php?media=iclr201
7:ranzato_introduction_iclr2017.pdf

14. オーラルセッション:
● 1つのオーラルセッション
● 午前と午後の2セッション
○ 各セッション毎に、1つの招待講演と 2~3のオーラル論文プレゼン。
● オーラルセッションはLiveストリーミングされました:
https://www.facebook.com/iclr.cc/?fref=ts

15. ポスターセッション
● こちらも午前と午後の2セッション
● Conference track
○ 各セッション~40件のポスター発表
○ 各ポスターで常に10~20人の聴衆
○ 多いところは30人くらい居た気がします
● Workshop track
○ ~20件のポスター発表
○ 各ポスターで~5人の聴衆
● ちなみに去年のポスターセッションは
○ ~5人くらいの聴衆
(撮影: DeNA奥村さん)

16. 自分のプレゼンテーション
● 1 conference track poster と 1 workshop track poster
https://arxiv.org/abs/1605.07725 https://openreview.net/pdf?id=H1hLmF4Fx

17. After hours parties
Google, Facebook, Salesforce ...etc.が個別に
夜の時間帯にパーティーを開催。
○ ネットワーキング
○ (有名な）研究者やエンジニアと議論
■ 結構多くの人が夜中までしていた
みたいです。

18. 人気トピック @ ICLR2017
● ニューラルネットの汎化性能について
○ Rethinking generalization https://arxiv.org/abs/1611.03530
○ Large batch training coverges to sharp minima https://arxiv.org/abs/1609.04836
● Generative Adversarial Networks
○ Towards principled methods of training GANs https://openreview.net/pdf?id=Hk4_qw5xe
○ Energy based GANs https://arxiv.org/abs/1702.01691
○ Two-sample tests by classifier https://openreview.net/forum?id=SJkXfE5xx&noteId=SJkXfE5xx
● Deep Reinforcement Learning
○ Reinforcement Learning with Unsupervised Auxiliary Tasks https://openreview.net/pdf?id=SJ6yPD5xg
○ (Not RL) Learning to act by predicting future https://arxiv.org/abs/1611.01779
● Neural Programmer
○ Making Neural Programming Architectures Generalize via Recursion
https://openreview.net/forum?id=BkbY4psgg&noteId=BkbY4psgg

19. Generative Adversarial Networks (GANs)
● オリジナルのアルゴリズムは Ian Goodfellow et al. (2014) によって提案
● 以降とても多くの論文がarXiv等で（乱発ぎみに）発表された。
○ GAN Zoo https://github.com/hindupuravinash/the-gan-zoo
https://github.com/hindupuravinash/the-gan-zoo
(GANs)

20. GANsのフレームワーク
● Discriminator D(x) : Generator
G(z) から生成されたサンプルと
本物（データセット）のサンプルを
見分けるように学習
● Generator G(z) : Discriminator
D(x)が見分けられないように
データを生成するように学習。
(GANs)

21. GANの何がいいのか?
● 生成モデル pG
(x)の明な密度を計算できなくても学習で
きる。
○ ただサンプルできればよい。x ~ pG
(x)
● 半教師あり学習と統合した学習ができる
https://arxiv.org/abs/1606.03498 （ただこれはtheoriticalな解析がまだなさ
れていない。）
○ 特にラベル数が少ない半教師あり学習で良い性能
https://arxiv.org/pdf/1702.08896.pdf
(GANs)

22. GAN論文 (ICLR2017に投稿されたもの)
● b-GAN (uehara et al. https://arxiv.org/pdf/1610.02920.pdf )
○ GANのDiscriminatorを密度比推定器 rD
(x) と解釈。
○ rD
(x) とq(x) / pG
(x)とのBregman ダイバージェンス の最小化で(Generatorの
分布が与えられた際の) 真の密度比q(x) / pG
(x) をrD
(x) で近似
● Implicit Generative Models (Mohamed et al. https://arxiv.org/abs/1610.03483 )
○ GANsのアルゴリズムを使って Likelihood-free estimation
● Deep and Hireachical Implicit models (Tran et al. https://arxiv.org/pdf/1702.08896.pdf ) (※Not
subimitted to ICLR)
○ GANsのアルゴリズムを使って Likelihood-free variational inference
(LFVI)
■ モデルと変分分布qVI
(x, z) と pModel
(x, z) に要求されるのはただサンプルで
きればよいということ。柔軟な変分推定を実現できる
(僕が重要だと思う)

23. ありがとうございました！ I enjoyed water taxi ⚓
(Hotel <-> Conference)