Submit Search
Upload
[DL輪読会]Adversarial Feature Matching for Text Generation
•
9 likes
•
6,276 views
Deep Learning JP
Follow
2017/7/7 Deep Learning JP: http://deeplearning.jp/seminar-2/
Read less
Read more
Technology
Report
Share
Report
Share
1 of 33
Download now
Download to read offline
Recommended
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
[DL Hacks]Self-Attention Generative Adversarial Networks
[DL Hacks]Self-Attention Generative Adversarial Networks
Deep Learning JP
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
Deep Learning JP
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
Deep Learning JP
TabNetの論文紹介
TabNetの論文紹介
西岡 賢一郎
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
Recommended
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
[DL Hacks]Self-Attention Generative Adversarial Networks
[DL Hacks]Self-Attention Generative Adversarial Networks
Deep Learning JP
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
Deep Learning JP
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
[DL輪読会]Factorized Variational Autoencoders for Modeling Audience Reactions to...
Deep Learning JP
TabNetの論文紹介
TabNetの論文紹介
西岡 賢一郎
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
Transformerを雰囲気で理解する
Transformerを雰囲気で理解する
AtsukiYamaguchi1
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
MIXUPは最終層でやった方がいいんじゃないか説
MIXUPは最終層でやった方がいいんじゃないか説
亮宏 藤井
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
yukihiro domae
深層学習の数理
深層学習の数理
Taiji Suzuki
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
ddnpaa
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
Kazuki Adachi
A systematic study of the class imbalance problem in convolutional neural net...
A systematic study of the class imbalance problem in convolutional neural net...
Yuya Soneoka
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP
モデル高速化百選
モデル高速化百選
Yusuke Uchida
深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点
Taiji Suzuki
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
Shota Imai
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
Generative adversarial networks
Generative adversarial networks
Shuyo Nakatani
第35回 強化学習勉強会・論文紹介 [Lantao Yu : 2016]
第35回 強化学習勉強会・論文紹介 [Lantao Yu : 2016]
Takayuki Sekine
More Related Content
What's hot
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
Deep Learning JP
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
Deep Learning JP
MIXUPは最終層でやった方がいいんじゃないか説
MIXUPは最終層でやった方がいいんじゃないか説
亮宏 藤井
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
cvpaper. challenge
W8PRML5.1-5.3
W8PRML5.1-5.3
Masahito Ohue
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
yukihiro domae
深層学習の数理
深層学習の数理
Taiji Suzuki
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
ddnpaa
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
Kazuki Adachi
A systematic study of the class imbalance problem in convolutional neural net...
A systematic study of the class imbalance problem in convolutional neural net...
Yuya Soneoka
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
Deep Learning JP
モデル高速化百選
モデル高速化百選
Yusuke Uchida
深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点
Taiji Suzuki
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
Shota Imai
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
What's hot
(20)
[DL輪読会]近年のエネルギーベースモデルの進展
[DL輪読会]近年のエネルギーベースモデルの進展
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
変分推論と Normalizing Flow
変分推論と Normalizing Flow
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
[DL輪読会] Spectral Norm Regularization for Improving the Generalizability of De...
MIXUPは最終層でやった方がいいんじゃないか説
MIXUPは最終層でやった方がいいんじゃないか説
敵対的生成ネットワーク(GAN)
敵対的生成ネットワーク(GAN)
W8PRML5.1-5.3
W8PRML5.1-5.3
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recog...
深層学習の数理
深層学習の数理
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
【論文紹介】 Attention Based Spatial-Temporal Graph Convolutional Networks for Traf...
深層生成モデルと世界モデル
深層生成モデルと世界モデル
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
A systematic study of the class imbalance problem in convolutional neural net...
A systematic study of the class imbalance problem in convolutional neural net...
【DL輪読会】Patches Are All You Need? (ConvMixer)
【DL輪読会】Patches Are All You Need? (ConvMixer)
モデル高速化百選
モデル高速化百選
深層学習の数理:カーネル法, スパース推定との接点
深層学習の数理:カーネル法, スパース推定との接点
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
SSII2021 [OS2-03] 自己教師あり学習における対照学習の基礎と応用
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
Optimizer入門&最新動向
Optimizer入門&最新動向
Viewers also liked
Generative adversarial networks
Generative adversarial networks
Shuyo Nakatani
第35回 強化学習勉強会・論文紹介 [Lantao Yu : 2016]
第35回 強化学習勉強会・論文紹介 [Lantao Yu : 2016]
Takayuki Sekine
オープンソースを利用した新時代を生き抜くためのデータ解析
オープンソースを利用した新時代を生き抜くためのデータ解析
nakapara
Argmax Operations in NLP
Argmax Operations in NLP
Hitoshi Nishikawa
Twitter炎上分析事例 2014年
Twitter炎上分析事例 2014年
Takeshi Sakaki
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
Yuya Unno
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Koji Matsuda
「人工知能」の表紙に関するTweetの分析・続報
「人工知能」の表紙に関するTweetの分析・続報
Fujio Toriumi
2016.03.11 「論文に書(け|か)ない自然言語処理」 ソーシャルメディア分析サービスにおけるNLPに関する諸問題について by ホットリンク 公開用
2016.03.11 「論文に書(け|か)ない自然言語処理」 ソーシャルメディア分析サービスにおけるNLPに関する諸問題について by ホットリンク 公開用
Takeshi Sakaki
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイント
Shohei Hido
Uncertainty Awareness in Integrating Machine Learning and Game Theory
Uncertainty Awareness in Integrating Machine Learning and Game Theory
Rikiya Takahashi
オンコロジストなるためのスキル
オンコロジストなるためのスキル
musako-oncology
新たなRNNと自然言語処理
新たなRNNと自然言語処理
hytae
ディープラーニングでラーメン二郎(全店舗)を識別してみた
ディープラーニングでラーメン二郎(全店舗)を識別してみた
knjcode
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep Learning JP
Deep LearningフレームワークChainerと最近の技術動向
Deep LearningフレームワークChainerと最近の技術動向
Shunta Saito
Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料
Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料
tm_2648
現在のDNNにおける未解決問題
現在のDNNにおける未解決問題
Daisuke Okanohara
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models
Seiya Tokui
ディープラーニングによるラーメン二郎全店舗識別と生成
ディープラーニングによるラーメン二郎全店舗識別と生成
knjcode
Viewers also liked
(20)
Generative adversarial networks
Generative adversarial networks
第35回 強化学習勉強会・論文紹介 [Lantao Yu : 2016]
第35回 強化学習勉強会・論文紹介 [Lantao Yu : 2016]
オープンソースを利用した新時代を生き抜くためのデータ解析
オープンソースを利用した新時代を生き抜くためのデータ解析
Argmax Operations in NLP
Argmax Operations in NLP
Twitter炎上分析事例 2014年
Twitter炎上分析事例 2014年
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
最先端NLP勉強会“Learning Language Games through Interaction”Sida I. Wang, Percy L...
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
「人工知能」の表紙に関するTweetの分析・続報
「人工知能」の表紙に関するTweetの分析・続報
2016.03.11 「論文に書(け|か)ない自然言語処理」 ソーシャルメディア分析サービスにおけるNLPに関する諸問題について by ホットリンク 公開用
2016.03.11 「論文に書(け|か)ない自然言語処理」 ソーシャルメディア分析サービスにおけるNLPに関する諸問題について by ホットリンク 公開用
あなたの業務に機械学習を活用する5つのポイント
あなたの業務に機械学習を活用する5つのポイント
Uncertainty Awareness in Integrating Machine Learning and Game Theory
Uncertainty Awareness in Integrating Machine Learning and Game Theory
オンコロジストなるためのスキル
オンコロジストなるためのスキル
新たなRNNと自然言語処理
新たなRNNと自然言語処理
ディープラーニングでラーメン二郎(全店舗)を識別してみた
ディープラーニングでラーメン二郎(全店舗)を識別してみた
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
Deep LearningフレームワークChainerと最近の技術動向
Deep LearningフレームワークChainerと最近の技術動向
Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料
Deep Convolutional Generative Adversarial Networks - Nextremer勉強会資料
現在のDNNにおける未解決問題
現在のDNNにおける未解決問題
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models
ディープラーニングによるラーメン二郎全店舗識別と生成
ディープラーニングによるラーメン二郎全店舗識別と生成
Similar to [DL輪読会]Adversarial Feature Matching for Text Generation
Controllable Text Generation (ICML 2017 under review)
Controllable Text Generation (ICML 2017 under review)
Toru Fujino
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をする
Daiki Shimada
[DL輪読会]Adversarial Text Generation via Feature-Mover's Distance (NIPS 2018)
[DL輪読会]Adversarial Text Generation via Feature-Mover's Distance (NIPS 2018)
Deep Learning JP
【2016.07】cvpaper.challenge2016
【2016.07】cvpaper.challenge2016
cvpaper. challenge
自然言語処理におけるクラウドソーシングの活用 (2017/06/15 みちのく情報伝達学セミナー)
自然言語処理におけるクラウドソーシングの活用 (2017/06/15 みちのく情報伝達学セミナー)
Naoki Otani
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Toru Fujino
Character aware-neural-networks-for-arabic-named-entity-recognition-for-socia...
Character aware-neural-networks-for-arabic-named-entity-recognition-for-socia...
浩気 西山
【2016.08】cvpaper.challenge2016
【2016.08】cvpaper.challenge2016
cvpaper. challenge
cvpaper.challenge チームラボ講演
cvpaper.challenge チームラボ講演
cvpaper. challenge
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
Daichi Kitamura
2018 07 02_dense_pose
2018 07 02_dense_pose
harmonylab
SoCC12報告
SoCC12報告
Hirotaka Ogawa
Generating Better Search Engine Text Advertisements with Deep Reinforcement L...
Generating Better Search Engine Text Advertisements with Deep Reinforcement L...
harmonylab
【文献紹介】Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond
【文献紹介】Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond
Takashi YAMAMURA
CNNの構造最適化手法について
CNNの構造最適化手法について
MasanoriSuganuma
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirec...
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirec...
浩気 西山
深層学習による自然言語処理の研究動向
深層学習による自然言語処理の研究動向
STAIR Lab, Chiba Institute of Technology
Similar to [DL輪読会]Adversarial Feature Matching for Text Generation
(17)
Controllable Text Generation (ICML 2017 under review)
Controllable Text Generation (ICML 2017 under review)
Convolutional Neural Netwoks で自然言語処理をする
Convolutional Neural Netwoks で自然言語処理をする
[DL輪読会]Adversarial Text Generation via Feature-Mover's Distance (NIPS 2018)
[DL輪読会]Adversarial Text Generation via Feature-Mover's Distance (NIPS 2018)
【2016.07】cvpaper.challenge2016
【2016.07】cvpaper.challenge2016
自然言語処理におけるクラウドソーシングの活用 (2017/06/15 みちのく情報伝達学セミナー)
自然言語処理におけるクラウドソーシングの活用 (2017/06/15 みちのく情報伝達学セミナー)
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Tree-to-Sequence Attentional Neural Machine Translation (ACL 2016)
Character aware-neural-networks-for-arabic-named-entity-recognition-for-socia...
Character aware-neural-networks-for-arabic-named-entity-recognition-for-socia...
【2016.08】cvpaper.challenge2016
【2016.08】cvpaper.challenge2016
cvpaper.challenge チームラボ講演
cvpaper.challenge チームラボ講演
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
ICASSP2017読み会(関東編)・AASP_L3(北村担当分)
2018 07 02_dense_pose
2018 07 02_dense_pose
SoCC12報告
SoCC12報告
Generating Better Search Engine Text Advertisements with Deep Reinforcement L...
Generating Better Search Engine Text Advertisements with Deep Reinforcement L...
【文献紹介】Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond
【文献紹介】Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond
CNNの構造最適化手法について
CNNの構造最適化手法について
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirec...
Character-based Joint Segmentation and POS Tagging for Chinese using Bidirec...
深層学習による自然言語処理の研究動向
深層学習による自然言語処理の研究動向
More from Deep Learning JP
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
Deep Learning JP
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
Deep Learning JP
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
More from Deep Learning JP
(20)
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
[DL輪読会]Adversarial Feature Matching for Text Generation
1.
Adversarial Feature Matching for
Text Generation 2017/7/7 DL輪読会 松尾研 曽根岡侑也 1
2.
メタ情報 • 著者 - Yizhe
Zhang, Zhe Gan, Kai Fan, Zhi Chen, Ricardo Henao, Lawrence Carin - NIPS2016 ✕ 3, ICML ✕ 2のデューク大学PhD • Accepted by ICML2017(arXiv on 12 Jun 2017) • NIPS2016 Workshopの進化版 2
3.
概要 • 文書生成にGANを用いるTextGANを提案 - GeneratorはLSTM、DiscriminatorはCNN -
FeatureMatchingと再構成の項を目的関数に追加し、 ModeCollapse・勾配消失問題を軽減 - Soft-argmax近似、Pre-training、soft-labeling等の 学習テクニック • SeqGANよりいい評価 & 現実的な文生成に成功 3
4.
背景:自然言語生成 • 自然言語生成の系譜 - 文書から確率分布を評価し、その分布からサンプリング -
RNNを用いたAutoEncoder [Cho et al.(2014)] - RNNベースのVAE [Bowman et al.(2016)] • RNNベースではうまくいかない - 潜在空間の一部しかカバーできていない - Exposure Bias:文後半に向けてズレが蓄積 4
5.
背景:GAN • 本物らしく作るGenerator vs
偽物を見抜くDiscriminator - Dは最大化、Gは最小化するように最適化 - DはJSDを近似し、Gは近似されたJSDを最小化する方向に • GANの問題点 - ModeCollapsing:潜在変数から同じ結果を作る - Dが局所解に近づいた場合、勾配消失が起きる (EBGANのTVDも同様) 5
6.
提案手法:TextGAN • GはLSTM、DとEはCNNを使用 • Feature
Machingを採用 [Salimans et al. (2016)] 6
7.
TextGANの目的関数 7 (λr, λmはハイパーパラメータ) → GANと同じ →
Gは最小化する → Dは最大化する → 潜在変数の再構成時の誤差
8.
TextGANの目的関数 8 (λr, λmはハイパーパラメータ) ③ ② → GANと同じ →
Gは最小化する → Dは最大化する → 潜在変数の再構成時の誤差 ③① ② ①
9.
Maximum Mean Discrepancy(MMD) •
Gaussianカーネルで再生核ヒルベルト空間(RKHS)へ写像し、 平均の差を用いて一致度を測定 [Gretton et al (2012)] 9 → 今回はGaussian
10.
TextGANの目的関数 10 (λr, λmはハイパーパラメータ) → GANと同じ →
Gは最小化する → Dは最大化する → 潜在変数の再構成時の誤差 ③① ② ① 偽物を見抜く方向に ② 潜在変数を最大限保存する方向に ③ Generatorがあわせるのが難しい特徴量を見つける方向に
11.
Discriminator/Encoder:CNN • 文を学習済みの埋め込み行列でk ✕
Tの行列に変換 • Windowサイズが異なるConvolutionのフィルタをかけ、フィル タ毎にMaxPooling(活性化関数はtanh) • DはMLPの後にSoftmaxで真偽を判定、EはMLPでzを復元 11 [Kim et al.(2014)]
12.
Generator:LSTM • よくあるLSTM • yは生成された単語を埋め込みベクトルにしたもの •
zは毎回渡す 12
13.
データ効率①:Compressing Network • 課題 GaussianカーネルMMDでは特徴ベクトルfの次元に応じて、 ミニバッチのサイズを大きくする必要がある •
Compressing Network - 特徴ベクトルfを圧縮するための全結合レイヤーを追加 - 変換後の次元数はデータ効率と表現力のトレードオフ 13
14.
データ効率②:Gaussian covariance matching •
カーネルトリックの代わりに下記を使う 14 : の共分散 : の平均
15.
学習テクニック①:Soft-argmax approximation • 離散変数を含むため、Gの学習での勾配評価は難しい •
下記の式で近似(Gumbel-Softmaxに近い?) 15 Soft-argmax近似元の式
16.
学習テクニック②:Pre-training • D/E(CNN) - Permutation
training - テキストの2単語を入れ替えて偽の文を作り学習 - 単語追加・消去より難しいタスク • G(LSTM) - CNN-LSTM autoencoderを利用 [Gan et al. (2016)] 16
17.
学習テクニック③:Soft-labeling • 1 or
0とするのが普通であるが、正解=0.7-1.2、偽=0-0.3か らランダムにサンプルする[Salimans et al (2016)] • 本論文では、最大0.99, 最低0.01としている 17
18.
実験 • データ - BookCorpus(70m)
+ Arxiv(5m)から各50万文ずつ • 潜在変数zは900次元 • D/E(CNN) - Windowサイズは3,4,5で、各300個ずつのfilter - 活性化関数はSigmoid - D:900-200-2のMLPで真偽を判定z、出力層はSoftmax - E:900-900-900でzを再構成、出力層はtanh • LSTM:隠れ層500 18
19.
実験 • その他 - Gを5回更新したらDを1回更新 -
Gaussianカーネルのσ:20前後 - Optimizer:Adam(学習率:5 ✕ 10^-5) - ミニバッチ:256 - GのLossとBLEU (正解と生成の類似度)でValidation - 50 epoch (3days) 19
20.
実験結果①:特徴ベクトルの分布 • 本物と偽物の2000文ずつの特徴ベクトル(900次元)の 平均と共分散をプロット 20
21.
実験結果②:定量的比較 21 ※ SeqGANは金子さんの輪読参照(16/9/30) MM:Mean Matching,
CM:Covariance Matching MMD-L:compressed to 200次元
22.
実験結果③:生成文 • 文法に関してはDがうまく機能しており、約95%で偽物を識別 - 丸括弧やクォーテーションをあわせて生成している -
文法的には正しいが20語以上になると意味がおかしくなる 22
23.
実験結果④:潜在特徴空間の軌道 • 文Aから文Bまで潜在変数を連続的に変更した際の変化 • AEより意味的にも文法的にも正しいが、大きな変化が起きる 23
24.
まとめ • 文書生成にGANを用いるTextGANを提案 - GeneratorはLSTM、DiscriminatorはCNN -
FeatureMatchingと再構成の項を目的関数に追加し、 ModeCollapse・勾配消失問題を軽減 - Soft-argmax近似、Pre-training、soft-labeling等の 学習テクニック • SeqGANよりいい評価 & 現実的な文生成に成功 24
25.
Appendix 25
26.
【参考】Jensen-Shannonダイバージェンス(JSD) • KLダイバージェンス:分布と分布の差異の大きさ • JSダイバージェンス:KLに対称性を付加 26
27.
【参考】 MMDのPytorch実装 27
28.
【参考】TextCNN実装 • https://github.com/dennybritz/cnn-text-classification-tf 28
29.
関連研究:Generative Moment Matching
Networks(GMMNs) • GANのDをMMDで代替するアイデアで同じ • 自然言語で使えない(NNで使う場合近似する) - 計算量が重く次元数が大きいケースでは厳しい - 単語ベースの類似度のため、文構造を考慮しない (boy is swimming と a boy is swimming) 29
30.
関連研究:その他 • Kernelized Stein
Discrepancy(KSD) - MMDからKSDにするのはFuture Work • WGAN - JSDよりWassersteinのほうがよさそうだが、MMDを 使っているので勾配消失は軽減されている 30
31.
【参考】BLEU 31
32.
FutureWork • KSDの導入 • DropOut •
強化学習の戦略を用いてLSTMをアップデート • Conditional GAN • reverse-order LSTM 32
33.
【参考】KSD 33
Download now