SlideShare a Scribd company logo
1 of 51
Download to read offline
工学院大学 綱島 秀樹
@maguroIsland
Max-Sliced
Wasserstein Distance
and its use for GANs
Contents
⚫ GANは何故学習が不安定なのか?
⚫ GANの救世主Wasserstein Distance
⚫ Wasserstein GANにも弱点が!?
⚫ Max-Sliced Wasserstein Distance
2
Contents
⚫ GANは何故学習が不安定なのか?
3
GANは何故学習が不安定なのか?
4
⚫ 学習が不安定なことによる問題
 mode collapse
Discriminatorを騙せるmode(最頻値)にGeneratorが落っ
こちてしまい、その点以外を生成しなくなる
GANは何故学習が不安定なのか?
5
⚫ 学習が不安定なことによる問題
 mode collapse
Discriminatorを騙せるmode(最頻値)にGeneratorが落っ
こちてしまい、その点以外を生成しなくなる
[1] Toy ProblemでGANのmode collapseを可視化
おまけ
6
 mode missing
Generatorは入力ノイズに単峰のガウス分布を使っている
ので、繋がった分布を学んでしまう
→多峰のガウス分布を仮定することで直ったりする!
GANは何故学習が不安定なのか?
7
⚫ Discriminator(D)の学習が足りないとJensen Shannon
Divergence(JSD)が正確ではなく、Generator(G)が
誤ったJSDを最小化することに
⚫ 逆にDが学習しすぎると完全に真と偽を見抜き勾配消失
⚫ Gの最適値周りでも勾配消失(Dの勾配が定数になる)
⚫ データ分布と生成分布の重なりが無くなると勾配消失
⚫ 非飽和損失(non-saturate loss)※1を使ってみると?
これも勾配爆発を引き起こす
このように散々な有様である
※1 Gの更新の際のlog(1 − 𝐷(𝐺 𝒛 ))をlog(𝐷(𝐺 𝒛 ))にする損失
Contents
⚫ GANは何故学習が不安定なのか?
⚫ GANの救世主Wasserstein Distance
⚫ Wasserstein GANにも弱点が!?
⚫ Go Beyond Sliced Wasserstein Distance
8
Contents
⚫ GANの救世主Wasserstein Distance
9
Wasserstein GAN (WGAN)
10
⚫ ではどうやったら学習がうまくできるのか
 方策の1つとして目的関数の変更が挙げられる
(距離尺度をJSDから変更する)
Wasserstein Distance (WD)の登場
Wasserstein GAN (WGAN)
11
⚫ ではどうやったら学習がうまくできるのか
 方策の1つとして目的関数の変更が挙げられる
(距離尺度をJSDから変更する)
Wasserstein Distance (WD)の登場
⚫ WDを用いたGANの特徴
✓ Dをいくら学習しても勾配消失が起こらない
DはGを見抜く役割はせず、WDを正確に計算するだけ
✓ 生成物のクオリティが損失の減少に比例
損失を見るだけでいいモデルか悪いモデルか一目瞭然
✓ Mode Collapseが発生しない
最適化しきれていないDにGが過適合するのが原因
12
別名:Earth Mover Distance (EMD)
確率分布𝑃𝑟から𝑃θへの最適輸送距離がWD
(この図では離散の確率質量分布を考えている)
ちなみにWasserstein Distance(WD)って?
Contents
⚫ GANは何故学習が不安定なのか?
⚫ GANの救世主Wasserstein Distance
⚫ Wasserstein GANにも弱点が!?
⚫ Max-Sliced Wasserstein Distance
13
Contents
⚫ Wasserstein GANにも弱点が!?
14
Wasserstein GAN (WGAN)
15
もうWDだけでいいのでは!?
Wasserstein GAN (WGAN)
16
もうWDだけでいいのでは!?
⚫ 実はそんなことはなくWDも悪い点がいくつかある
 重みの値を特定の範囲(-0.01~0.01など)に収める必要
があるが(weight clipping)、重みが端の値に集中しがち
(訓練が壊れてしまう)
 次元の呪いの影響により高次元空間での分布の探索が困難
(これは通常のminimax-gameのGANも同じのはず)
 mode collapseを過剰に回避しすぎて生成画像が歪む
(次元の呪いとweight clippingの影響も受けている)
Wasserstein GAN (WGAN)
17
もうWDだけでいいのでは!?
⚫ 実はそんなことはなくWDも悪い点がいくつかある
 重みの値を特定の範囲(-0.01~0.01など)に収める必要
があるが(weight clipping)、重みが端の値に集中しがち
(訓練が壊れてしまう)
WGAN-GPでweight clippingが不要になったので解決
 次元の呪いの影響により高次元空間での分布の探索が困難
(これは通常のminimax-gameのGANも同じのはず)
こいつが癌
 mode collapseを過剰に回避しすぎて生成画像が歪む
(次元の呪いとweight clippingの影響も受けている)
Sliced Wasserstein GAN (SWGAN)
18
WGANは次元の呪いによってうまく学習が出来なかった
次元の呪いが発生する原因って?
次元が高いから発生する
19
バカにするな!
論理的思考
できなそう
Sliced Wasserstein GAN (SWGAN)
20
WGANは次元の呪いによってうまく学習が出来なかった
次元の呪いが発生する原因って?
次元が高いから発生する
次元を低くしてやればいいのでは!?
ちなみに次元の呪いは英語で
“The curse of dimensionality”
とても厨二心をくすぐられて好きです
Sliced Wasserstein GAN (SWGAN)
21
では次元を低くするためにはどうしたらよいか
低次元に射影してしまえばよいのでは!
でもどうやって?
Sliced Wasserstein GAN (SWGAN)
22
では次元を低くするためにはどうしたらよいか
低次元に射影してしまえばよいのでは!
でもどうやって?
1次元に写像!次元の呪いとは!
Sliced Wasserstein GAN (SWGAN)
23
では次元を低くするためにはどうしたらよいか
低次元に射影してしまえばよいのでは!
でもどうやって?
線(多次元では超平面)の
通ったエリアの和を算出
[2] Sliced Wasserstein Distance for Learning Gaussian Mixture Models (SlideShare)
Sliced Wasserstein GAN (SWGAN)
24
では次元を低くするためにはどうしたらよいか
低次元に射影してしまえばよいのでは!
でもどうやって?
線(多次元では超平面)の
通ったエリアの和を算出
Sliced Wasserstein GAN (SWGAN)
25
では次元を低くするためにはどうしたらよいか
低次元に射影してしまえばよいのでは!
でもどうやって?
線(多次元では超平面)の
通ったエリアの和を算出
Sliced Wasserstein GAN (SWGAN)
26
では次元を低くするためにはどうしたらよいか
低次元に射影してしまえばよいのでは!
でもどうやって?
線(多次元では超平面)の
通ったエリアの和を算出
Sliced Wasserstein GAN (SWGAN)
27
これが医療現場のCTで使われる技術のラドン変換
CTは体をぶった切って断面見ますよね
この向きの法線を持つ
各超平面に関してプロット
Sliced Wasserstein GAN (SWGAN)
28
このスライスしての写像を繰り返し、推定を行う
SWDをディープで使う場合にはNNで分布の推定を行う
様々な方向から射影
して1次元の分布を
フィッティングすること
でターゲットとなる分布
に近づく n次元分布ならn次元空間中
の様々な方向から1次元に
射影を行う
Sliced Wasserstein GAN (SWGAN)
29
⚫ SWDを使うことによって次元の呪いを回避!
⚫ こんだけ簡単にしてもWDの特性は保持しているので、
適切な尺度と成り得る
⚫ WDは1次元の場合閉形式(closed form)※が存在
Sliced Wasserstein GAN (SWGAN)
30
⚫ SWDを使うことによって次元の呪いを回避!
⚫ こんだけ簡単にしてもWDの特性は保持しているので、
適切な尺度と成り得る
⚫ WDは1次元の場合閉形式(closed form)※が存在
※ closed formとは関数が有限個の初等関数で表せる
e.g.)closed formの場合
𝑎𝑥2 + 𝑏𝑥 + 𝑐 = 0の解 𝑥 =
−𝑏± 𝑏2−4𝑎𝑐
2𝑎
はclosed form
closed formでない場合
σ𝑖=0
∞ 𝑥
2 𝑖は項が有限個ではないので、non-closed form
無限等比級数の和を求めると
𝑥
1−
1
2
= 2𝑥でclosed form
要はclosed formの場合計算可能!(解が一意に定まる)
Sliced Wasserstein GAN (SWGAN)
31
⚫ SWDを使うことによって次元の呪いを回避!
⚫ こんだけ簡単にしてもWDの特性は保持しているので、
適切な尺度と成り得る
⚫ WDは1次元の場合閉形式(closed form)が存在
次元の呪いに悩ませられなくなったので、画像に歪みが無い!
Sliced Wasserstein GAN (SWGAN)
32
もうSWDだけでいいのでは!?
Sliced Wasserstein GAN (SWGAN)
33
もうSWDだけでいいのでは!?
⚫ 実はSWDにも悪い点が存在。。。
収束がバカ遅い!
Contents
⚫ GANは何故学習が不安定なのか?
⚫ GANの救世主Wasserstein Distance
⚫ Wasserstein GANにも弱点が!?
⚫ Go Beyond Sliced Wasserstein Distance
34
Contents
⚫ Go Beyond Sliced Wasserstein Distance
35
Max-Sliced Wasserstein Distance
and its use for GANs (CVPR2019 Poster)
本日は分布間における距離尺度のお話
⚫ 著者
Ishan Deshpande, Yuan-Ting Hu, Ruoyu Sun, Ayis P
yrros† , Nasir Siddiqui† , Sanmi Koyejo, Zhizhen Z
hao, David Forsyth, Alexander Schwing
⚫ 所属
University of Illinois at Urbana-Champaign
†Dupage Medical Group
医療サービスを展開する企業
昨年のCVPR2018にてSWDをGMMに利用する非ディープ
な論文が出ており、その際SWDを用いるためにCT(医療)
に使われるラドン変換という技術が使われていた
スライスする場合は医療系から輸入がアツい...?
36
Max-SWGAN
37
⚫ SWDは何故収束が遅いのか?
ランダム方向からの射影というのが完全に非効率
ランダムがダメなら。。。?
意味ある方向から射影してやろう!
Max-SWGAN
38
⚫ 果たして意味ある方向とはどの方向?
(すみません、ここからは数式が登場せざるを得ないです)
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
勾配降下法を使ってℙ 𝑔をℙ 𝑑に近づけたい
β → β − α∇β
෪𝑊2(ℙ 𝑑, ℙ 𝑔)
βは次の
ように更新
(1)
Max-SWGAN
39
⚫ 果たして意味ある方向とはどの方向?
(すみません、ここからは数式が登場せざるを得ないです)
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
勾配降下法を使ってℙ 𝑔をℙ 𝑑に近づけたい
β → β − α∇β
෪𝑊2(ℙ 𝑑, ℙ 𝑔)
βは次の
ように更新 学習率α
(1)
Max-SWGAN
40
⚫ 果たして意味ある方向とはどの方向?
(すみません、ここからは数式が登場せざるを得ないです)
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
勾配降下法を使ってℙ 𝑔をℙ 𝑑に近づけたい
β → β − α∇β
෪𝑊2(ℙ 𝑑, ℙ 𝑔)
βは次の
ように更新 学習率α
βについて偏微分
(1)
Max-SWGAN
41
⚫ 果たして意味ある方向とはどの方向?
(すみません、ここからは数式が登場せざるを得ないです)
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
勾配降下法を使ってℙ 𝑔をℙ 𝑑に近づけたい
β → β − α∇β
෪𝑊2(ℙ 𝑑, ℙ 𝑔)
βは次の
ように更新 学習率α
βについて偏微分
ℙ 𝑔、ℙ 𝑑のSWDの平均
ここに着目
(1)
Max-SWGAN
42
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
β → β − α∇β
෪𝑊2(ℙ 𝑑, ℙ 𝑔) (1)
Max-SWGAN
43
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
β → β − α∇β
෪𝑊2(ℙ 𝑑, ℙ 𝑔)
෪𝑊2(ℙ 𝑑, ℙ 𝑔) =
1
෡Ω
෍
ω∈෡Ω
𝑊2 ℙ 𝑑
ω
, ℙ 𝑔
ω
(1)
(2)
ωは射影方向
෡Ωは総射影方向集合
Max-SWGAN
44
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
β → β − α∇β
෪𝑊2(ℙ 𝑑, ℙ 𝑔)
෪𝑊2(ℙ 𝑑, ℙ 𝑔) =
1
෡Ω
෍
ω∈෡Ω
𝑊2 ℙ 𝑑
ω
, ℙ 𝑔
ω
𝑊2 ℙ 𝑑
ω
, ℙ 𝑔
ω
= β Ƹ𝑒 𝑇ω
(1)
(2)
(3)
ωは射影方向
෡Ωは総射影方向集合
Max-SWGAN
45
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
β → β − α∇β
෪𝑊2(ℙ 𝑑, ℙ 𝑔)
෪𝑊2(ℙ 𝑑, ℙ 𝑔) =
1
෡Ω
෍
ω∈෡Ω
𝑊2 ℙ 𝑑
ω
, ℙ 𝑔
ω
𝑊2 ℙ 𝑑
ω
, ℙ 𝑔
ω
= β Ƹ𝑒 𝑇ω
(3)式を(2)式に、その(2)式を(1)式に代入してβで偏微分
(1)
(2)
(3)
射影方向に直交する
単位ベクトルを掛け
て絶対値を取る
要は距離になる
平均の差β
ωは射影方向
෡Ωは総射影方向集合
Max-SWGAN
46
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
β → β − α
1
෡Ω
σω∈෡Ω Ƹ𝑒 𝑇
ω (4)
高次元空間になればなるほどランダムな
射影方向に対して平均ベクトルの転置は
直交しがちになりβの更新が遅くなる
こんなとこにも次元の呪いが!
Max-SWGAN
47
d次元ガウス分布を考えた場合
ℙ 𝑑 = 𝒩(0, 𝐼):データ分布
ℙ 𝑔 = 𝒩(β Ƹ𝑒, 𝐼):Generatorの分布( Ƹ𝑒は単位ベクトル)
β → β − α
1
෡Ω
σω∈෡Ω Ƹ𝑒 𝑇
ω
じゃあ射影方向と平均ベクトルが直交するようにすれば
βの更新は爆速になるのでは!?
(4)
高次元空間になればなるほどランダムな
射影方向に対して平均ベクトルの転置は
直交しがちになりβの更新が遅くなる
こんなとこにも次元の呪いが!
Max-SWGAN
48
次元が増えるにつれてSWDは収束が遅くなっているのに
対して、Max-SWDは常に爆速
Max-SWGAN
49
収束が速いし、SWDの良さを備えており、画像もSWD同等
余談
50
⚫ 証明は全てsupplementに任せると書いてあるのにsupp-
lemetがない!?
→メールを著者に出したのに返ってこない。。。
⚫ SWGANの論文はCVPR2019のポスターになっている
同年に改良論文出ているのはおもろすぎ
(SWGAN自体はarXivに2018年の始めに出ている)
⚫ Big Progressive Growing of Max-Sliced Wasserstein
GAN with Gradient Penaltyが最強!?w
(BigPGMax-SWGAN-GP)
⚫ WDじゃなくてvanillaのGANでスライスしたらどうなる
んでしょうか
51
Thank you for attention

More Related Content

What's hot

Bayesian Neural Networks : Survey
Bayesian Neural Networks : SurveyBayesian Neural Networks : Survey
Bayesian Neural Networks : Surveytmtm otm
 
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム貴之 八木
 
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learningゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement LearningPreferred Networks
 
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-EncoderDeep Learning JP
 
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論Taiji Suzuki
 
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)RyuichiKanoh
 
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)Shota Imai
 
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence ModelingDeep Learning JP
 
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性Ichigaku Takigawa
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデルMasahiro Suzuki
 
「世界モデル」と関連研究について
「世界モデル」と関連研究について「世界モデル」と関連研究について
「世界モデル」と関連研究についてMasahiro Suzuki
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?Masanao Ochi
 
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点Ichigaku Takigawa
 
PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」Keisuke Sugawara
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII
 
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜Jun Okumura
 
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」Ken'ichi Matsui
 
強化学習その1
強化学習その1強化学習その1
強化学習その1nishio
 
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII
 
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践智之 村上
 

What's hot (20)

Bayesian Neural Networks : Survey
Bayesian Neural Networks : SurveyBayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
 
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
 
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learningゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
ゼロから始める深層強化学習(NLP2018講演資料)/ Introduction of Deep Reinforcement Learning
 
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
[DL輪読会]Temporal DifferenceVariationalAuto-Encoder
 
機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論機械学習におけるオンライン確率的最適化の理論
機械学習におけるオンライン確率的最適化の理論
 
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
 
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
 
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
 
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
 
深層生成モデルと世界モデル
深層生成モデルと世界モデル深層生成モデルと世界モデル
深層生成モデルと世界モデル
 
「世界モデル」と関連研究について
「世界モデル」と関連研究について「世界モデル」と関連研究について
「世界モデル」と関連研究について
 
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】How Powerful are Graph Neural Networks?
 
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
 
PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
 
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
深層強化学習の分散化・RNN利用の動向〜R2D2の紹介をもとに〜
 
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
 
強化学習その1
強化学習その1強化学習その1
強化学習その1
 
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
 
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
 

Recently uploaded

情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法ssuser370dd7
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)ssuser539845
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfMatsushita Laboratory
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-LoopへTetsuya Nihonmatsu
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor arts yokohama
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~arts yokohama
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdfAyachika Kitazaki
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見Shumpei Kishi
 

Recently uploaded (11)

What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
 
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
 
2024 03 CTEA
2024 03 CTEA2024 03 CTEA
2024 03 CTEA
 
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
 
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdfTaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
 
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
 
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor 2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
 
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
 
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
 
2024 04 minnanoito
2024 04 minnanoito2024 04 minnanoito
2024 04 minnanoito
 
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
 

Max-Sliced Wasserstein Distance and its use for GANs