Submit Search
Upload
PRML10.6 変分ロジスティック回帰
•
Download as PPTX, PDF
•
2 likes
•
2,989 views
Yo Ehara
Follow
PRML 10.6 変分ロジスティック回帰のスライドです. PRML読書会2010/4/10で発表しました. http://atnd.org/events/3518
Read less
Read more
Report
Share
Report
Share
1 of 24
Download now
Recommended
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
SHAP値の考え方を理解する(木構造編)
SHAP値の考え方を理解する(木構造編)
Kazuyuki Wakasugi
[DL輪読会]Ensemble Distribution Distillation
[DL輪読会]Ensemble Distribution Distillation
Deep Learning JP
Recommended
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
SHAP値の考え方を理解する(木構造編)
SHAP値の考え方を理解する(木構造編)
Kazuyuki Wakasugi
[DL輪読会]Ensemble Distribution Distillation
[DL輪読会]Ensemble Distribution Distillation
Deep Learning JP
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
MIRU2016 チュートリアル
MIRU2016 チュートリアル
Shunsuke Ono
『自由エネルギー原理入門』勉強会1章&2章前半
『自由エネルギー原理入門』勉強会1章&2章前半
大地 紺野
道具としての機械学習:直感的概要とその実際
道具としての機械学習:直感的概要とその実際
Ichigaku Takigawa
タクシー運行最適化を実現する機械学習システムの社会実装
タクシー運行最適化を実現する機械学習システムの社会実装
RyuichiKanoh
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
カルマンフィルタ入門
カルマンフィルタ入門
Yasunori Nihei
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
正準相関分析
正準相関分析
Akisato Kimura
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
Deep Learning JP
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
Takuji Tahara
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
自由エネルギー原理から エナクティヴィズムへ
自由エネルギー原理から エナクティヴィズムへ
Masatoshi Yoshida
EMNLP 2015 yomikai
EMNLP 2015 yomikai
Yo Ehara
Semi-supervised Active Learning Survey
Semi-supervised Active Learning Survey
Yo Ehara
More Related Content
What's hot
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
takehikoihayashi
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
Taiji Suzuki
MIRU2016 チュートリアル
MIRU2016 チュートリアル
Shunsuke Ono
『自由エネルギー原理入門』勉強会1章&2章前半
『自由エネルギー原理入門』勉強会1章&2章前半
大地 紺野
道具としての機械学習:直感的概要とその実際
道具としての機械学習:直感的概要とその実際
Ichigaku Takigawa
タクシー運行最適化を実現する機械学習システムの社会実装
タクシー運行最適化を実現する機械学習システムの社会実装
RyuichiKanoh
Optimizer入門&最新動向
Optimizer入門&最新動向
Motokawa Tetsuya
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
カルマンフィルタ入門
カルマンフィルタ入門
Yasunori Nihei
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Yusuke Uchida
正準相関分析
正準相関分析
Akisato Kimura
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
Deep Learning JP
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
Takuji Tahara
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
自由エネルギー原理から エナクティヴィズムへ
自由エネルギー原理から エナクティヴィズムへ
Masatoshi Yoshida
What's hot
(20)
『バックドア基準の入門』@統数研研究集会
『バックドア基準の入門』@統数研研究集会
Active Learning 入門
Active Learning 入門
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
数学で解き明かす深層学習の原理
数学で解き明かす深層学習の原理
MIRU2016 チュートリアル
MIRU2016 チュートリアル
『自由エネルギー原理入門』勉強会1章&2章前半
『自由エネルギー原理入門』勉強会1章&2章前半
道具としての機械学習:直感的概要とその実際
道具としての機械学習:直感的概要とその実際
タクシー運行最適化を実現する機械学習システムの社会実装
タクシー運行最適化を実現する機械学習システムの社会実装
Optimizer入門&最新動向
Optimizer入門&最新動向
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
カルマンフィルタ入門
カルマンフィルタ入門
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
全力解説!Transformer
全力解説!Transformer
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
正準相関分析
正準相関分析
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
[DL輪読会]Reward Augmented Maximum Likelihood for Neural Structured Prediction
変分ベイズ法の説明
変分ベイズ法の説明
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
【LT資料】 Neural Network 素人なんだけど何とかご機嫌取りをしたい
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
自由エネルギー原理から エナクティヴィズムへ
自由エネルギー原理から エナクティヴィズムへ
More from Yo Ehara
EMNLP 2015 yomikai
EMNLP 2015 yomikai
Yo Ehara
Semi-supervised Active Learning Survey
Semi-supervised Active Learning Survey
Yo Ehara
Tokyo nlp #8 label propagation
Tokyo nlp #8 label propagation
Yo Ehara
Acl yomikai, 1016, 20110903
Acl yomikai, 1016, 20110903
Yo Ehara
Icml yomikai 07_16
Icml yomikai 07_16
Yo Ehara
Gengo Africa
Gengo Africa
Yo Ehara
Nonlinear programming輪講スライド with 最適化法
Nonlinear programming輪講スライド with 最適化法
Yo Ehara
Nips yomikai 1226
Nips yomikai 1226
Yo Ehara
Tsukuba.R #7 5/9
Tsukuba.R #7 5/9
Yo Ehara
Prml 11.1.4 重点サンプリング
Prml 11.1.4 重点サンプリング
Yo Ehara
SocialDict @ 第3回SBM研究会
SocialDict @ 第3回SBM研究会
Yo Ehara
More from Yo Ehara
(11)
EMNLP 2015 yomikai
EMNLP 2015 yomikai
Semi-supervised Active Learning Survey
Semi-supervised Active Learning Survey
Tokyo nlp #8 label propagation
Tokyo nlp #8 label propagation
Acl yomikai, 1016, 20110903
Acl yomikai, 1016, 20110903
Icml yomikai 07_16
Icml yomikai 07_16
Gengo Africa
Gengo Africa
Nonlinear programming輪講スライド with 最適化法
Nonlinear programming輪講スライド with 最適化法
Nips yomikai 1226
Nips yomikai 1226
Tsukuba.R #7 5/9
Tsukuba.R #7 5/9
Prml 11.1.4 重点サンプリング
Prml 11.1.4 重点サンプリング
SocialDict @ 第3回SBM研究会
SocialDict @ 第3回SBM研究会
PRML10.6 変分ロジスティック回帰
1.
10.6 変分ロジスティック回帰 2010/4/10 江原 遥
PRML読書会 1
2.
説明の流れ 導入:ロジスティック回帰の説明 10.6.1 超パラメータ固定で,変分近似して変分パラメータξnが与えられた時の更新式を求めるところまで
10.6.2 変分パラメータξnの更新式を求める. 更新式(バッチ版)まとめ.オンライン版も. 10.6.3 事前分布がN(0,α-1I)と簡単な場合に超パラメータも最適化 2
3.
ロジスティック回帰 2値ロジスティック回帰 参考:多値ロジスティック回帰
3 t∈{1,0} シグモイド関数 大事なこと: 回帰と言いながら教師あり分類問題 ソフトマックス関数
4.
宣伝+α ロジスティック回帰は色々な名前で知られている: 最大エントロピー法,Log-linearモデル,項目反応理論
TOEICやTOEFLの問題の難易度や被験者の能力は,裏でwの値を見ている(たぶん). ユーザが知らない語を(オンライン学習で) 予測して勝手に辞書を引いてくれるシステム ->変分ロジスティック回帰のオンライン版をあわよくば使おうと…画策中.(GW中ぐらい?) 4
5.
シグモイド関数の性質 2値ロジスティック回帰 解析的に積分できない
5 10.148 σの微分もσで表せる ln σの微分もσで表せる
6.
10.6.1 最大化したい周辺尤度は, 6
10.147 10.152 これならwの指数二次形式だから積分(正規化)できる. 積分を阻害 個々のデータ点に対して変分パラメータξnがある
7.
変分下限 7 nがついているので局所
近似 変分下限を最大化 積分を阻害
8.
10.152のために10.144がある 8 10.152
10.144から, 10.149 局所的な変分下限 10.148 データがN個あるので 10.153
9.
wに関する二次関数 9 10.155
wの二次関数.次数ごとに係数を見比べて: 10.156~158 残された問題:変分パラメータξをどう決めるか?->10.6.2へ
10.
10.6.2 変分パラメータξの最適化 Lをξに関して最大化したい.方法は2通り.
wを潜在変数とみなしてEMアルゴリズム w に対する積分を計算してξを直接最大化 w に対する積分後,ξnで微分すると1.と同じ形に 1.から考えていく. 10 10.159
11.
w潜在変数のEMアルゴリズム (1) 11
10.160~161 を代入すると,
12.
w潜在変数のEMアルゴリズム (2) 12
ξnで微分して,0と置くと, 演習10.33 10.162 λ’(ξn)!=0だから, 10.163
13.
wに関する積分を実行 (1) 13
(演習10.35) 10.159
14.
wに関する積分を実行 (2) 14
10.164 これをξnに関して最大化(演習10.34)
15.
バッチ版計算法まとめ(p.216頭) initialization:変分パラメータξoldの初期化 E-step
M-step 15 10.156~158 10.163 EとMをξが適当な収束基準を満たすまで繰り返す. 実際には,通常,数回の繰り返ししか必要としない
16.
17.
SNの逆行列計算にWoodburyの公式を使える10.163 まだ来ていないデータは使えないので来ているデータだけを使う ->バッチほどには変分パラメータを最適値に近づけられない
18.
オンライン版計算法まとめ 17 逆行列の計算量
dxd行列でd3 形を限定してd2に するのがWoodbury (1つ前のM-step)
19.
図10.13 18 予測分布の等高線はデータから離れるにしたがって開いており,それらの領域では分類の不確実性が高いことを示している.
p(w|t)から5つ分離境界をサンプルしました. SVMみたいで綺麗でしょ! 真ん中は曖昧だよね!
20.
10.6.3 超パラメータの推論 19
今までは超パラメータm0やS0が与えられているとして, p(w)=N(w|m0, S0)を考えていた.超パラメータも最適化するには? ここでは,もうちょっと簡単な次の場合を考える. 10.165~168 この積分が実行できない まず,大域的な変分法でp(t)の下限L(q)を求める p(t|w)はシグモイド関数なので,まだ積分できない
21.
局所的変分法 20 局所的変分法
10.173 ←10.9 より, wに関する二次形式
22.
平方完成して最適化 21 10.174~176
23.
q(α),変分パラメータξの最適化 22 10.180,181
ξの最適化は10.163と同じ 10.177~179
24.
10.6.3 超パラメータの推論まとめ 23
付録Bより
25.
やれればよかったこと 実装する RVM(ラプラス近似)と比較
24
26.
25 ご清聴ありがとうございました
Download now