Submit Search
Upload
変分ベイズ法の説明
•
Download as PPTX, PDF
•
61 likes
•
41,612 views
Haruka Ozaki
Follow
変分ベイズ法の説明。 最尤法との対比で説明した。また、EMアルゴリズムとの対応も述べられている。 職場の勉強会での資料です。
Read less
Read more
Education
Report
Share
Report
Share
1 of 27
Download now
Recommended
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門
shima o
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
Recommended
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
Masahiro Suzuki
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
[DL輪読会]Flow-based Deep Generative Models
[DL輪読会]Flow-based Deep Generative Models
Deep Learning JP
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門
shima o
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
深層学習の数理
深層学習の数理
Taiji Suzuki
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
Deformable Part Modelとその発展
Deformable Part Modelとその発展
Takao Yamanaka
数理工学専攻の入試案内
数理工学専攻の入試案内
京都大学大学院情報学研究科数理工学専攻
More Related Content
What's hot
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
KCS Keio Computer Society
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
cvpaper. challenge
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
Deep Learning JP
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
EMアルゴリズム
EMアルゴリズム
Sotetsu KOYAMADA(小山田創哲)
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
Deep Learning JP
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
弘毅 露崎
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
深層学習の数理
深層学習の数理
Taiji Suzuki
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Deep Learning JP
What's hot
(20)
ELBO型VAEのダメなところ
ELBO型VAEのダメなところ
グラフィカルモデル入門
グラフィカルモデル入門
[DL輪読会]GQNと関連研究,世界モデルとの関係について
[DL輪読会]GQNと関連研究,世界モデルとの関係について
backbone としての timm 入門
backbone としての timm 入門
【メタサーベイ】数式ドリブン教師あり学習
【メタサーベイ】数式ドリブン教師あり学習
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
変分推論と Normalizing Flow
変分推論と Normalizing Flow
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
EMアルゴリズム
EMアルゴリズム
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]Learning Transferable Visual Models From Natural Language Supervision
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
深層学習の数理
深層学習の数理
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
[DL輪読会]data2vec: A General Framework for Self-supervised Learning in Speech,...
Viewers also liked
Deformable Part Modelとその発展
Deformable Part Modelとその発展
Takao Yamanaka
数理工学専攻の入試案内
数理工学専攻の入試案内
京都大学大学院情報学研究科数理工学専攻
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
貴之 八木
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
sleipnir002
Objectnessとその周辺技術
Objectnessとその周辺技術
Takao Yamanaka
coordinate descent 法について
coordinate descent 法について
京都大学大学院情報学研究科数理工学専攻
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
Takao Yamanaka
高速な物体候補領域提案手法 (Fast Object Proposal Methods)
高速な物体候補領域提案手法 (Fast Object Proposal Methods)
Takao Yamanaka
Pythonではじめる OpenAI Gymトレーニング
Pythonではじめる OpenAI Gymトレーニング
Takahiro Kubo
Stanコードの書き方 中級編
Stanコードの書き方 中級編
Hiroshi Shimizu
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
生成モデルの Deep Learning
生成モデルの Deep Learning
Seiya Tokui
Viewers also liked
(12)
Deformable Part Modelとその発展
Deformable Part Modelとその発展
数理工学専攻の入試案内
数理工学専攻の入試案内
混合ガウスモデルとEMアルゴリスム
混合ガウスモデルとEMアルゴリスム
パターン認識 04 混合正規分布
パターン認識 04 混合正規分布
Objectnessとその周辺技術
Objectnessとその周辺技術
coordinate descent 法について
coordinate descent 法について
Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
高速な物体候補領域提案手法 (Fast Object Proposal Methods)
高速な物体候補領域提案手法 (Fast Object Proposal Methods)
Pythonではじめる OpenAI Gymトレーニング
Pythonではじめる OpenAI Gymトレーニング
Stanコードの書き方 中級編
Stanコードの書き方 中級編
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
生成モデルの Deep Learning
生成モデルの Deep Learning
More from Haruka Ozaki
160817 ISMB2016読み会
160817 ISMB2016読み会
Haruka Ozaki
Rでゲノム上の区間データを扱う話 (15.09.05 WACODE 2nd)
Rでゲノム上の区間データを扱う話 (15.09.05 WACODE 2nd)
Haruka Ozaki
トピックモデル勉強会: 第2章 Latent Dirichlet Allocation
トピックモデル勉強会: 第2章 Latent Dirichlet Allocation
Haruka Ozaki
ISMB2014読み会 Ragout—a reference-assisted assembly tool for bacterial genomes
ISMB2014読み会 Ragout—a reference-assisted assembly tool for bacterial genomes
Haruka Ozaki
巨大な表を高速に扱うData.table について
巨大な表を高速に扱うData.table について
Haruka Ozaki
Excelによる遺伝子名の誤変換 -傾向と対策-
Excelによる遺伝子名の誤変換 -傾向と対策-
Haruka Ozaki
Kashiwa.R#9 Rでゲノム解析
Kashiwa.R#9 Rでゲノム解析
Haruka Ozaki
12-11-30 Kashiwa.R #5 初めてのR Rを始める前に知っておきたい10のこと
12-11-30 Kashiwa.R #5 初めてのR Rを始める前に知っておきたい10のこと
Haruka Ozaki
Rで塩基配列を扱う方法
Rで塩基配列を扱う方法
Haruka Ozaki
FDRの使い方 (Kashiwa.R #3)
FDRの使い方 (Kashiwa.R #3)
Haruka Ozaki
距離まとめられませんでした
距離まとめられませんでした
Haruka Ozaki
More from Haruka Ozaki
(11)
160817 ISMB2016読み会
160817 ISMB2016読み会
Rでゲノム上の区間データを扱う話 (15.09.05 WACODE 2nd)
Rでゲノム上の区間データを扱う話 (15.09.05 WACODE 2nd)
トピックモデル勉強会: 第2章 Latent Dirichlet Allocation
トピックモデル勉強会: 第2章 Latent Dirichlet Allocation
ISMB2014読み会 Ragout—a reference-assisted assembly tool for bacterial genomes
ISMB2014読み会 Ragout—a reference-assisted assembly tool for bacterial genomes
巨大な表を高速に扱うData.table について
巨大な表を高速に扱うData.table について
Excelによる遺伝子名の誤変換 -傾向と対策-
Excelによる遺伝子名の誤変換 -傾向と対策-
Kashiwa.R#9 Rでゲノム解析
Kashiwa.R#9 Rでゲノム解析
12-11-30 Kashiwa.R #5 初めてのR Rを始める前に知っておきたい10のこと
12-11-30 Kashiwa.R #5 初めてのR Rを始める前に知っておきたい10のこと
Rで塩基配列を扱う方法
Rで塩基配列を扱う方法
FDRの使い方 (Kashiwa.R #3)
FDRの使い方 (Kashiwa.R #3)
距離まとめられませんでした
距離まとめられませんでした
Recently uploaded
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
inspirehighstaff03
My Inspire High Award 2024「他者と自分、対立を防ぐには?」
My Inspire High Award 2024「他者と自分、対立を防ぐには?」
inspirehighstaff03
International Politics I - Lecture 1
International Politics I - Lecture 1
Toru Oga
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
ssusere0a682
My Inspire High Award 2024 「本当の『悪者』って何?」
My Inspire High Award 2024 「本当の『悪者』って何?」
inspirehighstaff03
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
inspirehighstaff03
My Inspire High Award 2024 「正義って存在するの?」
My Inspire High Award 2024 「正義って存在するの?」
inspirehighstaff03
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
inspirehighstaff03
My Inspire High Award 2024 「孤独は敵なのか?」
My Inspire High Award 2024 「孤独は敵なのか?」
inspirehighstaff03
What I did before opening my business..pdf
What I did before opening my business..pdf
oganekyokoi
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
inspirehighstaff03
My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「AIと仲良くなるには?」
inspirehighstaff03
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
inspirehighstaff03
My Inspire High Award 2024「老いることは不幸なこと?」
My Inspire High Award 2024「老いることは不幸なこと?」
inspirehighstaff03
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
inspirehighstaff03
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要 パワーポイント
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要 パワーポイント
shu1108hina1020
My Inspire High Award 2024 「家族とは何か」
My Inspire High Award 2024 「家族とは何か」
inspirehighstaff03
Establishment and operation of medical corporations.pdf
Establishment and operation of medical corporations.pdf
oganekyokoi
Divorce agreements in administrative work.pdf
Divorce agreements in administrative work.pdf
oganekyokoi
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
inspirehighstaff03
Recently uploaded
(20)
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「世の中の流行はどのようにして生まれるのか」
My Inspire High Award 2024「他者と自分、対立を防ぐには?」
My Inspire High Award 2024「他者と自分、対立を防ぐには?」
International Politics I - Lecture 1
International Politics I - Lecture 1
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
【ゲーム理論入門】ChatGPTが作成した ゲーム理論の問題を解く #3 Slide
My Inspire High Award 2024 「本当の『悪者』って何?」
My Inspire High Award 2024 「本当の『悪者』って何?」
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024「Yakushima Islandってなんか変じゃない?」.pdf
My Inspire High Award 2024 「正義って存在するの?」
My Inspire High Award 2024 「正義って存在するの?」
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
My Inspire High Award 2024「なぜ人は他人と違うところがあってもそれをなかなか誇れないのか?」
My Inspire High Award 2024 「孤独は敵なのか?」
My Inspire High Award 2024 「孤独は敵なのか?」
What I did before opening my business..pdf
What I did before opening my business..pdf
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024「スーパーマーケットで回収されたキャベツ外葉は廃棄されているの?」
My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024 「AIと仲良くなるには?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「なぜ議会への関心が低いのか?」
My Inspire High Award 2024「老いることは不幸なこと?」
My Inspire High Award 2024「老いることは不幸なこと?」
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
My Inspire High Award2024「外国人が日本のテーブルマナーに驚く理由は?」
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要 パワーポイント
3年前期 交通基盤工学 第一回 ガイダンス 交通基盤工学の概要 パワーポイント
My Inspire High Award 2024 「家族とは何か」
My Inspire High Award 2024 「家族とは何か」
Establishment and operation of medical corporations.pdf
Establishment and operation of medical corporations.pdf
Divorce agreements in administrative work.pdf
Divorce agreements in administrative work.pdf
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
My Inspire High Award 2024「なぜ、好きなことにいつかは飽きるの」
変分ベイズ法の説明
1.
15.06.17 変分ベイズ法の説明 尾崎 遼 http://research.microsoft.com/en-us/um/people/cmbishop/outreach.htm
2.
目次 概要 点推定とベイズ推定 最尤推定とEMアルゴリズム 変分ベイズ推定とVB-EMアルゴリズム 変分ベイズ推定の性質 生物学への応用 2
3.
概要 変分ベイズ法 • 確率モデルの潜在変数およびパラメータの事後分布を求 める手法の一種 • 事後分布を近似することで計算を簡単にしている •
因子分解可能という仮定を置く • 決定論的な手法 • MCMCなどのサンプリング法は確率的 3
4.
点推定とベイズ推定 例えば、 というモデルで予測分布を求めるには? • 点推定 •
特定のパラメータの値 ( というモデル) による推定 4 • ベイズ推定 • パラメータの事後分布 を用いて周辺化 最尤推定やMAP推定で 点推定したパラメータの値 xの新しい予測値 推定に用いたデータ
5.
最尤推定とEMアルゴリズム 観測変数 X と潜在変数
Z があるとき、 5 を最大にするパラメータ θ を求めるのが最尤推定 この最尤推定を行うための2段階の繰り返し最適化が EMアルゴリズム
6.
最尤推定とEMアルゴリズム: 下界 方針: 対数尤度
の下界 を最大化する 6 ln p(X|θ)の下界 (Lower bound) Jensenの不等式より E step M step
7.
最尤推定とEMアルゴリズム: E step 7 のとき、下限
が最大となる KLダイバージェンス なので 0以上 qが含まれて いないので定数 はθの現在の値とする
8.
最尤推定とEMアルゴリズム: M step 8 エントロピー (θがはいっていないので定数) Q関数 (完全データ対数尤度の qに関する期待値) の解を新しいθにする は現在のZの事後分布とする Q関数を最大化するために
9.
点推定の欠点 点推定では分布がなだらかな場合や単峰でない場合に 偏った推定になる 隠れ変数が1層だけのときしか適用できない 過学習 → ベイズ推定 9
10.
バイオインフォマティクスと推定問題 解空間が巨大・各解の尤度は微小 • 例: RNA二次構造、系統樹 →点推定がよい予測につながらない 10Hamada,
Briefings in Bioinformatics, 2013
11.
変分ベイズの目的と手段 最尤法 • 目的: 尤度
を最大にするパラメータを求める • 実現手段: EMアルゴリズム(二段階の繰り返し最適化) 変分ベイズ • 目的: 周辺尤度 (モデルエビデンス) を最大にするパラ メータの事後分布を求める • 手段: VB-EMアルゴリズム(二段階の繰り返し最適化) 11
12.
変分ベイズとVB-EMアルゴリズム: 下限 12 Jensenの不等式より ln p(X)の下限 最尤法の時と異なり、この下限はそのままでは最大化できない(と する) そこで因子分解可能という仮定を置き、計算しやすい形に近似する
13.
変分ベイズとVB-EMアルゴリズム: 因子分解 因子分解可能 (factorization)
な分布によって、真の事 後分布を近似します • Z を独立な因子に分解し、潜在変数およびパラメ ータの同時事後分布を各因子の事後分布の積で近 似する 13 「事後分布を求める」問題から 「因子分解可能な近似分布の中でできるだけ真の事後 分布に近い分布を求める」問題に変換
14.
変分ベイズとVB-EMアルゴリズム: 変分下限 14 方針: 対数周辺尤度の変分下限
を最大化する 各因子について ln p(X)の変分下限
15.
変分ベイズとVB-EMアルゴリズム: 更新式 15 qi はZiの確率分布だから j以外の因子に関する対数同時分布の期待値 のexp()と
q_j の間のKLダイバージェンス → これをゼロにすることが最大化につながる 変分下限 L(q) をq_j = q_j(Z_j) について整理する
16.
変分ベイズとVB-EMアルゴリズム: 更新式 16 PRML下巻の式(10.9) 前頁の結果から、KLダイバージェンスをゼロにするのは以下のとき: この式を各因子の現在の事後分布を用いて順番に計算する j以外の因子の現在の事後分布に関して XとZの対数同時分布の期待値をとることに相当
17.
変分ベイズとVB-EMアルゴリズム: 具体的なモデル 17 XZπ 因子分解可能という仮定により、潜在変数とパラメータの事後分布は以下のようになる
18.
変分ベイズとVB-EMアルゴリズム: 具体的なモデル 18 変分下限(最大化する対象)を計算していく πの事後分布が事前分布と離れないようにする制約項とみなせる →過学習を防いでいる πの事前分布を導入せずにπの点推定を 行えば、最尤推定(EMアルゴリズム) と同じになる(あるθの値でのみ分布関 数のクラスを仮定すると考えてもよい)
19.
変分ベイズとVB-EMアルゴリズム 19 変分E step 変分M step 潜在変数の現在の事後分布を用いてパラメータの事後分布を改良する パラメータの現在の事後分布を用いて潜在変数の事後分布を改良する この式 or 変分下限を具体的に計算し パラメータおよび潜在変数 について最適化する を解く 更新式の導出方法
20.
まとめ 20 最尤法 変分ベイズ 与えられているも の 同時分布 p(X,Z|θ)
同時分布 p(X,Z) 目的 対数尤度 ln p(X|θ)を最大にする パラメー タを求める 対数周辺尤度(=モデルエビデンス) ln p(X) を最大にする パラメータの事後分布を求 める 目的関数の分解 ln(X|θ)= L(q, θ) + KL(q||p) ln(X) = L(q) + KL(q||p) 目的の再定義 下界 L(q, θ)の q(Z)とθに関する最大化 変分下限 L(q) の q(Z) に関する最大化 手続き EMアルゴリズムによる繰り返し最適化 VB-EMアルゴリズムによる繰り返し最適化 潜在変数に関する 最適化 パラメータの現在の値を用いて 潜在変数 の事後分布を改良する パラメータの現在の事後分布を用いて 潜 在変数の事後分布を改良する パラメータに関す る最適化 潜在変数の現在の事後分布を用いて パラ メタを更新する 潜在変数の現在の事後分布を用いて パラ メータの事後分布を改良する 注目した因子以外の因子に関して同時分布の期待値を計算したものを新しい値 or 分布にする
21.
参考文献 C. M. ビショップ「パターン認識と機械学習
下」 9-10章 渡辺澄夫「ベイズ統計の理論と方法」 5章 • 平均場近似から自己無矛盾条件を導く形で説明している 佐藤一誠「トピックモデルによる統計的潜在意味解析」自然言語処理シリー ズ 8 コロナ社 Daichi Mochihashi “自然言語処理のための変分ベイズ法” • http://www.ism.ac.jp/~daichi/paper/vb-nlp-tutorial.pdf 21
22.
生物学への応用 個々の遺伝子発現の状態がいくつあるか問題 • Nikaido et
al., PLOS One, 2011 • 混合ガウスのKの数も推定 22 RNA-seqによる転写産物量推定問題 • Nariai et al., Bioinformatics, 2013 • 複雑な生成モデルの計算を容易にした DNA断片からのハプロタイプ推定問題 • Matsumoto et al., BMC Genomics, 2013 • 複雑な生成モデルの計算を容易にした
23.
余談 下界の導出方法には2通りある • Jensen の不等式を使う •
対数周辺尤度をKL divergence との和の形にする 具体的な更新式の導出方法には2通りある • 一般的な最適解の式にモデルの式を代入する • ラグランジュの未定乗数法で各パラメータについて変分 下限を最大化する 23
24.
「事後分布を探すのが難しい」から始まる説明 (1) ベイズ推定の問題の一つは事後分布の計算が困難であるという ことだ 代わりに、事後分布を因子分解可能という仮定を置いて近似し た近似事後分布を考える この近似事後分布 (q) をなるべく真の事後分布
(p) に近づける ために、qとpのKLダイバージェンスを考える 24
25.
「事後分布を探すのが難しい」から始まる説明 (2) しかし、目的関数に計算が困難であるpが含まれているため、この最適 化問題は計算が困難である 一方、対数周辺尤度は以下のように分解できる 左辺はqに関して一定なので、KLの最小化問題は変分下限 L の最大化問 題と同じである。そこで、変分下限の最大化を考える。 25
26.
余談 EMアルゴリズムで下界、変分ベイズで下限と呼ぶ理 由はよくわかりませんでした • 原著ではどちらも lower
bound となっていた 26
27.
余談 「10.4 指数分布族」の変分Eステップと変分Mステッ プの記述(p. 206)はEとMが逆な気がする 27
Download now