PRML10章
- 1. PRML 第10章
近似推論法
東京理科大学大学院 薬学研究科 薬科学専攻 (博士後期課程3年)
理科学研究所 情報基盤センター
バイオインフォマティクス研究開発ユニット (JRA)
!
露崎弘毅
- 2. 目次
・10.1 変分推論法
- 10.1.1分布の分解
- 10.1.2 分解による近似のもつ性質
- 10.1.3 例: 一変数ガウス分布
・10.2 変分混合ガウス分布
- 10.2.1変分事後分布
- 10.2.2 変分下界
- 10.2.3 予測分布
- 10.2.4 混合要素数の決定
- 10.2.5 導出された分解
・10.3 変分線形回帰
- 10.3.1 変分分布
- 10.3.2 予測分布
- 10.3.3 変分下界
・10.4 指数型分布族
- 10.4.1 変分メッセージパッシング
・10.5 局所的変分推論法
・10.6 変分ロジスティック回帰
- 10.6.1 変分事後分布
- 10.6.2 変分パラメータの最適化
- 10.6.3 超パラメータの推論
・10.7 EP法
- 10.7.1 例: 雑音データ問題
- 10.7.2 グラフィカルモデルとEP法
今回
- 6. 9章の復習(1/5)
(k-means)
ランダムに二カ所
クラスター中心
の初期値を決める
近い方の中心があ
るクラスターに各
点を所属させる
(Eステップ)
再びクラスター毎
に中心を計算する
(Mステップ)
E
E E
E
M
M
中心点が移動しなくなる
M M 図9.1
= 収束
- 16. 10.1.1 分布の分解
(10.6)はqj(Zj)とp(X, Zj)の負のKLD
下界の最大化 = KLDの最小化
最小はqj(Zj) = p(X, Zj)の時なので、(10.7)より
ある因子qj 他の因子qi (i ≠ j)を使っ
て計算した期待値
定数項はqj(Zj)を正規化する事で得られる
これ以降
q(Z)の分解(平均場近似) -> (10.9)を適用
というパターンが続く
- 19. 10.1.3 例: 一変数ガウス分布
xn
N
τ(分散)
u(平均)
a0
b0
u0
λ0
ガウス変数の平均も分散も未知なパターン
→ 正規-ガンマ分布 (上巻p98)
!
平均の共役事前分布をガウス分布、
分散の共役事前分布をガンマ分布で設定する
- 22. 10.1.3 例: 一変数ガウス分布
次にq(u)に(10.9)を適用
パラメーターa
パラメーターb
uに依存しない項
展開するとE[u2]、E[u]で計算できる項だとわかる
- 23. 10.1.3 例: 一変数ガウス分布
E[τ](一次のモーメント) → q(u)
q(u) → E[u] (一次のモーメント)、E[u2] (二次のモーメント)
E[u]、E[u2] → q(τ)
q(τ) → E[τ]
…
確率統計 - キャンパス・ゼミ -
適当に初期値を設定して、繰り返し計算でq(u)、q(τ)を求める事ができる
(実際に適当なハイパーパラメーターのもと計算した例が10.31 - 10.33)
- 24. 10.2 例: 変分混合ガウス分布
全パラメーターを
確率変数と見なし
て事前分布を設定
α0 m0 = 0
図9.6 図10.5
β0
m0
W0
全確率変数の同時分布
- 28. 10.2.1 変分事後分布
q(π, u, Λ)はさらにq(π)とq(u, Λ)に分解
→ (10.9)を適用
q(π)に(10.9)を適用
両辺の指数をとると、これはディリクレ分布になる
ただし、αの各要素αkは以下の通り
- 29. 10.2.1 変分事後分布
残りのq(u, Λ)はq(u)q(Λ)と分解する事はできない
が、q(u|Λ)q(Λ)にはできる
q(u, Λ)に(10.9)を適用するとガウス-ウィッシャー
ト分布の形になる
- 32. 10.2.1 変分事後分布
K=6 K=5
K=3 K=2
変分ベイズでの混合比の期待値は以下
で与えられる
πkが小さい混合要素は
勝手に消えていく図
ある要素で
Nk ≒ 0、αk ≒ α0となったとする
より
事前分布がなだらかなら
α0 → 0、よって、E[πk] → 0
αで結果が変わる
α0 = 10-3 : クラスターは2つ
α0 = 1 : クラスターは3つ
α0 = 10 : クラスターは6つ
- 34. 結局変分法使ってないのでは?
変分法を使わなくても解ける?
(結局10章でちゃんと使っている箇所が全くない…)
!
q(Z)をq(Z1)q(Z2)…q(ZM)と平均場近似して
各q(Zi)を求める
-> 変分下限はq(Z1)q(Z2)…q(ZM)の汎関数
→ 変分法で解くという話にはなってるらしい
!
・演習問題の10.3
(http://research.microsoft.com/en-us/um/people/cmbishop/
prml/pdf/prml-web-sol-2009-09-08.pdf)
・パターン認識と機械学習の学習 p.76
・変分ベイズの定式化から近似事後分布の導出まで(1)-(3)
(http://www.nejicolab.com/akip/?p=124)