Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (17)
Similar to PRML8章
More from 弘毅 露崎
More from 弘毅 露崎 (20)
PRML8章
- 1. PRML 第8章 グラフィカルモデル 東京理科大学大学院 薬学研究科 薬科学専攻 (博士後期課程3年) 理科学研究所 情報基盤センター バイオインフォマティクス研究開発ユニット (JRA) ! 露崎弘毅
- 2. 目次 ・8.1 ベイジアンネットワーク - 8.1.1 例: 多項式曲線フィッティング - 8.1.2 生成モデル - 8.1.3 離散変数 - 8.1.4 線形ガウスモデル ・8.2 条件付き独立性 - 8.2.1 3つのグラフの例 - 8.2.2 有向分離（D分離） ・8.3 マルコフ確率場 - 8.3.1 条件付き独立性 - 8.3.2 分解特性 - 8.3.3 例: 画像のノイズ除去 - 8.3.4 有向グラフとの関係 ・8.4 グラフィカルモデルにおける推論 - 8.4.1 連鎖における推論 - 8.4.2 木 - 8.4.3 因子グラフ - 8.4.4 積和アルゴリズム - 8.4.5 max-sumアルゴリズム - 8.4.6 一般のグラフにおける厳密推論 - 8.4.7 ループあり確率伝搬 - 8.4.8 グラフ構造の学習 今回 次回or次々回
- 3. 8章のための準備
- 4. 確率の加法定理（周辺化） (1.10) 1 1 1 1 1 0 1 0 1 1 0 1 0 0 0 0 0 1 0 1 X Y 二変量（X、Y）のデータのうち、Xの起きる確率は以下の二通りで求められる （左は普通の計算、右はYについての周辺化） (1: 事象が起きた 0 : 事象が起きない) = 5 / 10 = 0.5 p(X, Y= 0) = 2/10 p(X, Y= 1) = 3/10 3/10 + 2/10 = 0.5 Yが起きた場合 1 1 1 1 1 0 1 0 1 1 0 1 0 0 0 0 0 1 0 1 X Y Yが起きなかった場合 1 1 1 1 1 0 1 0 1 1 0 1 0 0 0 0 0 1 0 1 X Y
- 5. 確率の乗法定理 (1.11) 条件付き確率（Xが起きた時にYが起きる確率） は以下のように定義される 両辺に p(X) 1 1 1 1 1 0 1 0 1 1 0 1 0 0 0 0 0 1 0 1 X Y 言葉の通りに計算すると、 「Xが起きた(5)時に、 Yが起きる(3)確率は、3/5」 ! p(Y¦X) = n(X, Y) / n(X) = (n(X, Y) / N) / (n(X) / N) = p(X, Y) / p(X) Xに条件づけられた確率 Xが 起きた時
- 6. ベイズの定理 条件付き確率 分母は、加法定理、 乗法定理から更に変形できる (1.12) ベイズの定理 （離散量Ver） 分母は定数だから ベイズの定理 （連続量Ver） 尤度 事前確率事後確率
- 7. 共役事前分布 事後分布 尤度 事前分布 ベータ分布 二項分布 ベータ分布 正規分布 正規分布 正規分布 逆ガンマ分布 正規分布 逆ガンマ分布 ガンマ分布 ポアソン分布 ガンマ分布 ディリクレ分布 多項分布 ディリクレ分布 ベイズな手法は、パラメーターが 分布を持ち、さらにその分布のパ ラメーターが分布を持ち…という 風に階層を増やしていける 幾らでも階層を作れる （階層ベイズモデル） 時系列解析に使える （データ同化） t t+1 t+2 左のような尤度・事前分布の組み合わせ は、事後分布が事前分布と同じ形になる ので、どれだけモデルが複雑になっても、 事後分布を求める事ができる （積分できる、計算がしやすい） ! ⇄ 最近はモデルが複雑になってもサンプ リング（MCMC）で分布を求めようとい うやり方も
- 8. 互いに独立とは かけ算に分けられるという事 (2つの変数の同時分布がその周辺の積に分解できる事, 上巻p17) P(A, B) = P(A) P(B) 例: データが同じ分布から独立にとられたとする仮定（i.i.d.） (1.60) (1.61) ベクトル要素の積として表現できる P(t¦x,w,β) = N(t¦y(x,w), β-1)
- 10. ナイーブベイズ ベイズの定理を分類器として使ったもの 例: スパムメールフィルタ 受信BOX (C1 : カテゴリー1) 迷惑メール （C2: カテゴリー2） 受信したメールの文面 グラビア bag-of-words (D) (例: 無料、ダウンロー ド、 http://… ) ・実際は分母は無視する （大小関係には無関係） ・一度も出現しない単語は、 全体の確率を0にしてしまう -> スムージング http://qiita.com/aflc/items/13fe52243c35d3b678b0 http://www.slideshare.net/matuura/ss-8108633 (迷惑メール件数) / (全メール件数)
- 11. その他 確率変数 X 観測値 Pr(X = x) ・確率的に値をとる変数 ・大文字で書く ・パラメータで値が決まる関数 ・実際にとりうる値 ・小文字で書く パラメーター X ∼ Binom(n, p) ・実際にとりうる値 ・斜字体、ギリシャ文字とか?
- 12. 第8章 グラフィカルモデル
- 18. ベイジアンネットワーク ベイジアンネットワークはこの確率変数間の因果関係を グラフで表現したもの (8.2) 1. aが起きて… 2. aが起きることで bが起きて… 3. a, bが起きる ことでcが起きる 図8.1 aはbの親ノード、 bはaの子ノード という
- 19. ベイジアンネットワーク 例: K=5の時の全結合グラフ (8.3) 乗法定理を繰り返し適用する事で、同時分布は各変数上の条件付き 分布の積として書ける（全結合） x1 x2 x3 x4 x5 自分よりも小さい番号がふられたすべてのノードから 向かってくるリンクをもつ
- 21. ベイジアンネットワーク 一般系で書くと (pak : xkの親ノードの集合) この式は同時分布の分解特性を表現したという ベイジアンネットワークは有向閉路を持たない 有向非循環グラフ（DAG: Directed acyclic graph） とか みたいなループ構造が無いという事 （自然現象ではよくあるけど） (8.5)
- 24. グラフィカルモデルの書き方 パラメーターも明示的に含んだ書き方 (8.7) 図8.5 図8.6 学習データを入れている事を 示す場合は、塗りつぶす パラメータは小さい点で書く 観測されない隠れ変数はそのまま （-> 第9, 12章 EMアルゴリズム）
- 27. 離散変数 (8.9) 1-of-K符号化で書かれた多項分布 例: さいころで3が出る確率 パラメーター数 : K - 1 規格化のための制約
- 28. パラメーター数 : K2 - 1 離散変数 1-of-K符号化で書かれた多項分布（二つの状態を取る場合） 規格化のための制約 例: さいころA,Bで各々(3, 4)が出る確率 以下略…(36個パラメーターがある) とりうる状態が増えると、パラメーターが指数的に増大してしまう KM - 1状態数Mで 個
- 29. 離散変数 乗法定理を用いると、P(x1,x2) = P(x2¦x1) P(x1) これは図8.9の(a) 図8.9 変数がM個だと、パラメーター数は M(K - 1) でMについて線形 パラメーター数 : K2 - 1 パラメーター数 : 2(K - 1)
- 30. 離散変数 リンクを除去するとパラメーターを減らせる 全結合 全てが独立 パラメーター数 M(K - 1) パラメーター数 KM - 1 パラメーター数 K - 1 + (M - 1) K (K - 1) K状態の連鎖 図8.10 x1 x2 xM x1 x2 xM
- 31. 離散変数 パラメータを共有する事（sharing, tyling） でもパラメーターは減らせる 図8.11 図8.12 図8.10のモデルの事前分布として ディリクレ分布を導入したもの 更に1つのパラメーターuが全ての 条件付き分布に共有される場合 パラメーター数 K2 - 1 パラメーター数 2?
- 32. 離散変数 条件付き分布として、パラメトリックモデ ルを用いる事でもパラメーターは減らせる 図8.13 M個の親ノードと一つの子ノード （共に二値変数とする） そのままだとパラメーター数 : 2M (8.10) 親変数の線形結合を入力とする ロジスティックシグモイド関数を利用 パラメーター数 : M + 1
- 33. 線形ガウスモデル (8.11) 確率的主成分分析、因子分析、線形動的システム などで利用されているらしい 平均 pai 分散 : vi xi 全てのノードの同時分布の対数は （8.5, 一般系のベイジアンネットワークより） (8.12) (8.13)? j biwi xj
- 34. 線形ガウスモデル 平均 : u, 分散 :σ2の正規分布 自然対数をとる(expが消える） あとはuに σ2に を代入すれば8.13になる vi
- 36. 線形ガウスモデル リンクが一つもないD個のノード 全結合グラフ パラメーター数 wij : 0個 bi : D個 vi : D個 パラメーター数 wij : (D/(D-1))/2個 bi : D個 vi : D個 x1 b1 v1 x2 b2 v2 x3 b3 v3 x4 b4 v4 x1 b1 v1 x2 b2 v2 x3 b3 v3 x4 b4 v4
- 37. 線形ガウスモデル 中間的なグラフ（例: 図8.14) パラメーター数 wij : D - 1個 bi : D個 vi : D個 x1 b1 v1 x2 b2 v2 x3 b3 v3 x4 b4 v4
- 38. 線形ガウスモデル ガウス分布の共役事前分布はガウス分布 ! ガウス変量の平均をガウス分布とする（事前分布） => ガウス分布の平均値は超パラメーター => 超パラメーターがガウス分布だとする…（超事前分布） ! => 階層ベイズモデル （何階層でもモデルを拡張・複雑化できる）
- 45. 3つのグラフの例（まとめ） グラフの形 cで周辺化 cで条件付け tail-to-tail 独立ではない 条件付き独立 （block） head-to-tail 独立ではない 条件付き独立 （block） head-to-head 独立 独立ではない （unblock）
- 46. head-to-headの更に特殊な 性質（弁明） 図8.20 バッテリーの状態 {0:切れている, 1:充電されている} 燃料タンクの状態 {0:空,1:満タン} 電動燃料計 {0:空と示している, 1:満タンと示している} p(B=1) = 0.9 p(F=1) = 0.9 p(G=1 ¦ B = 1, F = 1) = 0.8 p(G=1 ¦ B = 1, F = 0) = 0.2 p(G=1 ¦ B = 0, F = 1) = 0.2 p(G=1 ¦ B = 0, F = 0) = 0.1 p(B=0) = 0.1 p(F=0) = 0.1 p(G=0 ¦ B = 1, F = 1) = 0.2 p(G=0 ¦ B = 1, F = 0) = 0.8 p(G=0 ¦ B = 0, F = 1) = 0.8 p(G=0 ¦ B = 0, F = 0) = 0.9 事前にこういった情報が与えられているとする
- 49. 有向分離（D分離） リンクを遮断する時の法則、今までの話をノード集合にまで拡張したもの? （グラフの形だけでわかる） (a) 集合Cに含まれるノードであって、経路に含まれる 矢印がそこでhead-to-tailあるいはtail-to-tailである (b) 経路に含まれる矢印がそのノードでhead-to-headであり、 自身あるいはそのすべての子孫のいずれもが集合Cに含まれない CA B CA B CA B あらゆるA-C-Bの経路が遮断されていれば、 集合Aは集合Cにおいて集合Bと条件付き独立
- 50. 有向分離（D分離） 図8.22 A AC C B B ノードaとノードbは集合C（ノードe, f）で遮断できるか? cが観測された場合 fが観測された場合 -> 遮断されない -> 遮断される fがtail-to-tailで観測さ れていない eはhead-to-headだが、 子孫fがCに含まれる fがtail-to-tailで観測 されている eはhead-to-headで、 それ自身あるいはその 子孫が条件付き集合に 含まれない
- 51. 有向分離（D分離） 図8.5のモデルの有向分離性 パラメーターは観測済みノードと同じ & 親ノードが無い -> 他のノードとのつながりは必ず、tail-to-tailになる -> 有向分離性に影響しない 1.2.4節のi.i.d.データの有向分離性 図8.23 パラメーターuはtail-to-tail -> uに値を入力したら、あらゆる子ノード間で独立 -> i.i.d. uを積分消去した場合、観測値は独立ではない (8.35)
- 56. マルコフブランケット 図8.26 つまり、xiの条件付き独立を考える時、 1) 親、子 2) 共同親 だけを考えれば良い 親 子 共同親A B C D E F G 結局Cの条件付き確率P(C¦A,B)と、 Cの子ノードの条件付き確率P(D¦C,F)やP(E¦C,G)だけ残る Cを含まない項は全部消える！
- 59. クリーク 図8.29 無向グラフの分解特性は極大クリーク変数集合の関数にする事 クリーク : {x1, x2}, {x2, x3}, {x3, x4}, {x4, x2} 極大クリーク : {x1, x2, x3}, {x2, x3, x4} {x1, x2, x3, x4}はクリークではない(x1 - x4間にリンクがない) クリーク : 全てのノードの組にリンクが存在するグラフの部分集合 極大クリーク : もう一つを加えるとクリークでなくなってしまうようなクリーク
- 63. 有向->無向の変換 図8.33のような場合 親同士をリンクで結ぶ（モラル化） 1. 向きを無くす 2. モラル化する 3. 規格化する -> ジャンクションツリーアルゴリズム(8.4)
- 66. こういう、ネットワーク構造は未知でデータから推定するアプローチは ベイジアンネットワークの 学習 とか 推論 というらしい （8.4.8で紹介だけしている） SiGN-BN : スパコン「京」で計算するソフトウェア 自分の修論の内容 Rのbnlearnパッケージ（CBRCのBlue Gene上で実行） http://sign.hgc.jp/signbn/index_ja.html 番外編 ベイジアンネットワークの学習
- 67. 番外編 ベイジアンネットワークの学習 どのグラフが良いか決める基準 尤度、情報量基準（AIC, BIC: 尤度&パラメーター数）、 MAP推定（尤度 事前分布）… データを元に、最も最適と思われるグラフ構造を探索する データ グラフ 1 0 0 1 1 0 1 0 1 0 1 0 1 0 1 0 0 0 1 1 0 0 0 0 1 1 1 0 0 1 a b c b a c b a c b a c
- 70. 乗法定理 2(n=6) 乗法定理 2 + 条件付き独立 (n=9) 乗法定理 1 + 独立(n=3) 全て独立(n=1) 乗法定理を使う （このままではグラフ として表現できない?） 乗法定理 1 + 独立 + 条件付き独立(n=6) エッジ0個 エッジ1個 エッジ2個(head-to-tail, tail-to-tail) エッジ2個(head-to-head) エッジ3個(全結合) ノード3つで式変形を片っ端から行った 番外編 ベイジアンネットワークの学習
- 71. 試しに、以下のような簡単な{0,1}データを用いる またここでは単純に尤度のみでグラフの善し悪しを判定する 番外編 ベイジアンネットワークの学習 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 1 1 0 1 1 0 1 1 1 1 1 1 a b c P(a) = 3/5 P(b) = 2/5 P(c) = 1/5 ! P(a, b) = 2/5 P(b, c) = 1/5 P(a, c) = 1/5 P(a, b, c) = 1/5 P(a ¦ b, c) = 1 P(b ¦ a, c) = 1 P(c ¦ a, b) = 1/2 ! P(a ¦ b) = 1 P(a ¦ c) = 1 P(b ¦ a) = 2/3 P(b ¦ c) = 1 P(c ¦ a) = 1/3 P(c ¦ b) = 1/2
- 72. 独立性について 番外編 ベイジアンネットワークの学習 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 1 1 0 1 1 0 1 1 1 1 1 1 a b c P(a ¦ b, c) = P(a ¦ b) P(a ¦ b, c) = P(a ¦ c) P(b ¦ a, c) P(b ¦ a) P(b ¦ a, c) = P(b ¦ c) P(c ¦ a, b) P(c ¦ a) P(c ¦ a, b) = P(c ¦ b) P(a, b, c) P(a) P(b) P(c) P(a, b) P(a) P(b) P(b, c) P(b) P(c) P(a, c) P(a) P(c) 条件付き独立性について データによって成り立ったり、 成り立たなかったりする
- 73. 乗法定理 2(n=6) 乗法定理 2 + 条件付き独立 (n=9) 乗法定理 1 + 独立(n=3) 全て独立(n=1) 乗法定理 1 + 独立 + 条件付き独立(n=6) エッジ0個 エッジ1個 エッジ2個(head-to-tail, tail-to-tail) エッジ2個(head-to-head) エッジ3個(全結合) 番外編 ベイジアンネットワークの学習 尤度を計算した = 0.2 = 0.2 = 0.2 = 0.2 = 0.2 = 0.2 = 0.048 = 0.08 = 0.12 = 0.12 = 0.2 = 0.2 = 0.2 = 0.2 = 0.13... = 0.13... = 0.2 = 0.2 = 0.13... = 0.08 = 0.08 = 0.08 = 0.12 = 0.08 = 0.12
- 74. 乗法定理 2(n=6) エッジ3個(全結合) 番外編 ベイジアンネットワークの学習 = 0.2 = 0.2 = 0.2 = 0.2 = 0.2 = 0.2 乗法定理で変形したものはグラフ構造は違うのにも関わらず尤度は等しい b a c b a c b a c b a c b a c b a c
- 75. 乗法定理 2 + 条件付き独立 (n=9) 乗法定理 1 + 独立(n=3) 乗法定理 1 + 独立 + 条件付き独立(n=6) エッジ0個 エッジ1個 エッジ2個(head-to-tail, tail-to-tail) エッジ2個(head-to-head) 番外編 ベイジアンネットワークの学習 = 0.08 = 0.12 = 0.12 = 0.2 = 0.2 = 0.2 = 0.2 = 0.13... = 0.13... = 0.2 = 0.2 = 0.13... = 0.08 = 0.08 = 0.08 = 0.12 = 0.08 = 0.12 条件付き独立・独立はデータによって成り立ったり、成り立たなかっ たりする ! 「同じ尤度を持つDAGは複数存在する可能性がある」 21世紀の統計科学 第2巻 第6章 生命システムネットワークを明らかにするための統計的モデリング