機械学習プロフェッショナルシリーズのグラフィカルモデル、1章の内容です。

1. グラフィカルモデル
機械学習プロフェッショナルシリーズ
@St_Hakky

2. 本書の構成
• 1章
• グラフィカルモデルの導入
• 2章
• 確率論の基礎的な事項(条件付き確率、条件付き独立)
• 3,4章
• ベイジアンネットワーク/マルコフ確率場
• 5章
• 因子グラフ
• 6,7,8章
• 確率推論
• 9,10,11章
• パラメタ学習
• 12, 13章
• MAP推定
• 14章
• 構造学習

3. グラフィカルモデルの
1章をやります

4. グラフィカルモデルとは
ベイジアンネットワーク マルコフ確率場
大きく分けて2種類ある
確率的な因果関係を
有効非循環グラフで表現
確率的な依存関係を
無向グラフで表現

5. ベイジアンネットワーク
A B
C
D
E
ベイジアンネットワーク
確率的な因果関係をグラフで表現
・変数がノード
・辺が因果関係を表す
・非循環グラフである
条件付き独立などをグラフで表現
P(A, B, C, D, E) =
P(A)P(B)P(C|A, B)P(D|C)P(E|C)

6. ベイジアンネットワークの例

7. ベイジアンネットワークの構造学習
ベイジアンネットワークの構造を、データから推定
構造
出力
構造学習
入力
データ
A B
0 0
1 1
1 1
0 1
1 1
1 1
…
…
確率変数間の因果関係の有無を学習し、推定する
サンプル

8. マルコフ確率場
マルコフ確率場
確率的な依存関係をグラフで表現
・変数がノード
・辺が依存関係を表す
・無向グラフである
A B
C
D
E マルコフ確率場においても、
ベイジアンネットワークと同じく、
学習が必要。

9. Ising model
マルコフ確率場の例
Ising model
格子状にスピンと呼ばれる量があり、
それぞれ±1を取る。
・+1がスピンが上向き、-1が下向き
・P(x) =
1
𝑍
exp( 𝑖~𝑗 𝐽𝑖𝑗 𝑥𝑖 𝑥𝑗 + 𝑖 ℎ𝑖 𝑥𝑖)
𝐽𝑖𝑗 > 0 → 𝑥𝑖と𝑥𝑗は同じ値をとる確率が高くなる
𝐽𝑖𝑗 < 0 → 𝑥𝑖と𝑥𝑗は同じ値を取らない確率が高くなる
格子点i上のスピン 𝑥𝑖 はその周囲のスピンの
値によって確率的に決まる

10. グラフ構造を考える利点
精巧なモデルに於いて推論や学習を実行するためには複
雑な計算が必要となるが、これを数学的な表現を暗に伴
うグラフ上の操作として表現することができる
グラフの構造を調べることにより、条件付き独立性など
のモデルの性質に関する知見が得られる
確率モデルの構造を視覚化する簡単な方法を提供し、新
しいモデルの設計方針を決めるのに役立つ

11. おしまい