機械学習プロフェッショナルシリーズ、グラフィカルモデルの第２章です。

1. グラフィカルモデル
機械学習プロフェッショナルシリーズ
@St_Hakky

2. 本書の構成
• 1章
• グラフィカルモデルの導入
• 2章
• 確率論の基礎的な事項(条件付き確率、条件付き独立)
• 3,4章
• ベイジアンネットワーク/マルコフ確率場
• 5章
• 因子グラフ
• 6,7,8章
• 確率推論
• 9,10,11章
• パラメタ学習
• 12, 13章
• MAP推定
• 14章
• 構造学習

3. グラフィカルモデルの
２章をやります

4. 確率論の基礎
定義2.1 : σ-加法族
集合Ω その部分集合族𝙁 が以下の3つの条件を満たすとき、σ-加法族とい
う。
1. Ω ∈ 𝙁
2. 𝐴 ∈ 𝙁 ならばΩ＼ 𝐴 ∈ 𝙁 が成立
3. 𝙁の加算個の元𝐴1, 𝐴1, 𝐴1 …に対して、∪𝑖 𝐴𝑖 ∈ 𝙁 が成立
組(Ω,𝙁)は可測空間、𝙁の元は可測集合と呼ばれる。

5. 確率論の基礎
定義2.2 :確率空間
集合Ω と、その部分集合族𝙁からなるσ-加法族が与えられているとする。𝙁か
ら実数への写像Pが確率であるとは、以下の3つの条件(コルモゴロフの公理)を
満たすことである。
1. 任意の𝐴 ∈ 𝙁に対して、0 ≤ 𝑃(𝐴) ≤ 1
2. P(Ω) = 1
3. 互いに素な𝐴1, 𝐴1, 𝐴1 …に対して、P(∪𝑖 𝐴𝑖) = 𝑖 𝑃(𝐴𝑖) ∈ 𝙁 が成立
集合Ωは標本空間、三つ組(Ω,𝙁, P)は確率空間と呼ばれる
離散と連続に本質的に大きな違いはない。以下では、まず離散について説明し、
その後連続について説明する

6. 確率論の基礎
定義2.3 : 離散的な確率変数
写像X ∶ Ω → 𝑍 が確率変数であるとは、任意の𝑥 ∈ 𝑍に対して、写像
𝑋−1({𝑥})が可測集合であることをいう。

7. 確率変数の分布関数
確率分布関数(確率質量関数)
𝑃(𝑋 = 𝑥)
同時確率分布関数(同時確率質量関数)
𝑃(𝑋 = 𝑥, 𝑌 = 𝑦)
周辺化
𝑦
𝑃(𝑋 = 𝑥, 𝑌 = 𝑦) = 𝑃(𝑋 = 𝑥)

8. 2.2 確率変数の独立性
定義2.4 確率変数の独立性
確率変数𝑋1 ∶ Ω → 𝑍, 𝑋2 ∶ Ω → 𝑍が任意の𝐵1, 𝐵2 ⊂ 𝑍に対して、
𝑃(𝑋1 ∈ 𝐵1, 𝑋2 ∈ 𝐵2) = 𝑃(𝑋1 ∈ 𝐵1)𝑃(𝑋2 ∈ 𝐵2)
を満たすとき、X1, X2は独立であるといい、以下のように表記する。

9. 2.3 条件付き確率
確率空間(Ω, 𝙁, P)とその上の確率変数Xがあるとします。今、「確率変数X
の値がBの中に入っている」という条件付けを考える。すなわり、Ωの部分
集合
𝑄 𝐵 𝐴 =
𝑃( ω∈ Ω ω∈𝐴,𝑋 ω ∈𝐵})
𝑃(𝑋∈𝐵)
𝑓𝑜𝑟 𝑎𝑙𝑙 𝐴 ∈ 𝐹
𝑋−1(𝐵) = {𝜔 ∈ Ω | 𝑋(𝜔) ∈ 𝐵}
の確率を1に規格化し直し、 X(ω) ∈ B以外の確率を0にする。
式このことを表現すると、条件つき確率はQBの定義は、
で与えられます。

10. 2.3 条件付き確率
𝑃 𝑋 = 𝑥 𝑌 = 𝑦 =
𝑃(𝑋 = 𝑥, 𝑌 = 𝑦)
𝑃(𝑌 = 𝑦)
X,Yが離散的な確率変数の場合、Y=yの事象が観測されたとすると、
X=xの確率は、以下のように表現される

11. 2.5 連続的な確率変数の取り扱い
まぁ、難しいことはごちゃごちゃありますが、基本的には積分にすれば
オッケーです(雑)

12. おしまい