はじめてのパターン認識輪講会資料

1. ベイズの識別規則
曽和 修平

2. ベイズの識別規則
観測データxと所属するクラスの間に確率分布が仮定され
る識別問題に適応される
例えば、医療検査。検査項目の値と健康状態には相関が
あるが、その影響は確率的。

3. ベイズの定理
事後確率・・観測データxが与えられた下でそれがクラス
Ciに属する条件付き確率
事前確率・・クラスCiの生起確率
尤度・・クラスが与えられた下での観測データｘの確率
分布
周辺確率・・観測データｘの生起確率
事後確率
尤度 事前確率
周辺確率

4. 最大事後確率基準
観測データをx,識別クラスをCi(i=1…K）とするとベイズ
の識別規則は次式で定義される事後確率が最も大きなク
ラスに分類される
事後確率
尤度 事前確率
周辺確率
ベイズの定理

5. ベイズの識別規則
クラスCiとクラスCjの識別境界は、事後確率が等しくな
る所
識別クラス =
周辺確率p(x)はどちらのクラスにも現れるので必要ない。

6. ベイズの識別規則の例
ある町1000人をランダムにサンプルした仮想的なデータ
サンプル数 喫煙する人(S=1) 飲酒する人(T=1)
健康な人（G=1) 800人 320人 640人
健康でない（G=0) 200人 160人 40人
喫煙と飲酒の有無から、健康状態を予測するためのベイ
ズの識別規則を導く
すなわち、事後確率を特徴（S,T）の全ての組合せについ
て求める

7. ベイズの識別規則の例
各クラスの事前確率
クラス条件付き確率P(S,T|G）については、SとTの間に
条件付き独立
が成り立っていると仮定する

8. ベイズの識別規則の例(2)
喫煙に関するクラス条件付き確率P(S|G）
飲酒に関するクラス条件付き確率P(T|G)

9. ベイズの識別規則の例(3)
これらより、クラス条件付き確率、同時確率、周辺確率
は以下となる
(S,T)
(1,1) (0,1) (1,0) (0,0)
P(S,T|G=1
)
8/25 12/25 2/25 3/25
P(S,T|G=0
)
4/25 1/25 16/25 4/25
P(S,T,G=1
)
32/125 48/125 8/125 12/125
P(S,T,G=0
)
4/125 1/125 16/125 4/125
P(S,T) 26/125 49/125 24/125 16/125

10. ベイズの識別規則の例(4)
先の図の値を用いて、事後確率を計算する
(S,T)
(1,1) (0,1) (1,0) (0,0)
P(G=1|S,T
)
8/9 48/49 1/3 3/4
P(G=0|S,T
)
1/9 1/49 2/3 3/4
判断 G=1 G=1 G=0 G=1

11. 尤度比
ベイズの識別規則の識別境界は事後確率の等しくなる所
周辺確率p(x)はどちらのクラスの識別規則にも共通で存在
よって、P(x|Ci)P(Ci)とP(x|Cj)P(Cj)の大きさを比べて比較
可
>
<
>
<
この式を変形して、尤度比の形で識別規則を構成すれば
尤度比が事前確率の比よりも大きければクラスiに識別す
れば良いことがわかる

12. ベイズの識別規則は誤り率最小
ベイズの識別規則のもとで、誤り率ε(x)は事後確率の小さ
い方になるので
これを条件付きベイズの誤り率という
ベイズ誤り率は領域R1(クラスC1に識別される領域）と
R2(クラスC2に識別される領域）における条件付きベイ
ズ誤り率の期待値として表される
（途中式略）

13. ベイズの識別規則は誤り率最小(2)
この積分に対応する面積は教科書図3.1の薄い網掛け部分
識別境界が少しでも左右にずれるとこの面積は増加する
ベイズの識別規則は誤り率最小

14. 最小損失基準に基づくベイズの識別規則
これまでの識別規則では、誤りを犯すことによる危険度
がクラス間で対称であった
しかし、実際はそうではない場合が多い。
例えば、健康な人を病気と判断するより、病気の人を健
康と判断する方が危険である
損失という考え方を導入する

15. 最小損失基準に基づくベイズの識別規則(2)
損失Lij・・真のクラスがCjの時、Ciと判断することによ
って被る損失
クラス数がK個だと、Lijを要素とするKxKの行列
（＝損失行列）が出来る
観測データxをクラスCiと判断した時に被る損失は
識別規則は損失の最も小さいクラスに識別することなので
識別クラス＝

16. 最小損失基準に基づくベイズの識別規則(3)
2クラスの場合について、損失の期待値が最小となる識別
規則を求める
入力データxが与えられた時に被る損失は
損失の期待値は
(途中式略）

17. 最小損失基準に基づくベイズの識別規則(4)
損失の期待値が最小となる識別境界は、被積分項の小さ
い方に判断されるよう領域R1とR2を定めることにより得
ることができる
従って、識別規則は
<
>

18. 最小損失基準に基づくベイズの識別規則(5)
損失は間違える場合の方が大きいので、一般に
が成り立つ
従って、識別規則は以下のように書き換えることが出来る>
<
尤度比を用いれば以下のように表せる
>
<

19. リジェクト
条件付きベイズ誤り率は事後確率の小さい方で与えられた
従って、事後確率が等しいベイズ境界での誤り率は1/2である
このように誤り率が大きい時に判断を避けることをリジェクト
という

20. リジェクト(2)
閾値tを定め、ε(x)≧tの場合にリジェクトする例を示す
クラス1側では、
が成り立っているので
より、p(x) =
を代入して整理すれば
を満たす領域がクラス１側のリジェクト領域である

21. リジェクト(3)
一般にK個のクラスがある場合、リジェクトを含めた識別規則
は
識別クラス =
リジェクト 全てのクラスについて
の場合
閾値tを下げればリジェクト率は増加し、誤って認識する確率も
減少する
この様子を示したのが教科書図3.4 リジェクト-誤認識別曲線

22. 受動者動作特性曲線（ROC曲線）
識別性能の指標として用いられるベイズ誤り率では事前確率、
尤度、識別境界を知る必要がある
ROC曲線はこれらの情報を知らなくても性能を評価できる
ROC曲線の求め方
2クラス問題は、対象xが1つのあるクラスに属しているか、否か
の問題と等価なので、属している場合をp、属していないと判断
する場合をnとする
この識別の様子は混合行列にとして表すことが出来る

23. 受動者動作特性曲線（ROC曲線）(2)
識別クラス
行和
p n
真のクラス
p
True Positive 真陽性
(TP)
False Negative 偽
陰性(FN)
P = TP+FN
n
False Positive 偽陽
性(FP)
True Negative 真陰
性(TN)
N = FP+TN
偽陽性率 = FP / N
真陽性率 = TP / P
適合率 = TP/(TP+FP)
再現率 = TP/P
正確度 = (TP + TN)/(P+N)
F-値 = 2 / (1/適合率 + 1/再現率）

24. 受動者動作特性曲線（ROC曲線）(3)
ROC曲線は偽陽性率と真陽性率の関係をグラフにしたもの
偽陽性率は本来偽であるものの中で、真陽性率は本来真である
ものの中で計算される
従って、真のクラスのデータと偽のクラスのデータに大きく差
があってもROC曲線は影響を受けない

25. 受動者動作特性曲線（ROC曲線）(4)
以下に2つのクラスの尤度と識別境界の例を示す
p(x|p*)が陽性クラスの尤度、p(x|n*)が陰性クラスの尤度

26. 受動者動作特性曲線（ROC曲線）(5)
識別境界がBにある時、境界の左側のR1の領域が陽性、
右側R2の領域が陰性
陽性クラスのうち薄い網掛け部ε1が陰性と誤って判断さ
れる（偽陽性）＝＞第1種の誤り
濃い網掛け部ε2が陽性と誤って判断される
＝＞第2種の誤り
陽性クラスのうち陽性と判断される割合は1-ε1

27. 受動者動作特性曲線（ROC曲線）(6)
識別境界をAからCまで動かす事で1-ε1とε2の値が変化
ROC曲線はその様子を描いている
識別境界をAにするとすべて陰性と
判断される
識別境界をCにすると全て陽性と
判断される

28. ROC曲線による性能評価
ROC曲線はクラス間の重なりが少ないほど左上にシフト
ROC曲線の下側の面積＝＞ROC曲線下面積(AUC)
AUCは識別器の性能を表す評価尺度として使われている
完全な識別器はAUCが1.0
ランダムな識別器はAUCが0.5

29. ROC曲線による性能評価(2)
先の図のようなROC曲線が得られたとして、動作点（真
陽性率と偽陽性率の組合せ）をどこに選択すべきか？
そこで、最小損失識別規則を導く
損失をL11=L22=0と仮定すれば
>
<
損失の期待値をrとすれば

30. ROC曲線による性能評価(3)
この式をROC空間の定義に合わせて書きなおすと
事前確率と損失が既知であれば直線の傾きαが決まり、損
失rにより切片が変化する直線群が得られる
1つの直線上では損失は一定
ROC曲線と等損失直線群が接している部分が選択すべき
最適な動作点となる（図3.6）

31. ROC曲線の構成
識別器のスコアからROC曲線を構成する場合、普通階段
状になる。
そのため,ROC曲線はROCグラフとよばれることもある
ROC曲線の便利な点はクラスの分布がわからなくても構
成できることである