Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ベイズの識別規則

2,641 views

Published on

はじめてのパターン認識輪講会資料

Published in: Science
  • Login to see the comments

ベイズの識別規則

  1. 1. ベイズの識別規則 曽和 修平
  2. 2. ベイズの識別規則 観測データxと所属するクラスの間に確率分布が仮定され る識別問題に適応される 例えば、医療検査。検査項目の値と健康状態には相関が あるが、その影響は確率的。
  3. 3. ベイズの定理 事後確率・・観測データxが与えられた下でそれがクラス Ciに属する条件付き確率 事前確率・・クラスCiの生起確率 尤度・・クラスが与えられた下での観測データxの確率 分布 周辺確率・・観測データxの生起確率 事後確率 尤度 事前確率 周辺確率
  4. 4. 最大事後確率基準 観測データをx,識別クラスをCi(i=1…K)とするとベイズ の識別規則は次式で定義される事後確率が最も大きなク ラスに分類される 事後確率 尤度 事前確率 周辺確率 ベイズの定理
  5. 5. ベイズの識別規則 クラスCiとクラスCjの識別境界は、事後確率が等しくな る所 識別クラス = 周辺確率p(x)はどちらのクラスにも現れるので必要ない。
  6. 6. ベイズの識別規則の例 ある町1000人をランダムにサンプルした仮想的なデータ サンプル数 喫煙する人(S=1) 飲酒する人(T=1) 健康な人(G=1) 800人 320人 640人 健康でない(G=0) 200人 160人 40人 喫煙と飲酒の有無から、健康状態を予測するためのベイ ズの識別規則を導く すなわち、事後確率を特徴(S,T)の全ての組合せについ て求める
  7. 7. ベイズの識別規則の例 各クラスの事前確率 クラス条件付き確率P(S,T|G)については、SとTの間に 条件付き独立 が成り立っていると仮定する
  8. 8. ベイズの識別規則の例(2) 喫煙に関するクラス条件付き確率P(S|G) 飲酒に関するクラス条件付き確率P(T|G)
  9. 9. ベイズの識別規則の例(3) これらより、クラス条件付き確率、同時確率、周辺確率 は以下となる (S,T) (1,1) (0,1) (1,0) (0,0) P(S,T|G=1 ) 8/25 12/25 2/25 3/25 P(S,T|G=0 ) 4/25 1/25 16/25 4/25 P(S,T,G=1 ) 32/125 48/125 8/125 12/125 P(S,T,G=0 ) 4/125 1/125 16/125 4/125 P(S,T) 26/125 49/125 24/125 16/125
  10. 10. ベイズの識別規則の例(4) 先の図の値を用いて、事後確率を計算する (S,T) (1,1) (0,1) (1,0) (0,0) P(G=1|S,T ) 8/9 48/49 1/3 3/4 P(G=0|S,T ) 1/9 1/49 2/3 3/4 判断 G=1 G=1 G=0 G=1
  11. 11. 尤度比 ベイズの識別規則の識別境界は事後確率の等しくなる所 周辺確率p(x)はどちらのクラスの識別規則にも共通で存在 よって、P(x|Ci)P(Ci)とP(x|Cj)P(Cj)の大きさを比べて比較 可 > < > < この式を変形して、尤度比の形で識別規則を構成すれば 尤度比が事前確率の比よりも大きければクラスiに識別す れば良いことがわかる
  12. 12. ベイズの識別規則は誤り率最小 ベイズの識別規則のもとで、誤り率ε(x)は事後確率の小さ い方になるので これを条件付きベイズの誤り率という ベイズ誤り率は領域R1(クラスC1に識別される領域)と R2(クラスC2に識別される領域)における条件付きベイ ズ誤り率の期待値として表される (途中式略)
  13. 13. ベイズの識別規則は誤り率最小(2) この積分に対応する面積は教科書図3.1の薄い網掛け部分 識別境界が少しでも左右にずれるとこの面積は増加する ベイズの識別規則は誤り率最小
  14. 14. 最小損失基準に基づくベイズの識別規則 これまでの識別規則では、誤りを犯すことによる危険度 がクラス間で対称であった しかし、実際はそうではない場合が多い。 例えば、健康な人を病気と判断するより、病気の人を健 康と判断する方が危険である 損失という考え方を導入する
  15. 15. 最小損失基準に基づくベイズの識別規則(2) 損失Lij・・真のクラスがCjの時、Ciと判断することによ って被る損失 クラス数がK個だと、Lijを要素とするKxKの行列 (=損失行列)が出来る 観測データxをクラスCiと判断した時に被る損失は 識別規則は損失の最も小さいクラスに識別することなので 識別クラス=
  16. 16. 最小損失基準に基づくベイズの識別規則(3) 2クラスの場合について、損失の期待値が最小となる識別 規則を求める 入力データxが与えられた時に被る損失は 損失の期待値は (途中式略)
  17. 17. 最小損失基準に基づくベイズの識別規則(4) 損失の期待値が最小となる識別境界は、被積分項の小さ い方に判断されるよう領域R1とR2を定めることにより得 ることができる 従って、識別規則は < >
  18. 18. 最小損失基準に基づくベイズの識別規則(5) 損失は間違える場合の方が大きいので、一般に が成り立つ 従って、識別規則は以下のように書き換えることが出来る> < 尤度比を用いれば以下のように表せる > <
  19. 19. リジェクト 条件付きベイズ誤り率は事後確率の小さい方で与えられた 従って、事後確率が等しいベイズ境界での誤り率は1/2である このように誤り率が大きい時に判断を避けることをリジェクト という
  20. 20. リジェクト(2) 閾値tを定め、ε(x)≧tの場合にリジェクトする例を示す クラス1側では、 が成り立っているので より、p(x) = を代入して整理すれば を満たす領域がクラス1側のリジェクト領域である
  21. 21. リジェクト(3) 一般にK個のクラスがある場合、リジェクトを含めた識別規則 は 識別クラス = リジェクト 全てのクラスについて の場合 閾値tを下げればリジェクト率は増加し、誤って認識する確率も 減少する この様子を示したのが教科書図3.4 リジェクト-誤認識別曲線
  22. 22. 受動者動作特性曲線(ROC曲線) 識別性能の指標として用いられるベイズ誤り率では事前確率、 尤度、識別境界を知る必要がある ROC曲線はこれらの情報を知らなくても性能を評価できる ROC曲線の求め方 2クラス問題は、対象xが1つのあるクラスに属しているか、否か の問題と等価なので、属している場合をp、属していないと判断 する場合をnとする この識別の様子は混合行列にとして表すことが出来る
  23. 23. 受動者動作特性曲線(ROC曲線)(2) 識別クラス 行和 p n 真のクラス p True Positive 真陽性 (TP) False Negative 偽 陰性(FN) P = TP+FN n False Positive 偽陽 性(FP) True Negative 真陰 性(TN) N = FP+TN 偽陽性率 = FP / N 真陽性率 = TP / P 適合率 = TP/(TP+FP) 再現率 = TP/P 正確度 = (TP + TN)/(P+N) F-値 = 2 / (1/適合率 + 1/再現率)
  24. 24. 受動者動作特性曲線(ROC曲線)(3) ROC曲線は偽陽性率と真陽性率の関係をグラフにしたもの 偽陽性率は本来偽であるものの中で、真陽性率は本来真である ものの中で計算される 従って、真のクラスのデータと偽のクラスのデータに大きく差 があってもROC曲線は影響を受けない
  25. 25. 受動者動作特性曲線(ROC曲線)(4) 以下に2つのクラスの尤度と識別境界の例を示す p(x|p*)が陽性クラスの尤度、p(x|n*)が陰性クラスの尤度
  26. 26. 受動者動作特性曲線(ROC曲線)(5) 識別境界がBにある時、境界の左側のR1の領域が陽性、 右側R2の領域が陰性 陽性クラスのうち薄い網掛け部ε1が陰性と誤って判断さ れる(偽陽性)=>第1種の誤り 濃い網掛け部ε2が陽性と誤って判断される =>第2種の誤り 陽性クラスのうち陽性と判断される割合は1-ε1
  27. 27. 受動者動作特性曲線(ROC曲線)(6) 識別境界をAからCまで動かす事で1-ε1とε2の値が変化 ROC曲線はその様子を描いている 識別境界をAにするとすべて陰性と 判断される 識別境界をCにすると全て陽性と 判断される
  28. 28. ROC曲線による性能評価 ROC曲線はクラス間の重なりが少ないほど左上にシフト ROC曲線の下側の面積=>ROC曲線下面積(AUC) AUCは識別器の性能を表す評価尺度として使われている 完全な識別器はAUCが1.0 ランダムな識別器はAUCが0.5
  29. 29. ROC曲線による性能評価(2) 先の図のようなROC曲線が得られたとして、動作点(真 陽性率と偽陽性率の組合せ)をどこに選択すべきか? そこで、最小損失識別規則を導く 損失をL11=L22=0と仮定すれば > < 損失の期待値をrとすれば
  30. 30. ROC曲線による性能評価(3) この式をROC空間の定義に合わせて書きなおすと 事前確率と損失が既知であれば直線の傾きαが決まり、損 失rにより切片が変化する直線群が得られる 1つの直線上では損失は一定 ROC曲線と等損失直線群が接している部分が選択すべき 最適な動作点となる(図3.6)
  31. 31. ROC曲線の構成 識別器のスコアからROC曲線を構成する場合、普通階段 状になる。 そのため,ROC曲線はROCグラフとよばれることもある ROC曲線の便利な点はクラスの分布がわからなくても構 成できることである

×