20130716 はじパタ３章前半ベイズの識別規則

はじパタ！輪読会
第３章前半
ベイズの識別規則
２０１３．０７．１６（火）
担当： @_kobacky
http://www.amazon.co.jp/dp/4627849710

自己紹介
• Twitter ID : @_kobacky
• どこで働いている？
•  株式会社 ALBERT　システム開発部
• 日頃のお仕事？
•  システム設計・プログラム開発
•  レコメンドエンジンとか、Twitterの解析を行うシステムとか
•  ウェブサイト運用
•  etc.

３.１で学ぶこと
• 3.1.1 ベイズの識別規則
• 3.1.2 ベイズの識別規則の例
• 3.1.3 尤度比
• 3.1.4 ベイズの識別規則は誤り率最小
• 3.1.5 最小損失基準に基づくベイズの識別規則
• 3.1.6 リジェクト

本章で扱う識別問題
•  観測データ x と所属するクラスの間に確率分布が仮定される
識別問題（p21）
P(x|C2)
x
P(x|C1)
の
生
起
確
率
x

3.1.1. 最大事後確率基準
• チェックポイント
•  事前確率・事後確率とは何か？
•  修正項における尤度・周辺確率とは何か？
•  ベイズの定理を用いて識別境界をどのように決定するか？

突然ですが・・
• 目の前にくじの入った袋があります。
•  袋の中には赤い紙と青い紙が折り畳まれて入っています。
•  紙を広げるとその中に「あたり」「はずれ」のどちらかが記述
されています。

• これまで１００人の人がくじを引きました。
•  60人が赤い紙、40人が青い紙でした。
•  30人が「あたり」でした。
•  「あたり」を引いた人のうち10人は赤い紙で、20人は青い紙でした。

• これまで１００人の人がくじを引きました。
•  60人が赤い紙、40人が青い紙でした。
•  30人が「あたり」でした。
•  「あたり」を引いた人のうち10人は赤い紙で、20人は青い紙でした。
•  とある情報スジからくじの色と「あたり」の割合には何かし
らの関係があるという情報をつかんでいます。

(勉強会発表時の実演 )
• ここで @Prunus1350 さんがクジを引くことになりま
した。

した。
• この時点で @Prunus1350 さんが当たりを引く確率
は「30 / 100」である予測できます。

した。
• ここで @Prunus1350 さんがクジを引いたところ、青
いクジを引き当てました。

した。

した。
クジの色を観測する前から
わかる確率
「事前確率」
クジの色を観測したことに
よってわかった確率
「事後確率」

した。
• （・・ちなみに @Prunus1350 さんがクジを開いたとこ
ろ見事当たりでした。さすが @Prunus1350 さん！）

ベイズの定理
• ベイズの識別規則はベイズの定理で定義される最大
事後確率が最も大きなクラスに観測データを分類す
る。
•  x ：観測データ
•  くじ袋の例では [赤 or 青]
•  Ci ：識別クラス（i = 1,2,3,・・・, K）
•  くじ袋の例では [あたり or はずれ]
P Ci x( )=
p x Ci( )
p x( )
× P Ci( )
x　=　赤
x = 青
あたり
10
20
はずれ
50
20
合計
60
40

ベイズの定理
• ベイズの定理は下記の項からなる
•  事後確率
•  事前確率
•  クラス条件付き確率（尤度）
•  周辺確率
P Ci x( )=
p x Ci( )
p x( )
× P Ci( )
事後確率
尤度
周辺確率
事前確率

ベイズの定理
• 事後確率
•  観測データ x が与えられた下で、それがクラス Ci に属する条件
付き確率
•  事前確率
•  Ci の生起確率
•  データを観測する前からわかっている確率
P Ci x( )=
p x Ci( )
p x( )
× P Ci( )
事後確率
尤度
周辺確率
事前確率

ベイズの定理
• 尤度
•  クラスCiが与えられた下での観測データ x の確率分布
P Ci x( )=
p x Ci( )
p x( )
× P Ci( )
事後確率
尤度
周辺確率
事前確率
C１
C２
x

ベイズの定理
• 周辺確率
•  観測データ x の生起確率
•  全てのクラスに対する観測データ x の同時確率を合計（周辺化）
することで得られる。
P Ci x( )=
p x Ci( )
p x( )
× P Ci( )
事後確率
尤度
周辺確率
事前確率
p x( )= p Ci, x( )
i=1
K
∑

最大事後確率基準による識別
•  識別においては、観測データ x に対して事後確率が一番大きなクラ
スを採用する。
•  事前確率p(x) はクラスが異なっても一定であるため、識別において
は無視できる。
argmax
i
P Ci x( )
= argmax
i
p x Ci( )P Ci( )
p x( )
= argmax
i
p x Ci( )P Ci( )

3.1.2. ベイズの識別規則の例
•  実際の事後確率演算の流れはどのようになるか？

状況設定
• 下記の観測データから「健康な人（G＝１）」「健康で
ない人（G＝０）」を識別したい。
•  「喫煙している（S＝１）」 or 「喫煙していない（S＝０）」
•  「飲酒している（T＝１）」 or 「飲酒していない（T＝０）」
• ある街の住人からランダムに（識別モデル作成用に）
1000人サンプリング
サンプル数
喫煙する人
（S＝１）
飲酒する人
（T=１）
健康な人（G＝１）
800人
320人
640人
健康でない人（G＝０）
200人
160人
40人

演算の目標
• 最終的に求めたいものはS, T, G 全ての組み合わせ
（8通り）における事後確率
• 右辺の確率を順番に演算していく
サンプル数
喫煙する人
（S＝１）
飲酒する人
（T=１）
800人
320人
640人
200人
160人
40人
P G | S,T( )=
P S,T |G( )P G( )
P S,T( )

事前確率の演算
• P(G=1) = 800/1000 = 4/5
• P(G=0) = 200/1000 = 1/5
サンプル数
喫煙する人
（S＝１）
飲酒する人
（T=１）
800人
320人
640人
200人
160人
40人
P G | S,T( )=
P S,T |G( )P G( )
P S,T( )

尤度の演算
• 条件付き独立 P(S,T|G) = P(S|G) P(T|G) を仮定
サンプル数
喫煙する人
（S＝１）
飲酒する人
（T=１）
800人
320人
640人
200人
160人
40人
S=1
S=0
G＝１
320/800
480/800
G＝０
160/200
40/200
T=1
T=0
G＝１
640/800
160/800
G＝０
40/200
160/200
P(S|G)の演算
P(T|G)の演算
P G | S,T( )=
P S,T |G( )P G( )
P S,T( )
S=1, T=1
S=0, T=1
S=1, T=0
S=0, T=0
G＝１
(2/5) X (4/5)
(3/5) X (4/5)
(2/5) X (1/5)
(3/5) X (1/5)
G＝０
(4/5) X (1/5)
(1/5) X (1/5)
(4/5) X (4/5)
(1/5) X (4/5)
P(S,T|G)の演算

周辺確率の演算
•  周辺化により P(S,T) を演算
P G | S,T( )=
P S,T |G( )P G( )
P S,T( )
S=1, T=1
S=0, T=1
S=1, T=0
S=0, T=0
P(S,T|G=1)
(2/5) X (4/5)
(3/5) X (4/5)
(2/5) X (1/5)
(3/5) X (1/5)
P(S,T|G=0)
(4/5) X (1/5)
(1/5) X (1/5)
(4/5) X (4/5)
(1/5) X (4/5)
P(S,T,G=1)
(8/25) X (4/5)
(12/25) X (4/5)
(2/25) X (4/5)
(3/25) X (4/5)
P(S,T,G=0)
(4/25) X (1/5)
(1/25) X (1/5)
(16/25) X (1/5)
(4/25) X (1/5)
P(S,T)
36/125
49/125
24/125
16/125
•  ①→②： P(S,T,G) = P(S,T|G) X P(G)
•  ②→③： P(S,T) = P(S,T,G=0) + P(S,T,G=1) （←周辺化）
①
②
③

事後確率の演算
•  ベイズの定理より事後確率を演算
P G | S,T( )=
P S,T |G( )P G( )
P S,T( )
S=1, T=1
S=0, T=1
S=1, T=0
S=0, T=0
P(G=1|S,T)
8/9
48/49
1/3
3/4
P(G=0|S,T)
1/9
1/49
2/3
1/4
• 観測データ S, T に対して事後確率の大きい方のクラ
スとして判定される。

3.1.3. 尤度比
•  ある観測データ x が２つのクラスのどちらであるかを識別する
際、尤度の比と事前確率の比を比べれば識別ができるという
だけのお話。
p x Ci( )P Ci( )
>
<
!
"
#
$
%
&
p x Cj( )P Cj( )
⇒ Ci
⇒ Cj
!
"
#
$
%
&
p x Ci( )
p x Cj( )
>
<
!
"
#
$
%
&
P Cj( )
P Ci( )
⇒ Ci
⇒ Cj
!
"
#
$
%
&

3.1.4. ベイズの識別規則は誤り率最小
•  ベイズの識別規則における「条件付きベイズ誤り率」とは何
か？
•  ベイズ誤り率の定義と計算方法はどういうものか？
•  なぜベイズの識別境界で誤り率は最小になるのか？

条件付きベイズ誤り率
•  ある観測データ x が与えられた時、ベイズの識別規則に従っ
て識別を行った場合に誤識別する確率
•  ε(x) = min [P(C1|x), P(C2|x)]
P(C１|x)
x
x１
P(C2|x)
観測データ x の値が
x1 である場合に
誤識別をする確率
R2(C２と判定される領域)
R1(C１と判定される領域)

ベイズ誤り率
•  条件付きベイズ誤り率の（xに関する）期待値
ε*
= E ε x( ){ }= ε x( )p x( )dx
R1+R2
∫ 期待値の定義より

ベイズ誤り率
ε*
= E ε x( ){ }= ε x( )p x( )dx
R1+R2
∫
ε(x)の定義代入
= min P C1 x( ), P C2 x( )!
"
#
$p x( )dx
R1+R2
∫

ベイズ誤り率
ε*
= E ε x( ){ }= ε x( )p x( )dx
R1+R2
∫
ベイズの定理代入
= min P C1 x( ), P C2 x( )!
"
#
$p x( )dx
R1+R2
∫
= min
p x C1( )P C1( )
p x( )
,
p x C2( )P C2( )
p x( )
!
"
#
#
$
%
&
&
p x( )dx
R1+R2
∫

ベイズ誤り率
ε*
= E ε x( ){ }= ε x( )p x( )dx
R1+R2
∫
p(x) で約分
= min P C1 x( ), P C2 x( )!
"
#
$p x( )dx
R1+R2
∫
= min
p x C1( )P C1( )
p x( )
,
p x C2( )P C2( )
p x( )
!
"
#
#
$
%
&
&
p x( )dx
R1+R2
∫
= min p x C1( )P C1( ), p x C2( )P C2( )!
"
#
$dx
R1+R2
∫

ベイズ誤り率
ε*
= E ε x( ){ }= ε x( )p x( )dx
R1+R2
∫
ベイズの識別規則によって識別境界が定められているとすると、
R2の領域では p(x|C1)P(C1) < p(x|C2)P(C2)
R1の領域では p(x|C2)P(C2) < p(x|C1)P(C1)
= min P C1 x( ), P C2 x( )!
"
#
$p x( )dx
R1+R2
∫
= min
p x C1( )P C1( )
p x( )
,
p x C2( )P C2( )
p x( )
!
"
#
#
$
%
&
&
p x( )dx
R1+R2
∫
= min p x C1( )P C1( ), p x C2( )P C2( )!
"
#
$dx
R1+R2
∫
= p x C1( )P C1( )( )dx
R2
∫ + p x C2( )P C2( )( )dx
R1
∫

ベイズ誤り率
ε*
= p x C1( )P C1( )( )dx
R2
∫ + p x C2( )P C2( )( )dx
R1
∫
P(x|C1)P(C1)
x
P(x|C2)P(C2)

ベイズ誤り率
ε*
= p x C1( )P C1( )( )dx
R2
∫ + p x C2( )P C2( )( )dx
R1
∫
P(x|C1)P(C1)
x
P(x|C2)P(C2)
識別境界をずらすと
誤り率が増加する

3.1.5. 最小損失基準に基づくベイズの識別規則
•  最小損失基準という考え方は何故必要か？
•  損失行列とはどういうものか？
•  最大事後確率基準に基づく識別との関係は？

損失の考え方
•  「病気の人を健康であると誤識別するリスク」は「健康な人を
病気であると誤識別するリスク」よりも高い。
•  危険性を考慮した識別が必要。
•  損失：Lij
•  真のクラスがCj であるサンプルを Ci と判断することによって被る損失
•  一般に i = j の時の損失は小さい
•  識別対象のクラスがK個ある場合、K x K の損失行列が定義
できる。
L11 L12
L21 L22
!
"
#
#
$
%
&
&
=
0 10
20 0
!
"
#
$
%
&
損失行列の例

最小損失基準に基づく識別
•  観測データ x をクラス Ci と判断した時に被る損失を定義
r Ci x( )= LikP Ck x( )
k=1
K
∑
観測データ x を
Ckと判断する確率
•  観測データ x に対して損失が最も小さいクラスに識別する
argmin
i
r Ci x( )

最小損失基準に基づく識別の例（2 クラス）
•  事後確率は下記の通りとする
•  P(C1|x) = 0.6
•  P(C2|x) = 0.4
•  最大事後確率基準では観測データ x は C1 と判定される
•  下記の損失行列を定義
k=1
K
∑
L11 L12
L21 L22
!
"
#
#
$
%
&
&
=
0 20
10 0
!
"
#
$
%
&
真のクラス：C1 (k=1)
真のクラス：C2 (k=2)
合計
識別：C1 (i=1)
0 x 0.6
20 x 0.4
8
識別：C2 (i=2)
10 x 0.6
0 x 0.4
6
C2をC1と識別した時
の損失が大きいので、
最小損失基準に基づ
く識別ではC2と判定
損失
L12 × P(C1|x)
L22 × P(C2|x)

P(病気|x)
r(健康|x)
P(健康|x)
r(病気|x)
健康と識別
病気と識別
損失の定義による識別境界の移動
•  図3.2 (p28) 参考
•  健康（C1）と病気（C2）に対して、「健康な人を病気と判断する
時の損失が大きい」損失行列を定義
•  識別境界が左方に移動し、健康と判断されにくくなる。
L11 L12
L21 L22
!
"
#
#
$
%
&
&
=
0 2
0.5 0
!
"
#
$
%
&
k=1
K
∑

3.1.6 リジェクト
•  リジェクトはどのような目的で行うか？
•  リジェクトの判断を実際にどのように行うか？

リジェクトの概念
• 誤り率の大きな領域で判断を避ける（リジェクトする）
•  ε(x) ＞＝ t なる x の領域
•  t ：しきい値
• リジェクトを含めた識別規則
•  最大事後確率が 1-t より大きい場合、識別を行う
•  全てのクラスの事後確率が1-t 以下の場合リジェクト
• 例：t = 0.3, K=3 の場合の事後確率と識別結果
No
P(C1 | x)
P(C2 | x)
P(C3 | x)
識別結果
①
0.1
0.1
0.8
C3
②
0.5
0.2
0.3
リジェクト
③
0.9
0.07
0.03
C1
どのクラスに
識別しても誤
り率は0.3 を
超える

リジェクト率と（誤）認識率の関係
• 認識率
•  [正答数] / （[全テストデータ数] – [リジェクトされたデータ数]）
• 誤識別率
•  [誤り数] / （[全テストデータ数] – [リジェクトされたデータ数]）
•  しきい値との関係
•  しきい値を下げるとリジェクト率が上がる
•  しきい値を下げる（リジェクト率が上がる）と認識率は上がり、誤認識率
は下がる。

ありがとうございました！

20130716 はじパタ３章前半ベイズの識別規則

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 20130716 はじパタ３章前半ベイズの識別規則

Similar to 20130716 はじパタ３章前半ベイズの識別規則 (20)

Recently uploaded

Recently uploaded (9)