SlideShare a Scribd company logo
1 of 33
Download to read offline
特徴の評価とベイズ誤り確率



  id:yokkuns 里 洋平

  パターン認識勉強会




                    1
目次
●
    特徴の評価
●
    クラス内分散・クラス間分散比
●
    ベイズ誤り率とは




                     2
目次
●
    特徴の評価
●
    クラス内分散・クラス間分散比
●
    ベイズ誤り率とは




                     3
認識性能の改善
●
    認識性能は、前処理部、特徴抽出部、識別部を含めた認識
    系全体の評価尺度
●
    よて、性能を改善するためには、性能を低下させた原因が
    認識系のどの処理部にあるかを明確にする必要がある
                       識別部


    5   前処理部   特徴抽出部    識別演算部   5




                         識別辞書


                                4
例1
          ●
              特徴空間上で、二つの
              クラスが完全に分離し
ω1
              てる

     ω2




                           5
例1
          ●
              特徴空間上で、二つの
              クラスが完全に分離し
ω1
              てるのに認識性能が悪
              い
     ω2




                           6
例1
          ●
              特徴空間上で、二つの
              クラスが完全に分離し
ω1
              てるのに認識性能が悪
              い
     ω2



              原因は、特徴抽出部で
              はなく、識別部

                           7
例2
          ●
              特徴空間上で、二つの
              クラスが完全に重なっ
ω1
              ていて性能がわるい
     ω2




                           8
例2
          ●
              特徴空間上で、二つの
              クラスが完全に重なっ
ω1
              ていて性能がわるい
     ω2


              原因は、識別部ではな
              く、特徴抽出部



                           9
特徴抽出部の設計
●
    あらかじめ特徴の評価を行うことが重要
●
    特徴が適切でなければ高精度の認識系は実現で
    きない。
●
    特徴の良し悪しはクラス間分離能力によって評
    価できる。




                         10
特徴抽出部の設計
●
    あらかじめ特徴の評価を行うことが重要
●
    特徴が適切でなければ高精度の認識系は実現で
    きない。
●
    特徴の良し悪しはクラス間分離能力によって評
    価できる。



    クラス内分散・クラス間分散比

                         11
目次
●
    特徴の評価
●
    クラス内分散・クラス間分散比
●
    ベイズ誤り率とは




                     12
クラス間の分離の精度
●
    特徴空間上で以下のようになるのが望ましい
     –   同じクラス   : なるべく接近
     –   異なるクラス : なるべく離れる




●
    クラス内分散・クラス間分散比


                            13
クラス内分散・クラス間分散比
●
    クラス内分散 - クラス内の平均的な広がり




●
    クラス間分散 – クラス間の広がり




●
    クラス内分散・クラス間分散比




                            14
欠点
●
    多クラスの問題に対しては、必ずしも実際の分
    布の分離度を反映していない
     –   例)以下の Jσ の値は等しい




                           15
欠点
●
    Jσ がクラス間の距離だけを見ていて分布の重
    なりを評価していないため
●
    全体の分離度を平均的に評価するため、クラス
    の対で見た時の分離度が反映されない




                             16
欠点
●
    Jσ がクラス間の距離だけを見ていて分布の重
    なりを評価していないため
●
    全体の分離度を平均的に評価するため、クラス
    の対で見た時の分離度が反映されない


    分布の重なり具合を調べる必要がある




                             17
欠点
●
    Jσ がクラス間の距離だけを見ていて分布の重
    なりを評価していないため
●
    全体の分離度を平均的に評価するため、クラス
    の対で見た時の分離度が反映されない


    分布の重なり具合を調べる必要がある



    ベイズ誤り確率
                             18
目次
●
    特徴の評価
●
    クラス内分散・クラス間分散比
●
    ベイズ誤り率とは




                     19
ベイズ誤り確率
●
    特徴空間上での分布の重なり
●
    特徴抽出系によってもたらされる必然的な誤り

    (例)ある地点を通過する通行人を観察し、それが男性で
    あるか女性であるかを機会で自動判別
      –   身長、体重、音声などの特徴が抽出出来ればある程度判
           別出来るが、 100% は無理
      –   これらの特徴を用いた特徴空間上では、男女の分布は互
           いに重なり合っている


                                 20
定式化 1
まず、 2 クラスの場合で考える。




ベイズの定理より、以下が成り立つ




                    21
定式化 2
ある x に対する誤り確率は、




                    22
定式化 2
ある x に対する誤り確率は、




起こりうる全ての x に対する誤り確率は、




                        23
定式化 2
ある x に対する誤り確率は、




起こりうる全ての x に対する誤り確率は、



Pe を最小にするには、 P(ω1|x) 、 P(ω2|x) の小さい方が選ばれる
ような判定方法を取ればよい、すなわち




                                      24
定式化 2
ある x に対する誤り確率は、




起こりうる全ての x に対する誤り確率は、



Pe を最小にするには、 P(ω1|x) 、 P(ω2|x) の小さい方が選ばれる
ような判定方法を取ればよい、すなわち


                              ベイズ決定則

                                      25
定式化 3
Pe(x) の最小値を eB(x) で表すと




                         26
定式化 3
Pe(x) の最小値を eB(x) で表すと
                         条件付きベイズ誤り確率




                                       27
定式化 3
Pe(x) の最小値を eB(x) で表すと
                         条件付きベイズ誤り確率



Pe の最小値を eB で表すと




                                       28
定式化 3
Pe(x) の最小値を eB(x) で表すと
                         条件付きベイズ誤り確率



Pe の最小値を eB で表すと



                           ベイズ誤り確率




                                       29
定式化 4
eB は、以下のようにもかける




上式は、 P(ωi|x) が識別関数として使える事を示している。




                                   30
定式化 4
eB は、以下のようにもかける




上式は、 P(ωi|x) が識別関数として使える事を示している。




                  ベイズ識別関数




                                   31
まとめ
●
    高精度の認識系は実現するためには、あらかじ
    め特徴の評価を行うことが重要
●
    ベイズ誤り確率が特徴を評価する上で重要




                          32
参考文献
●
    わかりやすいパターン認識




                   33

More Related Content

What's hot

今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシンShinya Shimizu
 
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知Yuto Mori
 
わかりやすいパターン認識_2章
わかりやすいパターン認識_2章わかりやすいパターン認識_2章
わかりやすいパターン認識_2章weda654
 
Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向Motokawa Tetsuya
 
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説Shiga University, RIKEN
 
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチMIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチHironobu Fujiyoshi
 
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-Shiga University, RIKEN
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明Haruka Ozaki
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門tmtm otm
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2matsuolab
 
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?Fumihiko Takahashi
 
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...西岡 賢一郎
 
GAN(と強化学習との関係)
GAN(と強化学習との関係)GAN(と強化学習との関係)
GAN(と強化学習との関係)Masahiro Suzuki
 
はじパタ6章前半
はじパタ6章前半はじパタ6章前半
はじパタ6章前半T T
 
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2Kota Matsui
 
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)Kota Mori
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習Deep Learning JP
 

What's hot (20)

今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
 
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
 
わかりやすいパターン認識_2章
わかりやすいパターン認識_2章わかりやすいパターン認識_2章
わかりやすいパターン認識_2章
 
Optimizer入門&最新動向
Optimizer入門&最新動向Optimizer入門&最新動向
Optimizer入門&最新動向
 
因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説因果探索: 基本から最近の発展までを概説
因果探索: 基本から最近の発展までを概説
 
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチMIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
 
統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-統計的因果推論への招待 -因果構造探索を中心に-
統計的因果推論への招待 -因果構造探索を中心に-
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明
 
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
 
PRML 第4章
PRML 第4章PRML 第4章
PRML 第4章
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2
 
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
 
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
 
GAN(と強化学習との関係)
GAN(と強化学習との関係)GAN(と強化学習との関係)
GAN(と強化学習との関係)
 
ELBO型VAEのダメなところ
ELBO型VAEのダメなところELBO型VAEのダメなところ
ELBO型VAEのダメなところ
 
はじパタ6章前半
はじパタ6章前半はじパタ6章前半
はじパタ6章前半
 
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
 
正準相関分析
正準相関分析正準相関分析
正準相関分析
 
統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)統計的学習の基礎 5章前半(~5.6)
統計的学習の基礎 5章前半(~5.6)
 
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
 

Viewers also liked

Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight MapsFisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight MapsTakao Yamanaka
 
はじめてのパターン認識勉強会 20130716
はじめてのパターン認識勉強会 20130716はじめてのパターン認識勉強会 20130716
はじめてのパターン認識勉強会 20130716Hiroko Onari
 
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌Ryuji Tamagawa
 
PRML 4.1 Discriminant Function
PRML 4.1 Discriminant FunctionPRML 4.1 Discriminant Function
PRML 4.1 Discriminant FunctionShintaro Takemura
 
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデルTakeshi Sakaki
 
はじめてのパターン認識4章後編
はじめてのパターン認識4章後編はじめてのパターン認識4章後編
はじめてのパターン認識4章後編Tanaka Hidenori
 
はじめてのパターン認識読書会 第四回 前半
はじめてのパターン認識読書会 第四回 前半はじめてのパターン認識読書会 第四回 前半
はじめてのパターン認識読書会 第四回 前半Atsushi Hayakawa
 
はじパタ2章
はじパタ2章はじパタ2章
はじパタ2章tetsuro ito
 
はじめてのパターン認識 第1章
はじめてのパターン認識 第1章はじめてのパターン認識 第1章
はじめてのパターン認識 第1章Prunus 1350
 
見やすいプレゼン資料の作り方 - リニューアル増量版
見やすいプレゼン資料の作り方 - リニューアル増量版見やすいプレゼン資料の作り方 - リニューアル増量版
見やすいプレゼン資料の作り方 - リニューアル増量版MOCKS | Yuta Morishige
 
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話Ryota Kamoshida
 

Viewers also liked (11)

Fisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight MapsFisher線形判別分析とFisher Weight Maps
Fisher線形判別分析とFisher Weight Maps
 
はじめてのパターン認識勉強会 20130716
はじめてのパターン認識勉強会 20130716はじめてのパターン認識勉強会 20130716
はじめてのパターン認識勉強会 20130716
 
20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌20160708 データ処理のプラットフォームとしてのpython 札幌
20160708 データ処理のプラットフォームとしてのpython 札幌
 
PRML 4.1 Discriminant Function
PRML 4.1 Discriminant FunctionPRML 4.1 Discriminant Function
PRML 4.1 Discriminant Function
 
2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル2014.01.23 prml勉強会4.2確率的生成モデル
2014.01.23 prml勉強会4.2確率的生成モデル
 
はじめてのパターン認識4章後編
はじめてのパターン認識4章後編はじめてのパターン認識4章後編
はじめてのパターン認識4章後編
 
はじめてのパターン認識読書会 第四回 前半
はじめてのパターン認識読書会 第四回 前半はじめてのパターン認識読書会 第四回 前半
はじめてのパターン認識読書会 第四回 前半
 
はじパタ2章
はじパタ2章はじパタ2章
はじパタ2章
 
はじめてのパターン認識 第1章
はじめてのパターン認識 第1章はじめてのパターン認識 第1章
はじめてのパターン認識 第1章
 
見やすいプレゼン資料の作り方 - リニューアル増量版
見やすいプレゼン資料の作り方 - リニューアル増量版見やすいプレゼン資料の作り方 - リニューアル増量版
見やすいプレゼン資料の作り方 - リニューアル増量版
 
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
 

More from Yohei Sato

Tokyor60 r data_science_part1
Tokyor60 r data_science_part1Tokyor60 r data_science_part1
Tokyor60 r data_science_part1Yohei Sato
 
Tokyor60 opening
Tokyor60 openingTokyor60 opening
Tokyor60 openingYohei Sato
 
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組みTokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組みYohei Sato
 
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18Tokyor42_r_datamining_18
Tokyor42_r_datamining_18Yohei Sato
 
Tokyor42 ggplot2
Tokyor42 ggplot2Tokyor42 ggplot2
Tokyor42 ggplot2Yohei Sato
 
Tokyor39 yokkuns
Tokyor39 yokkunsTokyor39 yokkuns
Tokyor39 yokkunsYohei Sato
 
EasyHtmlReportの紹介
EasyHtmlReportの紹介EasyHtmlReportの紹介
EasyHtmlReportの紹介Yohei Sato
 
20131206 japan r
20131206 japan r20131206 japan r
20131206 japan rYohei Sato
 
Tokyor35 人工データの発生
Tokyor35 人工データの発生Tokyor35 人工データの発生
Tokyor35 人工データの発生Yohei Sato
 
ドリコムの分析環境とデータサイエンス活用事例
ドリコムの分析環境とデータサイエンス活用事例ドリコムの分析環境とデータサイエンス活用事例
ドリコムの分析環境とデータサイエンス活用事例Yohei Sato
 
R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略Yohei Sato
 
Rでレポートメール
RでレポートメールRでレポートメール
RでレポートメールYohei Sato
 
Rで階層ベイズモデル
Rで階層ベイズモデルRで階層ベイズモデル
Rで階層ベイズモデルYohei Sato
 
Rでピボットテーブル
RでピボットテーブルRでピボットテーブル
RでピボットテーブルYohei Sato
 
第3回Japan rパネルディスカッション
第3回Japan rパネルディスカッション第3回Japan rパネルディスカッション
第3回Japan rパネルディスカッションYohei Sato
 
Tokyor26 data fusion
Tokyor26 data fusionTokyor26 data fusion
Tokyor26 data fusionYohei Sato
 
Tokyor24 yokkuns
Tokyor24 yokkunsTokyor24 yokkuns
Tokyor24 yokkunsYohei Sato
 
Tokyowebmining19 data fusion
Tokyowebmining19 data fusionTokyowebmining19 data fusion
Tokyowebmining19 data fusionYohei Sato
 
傾向スコア解析とUplift Modelling
傾向スコア解析とUplift Modelling傾向スコア解析とUplift Modelling
傾向スコア解析とUplift ModellingYohei Sato
 
Complex network ws_percolation
Complex network ws_percolationComplex network ws_percolation
Complex network ws_percolationYohei Sato
 

More from Yohei Sato (20)

Tokyor60 r data_science_part1
Tokyor60 r data_science_part1Tokyor60 r data_science_part1
Tokyor60 r data_science_part1
 
Tokyor60 opening
Tokyor60 openingTokyor60 opening
Tokyor60 opening
 
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組みTokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み
 
Tokyor42_r_datamining_18
Tokyor42_r_datamining_18Tokyor42_r_datamining_18
Tokyor42_r_datamining_18
 
Tokyor42 ggplot2
Tokyor42 ggplot2Tokyor42 ggplot2
Tokyor42 ggplot2
 
Tokyor39 yokkuns
Tokyor39 yokkunsTokyor39 yokkuns
Tokyor39 yokkuns
 
EasyHtmlReportの紹介
EasyHtmlReportの紹介EasyHtmlReportの紹介
EasyHtmlReportの紹介
 
20131206 japan r
20131206 japan r20131206 japan r
20131206 japan r
 
Tokyor35 人工データの発生
Tokyor35 人工データの発生Tokyor35 人工データの発生
Tokyor35 人工データの発生
 
ドリコムの分析環境とデータサイエンス活用事例
ドリコムの分析環境とデータサイエンス活用事例ドリコムの分析環境とデータサイエンス活用事例
ドリコムの分析環境とデータサイエンス活用事例
 
R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略R言語で学ぶマーケティング分析 競争ポジショニング戦略
R言語で学ぶマーケティング分析 競争ポジショニング戦略
 
Rでレポートメール
RでレポートメールRでレポートメール
Rでレポートメール
 
Rで階層ベイズモデル
Rで階層ベイズモデルRで階層ベイズモデル
Rで階層ベイズモデル
 
Rでピボットテーブル
RでピボットテーブルRでピボットテーブル
Rでピボットテーブル
 
第3回Japan rパネルディスカッション
第3回Japan rパネルディスカッション第3回Japan rパネルディスカッション
第3回Japan rパネルディスカッション
 
Tokyor26 data fusion
Tokyor26 data fusionTokyor26 data fusion
Tokyor26 data fusion
 
Tokyor24 yokkuns
Tokyor24 yokkunsTokyor24 yokkuns
Tokyor24 yokkuns
 
Tokyowebmining19 data fusion
Tokyowebmining19 data fusionTokyowebmining19 data fusion
Tokyowebmining19 data fusion
 
傾向スコア解析とUplift Modelling
傾向スコア解析とUplift Modelling傾向スコア解析とUplift Modelling
傾向スコア解析とUplift Modelling
 
Complex network ws_percolation
Complex network ws_percolationComplex network ws_percolation
Complex network ws_percolation
 

第5回パターン認識勉強会

  • 1. 特徴の評価とベイズ誤り確率 id:yokkuns 里 洋平 パターン認識勉強会 1
  • 2. 目次 ● 特徴の評価 ● クラス内分散・クラス間分散比 ● ベイズ誤り率とは 2
  • 3. 目次 ● 特徴の評価 ● クラス内分散・クラス間分散比 ● ベイズ誤り率とは 3
  • 4. 認識性能の改善 ● 認識性能は、前処理部、特徴抽出部、識別部を含めた認識 系全体の評価尺度 ● よて、性能を改善するためには、性能を低下させた原因が 認識系のどの処理部にあるかを明確にする必要がある 識別部 5 前処理部 特徴抽出部 識別演算部 5 識別辞書 4
  • 5. 例1 ● 特徴空間上で、二つの クラスが完全に分離し ω1 てる ω2 5
  • 6. 例1 ● 特徴空間上で、二つの クラスが完全に分離し ω1 てるのに認識性能が悪 い ω2 6
  • 7. 例1 ● 特徴空間上で、二つの クラスが完全に分離し ω1 てるのに認識性能が悪 い ω2 原因は、特徴抽出部で はなく、識別部 7
  • 8. 例2 ● 特徴空間上で、二つの クラスが完全に重なっ ω1 ていて性能がわるい ω2 8
  • 9. 例2 ● 特徴空間上で、二つの クラスが完全に重なっ ω1 ていて性能がわるい ω2 原因は、識別部ではな く、特徴抽出部 9
  • 10. 特徴抽出部の設計 ● あらかじめ特徴の評価を行うことが重要 ● 特徴が適切でなければ高精度の認識系は実現で きない。 ● 特徴の良し悪しはクラス間分離能力によって評 価できる。 10
  • 11. 特徴抽出部の設計 ● あらかじめ特徴の評価を行うことが重要 ● 特徴が適切でなければ高精度の認識系は実現で きない。 ● 特徴の良し悪しはクラス間分離能力によって評 価できる。 クラス内分散・クラス間分散比 11
  • 12. 目次 ● 特徴の評価 ● クラス内分散・クラス間分散比 ● ベイズ誤り率とは 12
  • 13. クラス間の分離の精度 ● 特徴空間上で以下のようになるのが望ましい – 同じクラス : なるべく接近 – 異なるクラス : なるべく離れる ● クラス内分散・クラス間分散比 13
  • 14. クラス内分散・クラス間分散比 ● クラス内分散 - クラス内の平均的な広がり ● クラス間分散 – クラス間の広がり ● クラス内分散・クラス間分散比 14
  • 15. 欠点 ● 多クラスの問題に対しては、必ずしも実際の分 布の分離度を反映していない – 例)以下の Jσ の値は等しい 15
  • 16. 欠点 ● Jσ がクラス間の距離だけを見ていて分布の重 なりを評価していないため ● 全体の分離度を平均的に評価するため、クラス の対で見た時の分離度が反映されない 16
  • 17. 欠点 ● Jσ がクラス間の距離だけを見ていて分布の重 なりを評価していないため ● 全体の分離度を平均的に評価するため、クラス の対で見た時の分離度が反映されない 分布の重なり具合を調べる必要がある 17
  • 18. 欠点 ● Jσ がクラス間の距離だけを見ていて分布の重 なりを評価していないため ● 全体の分離度を平均的に評価するため、クラス の対で見た時の分離度が反映されない 分布の重なり具合を調べる必要がある ベイズ誤り確率 18
  • 19. 目次 ● 特徴の評価 ● クラス内分散・クラス間分散比 ● ベイズ誤り率とは 19
  • 20. ベイズ誤り確率 ● 特徴空間上での分布の重なり ● 特徴抽出系によってもたらされる必然的な誤り (例)ある地点を通過する通行人を観察し、それが男性で あるか女性であるかを機会で自動判別 – 身長、体重、音声などの特徴が抽出出来ればある程度判 別出来るが、 100% は無理 – これらの特徴を用いた特徴空間上では、男女の分布は互 いに重なり合っている 20
  • 21. 定式化 1 まず、 2 クラスの場合で考える。 ベイズの定理より、以下が成り立つ 21
  • 22. 定式化 2 ある x に対する誤り確率は、 22
  • 23. 定式化 2 ある x に対する誤り確率は、 起こりうる全ての x に対する誤り確率は、 23
  • 24. 定式化 2 ある x に対する誤り確率は、 起こりうる全ての x に対する誤り確率は、 Pe を最小にするには、 P(ω1|x) 、 P(ω2|x) の小さい方が選ばれる ような判定方法を取ればよい、すなわち 24
  • 25. 定式化 2 ある x に対する誤り確率は、 起こりうる全ての x に対する誤り確率は、 Pe を最小にするには、 P(ω1|x) 、 P(ω2|x) の小さい方が選ばれる ような判定方法を取ればよい、すなわち ベイズ決定則 25
  • 26. 定式化 3 Pe(x) の最小値を eB(x) で表すと 26
  • 27. 定式化 3 Pe(x) の最小値を eB(x) で表すと 条件付きベイズ誤り確率 27
  • 28. 定式化 3 Pe(x) の最小値を eB(x) で表すと 条件付きベイズ誤り確率 Pe の最小値を eB で表すと 28
  • 29. 定式化 3 Pe(x) の最小値を eB(x) で表すと 条件付きベイズ誤り確率 Pe の最小値を eB で表すと ベイズ誤り確率 29
  • 30. 定式化 4 eB は、以下のようにもかける 上式は、 P(ωi|x) が識別関数として使える事を示している。 30
  • 31. 定式化 4 eB は、以下のようにもかける 上式は、 P(ωi|x) が識別関数として使える事を示している。 ベイズ識別関数 31
  • 32. まとめ ● 高精度の認識系は実現するためには、あらかじ め特徴の評価を行うことが重要 ● ベイズ誤り確率が特徴を評価する上で重要 32
  • 33. 参考文献 ● わかりやすいパターン認識 33