6. 鏡像を考慮した単峰ガウス分布と部分空間法
部分空間法
学習 驚きの小さい低次元の空間 ´部分空間µ をクラスごとに求める
認識 未知パターンを最も驚き ´誤差µ の小さいクラスへ分類する
h
™˜—–•”“’‘
ƒ‚‰ˆ‡†…uts
€yxwv„
ed
ck1
+ ck 2
+ c jr
=
+ ckr
=
vutˆsp
ƒhˆsqr
onhgf
+ cj2
lll
lll
gf
c j1
5
i
m
‚kj
Á
Á
´½ µ
8. 本講演の要点と部分空間法の開発者
要点 ベイズ決定則と部分空間法との関係を示す² 統計的に拡張
È´
ܵ
È ´ µÔ´Ü
Դܵ
µ
Á ¼ 年以上誰も明文化できなかった²
Á 理論的な改良・拡張が可能に
飯島泰蔵 ´½ ¾ ¹ µ
東京工業大学電気工学科卒
視覚パターン認識に関する統一的基礎理論の構築
超高性能 Ç Ê ËÈ Ì» ½ の研究開発
電総研 ² 東芝による国家プロジェクト ´通産省µ
北陸先端大大学院大学名誉教授等を歴任
Ï ½¾ Í Ü
½½
¾
年間の念願
渡辺慧 ´½ ½¼¹½ ¿µ
東京帝国大学理学部物理学科卒
ド・ブロイのもとでドクトル・デタ ´国家博士µ 取得
エントロピー概念の情報理論への応用 ´シャノンより先µ
ルネサンス人の最後の一人 とも称される
ハワイ大学名誉教授,国際時間学会会長等を歴任
´½ µ
9. 部分空間法の誕生の経緯
Á 飯島先生 テンプレートマッチングの拡張
Á 渡辺先生 エントロピー最小化の枠組みから導出
部分空間法の問題点
Á ベイズ決定則との関連性が不明瞭
È´
ܵ
È ´ µÔ´Ü
Դܵ
µ
これが分かれば・
・
・
Á 部分空間法を深く理解可能に
Á 統計的な側面からの拡張が可能に
´½ µ
11. 鏡像を考慮したガウス分布に対する最尤推定
における多次元ガウス分布
½
½
¾ ´Ü
Æ ´Ü
¦µ
Á
Á
¦ ½´Ü
¢ ½ の母平均
¢ の母分散共分散行列
¦
´¾ µ ¾
¦
½
¾
ÜÔ
µ
µ
これらを与えられた訓練標本だけで最尤推定で推定すると部分空
間法は導出できない
Ü
·
の零元に関する鏡像
Ü
を含めて最尤推定
´¾¼µ
15. 自己相関行列の固有値について考える
´Üµ
£ ¾ Í Ü ¾ È
½
½ ÐÒ
Á 固有値は対応する固有ベクトルに Ü と Ü を正射影したも
のの分散 ´これまでに指摘されていないµ
Á 普通の標本分散共分散行列の固有値よりも大きくなりがち
Á 第二項は全クラスで固有値が等しければ省略可能
·
固有値の値は信頼しないで大小関係のみが重要であると仮定
´統計の分野では良く用いられる仮定µ
´¾ µ
16. 固有値の代わりに Û½
´Üµ
Û¾
Û
¡¡¡
¾
Ï ½ Í Ü
È
¾
¼ を導入
½
½ Û
´Ù
ܵ¾
x
x
0 u
ji
µ
x − (uT x)2
ji
2
uT x
ji
µ
重みの小さな成分を重視
次元削減できない
醜い家鴨の仔の定理
重要な固有ベクトルに対して大きな価値
を与える
´¾ µ
17. ½ Û½ ½ Û ¾ ¡ ¡ ¡ ½ Û
¼ µ Û½ Û¾ ¡ ¡ ¡ Û
¼と
´特徴の持つ価値をµ 変更してマイナスを掛け, Û の大きい次元の
みで分類すれば・
・
・
部分空間法
識別関数
識別則
È
Ö
¾
Ë ´Üµ
Ï¾Í Ü
½ Û ´Ù ܵ
Ë ´Üµ が最大となるクラスへ Ü を分類
½
¾
Û
ここまでの議論で明らかになったことや予想できること
Á 重みが小さい成分を無視できる
Á 重みは非増加であれば何でも良い
Á 零元 ´全クラス共通の原点µ 付近は誤分類が起きやすい
´¾ µ
18. 重みの決め方
Á Ä Á Û ½ ´ ½ Öµ
Á 複合類似度 Û
½
Á 本発表 Û Ö · ½ ´ ½
Öµ
weight value
CLAFIC
proposed
multiple
similarity
dimensionality
r
´¾ µ
19. なぜ直線でよいのか?
Ë ´Üµ
Ö
½
´Ö · ½µ´Ù
Ö ´Ù
Ö
½
½
ܵ¾
ܵ¾ · ´Ö ½µ´Ù ¾Üµ¾ · ¡ ¡ ¡ · ´Ù Ö Üµ¾
´Ù
ܵ¾ ·
Ö ½
½
´Ù
ܵ¾ · ¡ ¡ ¡ · ´Ù ½ ܵ¾
Á 重みの大きい成分の強調と重みの小さい成分の抑制
Á 部分空間の次元ごとの類似度の総和
Á テンプレートベースのアンサンブル学習
´¾ µ
20. 手書き数字 ÅÆÁËÌ を用いた実験
98
mean class accuracy [%]
linear subspace classifier
96
94
CLAFIC
92
multiple similarity
90
88
0
50
100
dimensionality
150
200
r
Á 横軸が部分空間の次元数 Ö,縦軸がクラス平均認識率
Á 飯島・渡辺方式よりも認識率が高く Ö に敏感でない
´¾ µ
24. 複合決定問題 ´
ÓÑÔÓÙÒ
È´
Ý× Ò
µ
ÈÈ È
Ô
´ µ ´
× ÓÒ ÔÖÓ Ð Ñµ
µ
Ô
´ µ ´
µ
Ü Ü¾
Á 連続して観測された Ò 個の標本
Á Ò 個の状態 ´
ÓÒØ Üص
´ ´½µ
´ ½
¡¡¡
Ü
Òµ
Ò
´ µµ
各 Ü に対応する ´ µ を統計的独立性を仮定しないで決定する問題
yx w
|{z
|{z
yx w
大阪府環境農林水産総合研究所
´¿¿µ
25. 複合決定問題 ´
ÓÑÔÓÙÒ
È´
µ
Ý× Ò
ÈÈ È
Ô
´ µ ´
× ÓÒ ÔÖÓ Ð Ñµ
Ô
´ µ ´
µ
µ
Á の組み合わせが
Ò もある
Á Ô´
µ の推定も困難
·
下記の仮定と鏡像を含むガウス分布を用いて三種類の Ë
を導出
Á Ü が全て同じクラスに由来すると仮定
Á 一つの未知標本から Ì 個の特徴量を抽出した場合
Á 上記の組み合わせ
´¿ µ
26. 複数の未知標本を分類するための
Ò 個の ܽ
Ë
ÜÒ が同じクラスに由来し, º º
È´ µ
È´
µ
Ò
È´ µ
Ô´Ü
½
Ò
½
½
º に従うと仮定
µ
Ô´Ü
µ
クラス毎に鏡像を含めた単峰ガウス分布を用いれば
複数の同じクラスに由来する未知標本を分類するための部分空間法
Ë
´ µ
Ò
Ö
¾
Ð ´Ù Ð Ü µ
Ò
Û
½
Ð ½
½
Ï ½¾ Í Ü
¾
Ò
Ë
½
´Ü µ
´¿ µ
27. 複数の特徴量に基づく
Ë
Ü から Ì 種類の特徴量が抽出された時
È´ µ
È´
µ
Ì
È´ µ
½
Ô ´
½
Ì
Ü
Ô ´
½
µ
Ü
µ
¡
特徴量 クラスごとに鏡像を含めた単峰ガウス分布を用いれば
複数の特徴量を用いて分類するための部分空間法 ´ 毎に正規化必要µ
´ µ
Ö
Ì
д
Û
½
Ð ½
٠Рܵ¾
Ì
½
½
Ͼ Í Ü ¾
Ì
Ë
½
´
ܵ
´¿ µ
28. Ë
複数標本 ¡ 特徴量に基づく
Ò 個の未知標本
から Ì 種類の特徴量が抽出された時
È´ µ
È´
µ
Ì
È´ µ
Ò
½
Ô ´
½
Ò
½
Ì
Ô ´
½
½
Ü
µ
Ü
µ
¡
特徴量 クラスごとに鏡像を含めた単峰ガウス分布を用いれば
複数の未知標本を複数の特徴量を用いて分類するための部分空間法
´ µ
Ì
Ò
Ë
½
½
´
ܵ
´¿ µ
29. Á
Á
Á
Á
Á
Á
Á
Á
Á
未知画像は ½ 枚,訓練画像は
ÁÅ
¿¼ まで 刻みで変化,ÊÇÁ,Ë Ä Á 有
¿¾ ¢ ¿¾ ´Ô Ü Ð モノクロµ 画像の輝度値
¿¾ ¢ ¿¾ 画像のエッジ強度
ÀÇ ½ ¼
ÀÇ ¿ ¼
¢
¢
ÈÀÇ ½ ¼ ½¾
ÈÀÇ ¿ ¼ ½¾
画像の ½ ¼ 度 ÀÇ
画像の ¿ ¼ 度 ÀÇ
¢ ½¾
¢ ½¾
画像の ½ ¼ 度 ÈÀÇ
´平方根変換µ
画像の ¿ ¼ 度 ÈÀÇ
´平方根変換µ
ËË ¿¾ ¢ ¿¾ 画像の × Ð ¹× Ñ Ð Ö ØÝ 特徴量
ÁËÌ ½¾
¢ ½¾
画像の
×Ø 特徴量
´¿ µ