(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用

15/12/22
〜サーベイ〜
Modified Quadratic Discriminant Function
とその応用
A Survey of Modified Quadratic Discriminant
Function and its Application
三重大学大学院工学研究科
寺田智貴，大山航，若林哲史，木村文隆
パターン認識・メディア理解研究会（信州大学）

〜Modified Quadratic Discriminant Functionとその応用〜
Agenda
15/12/22(2)
1. 背景
2. MQDFの導出
• 2次識別関数の導出と問題点
• MQDFの導出と性能
3. MQDFの改良，応用手法
• Discriminative Learningとの組み合わせ
• Importance Samplingとの併用
• 共分散行列のSmoothingによる認識精度向上
• 辞書サイズの削減
• その他
4. まとめ

背景
15/12/22(3)

〜Modified Quadratic Discriminant Functionとその応用〜15/12/22(4)
• MQDFは手書き文字認識の認識性能向上に
大きく寄与した技術
– 現在でも手書き漢字認識における中心的技術
– 多くの改良手法や応用手法が提案されている．
• Chinese Handwriting Recognition Competition
– Offline Isolate Character Recognition
手書き漢字認識はMQDF or CNN
ICDAR2011:4/6チーム
ICDAR2013:3/5チーム
背景

背景
15/12/22(5)
1987 20151990 2000 2005 2010
Kimura et al, “MQDF” C.-L. Liu et al, “Discriminative Learning QDF”
Y. Wang et al, “Sample-Separation-Margin based MCE training”
T.H. Su et al, “Perceptron Learning of MQDF”
S. Lu et al, “Cost-sensitive MQDF”
Q. Fu et al, “Cascade MQDF”
Q. Fu et al, “Boosted MQDF”
Y. Wang et al, “Importance Sampling based MQDF”
武部 et al, “学習擬似ベイズ”
X.Y. Zhang et al, “Locally Smoothed MQDF”
Friedman, “Regularized Discriminant Analysis”
T. Long et al, “Compact MQDF”
勝山 et al, “Hybrid Compact MQDF”
G. Pengcheng et al, “SH-MQDF”
織田 et al, “MQDFの調査”
D. Yang et al, “Kernel MQDF”
K. Ding et al, “Incremental Learning of MQDF”
Y. Wang et al, “MQDF-CNN Hybrid”
Y. Wang et al, “MQDF Discriminative Learning”

背景
15/12/22(6)
• MQDFの改良・応用・発展手法として数多くの
提案がされているが網羅的サーベイは
存在しない．
• 本発表ではMQDFを基点として，その後の
識別手法の改良・応用・発展について紹介する．
– MQDFを識別器として用いて応用する手法は
対象外とする．（例えばMQDFを識別器として用い
て多言語文字認識を実現する手法）

2次識別関数の導出と問題点
15/12/22(7)
• 2次識別関数の導出
クラスωiにおけるxの確率密度関数
クラスωiの事前確率xの確率密度関数
クラスωiの事後確率
全クラスに共通なので省略
確率密度関数が多次元正規分布に従う場合
ベイズ決定則を用いてCクラス分類問題を定式化

15/12/22(8)
2次識別関数
に対して対数を取り，符号を反転
2次識別関数の決定則

15/12/22(9)
• 2次識別関数の性質
以下の条件を満たす時，平均誤り確率が最小と
なる最適識別関数
各クラスの確率密度関数が多次元正規分布に従う．
平均ベクトル，共分散行列が既知
• 2次識別関数の問題
1) 標本推定量の推定誤差のために誤り確率が増加する．
2) ピーキング現象が発生する．
3) 各クラスの平均ベクトルと共分散行列を記憶するために
必要な容量が多く，計算量も多い．
未知であり，標本推定量を使用

MQDFの導出と性能
15/12/22(10)
• Regularized Discriminant Analysis(Friedman, 1989)
① 共分散行列の正則化（推定誤差軽減）
一種の擬似ベイズ推定量
② 正則化2次識別関数
トレードオフパラメータ

15/12/22(11)
• 2次識別関数の固有値・固有ベクトル表現
降順に並べたの固有値
固有値と対応するように並べた
の固有ベクトル
共分散行列の固有値分解

15/12/22(12)
• 正則化識別関数からのMQDFの導出
– 正則化2次識別関数の計算量・記憶容量の削減
 でと仮定すると
MQDFの決定則
MQDF

15/12/22(13)
• MQDFの導出（IEEE Trans. PAMI, 1987)
MQDFの決定則
MQDF
におけるをで置換

15/12/22(14)
• 共分散行列の推定量
– Parzen window法を用いた一種の擬似ベイズ
推定量とみなせる．→擬似ベイズ識別関数

15/12/22(15)
• パラメータの決定
用いる固有ベクトルの数k
トレードオフパラメータα
 予備実験により最適な値を決定
置き換えのための値
 予備実験により最適な値を決定
 全クラス全固有値の平均
 k番目の固有値
 Monghaddam et al, 1997
 加藤 et al, 1998

15/12/22(16)
• MQDFの性能
1) 2次識別関数と比べて高い識別性能
共分散行列として擬似ベイズ推定量を用いる．
共分散行列が未知の場合の最適識別関数に近い．
2) ピーキング現象が発生しにくい．
3) 計算量および記憶容量の大幅な削減
4) 文字認識における非文字棄却性能が高い．
確率密度関数を用いていることに起因
5) 新たなクラスが追加されるような問題に対して
容易に適用ができる．
6) 少サンプル問題に対して有効

MQDFの改良，応用手法
15/12/22(17)
Kimura et al, “MQDF”, 1987
B.-H. Juang et al, “Minimum Classification Error”, 1992
C.-L. Liu et al, “Discriminative Learning QDF”, 2004
C.-L, Liu et al, “LQDF”, 2002 R.Zhang et al, “MCE training MQDF”, 2002
T.H. Su et al, “Perceptron Learning of MQDF”, 2011
S. Lu et al, “Cost-sensitive MQDF”, 2015
+misclassification cost
+perceptron learning
+GPU implementation
+MCE training based MQDF
+MCE training based MQDF
Y. Wang et al, “Sample-Separation-Margin based MCE training”, 2010
+sample-separation-margin
M.-K. Zhou et al, “GPU-Based Fast Training DLQDF”, 2013
MCE training
Discriminative Learningとの組み合わせ

15/12/22(18)
• Minimum Classification Error(B.-H. Juang et al, 1992)
– 多クラス分類における最小分類誤り確率状態達成を
直接的に目指した識別関数学習法
– MCE学習は誤認識率を表す評価関数がパラメータ
集合に関する連続関数として与えられるため，
通常の降下法によって最適化問題を解くことができる．
MQDFに適用可能
これまでMCE学習によるMQDFの認識性能向上手法が
数々提案されている．

15/12/22(19)
① 誤認識率を関数表現するため
パターンベクトルxに対する誤分類尺度を定義
 の時
① 誤分類尺度を損失関数に変換
識別関数
識別関数のパラメータ集合
平滑化パラメータ
クラスωi以外で
最大となるクラスの識別関数値
正認識の場合
誤認識の場合

15/12/22(20)
③ 学習サンプル集合に対する損失関数の期待値は
 誤認識率の最小化問題は識別関数のパラメータに関して
滑らかな評価関数の最小化問題として定義される．
④ 最急降下法を用いた場合，以下の式でパラメータ
を更新，最適化
指標関数

15/12/22(21)
• Discriminative Learning QDF(C.-L. Liu et al, 2002, 2004)
– MCE学習をMQDFに適用
固有値が常に正となることを保証するために変数変換
① 誤分類尺度を定義
① 損失関数を定義
識別関数のパラメータ

15/12/22(22)
③ 学習サンプル集合に対する損失関数の期待値
③ 確率的勾配降下法により学習サンプル一つごとに
パラメータを更新，最適化
最尤推定による悪影響を軽減するための
正則化項
正則化係数

15/12/22(23)
C.-L. Liu et al, 2004より引
用
NISTにおける識別器の
認識性能の比較実験
合成した非文字における
識別器の非文字棄却性能の比較実験
全てのサンプルを更新した
DLQDF
MQDF
DLQDF
MQDF

15/12/22(24)
• GPU-Fast Training(M.-K. Zhou et al, 2013)
– GPU実装による高速化
– 学習用データが十分にあるとき，MCE学習による
認識性能の向上が大きい．
Data Augmentationが効果的

15/12/22(25)
• Sample Separation Margin based MCE(Y. Wang et al, 2010)
– 識別境界付近のサンプルを識別境界から遠ざける
識別境界
パターンxと識別境界との距離
Sample Separation Marginの定義
損失関数
オンライン手書き中国語文字認識における比較実験
平均ベクトル
のみを更新

15/12/22(26)
• Perceptron Learning of MQDF(T.-H. Su et al, 2011)
– 誤分類するデータのみを用いる
– MCE学習:0/1損失，パーセプトロン学習:ヒンジ損失
誤分類尺度
目的関数
MNISTにおける比較実験 USPSにおける比較実験
適応的なマージンによる正則化

15/12/22(27)
• Cost-sensitive MQDF(S. Lu et al, 2015)
– 手書き中国語住所認識における
Class Imbalance Problemを解決
損失関数に誤分類コストを組み込む
損失関数の期待値
クラスωiの発生頻度
(クラスωiのデータ数/総住所データ数)
手書き中国語住所データセットにおける比較実験

15/12/22(28)
Y. Wang et al, “Importance Sampling based MQDF”, 2015
Q. Fu et al, “Cascade MQDF”, 2007
+カスケード
+Importance Sampling, MCE
Y. Wang et al, “MQDF Discriminative Learning”, 2011
+sample importance weight
+adaboost
Q. Fu et al, “Boosted MQDF”, 2008
generalized recognition confidence
Y. Wang et al, “MQDF Retrained on Selected Sample Set”, 2011
+識別境界付近のサンプルで再学習
X.Lin et al, “Adaptive confidence transform”, 1998
Importance Samplingとの併用

15/12/22(29)
• アイデア
– 識別境界付近のサンプル・誤分類するサンプル
は汎化性能の高い識別境界を構築するにあたり
他のサンプルと比べてより重要な情報を与える
– パラメータ推定時に，Importance Samplingの
枠組みを適用
SVMによる2次元データの分類の例
(http://arx.ee.utsunomiya-u.ac.jp/research/svm/)から引用
識別モデルであるSVMにおいて分離超平面の決定に寄与
するのはサポートベクターのみ

15/12/22(30)
• MQDFのパラメータは付与された重みの下で
以下の式で計算される．

15/12/22(31)
• Rejection sampling strategyによる推定
– generalized recognition confidenceを用いた
サンプル選択
– しきい値以下のサンプルを用いて再学習
Training Set
Level 1
Training Set
Level 2
Training Set
Level N
MQDF
Level 1
MQDF
Level 2
MQDF
Level N
Training with
MLE
Training with
MLE
Training with
MLE
Testing Testing
Cascade Cascade Cascade
Sample
selection
Sample
selection
Sample
selection
・・・
・・・
Cascade MQDFの学習法
選択された全てのサンプルは
同じ重みを持つ．
最も信頼度が高いレベルを選択

15/12/22(32)
• boosting algorithmによる推定

15/12/22(33)
• MCEによる推定
– 損失関数を以下の式で定義
– 最小化すべき目的関数
– を更新
σはMCEで最適化が可能
Y. Wang et al, 2015.より引
用

15/12/22(34)
• Importance Sampling
– サンプリングが容易な分布を用いてある関数
の確率分布の基での期待値評価の精度を向上
importance weight:求めたいものとは異なった分布からサンプリン
グ
することで生じてしまうバイアスを補正する．
サンプリングが容易な提案分布を利用
ある関数
確率分布
確率分布ではサンプリングされにくいサンプルを
提案分布を用いることでサンプリングする．

15/12/22(35)
• Importance Weightをどうするか
正分類
正分類
ライバルクラスとの境界付近
ライバルクラスに誤分類
MQDF値を用いた式に変換
正分類
誤分類
識別境界
正規化項
generalized recognition confidenceの拡張
sample importance weight model function

15/12/22(36)
aSIW MQDF
すべてのサンプルの重みが等しい
rSIW Cascade MQDF
選択されたサンプルの重みが1/K，
それ以外は0
bSIW Boosted MQDF
サンプルの重みを逐次的に更新
iSIW MCE + MQDF
MCEによりサンプルの重みを推定
Y. Wang et al, 2015より引用
Regular
+
Cursive
Regular
Cursive
Cursive
Cursive
Cursive

15/12/22(37)
X.Y. Zhang et al, “Locally Smoothed MQDF”, 2013
武部 et al, “学習擬似ベイズ”, 2002
+差分分布によるsmoothing
+近傍の共分散行列を用いてsmoothing
Friedman, “Regularized Discriminant Analysis”, 1989
共分散行列のsmoothingと正則化
共分散行列のsmoothingによる推定誤差軽減

共分散行列のSmoothingによる認識精度向上
15/12/22(38)
• Regularized Discriminant Analysis(J. Friedman, 1989)
– 2次識別関数において，共分散行列の正則化と
Smoothingを行う．
– パラメータの推定誤差軽減
– 2次識別関数と比較して，大幅な認識性能向上
– β=0のときMQDFの共分散行列の推定量と一致
全クラスの共分散行列の加重和対角要素の和の平均トレードオフパラメータ

15/12/22(39)
• 差分分布を用いたSmoothing(武部 et al, 2002)
– 差分ベクトル集合の統計的性質に文字パターン集
合の変動が反映されると仮定し，共分散行列の
Smoothingを行う．
差分ベクトル
自己相関行列
未知サンプル集合全体を一度認識した後，
正解確率が高いものから求める．
差分分布を用いたSmoothing手法のイメージ図

15/12/22(40)
• Locally Smoothed MQDF(X.Y. Zhang et al, 2013)
– クラスのk個の最近傍クラスの共分散行列を
用いてSmoothingを行う．
– RDAはグローバルなSmoothing手法
LSMQDFは局所的なSmoothing手法
トレードオフパラメータ k個の最近傍クラス

15/12/22(41)
CASIA-HWDB1.1での実験結果
X.Y. Zhang et al, 2013より引用
CASIA-OLHWDB1.1での実験結果
X.Y. Zhang et al, 2013より引用
MQDFにRDA,LSMQDFのSmoothing手法を組み込んだ結果
マルチフォント文書での実験結果
武部 et al, 2002より引用
劣化文書での実験結果
武部 et al, 2002より引用
差分分布によるSmoothing手法を組み込んだ結果

15/12/22(42)
勝山 et al, “Hybrid Compact MQDF”, 2015
T. Long et al, “Compact MQDF”, 2008
G. Pengcheng et al, “SH-MQDF”, 2014
+spectral hashingによるバイナリベクトルを用いる
+類似文字は非圧縮パラメータで分類
Y. Linde et al, “vector quntiization”, 1980
Y. Weiss et al, “Spectral hashing”, 2008
ベクトル量子化
+固有ベクトルをベクトル量子化で圧縮
織田 et al, “MQDFの調査”, 2007
+用いる固有ベクトルの数，次元数と認識率の関係の調査
スペクトラルハッシング
辞書サイズの削減

15/12/22(43)
• MQDFの辞書サイズ
– 辞書サイズの計算式
C=3036, d=392, k=50,データ型をfloatとすると
約243Mバイト
– スマートフォンやタブレットへの搭載には大きすぎる．
– ほとんどを固有ベクトル部分が占める．
固有ベクトル部分だけで約238Mバイト
総クラス数次元数用いる
固有ベクトル数
用いる
固有軸ベクトル数
平均ベクトルの
データ型
固有ベクトルの
データ型
固有値の
データ型

15/12/22(44)
• MQDFの辞書サイズ削減
– 特徴ベクトルの次元数を削減する方法
特徴ベクトルの次元を小さくしすぎると認識性能が低下
d=196の時，約122Mバイト
– 固有ベクトル数kを減らす方法
第5位認識率で比較すると
特徴ベクトルの次元数dと
固有ベクトル数kをかなり小さく
しても認識性能の低下が少ない．
オンライン手書き文字データベースにおけるMQDFの評価結果
織田 et al, 2007より引用

15/12/22(45)
• Compact MQDF(T. Long et al, 2008)
– MQDFの固有ベクトルをVector Quantization（ベクト
ル量子化）法を利用して近似したベクトルに置き換
えて辞書サイズを削減
– MQDFの認識性能を保ったまま
固有ベクトル部分の辞書サイズの大幅な圧縮
C=3036, d=392, =4, Q=98, L=500, k=50,
をunsigned short，をfloat とすると
約30Mバイト(MQDFでは約238Mバイト)
総クラス数用いる
分割数
インデックス番号の
精度
部分ベクトルの
一つの要素の
データ型
次元数
クラスタ数

• Compact MQDF(T. Long et al, 2008)
– アルゴリズム
clusterindex sub-vector
・
・
class eigen value index to cluster
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・・
・・
・・
・・
・
・
・
・
・
・
・
・
・
・
・
・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・・
・
・
・
・
・
・
Codebook
Indices
① d次元固有ベクトルをQ個の
次元部分ベクトルに分割
① 全ての固有ベクトルから生成された
部分ベクトルを一つの集合とし，
クラスタリングを用いてL個のクラスタを作成
② 元の部分ベクトルは小さなL個の
次元部分ベクトルのプロトタイプに
クラスタリングされる．
③ 元の固有ベクトル中の部分ベクトルはその
最近傍の部分ベクトルのプロトタイプで近似
され，インデックス番号で表される．
15/12/22(46)
Compact MQDFにおける固有ベクトル部分の辞書
総クラス数用いる
分割数
インデックス番号の
精度
一つの要素の
データ型
次元数
クラスタ数
Indices Codebook

15/12/22(47)
• Hybrid Compact MQDF(勝山 et al, 2015)
– Compact MQDFでは類似カテゴリーの部分ベクトルが
同じクラスタに分類され，類似カテゴリー集合内で
固有ベクトルが完全に一致してしまう可能性がある．
全クラスの固有ベクトルを一律にクラスタリングするため
– Hybrid Compact MQDFではあらかじめ全てのクラスを
類似カテゴリー集合と非類似カテゴリー集合に分類し，
非類似カテゴリー集合に分類されたクラスのみに
Compact MQDFの手法を適用する．
階層的クラスタリングを用いてクラスタ間距離がしきい値
を超えた時停止し，1クラスタに複数のクラスが存在するも
のを類似カテゴリー集合とする．

15/12/22(48)
ほぼ同じ辞書容量でのCompact MQDFと
Hybrid Compact MQDFの比較
勝山 et al, 2015より引用
用いる固有ベクトル数kを制限する手法との比較
勝山 et al, 2015より引用

15/12/22(49)
• SH-MQDF(G. Pengcheng et al, 2014)
① バイナリハッシング手法の一種である
Spectral Hashingを用いて特徴ベクトルを
コンパクトなバイナリベクトルに変換
② バイナリベクトルを用いてMQDFの値を計算
– 216次元のGIST特徴ベクトルを128bitの
バイナリコードに変換した場合，MQDFの認識性能
を維持しつつ計算速度の向上，辞書サイズの削減
が可能
全データセットに対してのMQDFの認識性能と
ハミング距離による大分類後のデータセットに対しての
SH-MQDFの認識性能の比較

15/12/22(50)
K. Ding et al, “Incremental Learning of MQDF”, 2010
+カーネル法
+筆者適応のためのIncremental Learning
Y. Wang et al, “MQDF-CNN Hybrid”, 2014
+CNNとのハイブリッド
X.Lin et al, “Adaptive confidence transform”, 1998
D. Yang et al, “Kernel MQDF”, 2007
L. Jin et al, “Incremental Learning of LDA”, 2010
筆者適応のためのIncremental Learning
その他

その他
15/12/22(51)
• Kernel MQDF(D. Yang et al, 2007)
– セットアップ
中心化グラム行列
非線形関数
グラム行列
高次元空間における
平均ベクトル
共分散行列
中心化グラム行列の固有ベクトル
中心化グラム行列の固有値
共分散行列の固有ベクトル
共分散行列の固有値

その他
15/12/22(52)
• Kernel MQDF(D. Yang et al, 2007)
クラスωiのサンプル数
RBFカーネルを用いた時の
KMQDFの認識性能
多項式カーネルを用いた時の
KMQDFの認識性能とMQDFの認識性能の比較

その他
15/12/22(53)
• Discriminative Incremental MQDF
– 高精度な筆記者適応を実現するためにLDAによる
次元削減とIncremental learningを組み合わせ
L. Jin et al, 2010
の方法で求めたLDAの変換行列
次
元
削
減
逐
次
学
習
様々なIncremental Learning手法の比較
元のデータセットに含まれるサンプル
筆記者適応のために加えるデータセット
に含まれるサンプル

その他
15/12/22(54)
• 分類器の結合(Y. Wang et al, 2014)
– MQDFとCNNのハイブリッド
generalized recognition confidenceの値がしきい値Thより
大きい時，MQDFを用いて分類
しきい値Th以下の時，MQDFの値を事後確率に変換
MQDFとCNNを以下の式で結合
Linear Confidence Accumulation
Y.S. Huang et al. 1995
Multiplication Confidence
J.J. Kim et al. 2000
MQDF, CNN単体それぞれ
LCA, MCを用いた結合それぞれ
の比較

まとめ
15/12/22(55)
• 本発表ではMQDFとその改良，応用手法を
以下の5種類に分類してサーベイした．
1) Discriminative Learningとの組み合わせ
2) Importance Samplingとの併用
3) 共分散行列のSmoothingによる認識精度向上
4) 辞書サイズの削減
5) その他
• MQDFの応用範囲の拡大を期待する．

(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用

Recommended

Recommended

More Related Content

Recently uploaded

Recently uploaded (8)

Featured

Featured (20)

(12/22 PRMU研究会)Modified Quadratic Discriminant Functionとその応用