カメラ間人物照合サーベイ

サーベイ: 視野を共有しない
複数カメラ間での人物照合
井尻善久†,††† 　川⻄西康友†† 　美濃導彦†† 　村瀬洋†††

† オムロン株式会社
††　京都⼤大学
†††　名古屋⼤大学⼤大学院

VIPeRより転載(Grey,
2007)
(c) Copyrights OMRON Kyoto Univ. Nagoya Univ. 2011. All Rights Reserved.

発表の概要

•  定義
•  アプリケーション
•  課題
•  ⼿手法
–  特徴抽出⼿手法
–  識識別⼿手法
–  カメラ間の⾊色補正
–  カメラ間の関係モデリング
•  評価
•  結論論


複数カメラ間での人物照合とは
[定義]
•  あるカメラで撮影された複数の⼈人物と
　別のカメラで撮影された複数の⼈人物がカメラA
　与えられたとき、
　それら⼈人物間で対応付けを⾏行行うこと

カメラB

対応付け

VIPeRより転載(Grey,
2007)

アプリケーション

•  ⼈人物の検索索
–  犯⼈人捜査
•  ある犯⼈人映像を元に、同様の特徴を持つ⼈人物を検
索索、リストアップ
•  特定⼈人物トラッキング
–  動線解析：マーケティング
–  怪しい⼈人物の追跡


課題
同じ⼈人物であっても、カメラ間で
撮影される向き、照明条件、⾊色校正が⼤大きく異異なる！


既存手法のサーベイ

•  アピアランスベース⼿手法井尻
–  特徴抽出⼿手法
–  識識別⼿手法
•  カメラ間の⾊色補正川西
•  カメラ間の関係モデリング川西


各手法間の関係

カメラ間関係推定

カメラ間の色補正

特徴
特徴

抽出
抽出
識
別

照合スコア/確率
アピアランスベース

本人かどうか

推論

最終スコア/確率


特徴抽出手法の概要

•  服装の⾊色特徴
–  服装の⾊色ヒストグラム
•  空間情報 ↔ 視点不不変性
•  ⼈人の向きや視点変動にある程度度対応可能
•  服装の模様特徴
–  共分散、⽅方向性勾配(HOG, SIFT, SURF等)、繰
り返し構造を持つパッチ抽出など
•  撮影する⾓角度度がある程度度⼀一定の時に有効
•  服装の⾊色と模様の特徴を併⽤用
–  複数の特徴量量を冗⻑⾧長に抽出


this paper, we present a novel algorithm capable of on intrinsic images aim
matching single individuals in such a scenario based on been proposed for thisimage
ABSTRACT algorithms have from illumination in th
appearance features. In order to reduce the references). However, it sequences [4
[3] for variable for image is difficult to

服装の色を取り出す特徴 Matching of single individuals as
this paper, we present
color
cumulative color histogram transformation
camera learn in our scenario
illumination they movein a disjoint disjoint constancy algorithmthe transfer func
effects across typical
learning phase. In this
environment, a in video surveillance. In known about the scene and the objects. App
camera views is a challenging task
is first aapplied to the segmented moving object. Then,images aim to separate pure ref
novel algorithm capable of on intrinsic an simple cumulative co
compensate for the varyi
incremental major acolor spectrum histogram representation images, with effective me
matching single individuals in such scenario based on from illumination
appearance features. In orderis usedreduce the variable
(IMCSHR) to to represent the appearance of a moving make use [5], Javed et
for image sequences [4]. In of an object
object and cope with disjointpose changes occurring along incrementalbetween color
illumination effects in a typical small camera learn the transfer functions major cam
the track. An IMCHSR-based similarity measurement In this paper, insteadsimilar
environment, a cumulative color histogram transformation learning phase. (IMCSHR), a we pr
algorithm is also proposed to measure the similarity cumulative similarityhistogram tra
is first applied to the segmented moving object. Then, an simple of any color of any two tr
segmented moving objects. A
two spectrum histogram representationfinal compensatepost-the varying illumination cond
step of for
•  ⾊色ヒストグラム incremental major color integration phase to mak
matching integration along the object's make use of an [6]. matching algorith
(IMCSHR) is used to represent the appearance of a moving track is eventually object Differently from pre
applied. Experimental results along the proposed require global histogram
object and cope with small pose changes occurring show thatincremental major color spectrum informati
–  正規化RGBにおいてRGジョイントヒストグラム (IMCSHR), in systems [7] nor rely
approach proved capable of providing correct matching a similarity measurementon
the track. An IMCHSR-based similarity measurement
(Nakajimaら, 2003) typical to measure the similarity of any similarity of any two tracked[8].
algorithm is also proposed situations.
two segmented moving objects. A final tracking, post-
Index Terms-Object step of major color spectrum to make MAJOR COLOR
integration phase
network objects, and a
2. the whole matchi
–  正規化⾊色ヒストグラム(⾚赤塚ら, 2006) matching integrationhistogram representation, disjoint camera views. Differently from previous papers, our ap
along the object's track is eventually [6].
applied. Experimental results show that the proposed require global information RGB color space In the about objects in
–  RGBジョイントヒストグラム(本⽥田ら, 2009)
1. INTRODUCTION systems [7] nor relycolor yields a totalmodel
approach proved capable of providing correct matching in on a topographic of 1
typical situations. Computer vision-based tracking of movingnetwork [8]. beobjects can general, very difficult t
many possible values.
•  ⾊色ヒストグラムと⾼高さ⽅方向の空間的配置 Index Terms-Object basedtracking, major of shape, motion and 2. MAJOR COLOR SPECTRUM HIS
on coherency color spectrum
features ([1, camera views.
appearance
histogram representation, disjoint 2]). However, in the case of people tracking,
distance [6], we can sca
16.8 million to byte a very
–  ⼈人体領領域を10分割した各領領域でのHSL⾊色空間メディアン shape features are not immediate to exploit sinceRGB color space, using one much to
In the humans
1.are deformable objects. Moreover, when camera yields a total of 16.8
INTRODUCTION color views are losing
without million different a
値(Birdら, 2005) multiple and moving motion coherencygeneral, not be colorscompare two objec
Computer vision-based tracking of disjoint, objects can be
object. For each moving
may very difficult to are retained in t
the tracked objects move many possible values. By usingare disca
assessed whenmotion and appearance across different the con
based on coherency of shape,
–  Color Rank特徴量量、⾊色と⾼高さ⽅方向のジョイントヒストグ
features ([1, 2]). However, views. Actually, the tracking, disjoint [6], we rarely appear thresho
camera in the case of people definition of distance camera canmutualdown the number
scale
distance
16.8 million to a very limited number of
shape features are not immediate implies thatsince extent of separation between much accuracy in such a m
views in itself to exploit the humans
ラム(Linら, 2008) are deformable objects. Moreover, when camera the path and timings oflosing
views prevents prediction of views are without single
An example of represen
in Fig. 1.
multiple and disjoint, motion coherency a may not be object. are retained in the representation, wh
moving objects. In such case, appearance features areeach moving object, a given perc
For the
•  頻出⾊色でヒストグラム構築 colors
assessed when the main cueobjects movethe tracksdifferent rarely appear are discarded [9-11]. Colors
tracked to reconcile across from separate camera views
of a same definition object. Such camera is very common
physical of disjoint a scenario
camera views. Actually, the
–  Major Colorヒストグラム(Chengら, 2006) in real-life situations where existing mutual distance threshold are dealt with as
views in itself implies that the extent of separation between camera networks such a major color represent
An example of
cannot provide full coverage of the monitored space nor
views prevents prediction of the path and timings of single
–  Color Codebookによる各Codewordのヒストグラム(Cai measure accurate individual biometrics.
moving objects. In such a case, appearance features are the
in Fig. 1.
conditions between disjoint cameras can (a) 'tn flower' picture (b) MCS
The illumination separate camera views
ら, 2010) main cue to reconcile the tracks from
be significantly different and have great
of a same physical object. Such a scenario is very common influence on the Figure 1 The Major Color Sp
of
appearance of movingcamera networks
in real-life situations where existing objects. Illumination effects must be
An example picture is s
cannot provide full eliminated of the monitored space in order to make the
coverage or at least reduced nor
appearance of same object comparable. Color constancy see that the most freque
measure accurate individual biometrics.
The illumination conditions between disjoint cameras can (a) 'tn flower' picture (b) MCSHR Histogram (c) MCS
be significantly different and have great influence on the Figure 1 The Major Color Spectrum Histogram Represe
appearance of moving objects. Illumination effects must be of the 'tn_flower'.
eliminated or at least reduced in order to make the An example picture is shown in Fig. 1 (a), i

服装の模様を取り出す特徴

•  ⽅方向性勾配
–  特徴点(SURFに類似) (Hamdounら, 2008)
–  Haar-‐‑‒like特徴量量 (Bakら, 2010)
–  HOG, shape context (Wangら, 2007)
•  共分散
–  輝度度/勾配の共分散 (Alahiら, 2010; Bakら, 2010)


Spatial Covariance Region(Bak, 2010)
HOG+Boosting検出器共分散特徴各領領域での
⼈人体パーツを検出共分散特徴

特徴量量間の相関とそ
の空間的配置
re 3. Illustration of the human and body parts detection re- (a) original (b) original (c) normalized (d) normalized
Detections are indicated by 2D bounding boxes. Colors Figure 4. The ﬁrst two columns show original images of the same
spond to different body parts: the full body (yellow), the top person captured from different cameras in different environments.
⼈人物　　　の共分散⾏行行列列　　　　の距離離の算出法 show these images after histogram equaliza-
blue), the torso (green), legs (violet), the left arm (light blue) The last two columns
he right arm (red). tion. Spatial Pyramid Matching
に関する⼀一般化固有値問題領領域ごとに多重スケールで照合
ignature computation an image, increasing the detail in those regions. Histogram
equalisation achieves this aim by stretching range of his-
n this section we propose a scheme to generate the hu-
固有値の⾮非線形和
signature. The human and body parts detector returns
togram to be as close as possible to an uniform histogram.
The approach is based on the idea that amongst all possible
egions of interest corresponding to body parts: the full
histograms, an uniformly distributed histogram has maxi-
y, the top, the torso, legs, the left arm and the right arm.
mum entropy [5]. Maximizing the entropy of a distribution
top part is composed of the torso and the head (see Fig-
we maximize its information and thus histogram equaliza-
3).
tion maximizes the information content of the output image.
nce the body parts are detected, the next step is to han-
We apply the histogram equalization to each of the color
olor dissimilarities caused by camera and illumination

服装の色と模様の特徴の組合せ

•  上村ら(2004)
–  RGBヒストグラム
–  オートコリログラム
•  Berdugoら(2010)
–  正規化RGB特徴
–  垂直⽅方向の⾊色の⽐比、⽅方向勾配、saliency map
•  Farenzenaら(2010)
–  HSV⾊色ヒストグラム、Maximally Stable Color Region
–  繰り返しパターン
•  Bazzaniら(2010)
–  HSVヒストグラム
–  Local & Global エピトメ


ccumulation of Local Features
SDALF (Farenzena, 2010)
urino1,2,Symmetric-‐‑‒Driven Accumulation of Local Features
M. Cristani1,2
y of Verona, Italy
Genova, Italy HSVヒストグラム対称軸から
⾊色情報の距離離で照合
重み付け
MSCR:
(Forssen,
2007)
対称軸からスコ
⾊色のの距離離で照合ア統
v ・空間的配置重み付け合
・領領域形状

(a) (a) 上/下半⾝身 (c) (d) (d) (e) (e)
(b) (b) (c)
⼊入⼒力力
(a) (b) (c) (d) (e)
対称軸対称軸から
Figure 画像 1. RHSP:
Figure Sketch of the approach: a) two instances of the the
1. Sketch of the approach: a) two instances of
の距離離で照合
person; b) x- and検出 y-axes of asymmetry and symmetry,
Figure 1. Sketch of the approach: a) two instances of the
same person; b) x- and y-axes of asymmetry andRecurrent High-‐‑‒
same same person; b) x-y-axes of asymmetry and symmetry, re- re-
and
symmetry, re-
spectively; c) weighted histogram back-projectionStructured pix-
(brighter pix-
spectively; c) weighted histogram back-projection (brighter 重み付け
spectively; c) weighted histogram back-projection (brighter pix-
Patch
els mean mean a more important color), d) Maximally Stable Color Re-
els a more important color), d) Maximally Stable Color Re-
els mean a more important color), d) Maximally Stable Color Re-
gions; e) Recurrent Highly Structured Patches.
繰り返し構造の
In paper, we we present novel and versatile
In this paper, we present a 複雑パターン
In this this paper, present a novel and and versatile
a novel versatile
appearance-based re-identification method, based on a pon- pon-
appearance-based re-identification method, based on a
appearance-based re-identification method, based on a pon-

特徴量の分類特徴抽出

⾊色空間 Photometric Geometric メディアン
前処理理前処理理

ヒストグラム
ランク

RGB 領領域分割処理理ジョイント
正規化ヒストグラム

HSV セグメンテーショ
ン
Major Color
Opponent Color Histogram/MSCR
Lab ⼈人体パーツ
認識識
勾配/勾配強度度 HOG, SIFT,
SURF, Haar-‐‑‒like

共分散


疑問①：結局のところ、どの特徴が良いのか？
特徴抽出
各特徴の組合せで無数に組合せ特徴が⽣生まれる

ヒストグラム
ランク

RGB 領領域分割処理理
ジョイント

ン
Major Color
認識識

ここに書いただけでも600種類！
共分散
3x5x4x10


疑問②：どの成分が役に立っているのだろうか？
役立つ部分だけ使えないだろうか？
特徴抽出
冗⻑⾧長な特徴量量表現は計算時間に影響

ヒストグラム
ランク

RGB 領領域分割処理理
ジョイント

ン
Major Color
認識識

共分散


最適な特徴の組合せを求めて・・・

•  機械的に最適な特徴セットを探索索
–  識識別器学習
•  機械的に最適な特徴成分を探索索
–  距離離指標学習

学習型識識別器


個人特化/一般判別モデル

•  個⼈人特化判別モデル
–  照合する相⼿手毎に違う判別モデルを使わなければな
らず計算コストが⼤大きい。
•  ⼀一般判別モデル
–  計算コストが低い。
–  同⼀一⼈人物間距離離 vs. 異異なる⼈人物間距離離の⼆二値識識別　
もしくは　最近傍判別の枠組みで解く。

この二つを分離するように識別器を学習
分布
本人
他人

二つのデータ間の距離


識別器の改良

•  個⼈人特化判別モデル
–  SVM (Nakajima, 2003)
–  PLS (Schwartz, 2009)
–  MILboost (Kuo, 2010)
–  Adaboost (Bak, 2010; Hirzer, 2011)
•  ⼀一般判別モデル
–  FLD (Bird, 2005; 本⽥田, 2009)
–  Adaboost (Gray, 2008)
–  アンサンブルRankSVM (Prosser, 2010)
–  Distance Learning (井尻, 2011; Zheng, 2011)


Gray, 2008

⽤用いる特徴量量セット学習された識識別器において⽤用いられている
各特徴量量チャネルの割合
⾊色：RGB, YCbCr, HSV Feature Channel Percent of classifier weight
模様：Schmid, Gaborフィルタ R 11.0 %
G 9.4 %
B 12.4 %
Y 6.4 %
Cb 6.1 %
Cr 4.5 %
H 14.2 %
S 12.5 %
Schmid 12.0 %
Fig. 3. The filters used in the model to describe texture. (a) Rotationally symmetric Gabor 11.7 %
本⼈人間/他⼈人間の距離離分布を
Schmid filters. (b) Horizontal and vertical Gabor filters.

分離離するような Fig. 8. A table showing the percent of features from each channel, m
Other filters could be added as well, but proved less e↵ective. It has been
特に優れた特徴が存在しない！
局所的な領領域および特徴量量を
observed that adding additional features has few drawbacks other than increasing
computational and storage requirements. The methodology used to select these いろいろな特徴の組合せが
Adaboostを⽤用いて選択 Conclusions
specific channels was somewhat haphazard, so it is likely that better feature
channels may still be found. 5 提案されているが優劣劣付け難い！
2.3 Feature Regions We have presented a novel approach to viewpoint invariant pedestri
tion that learns a similarity function from a set of training data. I
A feature region could be any collection of pixels in the image, but for reasons
of computational sanity they will be restricted to a more tractable subset. Some
popular subsets of regions include the simple rectangle, a collection ofthat this ensemble of localized features is e↵ective at discrim
shown rectangles
[19], or a rectangularly shaped region [7]. The motivationtween has been the
for this pedestrians regardless of the viewpoint change between the

2 s=1
s.t. w ˆ+ ˆ−
(xs − xs ) ≥ 1 − ξs , s = 1, · · · , |P|, ξs ≥ 0, s = 1, · · · , |P|,
Prosser, 2010
where C is a positive parameter that trades margin size against training error.
One of the main problems with using an SVM to solve the ranking problem is the pot
⼆二値識識別器による学習⽤用いる特徴量量セット
ally large size of P. In problems with lots of queries and/or queries with lots of associa
この⼆二つを分離離するように識識別器を学習
⾊色：RGB, YCbCr, HSV
bservation feature vectors, the size of P means that forming the xs − xs vectors becom ˆ+ ˆ−
分布
模様：Schmid, Gaborフィルタ
本人
omputationally challenging.他人
Particularly, in the case of person re-identification, assum
here is a training set consisting of m person images in two camera views. The size of P
roportional to m2 , it thus increases rapidly as m increases. SVM-based methods also r
⼆二つのデータ間の距離離

n parameter C, which must be known before training. In order to yield a reasonable mo
カメラ間⼈人物照合のよ
ハードな閾値が
ne must use cross validation to tune model parameters. This step requires the rebuild
うな難しい問題におい
f the あることを想定ては存在しない
training/validation set at each iteration, thus further increasing the computational c
nd memory usage. Hence, the RankSVM in Eqnfilters Horizontal and vertical Gabor filters. (a) Rotationally symmetric
Fig. 3. The (3) is the model to describe texture.
used in not computationally tractable

ある本⼈人/他⼈人ペアにおいて
Schmid filters. (b)
ランキング基準による学習
arge-scale constraint problems due to both computational cost and memory use.
与えられた⼆二つのデータにおいて個別に本⼈人間距離離が他⼈人間距離離より⼤大きく
Other filters could be added as well, but proved less e↵ective. It has been
Chapelle and Keerthi [1] proposed a method based on primal RankSVM (PRSVM) t
序列列関係のみ満たしていれば observed that adding additional features has few drawbacks other than increasing

elaxes the constrained RankSVM and formulated aなるような線形写像を学習 select these
ペナルティを与えない
computational and storage requirements. The methodology used to
non-constraint model as follows:
specific channels was somewhat haphazard, so it is likely that better feature
channels may still be found.

|P|
1 2
2.3 Feature Regions
+
2
−pixels in the image, but for reasons
w = arg min w
w 2 of
∑ 0, 1 − w they xcollectionôf
feature region
sanity
ˆs − xs ,
+C A computational could be anywill be restricted to a more tractable subset. Some
s=1
popular subsets of regions include the simple rectangle, a collection of rectangles
[19], or a rectangularly shaped region [7]. The motivation for this has been the
computational savings of computing sums over rectangular regions using an inte-
gral image. However we can use our intuition about the problem to significantly

井尻, 2011
事前に⼤大量量データを⽤用いて距離離指標学習
距離離指標学習

ランキング基準

⾊色ヒストグラム学習した⾊色ヒストグラム
距離離指標を
⽤用いて
距離離計算⾮非線形カーネル
Jensen-‐‑‒Shannonカーネル
⾮非線形
距離離指標

照合
スコア


アピアランスベースの手法のまとめ

•  特徴量量
–  服装の⾊色
•  ⾊色ヒストグラム/空間情報の併⽤用
–  服装の模様
•  ⽅方向性勾配/共分散
–  服装の⾊色と模様を併⽤用
•  無数の特徴量量の組合せが考えられる
•  組合せ最適化
–  識識別器/距離離指標の学習
–  ランキング基準を⽤用いた学習


色比較による人物照合

•  ⾊色ヒストグラム
–  実装が容易易
–  直感的にも有効な特徴量量
•  しかしカメラ間の⾊色変化に弱い
同一人物なのにヒストグラムが
大きく異なっている

うまく補正をしたい
別人なのにヒストグラムが
類似している


問題設定

•  カメラ間の⾊色変化の原因
• カメラパラメータの違い
• 観測環境の違い

• 露出の違い
• 日照変化

• ダイナミックレンジの違い
• 明るい室内と暗い廊下

• ホワイトバランスの違い
• 室内と屋外

• 時間による日照変化

•  特定の2カメラ間の⾊色の違いを吸収するような
⾊色変換関数を推定する
–  キャリブレーションボードなどは⽤用いない
–  カメラ間を移動している⼈人物を⽤用いる


Brightness Transfer Function (BTF)

カメラごとの色空間の
対応関係を記述

Cam1でのAさんの
様々な表現方法がある
Cam2でのAさんの

累積色ヒストグラム
累積色ヒストグラム
• 色変換行列(Gilbert,
2006)

• 累積ヒストグラム同士の
累積頻度

累積頻度
変換関数(Porikli,2003,

Javed
,2005,Prosser,
2008
な
ど)
f
輝度
輝度
この変換関数 f を用いて色を補正する

BTFの表現
同じ人物の色ヒストグラム
累積頻度

累積頻度
カメラが変わっても輝度の順序は
輝度
逆転しないことを仮定
輝度

カメラCiでの輝度値Biに対応するカメラCjでの輝度値Bjは

なる関数fij(Bi)により求めることができる

256段階のテーブルとして表現

BTFs Subspace (Javed, 2005)
•  単⼀一のBTFではロバスト性にかける
–  BTFを求めた⼈人物によるBTFの差異異
•  BTFの取りうる部分空間に注⽬目
–  複数の同⼀一⼈人物ペアからBTFを求める
–  pPCAによりBTF256次元→7次元の部分空間

•  BTFs Subspaceを⽤用いた⼈人物照合
l ある２枚の画像から求めたBTF
距離が近ければ同一人物

l 上で求めた部分空間
そうでなければ別人


派生型，動的環境への対応

•  頑健性の向上
–  部分空間の利利⽤用（Javed, 2005）
•  サンプル数，⾊色分布の幅への対処
–  複数ペアから⼀一つのBTFを作成（Prosser, 2008）
•  ⽇日照の時間変化への対処
–  カメラ内での輝度度補正（Prosser, 2008）
–  適応的な追加学習（Siebler, 2010）


カメラ間の関係を利用した人物照合

•  カメラ間の関係とは

自動的に獲得したい
l どのくらい移動時間がかかるか

l どのカメラの観測範囲へ移動するか

•  ⼈人物照合への利利⽤用
–  移動時間や，遷移確率率率を照合の尤度度とする
(Kettnaker, 1999など)


教師ありの手法
•  予め⼿手動で⼈人物照合した結果を使う
–  GMMのフィッティング，Parzen推定など

•  Porikli, 2003
–  観測範囲の隣隣接関係をベイジアンネットワークで表現
•  Dick, 2004
–  各カメラの映像を領領域ブロックへ分割
–  ブロック間の遷移確率率率を計算
•  Javed, 2008
–  速度度と経過時間の⼈人物対応付け
事例例を⽤用いてカーネル密度度推定


教師なしの手法

•  ⼤大量量の対応付けデータを事前に準備するのは⼤大変
–  ⼤大量量の⼈人物照合結果を統計処理理
–  正しい対応付けは，統計的に同じような振る舞い
•  同じような移動時間のデータが多い→正しい

•  Tieu, 2005 など
–  複数カメラ映像の出⼊入⼝口間の対応関係を推定
•  浮⽥田, 2006
–  誤対応を含んだ⼤大量量の⼊入出データを上⼿手く分類
–  視野間の重なりにも対応
–  経路路の有無，経路路の使⽤用確率率率


動的環境への対処

•  逐次学習
–  観測範囲にカメラが追加・削除された場合
–  カメラ間の移動時間，確率率率が変わっていく場合
–  常にサンプルを追加して分布推定を⾏行行う

•  野⽥田, 2007
–  カメラ台数の増減に対処
•  Chen, 2011
–  出⼊入り⼝口のクラスタリング結果と移動時間の確率率率分
布の更更新
–  カメラトポロジ，カメラ間の移動時間


Figure 5. Sample images of cameras 1 and 3 of the iLids scenario.

評価データセット
As one can see, strong differences in environmental condition, e.g.
changes in lighting, are present between the cameras. Other chal-
lenges, e.g. occlusion of persons by other persons and luggage
increase severity for both, tracking and re-identiﬁcation.
iLIDS

•  空港
•  照明変動
–  屋内
•  ⼈人物向き変動
–  限定的

Figure 6. Sample persons of the iLids scenario.


評価データセット
VIPeR

•  街路路
•  照明変動
–  屋外
–  多様
•  ⼈人物向き変動
–  多様


評価基準

•  CMC
–  Cumulative Match Characteristics
–  累累積照合特性

–  本⼈人が何位以内に照合されているか？
–  横軸に順位を取り、縦軸に照合率率率をプロット

–  実⽤用的には１位で照合されるのが望ましい。
–  上位で照合されなければ実⽤用化できない。


CMCの一例
最高の手法でも

VIPeRにおけるCMCの⼀一例例 8 PROSSER et al.: PERSON RE-IDENTIFIC
論文／Jensen Shannon カーネルとカーネル最大マージン成分分析によるカメラの違いの影響を受けにくいカメラ
１位照合率は20%程度

１０位以内照合率で60%弱

Jensen-Shannon カーネルの組み合わせが優
Cumulative Match Characteristics
1
VIPeR Dataset
100 90
0.9 90 ことを示した．提案手法は，カメラ間の位置
80

0.8 80
識しなくても最適化ができるので，特にカ
70

数が多いときに，簡単に精度向上が望める．

Matching Rate (%)
Matching Rate (%)
0.7
70
60
Recognition rate

応用の観点からは，最高精度を見ても一位
60
0.6
50
50
0.5

40
20%程度であり，自動人同定システムという
40

0.4
30
支援システムとしての応用が望まれる．例え
ELF
Bhat.
30

や特定人物の検索においては，大勢の通行人
LMCA(JS) L1−Norm
0.3 LMCA(χ2) Ensemble−RankSVM 20
20
LMCA(Bhat.)
RankBoost
特定の服装的特徴を持った人物を絞り込み最
LMCA(Gauss)
0.2
Bhat. 10 10 PRSVM
NCC
0.1
0 50 100 150 200 250 300 350 400 450
0
0 が同定する等の支援システムが考えられる．
20 40 60 80 100
0
Rank Rank Score
応用例ではある程度候補をだしその中に本人
図 7 CMC 曲線：横軸は順位，縦軸は認識率 (正しい照ていれば良いことから例えば 10 位以内照合
(a) 316 training, 316 testing

結論

•  アピアランスベース、カメラ間⾊色補正、カメラ間関係モ
デリングを総括

•  実⽤用的な条件では１位以内照合率率率20%程度度、10位以内
60%程度度

•  今回紹介しなかったが、時系列列情報を⽤用いた⼿手法が考え
られ、⼀一例例として歩容認識識なども⼈人物照合に⽤用いること
ができる。


謝辞

本研究の⼀一部は
•  NEDO 次世代ロボット知能化技術開発プロジェクト
•  ⽂文科省省「安全・安⼼心な社会のための犯罪・テロ対策技
術等を実⽤用化するプログラム」
の⼀一環として実施されました.


カメラ間人物照合サーベイ

Recommended

More Related Content

What's hot

What's hot (20)

Similar to カメラ間人物照合サーベイ

Similar to カメラ間人物照合サーベイ (20)

カメラ間人物照合サーベイ