論文紹介です。

1. Introduction
Saliency Map Models
Conclusions
顕著性マップの計算モデル
山中高夫
情報理工学科
上智大学
文献紹介
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

2. Introduction
Saliency Map Models
Conclusions
文献リスト
文献紹介
[1] Itti, Koch, and Niebur, “A Model of Saliency-Based Visual Attention for Rapid
Scene Analysis,” PAMI, vol. 20, no. 11, 1998.
[2] Bruce and Tsotsos, “Saliency Based on Information Maximization,” NIPS, 2005.
[3] Harel, Koch, and Perona, “Graph-Based Visual Saliency,” NIPS, 2006.
[4] Hou and Zhang, “Saliency Detection : A Spectral Residual Approach,” CVPR,
2007.
[5] Zhang et al., “SUN: A Bayesian framework for saliency using natural statistics,”
Journal of Vision, vol. 8, no. 7, 2008.
[6] Garcia-Diaz et al., “Saliency from hierarchical adaptation through decorrelation
and variance normalization,” Image and Vision Computing, vol. 30, no. 1, 2012.
[7] Riche et al., “RARE2012: A multi-scale rarity-based saliency detection with its
comparative statistical analysis,” Signal Processing: Image Communication, vol. 28,
no. 6, 2013.
[8] Kummerer et al., “Deep Gaze I: Boosting Saliency Prediction with Feature Maps
Trained on ImageNet,” arXiv, 2014, 1411.1045v1.
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

3. Introduction
Saliency Map Models
Conclusions
背景と目的
背景
人が画像を見た時に注視が集まりやすい場所
を，画像特徴量から推定する計算モデルが提
案されている。
計算モデルにより推定された注視の観測され
る確率を表す画像を顕著性マップと呼ぶ。
このような計算モデルは，画像認識や物体検
出などのコンピュータビジョンの課題におけ
る前処理として利用することが期待されて
いる。
目的
現在提案されている顕著性マップの計算モデ
ルのうち主な手法を紹介する。
画像と注視点
顕著性マップ
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

4. Introduction
Saliency Map Models
Conclusions
顕著性マップの計算モデル
ITTI Model [1]
AIM [2]
GBVS [3]
SpectralResidual [4]
SUN [5]
AWS [6]
RARE2012 [7]
DeepGaze [8]
adapted from [7]
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

5. Introduction
Saliency Map Models
Conclusions
ITTI Model [Itti, PAMI1998] (1)
Architecture
1 Extraction of early visual features
2 Normalization of each visual feature
3 Integration of visual features
Early Visual Features
Intensity channels: 6 DoG
(Difference of Gaussian) images
Color channels: 6 DoG images × 2
color channels (RG, BY)
Orientation channels: 6 DoG
images × 4 orientations
(Gabor-filtered images)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

6. Introduction
Saliency Map Models
Conclusions
ITTI Model [Itti, PAMI1998] (2)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

7. Introduction
Saliency Map Models
Conclusions
AIM [Bruce, NIPS2005] (1)
AIM: Attention based on Information
Maximization
1 様々な画像のパッチから ICA の
基底ベクトルを求める
2 対象画像に対して基底ベクトル
に対する係数を求める
3 対象画像の局所領域に対して，
係数の確率密度関数 p(x) をガウ
スカーネル密度推定で求め，尤
度 p(X) を計算する（X は中心
パッチに対する全基底ベクトル
の係数）
4 −log(p(X)) で定義される自己
情報量から顕著性マップを求
める
周辺パッチに対して珍しい値の場合
は顕著度が高い。周辺と同じような
値の場合は顕著度が低い。
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

8. Introduction
Saliency Map Models
Conclusions
AIM [Bruce, NIPS2005] (2)
カーネル密度推定の神経回路モデル
i 番目の基底ベクトルに対する中心パッチ
(j, k) の尤度
p(Xi) =
1
σ
√
2π
∑
∀s,t∈Ψ
w(s, t)e−(vi,j,k−vi,s,t)2/2σ2
全基底ベクトルの係数に対する尤度
p(X) = ∏
i
p(Xi)
vi,j,k: 中心パッチ (j, k)
の i 番目の基底ベクト
ルに対する係数
s, t: 周辺パッチ
w(s, t): カーネル密度
推定の重み係数
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

9. Introduction
Saliency Map Models
Conclusions
AIM [Bruce, NIPS2005] (3)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

10. Introduction
Saliency Map Models
Conclusions
GBVS [Harel, NIPS2006] (1)
GBVS: Graph-based Visual Saliency
1 チャネルごとの Feature Maps を作成する
2 各画素をノードとする完全有効グラフを作成する
3 下記で計算される重みを遷移確率として平衡に達するまで状態
を遷移させる (Activation Map)
w1((i, j), (p, q)) = d((i, j)||(p, q))F(i − p, j − q)
d((i, j)||(p, q)) ≜ log
M(i, j)
M(p, q)
, F(a, b) ≜ exp
(
−
a2 + b2
2σ2
)
4 下記で計算される重みを遷移確率として平衡に達するまで状態
を遷移させる (Normalization)
w2((i, j), (p, q)) = A(p, q)F(i − p, j − q)
A(p, q) : Activation Map
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

11. Introduction
Saliency Map Models
Conclusions
GBVS [Harel, NIPS2006] (2)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

12. Introduction
Saliency Map Models
Conclusions
SpectralResidual [Hou, CVPR2007] (1)
自然画像の特徴
多くの自然画像では，周波数ス
ペクトルが両対数グラフでほぼ
直線に近似できる
複数画像の対数周波数スペクト
ルを平均することによりなだら
かな曲線となる
個々の画像に特有の情報は，平
均スペクトルとの差に現れる
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

13. Introduction
Saliency Map Models
Conclusions
SpectralResidual [Hou, CVPR2007] (2)
振幅
A(f ) = abs(F[I(x)])
位相
P(f ) = angle(F[I(x)])
対数スペクトル
L(f ) = log(A(f ))
残差スペクトル
R(f ) = L(f ) − hn(f ) ∗ L(f )
顕著性マップ
S(x) = g(x) ∗ F−1
[exp(R(f ) + jP(f ))]2
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

14. Introduction
Saliency Map Models
Conclusions
SpectralResidual [Hou, CVPR2007] (3)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

15. Introduction
Saliency Map Models
Conclusions
SUN [Zhang, JVision2008] (1)
SUN: Saliency Using Natural statistics
画像中の点 z における顕著度を以下の式で定義する
sz = p(C = 1|F = fz, L = lz)
=
p(F = fz, L = lz|C = 1)p(C = 1)
p(F = fz, L = lz)
C : 顕著であることを表す 2 値確率変数
F : 画像特徴量を表す確率変数
L : 位置を表す確率変数
F と L が独立，かつ C = 1 において条件付き独立であると仮
定すると sz は以下の式に変形できる
sz =
1
p(F = fz)
p(F = fz|C = 1)p(C = 1|L = lz)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

16. Introduction
Saliency Map Models
Conclusions
SUN [Zhang, JVision2008] (2)
顕著度 sz
sz =
1
p(F = fz)
p(F = fz|C = 1)p(C = 1|L = lz)
1
p(F=fz)
: Bttom-up Saliency（対象物体とは独立）
p(F = fz|C = 1): 尤度（対象物体に依存 Top-down Knowledge）
p(C = 1|L = lz): 位置の事前確率（対象物体に依存 Top-down Knowledge）
対数をとっても大小関係は変わらないので，顕著度 log sz を考
えると，
log sz = − log p(F = fz) + log p(F = fz|C = 1)
+ log p(C = 1|L = lz)
− log p(F = fz): 自己情報量,
log p(F = fz|C = 1): 対数尤度, log p(C = 1|L = lz): 位置の事前確率
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

17. Introduction
Saliency Map Models
Conclusions
SUN [Zhang, JVision2008] (3)
任意の物体が対象であり，Top-donw Knowledge を表す項の確
率分布が一様分布と仮定する
log sz = − log p(F = fz) + constant
実装方法
2 種類の実装: DoG Filters, ICA Filters
フィルタ後の値の確率密度関数を一般化ガウス分布で推定
AIM と異なり，確率密度関数は各画像に対して推定するのでは
なく，たくさんの自然画像にフィットする確率密度関数を推定
する。
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

18. Introduction
Saliency Map Models
Conclusions
SUN [Zhang, JVision2008] (4)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

19. Introduction
Saliency Map Models
Conclusions
AWS [GarciaDiaz, IVC2012] (1)
AWS: Adaptive Whitening Saliency
1 PCA（主成分分析）でカラーチャネルの白色化
2 複数スケールの log-Gabor フィルタで特徴抽出
3 各チャネルの複数スケール特徴量に対して PCA で白色化
4 全チャネルを統合
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

20. Introduction
Saliency Map Models
Conclusions
AWS [GarciaDiaz, IVC2012] (2)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

21. Introduction
Saliency Map Models
Conclusions
RARE [Riche, SPIC2013] (1)
RARE 2012
1 PCA でカラーチャネルを分け，
ガボールフィルタで特徴量を抽
出する (Step 1)
2 各チャネルで複数スケールの画
像ピラミッドを作成し，全画素
のヒストグラムで特徴量の確率
密度関数を推定する (Step 2-1)
3 以下の式で表される自己情報量
を求める (Step 2-2)
s(Ij) = − log
(
1
S × |Ij|
S
∑
i=1
ni
)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

22. Introduction
Saliency Map Models
Conclusions
RARE [Riche, SPIC2013] (2)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

23. Introduction
Saliency Map Models
Conclusions
DeepGaze [Kummerer, arXiv2014] (1)
conv 層出力の線形和
s(x, y) = ∑
k
wkrk(x, y) ∗ Gσ
センターバイアスの考慮
o(x, y) = αc(x, y) + s(x, y)
softmax 処理
p(x, y) =
exp(o(x, y))
∑x,y exp(o(x, y))
パラメータ σ, α, wk を学習するための損失
関数
c(σ, α, w) = −
1
N
N
∑
i
log p(xi, yi) + λ
|w|1
|w|2
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

24. Introduction
Saliency Map Models
Conclusions
DeepGaze [Kummerer, arXiv2014] (2)
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

25. Introduction
Saliency Map Models
Conclusions
精度評価 (1)
Figure: The s-AUC scores on MIT300 in MIT Saliency Benchmark 1.
1http://saliency.mit.edu/results_mit300.html
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

26. Introduction
Saliency Map Models
Conclusions
精度評価 (2)
ITTI Model [1]
AIM [2]
GBVS [3]
SpectralResidual [4]
SUN [5]
AWS [6]
RARE2012 [7]
DeepGaze [8]
adapted from [7]
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

27. Introduction
Saliency Map Models
Conclusions
まとめ
現在提案されている顕著性マップの計算モデルのうち主な手法
を紹介した。
新しい手法ほど精度が向上する傾向がある。
DeepLearning が SaliencyMap 推定に活用されはじめている。
今後，さらに精度の高い推定手法の検討とともに，評価方法の
確立や有効な応用例の検討なども必要であろう。
2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map