Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to 論文紹介：Using the Forest to See the Trees: A Graphical. Model Relating Features, Objects, and Scenes (Probabilistic Graphical Models輪読会 #2 LT)
Similar to 論文紹介：Using the Forest to See the Trees: A Graphical. Model Relating Features, Objects, and Scenes (Probabilistic Graphical Models輪読会 #2 LT) (11)
Recently uploaded
Recently uploaded (7)
論文紹介：Using the Forest to See the Trees: A Graphical. Model Relating Features, Objects, and Scenes (Probabilistic Graphical Models輪読会 #2 LT)
- 1. Probabilistic Graphical Models 輪読会 #2 LT Kevin Murphy, Antonio Torralba, William T. Freeman MIT AI lab “Using the Forest to see the Trees: A Graphical Model Relating Features, Objects, and Scenes” Published in NIPS, 2003 16/05/31 東京工業大学 情報工学科 4年 八木 拓真(@t_Signull) Probabilistic Graphical Models 輪読会 #2 LT 1
- 2. 1ページサマリー • 物体検出タスクにおいて、局所領域だけでなくコンテ キスト(画像全体)の情報を考慮するモデルを提案 • 条件付き確率場(CRF)を用いて、画像中からの物体検 出、シーン分類、物体存在判定を同時学習 • GMの初歩的な性質を利用した良いCase study 良い点： 物体存在性判定を組み入れることでテスト時の計算量を 削減、その学習には大域特徴と局所特徴の両方を活用 悪い点： フィルタ/スケール幅が固定のため性能が頭打ちになり やすい・色を考慮していない・性能が実証されていない Probabilistic Graphical Models 輪読会 #2 LT 2
- 3. 歴史的経緯 1999年：LoweがSIFTを提案 2001年：Viola & Jonesの顔検出器 2003年：局所特徴量を用いた初の本格的な一般物 体認識[Fergus+, 2003] ←この時点で提案されたモデル→ 2004年：Bag-of-keypointsの登場 2005年：HoG特徴の登場 … 2012年：ILSVRCでDeep勢が圧倒 一般物体認識の黎明期に書かれた論文 Probabilistic Graphical Models 輪読会 #2 LT 3
- 4. モデル概観 Probabilistic Graphical Models 輪読会 #2 LT 4 入力画像 シーン特徴量 (728次元) PCAで80次元に圧縮 “Building” シーン分類 13×30種類の局所フィルタ 局所特徴量(780次元) Boosting 100次元に圧縮 物体存在性判定 “人が位置xにいる” ロジスティック 回帰
- 5. 基本的なアイデア • 目的：画像中からの特定物体の検出(detection) (1) parts-based(複数の小パーツから全体を構成) (2) patch-based(sliding-windowで探索) (3) region-based(領域分割->ラベル割り当て) 𝑃(𝑂𝑖 𝑐 = 1|𝑣𝑖 𝑐 )(パッチ𝑖の特徴量が与えられたときに、 そのパッチ中に物体𝑐が存在する確率)がある閾値 を越えたとき、物体を検出したとみなす 窓の大きさを変えながら複数のスケールで探索す る(原始的なsliding-window) Probabilistic Graphical Models 輪読会 #2 LT 5
- 6. 特徴量 • 白黒パッチ𝐼𝑖(𝑥)に対して次の畳込み計算を施す： |𝐼𝑖 𝑥 ∗ 𝑔 𝑘 𝑥 | 得られた輝度ヒストグラムから、分散(variance)と尖度 (kurtosis)の2つの統計量を使用 • フィルタはエッジ、ラプラシアンフィルタ、コー ナー検出器、長エッジ検出器など１３種類 • さらに、30の空間テンプレートと組み合わせて部分 ごとの発火量を得る(合計13x30x2=780d) Probabilistic Graphical Models 輪読会 #2 LT 6
- 7. GentleBoostを用いた分類器 • ブースティングアルゴリズムの1種である GentleBoostを使用して最終的な分類器を構築 →AdaBoostでないのは単に性能が悪かったから • 1つの弱学習器は特徴量𝑣𝑓を用いて ℎ 𝑣 = 𝑎・(1 𝑖𝑓 𝑣 𝑓 > 𝜃 𝑒𝑙𝑠𝑒 0) + 𝑏 • 弱学習器の重みは単純な二乗誤差最小化で計算でき、 サンプルの重みを調整しながら(780個中)最大100 個の要素を選び出す • 最終識別器はLogistic回帰で出力を確率化して 𝑃 𝑂𝑖 𝑐 = 1 𝛼 𝑣𝑖 𝑐 = 𝜎(𝑤 𝑇[1 ℎ 𝑡(𝑣)] 𝑡 ) Probabilistic Graphical Models 輪読会 #2 LT 7
- 8. 選択された特徴量 Probabilistic Graphical Models 輪読会 #2 LT 8 例えば、パソコンなら枠の縦横の刺激を 重要とみなしていることがわかる
- 9. 物体存在性の判定 • 画像中に物体𝑐が存在するとき𝐸 𝑐 = 1、しないとき 𝐸 𝑐 = 0とする • 今回は、画像全体の特徴𝑣 𝐺から物体の存在性を予測 する別のブースティング分類器を構築 𝑃 𝐸 𝑐 = 1 𝑣 𝐺 = 𝜎(𝑤 𝑇 1 𝛼 𝑣 𝐺 ) (ここでは簡単のためモデルを単純化した) • 全体特徴𝑣 𝐺 は”gist”と呼ばれ、局所特徴で用いた13 種のフィルタ、4つのスケール、7つのマスクを使用 して構成した728次元のベクトルをPCAで80次元に 圧縮した • 最終的なモデルではこの分類器を直接は使用しない Probabilistic Graphical Models 輪読会 #2 LT 9
- 10. 画像全体からのシーン分類 • 物体間の共起関係をモデル化することもできるが、 シンプルに潜在的なシーン(scene)の存在を仮定 • シーン𝑆が𝑠である確率をone-vs-all分類器で表現 (単純に確率が最も大きいものを選ぶ) 𝑃 𝑆 = 𝑠 𝑣 𝐺 = 𝑃 𝑆 𝑠 = 1 𝑣 𝐺 𝑃 𝑆 𝑠′ = 1 𝑣 𝐺 𝑠′ (1つ1つのs-vs-other分類器は前で解説したブース ティングを使用) • 単純ながら、3クラス分類でF値0.9程度の高性能 Probabilistic Graphical Models 輪読会 #2 LT 10
- 11. GMを用いた、Scene分類と 物体存在判定の結合学習 • 物体検出の結果を利用しつつ、物体存在判定を 学習させたい→GMを構築 結合確率 𝑃 𝑆, 𝐸1:𝑛, 𝑂1:𝑁 𝑐1 , … , 𝑂1:𝑁 𝑐 𝑛 𝑣 = 1 𝑍 𝑃 𝑆 𝑉 𝐺 𝜙 𝐸 𝑐, 𝑆 𝑃(𝑂𝑖 𝑐 𝑖𝑐 |𝐸 𝑐, 𝑣𝑖 𝑐 ) • 𝜙(𝐸 𝑐, 𝑆)はシーンと物体の共起回数を格納した表 • 最終的な予測確率： 𝑃 Oi c = 1 Ec = e, vi c = 𝜎 𝑤 𝑇 1 𝛼 𝑣𝑖 𝑐 𝑖𝑓 𝑒 = 1 0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 →𝑒 = 0なら、局所特徴の計算は不要 Probabilistic Graphical Models 輪読会 #2 LT 11
- 12. モデル概観(再掲) Probabilistic Graphical Models 輪読会 #2 LT 12 入力画像 シーン特徴量 (728次元) PCAで80次元に圧縮 “Building” シーン分類 13×30種類の局所フィルタ 局所特徴量(780次元) Boosting 100次元に圧縮 物体存在性判定 “人が位置xにいる” ロジスティック 回帰
- 13. GMによる表現 Probabilistic Graphical Models 輪読会 #2 LT 13 現在のシーンは？ 位置iに物体は 存在する？ このシーンに物体は 存在する？
- 14. V-structureの利用 • 赤線で囲まれた領域を見ると、目的変数𝑂 1:𝑁 𝑐 は 𝑣と𝐸を親に持つが、自身は子を持たないV- structureを構成している →𝑂が未観測の場合、親同士は独立 • 故に、位置𝑖に物体が存在する確率は 𝑃 𝑂𝑖 𝑐 = 1 𝑣 = 𝑃 𝑂𝑖 𝑐 = 1 𝑣𝑖 𝑐 , 𝐸 𝑐 = 𝑒 𝑃(𝐸 𝑐 = 𝑒|𝑣) 𝑒 と因数分解でき、 𝑂𝑖 𝑐 の学習は𝐸 𝑐 と独立に可能 Probabilistic Graphical Models 輪読会 #2 LT 14
- 15. 学習/推論の流れ (1) 物体検出確率𝑃 𝑂𝑖 𝑐 = 1 𝑣 の学習 →GentleBoost+Logistic回帰で学習 (2) (1)の結果を受けて、𝜙(𝑆, 𝐸 𝑐)と𝑃(𝑆|𝛼 𝑣 𝐺 )を 同時学習 →𝑃(𝑂𝑖 𝑐 = 1|𝑣𝑖 𝑐 , 𝐸 𝑐 = 1)の 対数尤度を勾配法で学習 (𝑣𝑖 𝑐 を考慮する必要有) 推論は矢印を辿ればよい Probabilistic Graphical Models 輪読会 #2 LT 15 (1) (2)
- 16. 実験条件 • 使用データ：MIT-CBCL(2400枚、5クラス (screens, keyboards, desks, pedestrian, car) →学習器そのものは物体ごとに別々に学習されるため、 色々なデータセットから画像を寄せ集めた →実験条件の説明が非常に雑でシーンが各クラスでそ れぞれ何種類あるかは不明 →物体の見え(見る方向)は統制 • シーン分類はあくまで物体検出の計算を行うか 否かの判定にしか使用しないため、(1)物体検出 の性能(2)シーン分類の性能は別々に評価 Probabilistic Graphical Models 輪読会 #2 LT 16
- 17. 実験結果(物体検出) 大きいオブジェクトの性能が低い Probabilistic Graphical Models 輪読会 #2 LT 17
- 18. 実験結果 (シーン分類) 結合学習のほうが別々に学習するより精度が低く なってしまった→物体検出器自体の性能不足 Probabilistic Graphical Models 輪読会 #2 LT 18
- 19. まとめ • 物体検出タスクにおいて、局所領域だけでなくコンテ キスト(画像全体)の情報を考慮するモデルを提案 • 条件付き確率場(CRF)を用いて、画像中からの物体検 出、シーン分類、物体存在判定を同時学習 • GMの条件付き独立性の性質を活用して、物体検出器 の情報をシーン分類・物体存在判定に活用 Probabilistic Graphical Models 輪読会 #2 LT 19