背景モデリングに関する研究など
•
12 likes•5,589 views
第20回名古屋CV・PRML勉強会で発表した内容です。 自分の研究に関連するところをざっくりと話しました。
Recommended
More Related Content
What's hot
What's hot (20)
More from Yasutomo Kawanishi
More from Yasutomo Kawanishi (12)
Recently uploaded
Recently uploaded (9)
背景モデリングに関する研究など
- 1. 背景モデリングに 関する研究紹介 など 第20回名古屋CV・PRML勉強会 2012/10/20 川西康友 ( @yasutomo57jp ) 1 12年10月21日日曜日
- 2. 今日話す内容 自分の研究に関して 背景画像推定 背景モデリング 宣伝：次週関西CVPRML勉強会 ICIP2012の参加報告をします 2 12年10月21日日曜日
- 3. 私の研究内容 屋外の固定カメラ映像を対象 背景画像推定 背景差分 人物検出・追跡・照合 3 12年10月21日日曜日
- 4. Foreground / Background 画像処理では前景／背景のどちらかを対象 この分離は様々な画像処理の前処理 前景 背景 人物追跡 シーン理解 人物照合 天候推定 プライバシ配慮映像 4 12年10月21日日曜日
- 5. Foreground / Background 画像処理では前景／背景のどちらかを対象 この分離は様々な画像処理の前処理 前景 背景 人物追跡 シーン理解 人物照合 天候推定 プライバシ配慮映像 4 12年10月21日日曜日
- 6. プライバシに配慮した映像の前に センシングWeb 世の中のセンサデータをWebに公開 防犯カメラ映像 Application Servers 人感センサ World wide 気象データ Sensor Network etc. プライバシの問題がある 5 特に防犯カメラ映像 12年10月21日日曜日
- 7. 映像に対するプライバシ保護 人物検出→モザイク 人物検出が完璧でないと… 観測画像 モザイク 観測画像 モザイク 6 12年10月21日日曜日
- 8. 映像に対するプライバシ保護 人物検出→モザイク 人物検出が完璧でないと… 違う位置にモザイク 観測画像 モザイク 観測画像 モザイク 6 12年10月21日日曜日
- 9. 映像に対するプライバシ保護 人物検出→モザイク 人物検出が完璧でないと… 違う位置にモザイク 観測画像 モザイク 人物が丸見え 観測画像 モザイク 6 12年10月21日日曜日
- 10. 映像に対するプライバシ保護 人物検出→モザイク 人物検出が完璧でないと… 違う位置にモザイク 失敗 観測画像 モザイク 人物が丸見え 失敗 観測画像 モザイク 6 12年10月21日日曜日
- 11. 変身カメラ 人物１ (x,y): (150, 200 ) シーンに適応する頑健な 人物２ Width: 30px 人物検出 Height: 100px 160 ) (x,y): (120, 人物３ Width: 30px (x,y): (200, 180 ) Height: 100px Width: 30px Height: 100px 観測した映像 変身カメラの映像 長時間の観測画像解析に基づく 背景画像推定 7 12年10月21日日曜日
- 12. 人物検出の失敗時 人物検出位置がずれても 違う位置に モザイク 失敗 観測画像 モザイク 変身カメラ 人物検出が全くできなくても 人物が丸見え 失敗 観測画像 モザイク 変身カメラ 12年10月21日日曜日
- 13. 人物検出の失敗時 人物検出位置がずれても 位置が 違う位置に ずれるだけ モザイク 失敗 観測画像 モザイク 変身カメラ 人物検出が全くできなくても 人物が丸見え 失敗 観測画像 モザイク 変身カメラ 12年10月21日日曜日
- 14. 人物検出の失敗時 人物検出位置がずれても 位置が 違う位置に ずれるだけ モザイク 失敗 観測画像 モザイク 変身カメラ 人物検出が全くできなくても 何も表示 人物が丸見え されないだけ 失敗 観測画像 モザイク 変身カメラ 12年10月21日日曜日
- 15. 人物検出の失敗時 人物検出位置がずれても 位置が 違う位置に ずれるだけ モザイク 失敗 安心 観測画像 モザイク 変身カメラ 人物検出が全くできなくても 何も表示 人物が丸見え されないだけ 失敗 安心 観測画像 モザイク 変身カメラ 12年10月21日日曜日
- 16. 人物検出の失敗時 人物検出位置がずれても 位置が 違う位置に ずれるだけ モザイク 失敗 安心 観測画像 モザイク 変身カメラ 人物検出が全くできなくても 何も表示 人物が丸見え されないだけ 失敗 安心 観測画像 モザイク 変身カメラ 人物検出結果が悪くてもプライバシ漏洩は起こりえない 12年10月21日日曜日
- 17. 変身カメラ 人物１ (x,y): (150, 200 ) シーンに適応する頑健な 人物２ Width: 30px 人物検出 Height: 100px 160 ) (x,y): (120, 人物３ Width: 30px (x,y): (200, 180 ) Height: 100px Width: 30px Height: 100px 観測した映像 変身カメラの映像 長時間の観測画像解析に基づく 背景画像推定 9 12年10月21日日曜日
- 18. 背景画像推定の目的 元の観測画像 推定した背景画像 違和感がない映像 プライバシを侵害しない 12年10月21日日曜日
- 19. 屋外固定カメラの映像 映像中には何が存在？ 変化しないもの 地面，床，壁 変化するもの 見えの変化 o 日照変化，木や旗の揺れ 存在の変化 o 物体の侵入，消滅 11 12年10月21日日曜日
- 20. 屋外固定カメラの映像 映像中には何が存在？ 変化しないもの 地面，床，壁 変化するもの 見えの変化 o 日照変化，木や旗の揺れ 存在の変化 o 物体の侵入，消滅 11 12年10月21日日曜日
- 21. 屋外固定カメラの映像 映像中には何が存在？ 変化しないもの 地面，床，壁 変化するもの 背景 見えの変化 o 日照変化，木や旗の揺れ 存在の変化 o 物体の侵入，消滅 11 12年10月21日日曜日
- 22. 屋外固定カメラの映像 映像中には何が存在？ 変化しないもの 地面，床，壁 変化するもの 背景 見えの変化 o 日照変化，木や旗の揺れ 存在の変化 o 物体の侵入，消滅 前景 11 12年10月21日日曜日
- 23. 背景画像の推定 背景は変化している 1枚の画像から推定するのは無理 複数枚の画像から背景モデルを構築 背景モデルを用いて背景画像推定 背景画像推定 画像の全ての画素の（背景を観測した時の）値 を決めること 12 12年10月21日日曜日
- 24. ちなみに… 背景差分法（前景領域の抽出） 背景モデルと観測画像の比較 背景ではない領域を抽出する 全ての画素に対して背景らしさを決定する問題 背景らしさに対して閾値処理→背景 or notを決定 背景らしさに対する閾値処理 背景モデル 13 12年10月21日日曜日
- 25. 背景差分と背景画像推定 観測→背景モデル→背景画像 背景画像推定：画素ごとに画素値を与えられればよい 背景差分 背景モデル 背景差分：結果的に画素ごとに2クラス分類ができればよい 14 12年10月21日日曜日
- 26. 背景モデル 背景とはこうだという定義を与えるもの 背景差分に使える背景モデル 背景画像推定に使える背景モデル 表現方法 画素ごと／画像ごと 確率分布／固有空間／時系列予測 15 12年10月21日日曜日
- 27. 様々な背景モデル化法 画素ごとの統計モデル 平均，最頻値 正規分布，混合分布 画像の低次元近似に基づくモデル EigenBackground, Local PCA, Robust PCA 時系列の変化を表すモデル Kalman Filterによる輝度推定 時系列のテクスチャ変化推定 16 12年10月21日日曜日
- 28. 画素ごとの統計モデル time 現在の観測画像 統計量の推定 統計量を推定する 時間方向の平均値，最頻値 確率分布の極大値を推定 弱点：急激な変化，空間的な変化に弱い （背景差分の場合）特徴量の工夫，識別の工夫 画素値→LBP，ST-Patchなど 閾値処理→1class SVMなど 特徴量，識別方法で様々な組み合わせ 17 12年10月21日日曜日
- 29. 画素ごとの統計モデル time 現在の観測画像 統計量の推定 統計量を推定する 時間方向の平均値，最頻値 確率分布の極大値を推定 弱点：急激な変化，空間的な変化に弱い （背景差分の場合）特徴量の工夫，識別の工夫 画素値→LBP，ST-Patchなど 閾値処理→1class SVMなど 特徴量，識別方法で様々な組み合わせ 17 12年10月21日日曜日
- 30. 様々な背景モデル化法 画素ごとの統計モデル 平均，最頻値 正規分布，混合分布 画像の低次元近似に基づくモデル EigenBackground, Local PCA, Robust PCA 時系列の変化を表すモデル Kalman Filterによる輝度推定 時系列のテクスチャ変化推定 18 12年10月21日日曜日
- 31. 低次元近似の背景モデリング 画像1枚を1つのベクトルと考える 非常に高次元（100万画素＝300万次元） 実際の変化パターンはそんなに高次元じゃない 画像をいくつかの基底の重み付き和で表現 うまく基底を取れば，背景変化を再現可能 19 12年10月21日日曜日
- 32. EigenBackground ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 33. EigenBackground ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 34. EigenBackground ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 35. EigenBackground ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 36. EigenBackground ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 37. EigenBackground PCA 背景固有空間 ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 38. EigenBackground 入力画像 PCA 背景固有空間 ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 39. EigenBackground 入力画像 PCA 背景固有空間 ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 40. EigenBackground 入力画像 PCA 背景固有空間 推定した背景画像 ・・・ time N. Oliver, B. Rosario, and A. Pentland, A Bayesian Computer Vision System for Modeling Human Interactions, IEEE Trans. on PAMI, vol. 22, pp. 831-843, 1999. 12年10月21日日曜日
- 41. EigenBackgroundの弱点 学習時，前景領域などのノイズ（外れ値）に弱い 外れ値に強い手法：Robust PCAなどを利用 空間的に徐々に変化する変化を再現できない 学習データをうまく限定する Local PCAなどを利用 局所的な変化を再現できない 画像を分割して各領域ごとに処理 Segmented PCAなどを利用 21 12年10月21日日曜日
- 42. 前景領域などのノイズへの対応 できるだけ前景領域を無視してPCAしたい 前景領域を除いた上で背景の誤差を最小化 どこを前景領域として除けばよいか？ Robust PCA, GoDecなどのロバストな手法 前景領域(ノイズ)は画像中でSparse 画素数が少ない（L0ノルムが小さいという条件） 組合せ最適化になるので簡単には解けない L1ノルムで近似して繰り返し計算 Tianyi Zhou, Dacheng Tao, GoDec: Randomized Low-rank & Sparse Matrix Decomposition in Noisy Case, ICML, 2011. 22 12年10月21日日曜日
- 43. Subsampleによる高速化・頑健化 例えば100万次元の画像を10次元で表現するとき 100万次元すべてを使わなくても10次元の部分空間を推定できる 画像からランダムに画素を選択し，その画素の情報だけを使って 画像を低次元近似 基底 のうち，Subsamplingした画素に対応する 画素 を選択 列のみ( )を利用して画像を復元 Subsampling 復元 30%くらいの画素からでも十分背景を推定できる L. Balzano, A.Szlam, J.He, Incremental Gradient on the Grassmannian for Online Foreground and Background Separation in Subsampled Video , CVPR 2012. 12年10月21日日曜日
- 44. 空間的に連続した変化への対応 入力画像 推定した背景画像 背景固有空間 影の移動などは数枚の画像の和では表現できない 24 12年10月21日日曜日
- 45. 空間的に連続した変化への対応 (Kawanishi2009) 時刻 異なる日の同じ時刻 ・・・ 影の出る位置は同じ この画像集合だけを使って 背景固有空間を構築 日 日照の強弱だけの問題になる→再現が容易 複数日で看板などの配置が異なるとうまく再現 できない→(川西2011ではこの問題に対処) 25 12年10月21日日曜日
- 46. 局所的な変化への対応 画像全体を低次元で近似 画像中の細かな変化は失われる 画像をブロックへ分割し，ブロックごとに処理 Segmented PCA 26 12年10月21日日曜日
- 49. Segmented EigenBackground 各ブロックに 対してPCA Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background time 12年10月21日日曜日
- 50. Segmented EigenBackground 各ブロックに 対してPCA Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background time ブロックごとの背景画像推定 12年10月21日日曜日
- 51. Segmented EigenBackground 各ブロックに 対してPCA Eigen Eigen Eigen Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background time ブロックごとの背景画像推定 Eigen Background 12年10月21日日曜日
- 52. Segmented EigenBackground 各ブロックに 対してPCA Eigen Eigen Eigen Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background time ブロックごとの背景画像推定 入力画像 Eigen Background 12年10月21日日曜日
- 53. Segmented EigenBackground 各ブロックに 対してPCA Eigen Eigen Eigen Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background time ブロックごとの背景画像推定 入力画像 Eigen Background 12年10月21日日曜日
- 54. Segmented EigenBackground 各ブロックに 対してPCA Eigen Eigen Eigen Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background Eigen Eigen Eigen Eigen Background Background Background Background time ブロックごとの背景画像推定 入力画像 推定した背景画像 Eigen Background 12年10月21日日曜日
- 55. Segmented EigenBackgroundの問題点 ブロックに分割することで 局所的な変化をうまく再現可能 前景領域の影響を大きく受ける 前景領域がブロックの大部分を占めるため 12年10月21日日曜日
- 56. Segmented EigenBackgroundの問題点 ブロックに分割することで 局所的な変化をうまく再現可能 前景領域の影響を大きく受ける 前景領域がブロックの大部分を占めるため 12年10月21日日曜日
- 57. Segmented EigenBackgroundの問題点 ブロックに分割することで 局所的な変化をうまく再現可能 前景領域の影響を大きく受ける 前景領域がブロックの大部分を占めるため 12年10月21日日曜日
- 58. Segmented EigenBackgroundの問題点 ブロックに分割することで 局所的な変化をうまく再現可能 前景領域の影響を大きく受ける →川西2012で対処 （時系列の推定） 前景領域がブロックの大部分を占めるため 12年10月21日日曜日
- 59. 様々な背景モデル化法 画素ごとの統計モデル 平均，最頻値 正規分布，混合分布 画像の低次元近似に基づくモデル EigenBackground, Local PCA, Robust PCA 時系列の変化を表すモデル Kalman Filterによる輝度推定 時系列のテクスチャ変化推定 29 12年10月21日日曜日
- 60. 時系列の変化を表すモデル 時刻 時系列に沿った画像が得られている これを背景画像推定に使う 従来手法：画素ごとに日照変化に対処 カルマンフィルタによって輝度変化を予測 前景領域によるオクルージョンにロバスト 変化の連続性を仮定 屋外環境における明るさ可変背景とMSCを用いた移動物体検出, 信学論 vol. J90-D, no. 8, pp. 1987-1997, Aug. 2007. 12年10月21日日曜日
- 61. 時系列の変化を表すモデル 時刻 時系列に沿った画像が得られている これを背景画像推定に使う 従来手法：画素ごとに日照変化に対処 カルマンフィルタによって輝度変化を予測 前景領域によるオクルージョンにロバスト 変化の連続性を仮定 →川西2012ではこの手法を拡張 （Segmented PCAと統合） 屋外環境における明るさ可変背景とMSCを用いた移動物体検出, 信学論 vol. J90-D, no. 8, pp. 1987-1997, Aug. 2007. 12年10月21日日曜日
- 62. Segmented Eigenbackgroundの時系列推定(川西2012) 前景領域のオクルージョンに弱い SegmentedEigenBackground 時系列での推定を入れることで頑健に 背景が変化 EigenBackground 時間 31 12年10月21日日曜日
- 63. Segmented Eigenbackgroundの時系列推定(川西2012) 前景領域のオクルージョンに弱い SegmentedEigenBackground 時系列での推定を入れることで頑健に 背景が変化 EigenBackground 時間 31 12年10月21日日曜日
- 64. Segmented Eigenbackgroundの時系列推定(川西2012) 前景領域のオクルージョンに弱い SegmentedEigenBackground 時系列での推定を入れることで頑健に 背景が変化 EigenBackground 時間 31 12年10月21日日曜日
- 65. Segmented Eigenbackgroundの時系列推定(川西2012) 前景領域のオクルージョンに弱い SegmentedEigenBackground 時系列での推定を入れることで頑健に 背景が変化 EigenBackground 時間 31 12年10月21日日曜日
- 66. Segmented Eigenbackgroundの時系列推定(川西2012) 前景領域のオクルージョンに弱い SegmentedEigenBackground 時系列での推定を入れることで頑健に 背景が変化 EigenBackground 時間 31 12年10月21日日曜日
- 67. Segmented Eigenbackgroundの時系列推定(川西2012) 前景領域のオクルージョンに弱い SegmentedEigenBackground 時系列での推定を入れることで頑健に 背景が変化 EigenBackground 時間 31 12年10月21日日曜日
- 68. Segmented Eigenbackgroundの時系列推定(川西2012) 前景領域のオクルージョンに弱い SegmentedEigenBackground 時系列での推定を入れることで頑健に 背景のパラメータがどのよう 背景が変化 に変化するのかを学習 EigenBackground 時間 31 12年10月21日日曜日
- 69. Segmented Eigenbackgroundの時系列推定(川西2012) 前景領域のオクルージョンに弱い SegmentedEigenBackground 時系列での推定を入れることで頑健に 背景のパラメータがどのよう 背景が変化 に変化するのかを学習 ？ 次にどう変化する のかを予測 EigenBackground 時間 31 12年10月21日日曜日
- 70. 実験結果 入力画像 比較手法A：EigenBackground 比較手法B： Segmented EigenBackground 提案手法 12年10月21日日曜日
- 71. 実験結果 入力画像 比較手法A：EigenBackground 比較手法B： Segmented EigenBackground 提案手法 12年10月21日日曜日
- 72. 実験結果 入力画像 比較手法A：EigenBackground 比較手法B： Segmented EigenBackground 提案手法 12年10月21日日曜日
- 73. 実験結果 入力画像 比較手法A：EigenBackground 比較手法B： 提案手法 Segmented EigenBackground 12年10月21日日曜日
- 74. 実験結果 入力画像 比較手法A：EigenBackground 比較手法B： 提案手法 Segmented EigenBackground 12年10月21日日曜日
- 75. 実験結果 入力画像 比較手法A：EigenBackground 比較手法B： 提案手法 Segmented EigenBackground 12年10月21日日曜日
- 76. まとめ 背景画像推定と背景差分 背景差分：背景らしさを推定→閾値処理 背景画像推定：画素値を推定 背景画像推定手法 統計量の計算 部分空間の利用 時系列推定 34 12年10月21日日曜日