Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Variational Kalman Filter
Similar to Variational Kalman Filter (20)
Recently uploaded
Recently uploaded (9)
Variational Kalman Filter
- 1. Variational Kalman Filter Yoshiaki Sakakura Denso IT Laboratory, INC. DENSO IT Laboratory, INC. 1
- 2. Variational Kalman Filter（VKF） • The Variational Kalman Filter and an Efficient Implementation using Limited Memory BFGS, Int. J. Numer. Meth. Fluids, 2010 – 高速・省メモリな Kalman Filter の設計法（大規模問題を想定） – Fluids!（データ同化ってやつですか） DENSO IT Laboratory, INC. 2
- 3. 導入(1/3) : 状態空間モデル • 構成・・・状態ダイナミクス＋観測で構成される系 • 目的・・・現在・未来・過去の状態を知りたい – 現在:フィルタ、未来:予測、過去:平滑化 • 応用・・・各種シミュレーション、トラッキング、SLAM etc… xt‐1 xt xt+1 yt‐1 yt yt+1 状態 観測 フィルタ 平滑化 予測 , , ~ ; ~ ; : 1vector : 1vector DENSO IT Laboratory, INC. 3
- 4. 導入(2/3) : Kalman Filter • 線形・ガウス型状態空間モデルを想定 • フィルタと予測を繰り返す演算 • 現在・未来の状態を知りたい ~ 0, ~ 0, Prediction Filtering Initialization ← 1 and return to Prediction Step Initialize , and ← 1 DENSO IT Laboratory, INC. 4
- 5. 導入(3/3) : Kalman Filterの限界 • 問題が大規模になると、 – メモリの限界・・・ M×Mの密行列（ : N×Nの密行列 に依存） – 計算量の限界・・・Kalman Gain : N×Nの逆行列計算 • ※ , , , :疎行列と仮定 Prediction Filtering Initialization ← 1 and return to Prediction Step Initialize , and ← 1 DENSO IT Laboratory, INC. 5
- 6. VKF概要 • 目的 – の省メモリ表現 – を直接計算回避 • 手段 – Kalman Filter を2つの最適化問題で表現 • 本質的な問題 : Optimizer: 、Inverse Hessian : • 補助問題・・・上記問題を解くために必要 – L‐BFGS（Limited memory BFGS）で解法 • (Inverse)Hessianの省メモリ近似を用いる準ニュートン法 argmin by LBFGS as LBFGS form as LBFGS form Prediction Filtering Initialization Initialize , and ← 1 ← 1 and return to Prediction Step DENSO IT Laboratory, INC. 6
- 7. アウトライン • L‐BFGS（Limited Memory BFGS） • VKF algorithm導出 • 数値実験結果 • 関連研究との比較 • まとめ • おまけ DENSO IT Laboratory, INC. 7
- 8. アウトライン • L‐BFGS（Limited Memory BFGS） • VKF algorithm導出 • 数値実験結果 • 関連研究との比較 • まとめ • [おまけ] DENSO IT Laboratory, INC. 8
- 9. 準ニュートン法 • 最適化の各STEPで、(inverse)Hessian を近似しながら最適化 min , ∈ Line Search Input: , , , ∈ ← 0 Repeat until convergence ← 1 output: , , DENSO IT Laboratory, INC. 9
- 10. の算出法 BFGS公式 • 天下り！ – ポイントは更新式になっているところ – ※ 今回はInverse Hessianを使うので、両方かいとくよー。 , Hessian (BFGS) Inverse Hessian (BFGS) DENSO IT Laboratory, INC. 10
- 11. 実は • : 、 に最も近い、ただしセカント条件、正定値条件を満たす中で – 最も近い : KL Divergence最小化 – セカント条件 : ヘシアンによく似ている形 – 正定値条件 ≻ : 下ってくれる argmin KL , , , s.t. , ≻ , DENSO IT Laboratory, INC. 11
- 12. L‐BFGS公式 : Inverse Hessian approximation • の再帰展開し， 次で打ち切り で打ち切り – メモリオーダ → : 通常 10 – 過去 回分の , ∈ だけ覚えておけばよい ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ , ∈ ∈ ∈ :sparse ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ ⋯ Inverse Hessian (L‐BFGS) DENSO IT Laboratory, INC. 12
- 13. LBFGSによる準ニュートン構成 min , ∈ Define as LBFGS Inverse Hessian form Line Search Input: , , , ∈ :sparse, ← 0 Repeat until convergence Compute sequentially : initial search direction ← 1 Archive , :latest time search output: , , (LBFGS form) DENSO IT Laboratory, INC. 13
- 14. アウトライン • L‐BFGS（Limited Memory BFGS） • VKF algorithm導出 • 数値実験結果 • 関連研究との比較 • まとめ • [おまけ] DENSO IT Laboratory, INC. 14
- 15. Optimizer: ,Inverse Hessian : を持つ最適化問題 • 事後確率 の最大化 – フィルタ演算そのもの : Kalman Filter の本質的な最適化問題 → min. ∝ 1 2 1 2 ln ∝ ln ln argmin DENSO IT Laboratory, INC. 15
- 16. 補助問題 • 損失関数 を効率的に計算 • をInverse Hessianにもつ最適化問題 1 2 1 2 → min. DENSO IT Laboratory, INC. 16
- 17. VKF Algorithm Define auxiliary probrem argmin by LBFGS as LBFGS as LBFGS form Define Define MAP loss function | Prediction Filtering Initialization Initialize , :sparse and ← 1 ← 1 and return to Prediction Step DENSO IT Laboratory, INC. 17
- 18. アウトライン • L‐BFGS（Limited Memory BFGS） • VKF algorithm導出 • 数値実験結果 • 関連研究との比較 • まとめ • [おまけ] DENSO IT Laboratory, INC. 18
- 19. 数値実験結果 A) Filtering Step が進むにつれKFに漸近 B) 条件によっては、初期にKFより精度が高い（筆者らは、LBFGSによる正則化効果であると主張） C) KFではメモリ制約で実行できない場合にも適用可能 ※ ちなみに、状態数=32で、計算時間は1/10まで低下らしい 状態数32 システム誤差、観測誤差パターンA 状態数32 システム誤差、観測誤差パターンB 状態数256 ※KFはメモリ不足で計算できず 〇: VKF ＊: KF 〇: VKF ＊: KF 〇: VKF ＊:LBFGS‐KF(前ver.) 問題 結果(A) 結果(B) 結果(C) DENSO IT Laboratory, INC. 19 状態推定誤差
- 20. 関連研究との比較 • 【関連研究】 – 状態・分散共分散行列の低ランク近似（以下LRA） • 時不変基底、重みを時間発展 – Ensemble Kalman Filter（EnKF）, Particle Filter（PF） • 各推定量をサンプルで近似 • 共分散行列が退化していれば少サンプルで近似可能 • 【比較】 – モデル表現の厳密性・柔軟性 • v.s. LRA : 時変性をうまくモデル化できる（特にEKFで効く？） • v.s. EnKF/PF : サンプリングバイアスがない（ただしガウスのみ） • 事後確率に任意の正則化項導入（ただし諸刃の剣） – 計算量 • LBFGSの収束性能依存（ただし超1次収束） • LBFGS部分の並列化困難 DENSO IT Laboratory, INC. 20
- 21. アウトライン • L‐BFGS（Limited Memory BFGS） • VKF algorithm導出 • 数値実験結果 • 関連研究との比較 • まとめ • [おまけ] DENSO IT Laboratory, INC. 21
- 22. まとめ • 【まとめ】 – Variational Kalman Filter の紹介 • LBFGSを用いた、共分散行列の省メモリ構成、Kalman Gain計算回避 – 他手法との比較（ここらへん加味して選択しよう） • モデル表現の厳密性・柔軟性 • 計算量 DENSO IT Laboratory, INC. 22
- 23. アウトライン • L‐BFGS（Limited Memory BFGS） • VKF algorithm導出 • 数値実験結果 • 関連研究との比較 • まとめと今後 • [おまけ] DENSO IT Laboratory, INC. 23
- 24. おまけ • とはいえ、みなさんEmsembleばら撒くの好きでしょ？ – Emsemble → 高速 ＋ 非線形 ＋ 非ガウス • というわけで VEnKF （Variational Ensemble Kalman Filter [SOLONEN 2012]） • EnKFに比べ少ないサンプルで高い推定精度を得ている – だけど、ガウス DENSO IT Laboratory, INC. 24
- 25. 参考文献 • H. Auvinen et. al., The Variational Kalman Filter and an Efficient Implementation using Limited Memory BFGS, Int. J. Numer. Meth. Fluids, 2010 • Antti Solonen et. al., Variational Ensemble Kalman Filtering Using Limited Memory BFGS, ENTA, 2012 • 淡路敏之ら, データ同化 観測・実験とモデルを融合するイノベーション, 京都大学学術出版会, 2009 • Takafumi Kanamori et. al., A Bregman Extension of quasi‐Newton updates I: An Information Geometrical framework, arXiv:1010.2847, 2010 DENSO IT Laboratory, INC. 25