論文読み会でGN-Net: The Gauss-Newton Loss for Deep Direct SLAMを紹介した時の資料です.

1. GN-Net: The Gauss-Newton Loss for
Deep Direct SLAM
東京大学 相澤研究室所属
M2 金子 真也

2. 1
本論文
• GN-Net: The Gauss-Newton Loss for Deep Direct SLAM
– 著者: L. v. Stumberg, P. Wenzel, Q. Khan, D. Cremers
– 所属: TUM, Artisense
– 公開: 2019/4/26 (ICCV2019か…？)
– Webpage: https://vision.in.tum.de/research/vslam/gn-net
Daniel Cremers氏率いるDirect SLAMのエキスパート達の論文

3. 2
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
[1] DSOの解説 https://www.slideshare.net/MasayaKaneko/direct-sparse-odometry
[2] DVSOの解説 https://www.slideshare.net/MasayaKaneko/aist-deep-virtual-stereo-odometry-eccv2018

4. 3
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある
2. 照明変化や天候変化に弱い

5. 4
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い

6. 5
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い
入力画像
CNN-SLAM [Tateno+, CVPR’17], DVSO [Yang+, ECCV’18]
CNNの推定結果を初期値として用いる
Initial depthmap
CNN

7. 6
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い
入力画像
他視点画像群
CNN-SLAM [Tateno+, CVPR’17], DVSO [Yang+, ECCV’18]
CNNの推定結果を初期値として用いる
CNN
Refined depthmap

8. 7
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い
[3] 第三回3D勉強会@関東 CNN-SLAM https://drive.google.com/file/d/108CttbYiBqaI3b1jIJFTS26SzNfQqQNG/view

9. 8
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い

10. 9
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い
対応関係を求めるのが容易
同じ環境

11. 10
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い
対応関係を求めるのが困難
???
異なる環境

12. 11
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い
少し環境が違うだけで
3D地図に対する
rocalizationは失敗[3]
[3] GN-Net Demo Video https://youtu.be/GleEp0PqAv0

13. 12
Introduction
• Direct SLAM
– Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2])
– この方法には大きく2つの欠点が存在
1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17]
2. 照明変化や天候変化に弱い
少し環境が違うだけで
3D地図に対する
rocalizationは失敗[3]
[3] GN-Net Demo Video https://youtu.be/GleEp0PqAv0
本論文では照明変化や天候変化に対する
Direct SLAMの問題を解決！！！

14. 13
Related works
• Adversarial Training for Adverse Conditions: Robust Metric
Localisation using Appearance Transfer [Porav+, ICRA’18]
– GANによる画像変換 (夜画像→日中画像)

15. 14
Related works
• Adversarial Training for Adverse Conditions: Robust Metric
Localisation using Appearance Transfer [Porav+, ICRA’18]
– GANによる画像変換 (夜画像→日中画像)
– 画像変換後の画像同士でマッチング
Nighttime
元画像
変換後画像
Daytime

16. 15
Related works
• Adversarial Training for Adverse Conditions: Robust Metric
Localisation using Appearance Transfer [Porav+, ICRA’18]
– GANによる画像変換 (夜画像→日中画像)
– 画像変換後の画像同士でマッチング
– 必ずしも画像空間上でマッチングする必要ないのでは？？？
Nighttime
元画像
変換後画像
Daytime

17. 16
Proposed method
• 特徴空間におけるdirect image alignment
– GN-Netによって特徴量抽出
画像空間

18. 17
Proposed method
• 特徴空間におけるdirect image alignment
– GN-Netによって特徴量抽出
画像空間
GN-Net

19. 18
Proposed method
• 特徴空間におけるdirect image alignment
– GN-Netによって特徴量抽出
画像空間 特徴量空間
GN-Net

20. 19
Proposed method
• 特徴空間におけるdirect image alignment
– GN-Netによって特徴量抽出 対応関係の計算
画像空間 特徴量空間
GN-Net

21. 20
Proposed method
• 特徴空間におけるdirect image alignment
– GN-Netによって特徴量抽出 対応関係の計算
画像空間 特徴量空間
どのようにネットワークを学習させるか？
GN-Net

22. 21
Proposed loss functions
• 特徴量に求められる特性
1. 対応する点は同じ特徴量を持つ
2. 対応しない点は異なる特徴量を持つ

23. 22
Proposed loss functions
• 特徴量に求められる特性
1. 対応する点は同じ特徴量を持つ
2. 対応しない点は異なる特徴量を持つ
一般的なSiamese Networkで実現可能

24. 23
Proposed loss functions
• 特徴量に求められる特性
1. 対応する点は同じ特徴量を持つ
2. 対応しない点は異なる特徴量を持つ
一般的なSiamese Networkで実現可能
これだけでは, SLAMパイプラインにおける
対応点計算に適していることは保証しない

25. 24
Proposed loss functions
• (SLAMにおける)対応点の計算
– 画像𝐼における点𝑝が, 画像𝐼′における𝑝′と対応するように最適化
𝑟(𝑝)
argmin
𝑝
𝐼 𝑝 − 𝐼′(𝑝′) = argmin
𝑝
𝑟(𝑝)
(Gauss-)Newton法

26. 25
Proposed loss functions
• (SLAMにおける)対応点の計算
– 画像𝐼における点𝑝が, 画像𝐼′における𝑝′と対応するように最適化
𝑟(𝑝)
𝑝 𝑘
argmin
𝑝
𝐼 𝑝 − 𝐼′(𝑝′) = argmin
𝑝
𝑟(𝑝)
𝑟 𝑝 𝑘 + 𝛿𝑝
≈ 𝑟 𝑝 𝑘 + 𝑟′ 𝑝 𝑘 𝛿𝑝 +
1
2
𝑟′′ 𝑝 𝑘 𝛿𝑝 2
1. 初期値𝑝 𝑘において, 𝑟(𝑝)を二次近似
(Gauss-)Newton法

27. 26
Proposed loss functions
• (SLAMにおける)対応点の計算
– 画像𝐼における点𝑝が, 画像𝐼′における𝑝′と対応するように最適化
𝑟(𝑝)
𝑝 𝑘 𝑝 𝑘+1𝛿𝑝
argmin
𝑝
𝐼 𝑝 − 𝐼′(𝑝′) = argmin
𝑝
𝑟(𝑝)
𝑟 𝑝 𝑘 + 𝛿𝑝
≈ 𝑟 𝑝 𝑘 + 𝑟′ 𝑝 𝑘 𝛿𝑝 +
1
2
𝑟′′ 𝑝 𝑘 𝛿𝑝 2
1. 初期値𝑝 𝑘において, 𝑟(𝑝)を二次近似
2. 二次近似した関数の最小値へ動かす
𝛿𝑝 = − 𝑟′′(𝑝 𝑘) −1 𝑟′ 𝑝 𝑘 = −𝐻−1 𝑔
(Gauss-)Newton法

28. 27
Proposed loss functions
• (SLAMにおける)対応点の計算
– 画像𝐼における点𝑝が, 画像𝐼′における𝑝′と対応するように最適化
𝑟(𝑝)
𝑝 𝑘 𝑝 𝑘+1𝛿𝑝
argmin
𝑝
𝐼 𝑝 − 𝐼′(𝑝′) = argmin
𝑝
𝑟(𝑝)
𝑟 𝑝 𝑘 + 𝛿𝑝
≈ 𝑟 𝑝 𝑘 + 𝑟′ 𝑝 𝑘 𝛿𝑝 +
1
2
𝑟′′ 𝑝 𝑘 𝛿𝑝 2
1. 初期値𝑝 𝑘において, 𝑟(𝑝)を二次近似
2. 二次近似した関数の最小値へ動かす
𝛿𝑝 = − 𝑟′′(𝑝 𝑘) −1 𝑟′ 𝑝 𝑘 = −𝐻−1 𝑔
このような最適化ができる特徴量マップであってほしい
(Gauss-)Newton法

29. 28
Proposed loss functions
• 特徴量に求められる特性
1. 対応する点は同じ特徴量を持つ
2. 対応しない点は異なる特徴量を持つ
3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!!
• 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2
𝑓2上の𝑥2の近傍(𝑥 𝑣)から𝑥2に容易にGN法で収束
𝑥2 𝑥 𝑣
𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1)
?

30. 29
Proposed loss functions
• 特徴量に求められる特性
1. 対応する点は同じ特徴量を持つ
2. 対応しない点は異なる特徴量を持つ
3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!!
• 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2
𝑓2上の𝑥2の近傍(𝑥 𝑣)から𝑥2に容易にGN法で収束
⇔ 𝒙 𝒗における関数の二次近似が𝒙 𝟐に一致
𝑥2 𝑥 𝑣
𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1)

31. 30
Proposed loss functions
• 特徴量に求められる特性
1. 対応する点は同じ特徴量を持つ
2. 対応しない点は異なる特徴量を持つ
3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!!
• 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2
𝑓2上の𝑥2の近傍(𝑥 𝑣)から𝑥2に容易にGN法で収束
⇔ 𝒙 𝒗における関数の二次近似が𝒙 𝟐に一致
𝑥2 𝑥 𝑣𝑥′ 𝑣
𝛿
GN法による最適化
𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1)

32. 31
Proposed loss functions
• 特徴量に求められる特性
1. 対応する点は同じ特徴量を持つ
2. 対応しない点は異なる特徴量を持つ
3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!!
• 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2
𝑓2上の𝑥2の近傍(𝑥 𝑣)から𝑥2に容易にGN法で収束
⇔ 𝒙 𝒗における関数の二次近似が𝒙 𝟐に一致
𝑥2 𝑥 𝑣𝑥′ 𝑣
𝛿ずれが最小となるように
特徴量マップを学習
𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1)

33. 32
Proposed loss functions
• 特徴量に求められる特性
1. 対応する点は同じ特徴量を持つ
2. 対応しない点は異なる特徴量を持つ
3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!!
• 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2
𝑥2 𝑥 𝑣𝝁
𝛿
𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1)
二次近似をGauss分布と見なし,
negative log-likelihoodをLossとする
𝐇
ℒ𝑙𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = 𝐸 𝑥2 𝑓1, 𝑓2, 𝑥 𝑣)
𝐸(𝑥2)

34. 33
Benchmark
• Relocalization Tracking Task
– より現実的な新しいタスクとして提案
– ある映像から三次元地図を復元し, 別の時刻/天候で撮影した
画像がどこに対応するか？を求める
走行映像
三次元地図
別時刻/天候の画像
地図上の
どこに対応？

35. 34
Benchmark
• Relocalization Tracking Task
– より現実的な新しいタスクとして提案
– ある映像から三次元地図を復元し, 別の時刻/天候で撮影した
画像がどこに対応するか？を求める
– CARLA simulator [Dosovitskiy+, CoRL’17]とOxford RobotCar Dataset
[Maddern+, IJRR’17]で構築 (近日公開予定)
Oxford RobotCar Dataset
https://robotcar-dataset.robots.ox.ac.uk/
CARLA Simulator
http://carla.org/

36. 35
Evaluation
• GN-Net (ours) vs ORB-SLAM [Mur-Artal+,ToR’15] vs DSO [Engel+, TPAMI’18]
• Benchmarkに対してRelocalization性能を評価
• 既存のVisual SLAMの性能を大きく上回る性能を達成
同じ天候条件 異なる天候条件
CARLA Simulator
Oxford RobotCar
Dataset

37. 36
Evaluation
• 特徴量マップの可視化
– CARLA Benchmarkにおける, 別天候下での特徴マップ比較

38. 37
Evaluation
• 実際にRelocalizationした結果[1]
– Oxford RobotCar Benchmark
[1] GN-Net Demo Video https://youtu.be/GleEp0PqAv0

39. 38
Conclusion
• GN-Net
– Direct SLAMが「照明や天候変化に弱い」問題をCNNで解決
– GN法で対応点を求められるような特徴量マップを出力するため, 新たに
Gauss-Newton Lossを提案
– Relocalization Trackingの評価のためにBenchmarkを構築, 提案手法が
最高性能を達成
• 個人的な所感
– Cremers氏らがDSOをベースに研究をゴリゴリ進める感じが最高.
– 照度や天候の変化はまさにCNNが解決すべき問題. 実環境でDirect SLAM
を動かす際には必須な手法となりそう.
– GN Lossの詳細な解析結果が欲しい. カメラ軌跡の評価だけでなく画像中
の画素単位で対応の誤差を可視化してほしい.