第2回 CV勉強会＠九州 ECCV'14 読み会 LSD-SLAM: Large-Scale Direct Monocular SLAM Jakob Engel, Thomas Schöps, Prof. Dr. Daniel Cremers

1. 第２回 CV勉強会＠九州
ECCV2014読み会（2014/12/23)
LSD-SLAM: Large-Scale Direct Monocular SLAM
Jakob Engel and Thomas Schöps and Daniel Cremers
Computer Vision Group, TUM（ミュンヘン工科大学）
ITS（胡） 研究室
D1 藤本賢志（FUJIMOTO Satoshi）

2. 自己紹介
● 2011年3月 熊本高専熊本キャンパス（熊本電波）卒業
– マスタースレーブ上肢用CPM装置の開発
– インピーダンス制御やバイラテラル制御
– リアルタイムOS
● 2013年3月 熊本大学情報電気電子工学科 卒業
– STAVi(パーソナルモビリティ）
– Lidarを用いて2D SLAM、姿勢制御、衝突防止
● 2014年3月 熊本大学大学院 自然科学研究科 修士課程 修了
– RGB-D SLAM（平面検出と姿勢推定）
– 経路計画、自動運転（タッチして目的地まで移動）、衝突回避
● 2014年 現在、熊本大学大学院 自然科学研究科 博士課程 1年
– RGB-D SLAM(特徴点によるSLAM、平面パッチ）
●
趣味は国際交流、ドライブ、旅行、グルメ
● Twitter @sotongshi CV勉強会チェックしてました！まさか九州であるなんて！

3. はじめに
●
いまポピュラーな研究
– Simultaneous Localization and Mapping(SLAM) 自己位置推定と地図生成
– 3D reconstruction 3次元再構築
●
応用分野
– ロボティクス、特に無人航空機（UAVｓ）、ドローン
– 仮想現実、拡張現実、複合現実
● 本プレゼンでは、Monocular SLAM(単眼によるSLAM)を紹介する
– スケールのあいまいさやドリフトが発生する問題
– 屋内のデスク環境や、屋外の広い環境に利用できる点
– デプスやステレオカメラでは限られた範囲で信頼できる測量を与えるが、 柔
軟でない

5. 従来研究

6. 従来研究
特徴点を使わないで直接？
なんだって！？

7. 従来研究
● Feature-Based Methods
1.特徴を抽出する
2.カメラの位置を推定し、シーンを構築する
– Filtering-based or Keyframe-based
– Edge-based or region-based features
– 特徴点とその周辺の情報しか用いなかった
– 再構成されるのは特徴点のみ
Visual SLAM : Why Filter? Hauke Strasdat, et al.
Image and Vision Computing 2012
Ti: camera position
Xj: feature position

8. 従来研究
● Direct Methods
– Semi-dense depth filtering （デプス推定）
– 画像上のすべての情報を用いる （勾配を用いる）
– スマートフォン上で実行可能
– 再構成されるのは全点群 (Semiなので半点群）

9. 提案手法
● Large-Scale Direct monocular SLAM (LSD-SLAM)
– 局所的な追跡だけではなく、大規模なマップ環境を構築できる
– Filtering-based estimation
– Semi-dense depth maps デプス推定
– Pose graphによりドリフトの検出と補正
– Real-time CPU上で動作し、スマートフォンのオドメトリとして用いるこ
とができる
大規模 Depth推定 キーフレーム

10. 概要
● システムの流れは以下の３つからなる
– Tracking 追跡
– Depth map estimation デプス推定
– Map optimization マップ最適化

11. 追跡
●
フォトメトリックエラー関数（輝度差）
● エラー関数の最小化
– ガウスニュートン法
最小化: キーフレームと変換後depth上にある輝度差
新しいフレームの追跡

12. 追跡
● Multi-resolution (track large motions)
– 複数の解像度
● Huber norm instead of L2 (outliers & occlusions)
– 深度を滑らかに
● Statistical normalization (respect depth- and pixel noise)
– ノイズの影響を受けにくい

13. 追跡
● デプスノイズの影響を受けにくい(depth上輝度差)

14. デプス推定
●
新しいフレームが追跡できた後
キーフレームとなるか判断
●
画素単位のフィルタリング
– 小さな基線長→大きな基線長
●
情報選択
– 十分な情報利得、ステレオを実行
●
エッジ保存平滑化
●
距離ベースのキーフレーム選択
– Engel, Strum, Cremers; ICCV'13
●
キーフレーム間でデプス推定

15. ここまでがVisual Odometry
SLAMではない
大規模でもない

16. グローバルマップ最適化
● ２つの推定したDepthマップを用いる

17. グローバルマップ最適化

18. グローバルマップ最適化
● Pose-Graph on Sim(3) : ループ検出と補正
– キーフレームの前後で、矛盾がないように補正

19. 結果
● スケールの大小に対応
– 近いところ20cmから遠いところ10mまで見える

20. 結果
● 絶対軌跡誤差 4.52cm以内
RGB-Dセンサ
要らないんじゃ

21. 結果
● 動画
– https://www.youtube.com/watch?v=GnuQzP3gty4#a
ction=share

22. まとめ
● Large-scale direct mono-SLAM
● Fully direct (no keypoints / features)
● Real-time even on CPU
● Open-source code & data-sets

23. 参考文献
● ECCV2014（プレゼン資料、発表ビデオ、HP、PDF）
– http://videolectures.net/eccv2014_zurich/
– http://videolectures.net/eccv2014_engel_monocular_slam/
– http://vision.in.tum.de/research/lsdslam
– https://vision.in.tum.de/_media/spezial/bib/engel14eccv.pdf
– 訳して発表するだけでも勉強なるわー
● LSD-SLAM（githubにコード、動画）
– https://github.com/tum-vision/lsd_slam
– https://www.youtube.com/watch?v=GnuQzP3gty4
● SVO: Fast Semi-direct Monocular Visual Odometry チューリッヒ大学のSVO、githubにコードあり。
– http://rpg.ifi.uzh.ch/
● G2o framework（loop closure）
– https://openslam.org/g2o.html
● RGB-D SLAM Dataset and Benchmark
– http://vision.in.tum.de/data/datasets/rgbd-dataset
– （RGB-D SLAMを評価するデータセットとベンチマーク：真値があるのが嬉しい、ミュンヘン工科大学）