第三回　全日本コンピュータビジョン勉強会（前編） CVPR'20読み会の資料です https://kantocv.connpass.com/event/178126/ SuperGlue;Learning Feature Matching with Graph Neural Networks の解説

1. Mobility Technologies Co., Ltd.
SuperGlue
Learning Feature Matching with Graph Neural Networks
株式会社Mobility Technologies
内田 祐介
JapanCV
CVPR2020読み会（前編）

2. Mobility Technologies Co., Ltd.
コンテキストを考慮した教師あり特徴点マッチング手法
SuperGlue
2
単純な最近傍
＋距離閾値
SuperGlue
緑：正解マッチング
赤：誤マッチング

3. Mobility Technologies Co., Ltd.
各画像領域の対応関係、2枚の画像を撮影したカメラ間の位置算出
三次元復元、Visual SLAM、画像検索、AR等で必須の工程
特徴点マッチングは非常に重要な問題
3

4. Mobility Technologies Co., Ltd.
SuperGlueの役割
4
通常の画像間特徴点マッチングパイプライン

5. Mobility Technologies Co., Ltd.
Detection, Description, and Feature Matching
5
① Detection: Extract local regions
(patches) from images
② Description: Describe the patches
by d-dimensional vectors
③ Matching: Make correspondences
between similar patches
Position (x, y)
Orientation θ
Scale σ
Feature vector f
(e.g., 128-dim SIFT)
Local feature

6. Mobility Technologies Co., Ltd.
“Classical” Detector
6
Hessian
Beaudet’78
Harris
Harris’88
LoG
Lindeberg’98
DoG
Lowe’99
SURF
Bay’06
Harris-Laplace
Mikolajczyk’01
Hessian-Affine
Mikolajczyk’04
Harris-Affine
Mikolajczyk’02
FAST
Rosten’05
Affine-invariant
Scale-invariant
Rotation-invariant
LoG scale seletion
Affine adaptation
Multi-scale +
Box filter acceleration
LoG approximation
Hessian-Laplace
Mikolajczyk’01
Oriented FAST
Rublee’11
SUSAN
Smith’97 Simplification
+ tree acceleration
Orientation
Corner-like
Blob-like
(SIFT)
(ORB)

7. Mobility Technologies Co., Ltd.
“Classical” Descriptor
7
SIFT
Lowe’99
SURF
Bay’06
BRIEF
Calonder’10
ORB
Rublee’11
GLOH
Mikolajczyk’05
FREAK
Alahi’12
A-KAZE
Alcantarilla’13
LDB
Yang’12
LATCH
Levi’16
BRISK
Leutenegger’11
Real-valued
Binary
(0.56, 0.22, -0.10, …, 0.96)
(1, 0, 0, …, 1)
RootSIFT
Arandjelovic’12
画像検索今昔物語
https://www.slideshare.net/ren4yu/image-retrieval-overview-from-traditional-local-features-to-recent-deep-learning-approaches
Local Feature Detectors, Descriptors, and Image Representations: A Survey
https://arxiv.org/abs/1607.08368

8. Mobility Technologies Co., Ltd.
LIFT, DELF, SuperPoint, D2-Net
最近のトレンドはD2-Netのように1つの特徴マップで
detection + descriptionする系？
“Learned” Detector and Descriptor
8

9. Mobility Technologies Co., Ltd.
単純なdescriptorの最近傍マッチングでは大量の誤対応が発生
Heuristics
• 閾値：単純に一定距離のマッチングのみを残す
• Ratio test: 最近傍と第二近傍の距離の比を利用
• Mutual check: お互いがお互いの最近傍となるマッチングのみを残す
Learned
• e.g. Learning to Find Good Correspondences, CVPR’18.
Outlier Filtering
9

10. Mobility Technologies Co., Ltd.
既存の局所特徴を入力とし、それらのマッチング結果を出力する
SuperGlueの役割
10

11. Mobility Technologies Co., Ltd.
正確に言うと…
11

12. Mobility Technologies Co., Ltd.
SuperGlueのパイプライン
12
入力
descriptor d
座標 p = (x, y, c)
cは信頼度
Keypoint Encoder

13. Mobility Technologies Co., Ltd.
Self layerとcross layerを交互に適用することでdescriptorを
update
Attentional Graph Neural Network
13

14. Mobility Technologies Co., Ltd.
Self layer
• 同一画像内のdescriptorで
完全グラフを構成
Cross layer
• 画像間のdescriptorで
完全二部グラフを構成
Self layerとcross layer
14
画像引用元
https://ja.wikipedia.org/wiki/%E5%AE%8C%E5%85%A8%E3%82%B0%E3%83%A9%E3%83%95
https://ja.wikipedia.org/wiki/%E5%AE%8C%E5%85%A82%E9%83%A8%E3%82%B0%E3%83%A9%E3%83%95
画像Aのdescriptor node 画像Bのdescriptor node
画像Aのdescriptor node
画像Bのdescriptor node

15. Mobility Technologies Co., Ltd.
Self layerとcross layerを交互に適用することでdescriptorを
update
Attentional Graph Neural Network
15
concat

16. Mobility Technologies Co., Ltd.
Message Passing with Self Attention
16
self or cross
qとkの類似度に
基づいた重み
vの重み付け和

17. Mobility Technologies Co., Ltd.
完全にBERT
17
BERT入門
https://speakerdeck.com/shimacos/graph-neural-networkswowan-quan-nili-jie-sitai

18. Mobility Technologies Co., Ltd.
GNNの出力からmatching descriptor、score matrix Sを計算
• xを線形変換して、内積でSを計算するだけ
Score Matrix
18

19. Mobility Technologies Co., Ltd.
Score matrixは、各特徴点のマッチング結果を表現
オクルージョンや再現性のない特徴点はマッチング相手がいない
この情報を明示的に表現するためdustbinを追加
Dustbin追加
19
learnable
parameter z

20. Mobility Technologies Co., Ltd.
Score matrixから実際のマッチング結果（割当）を求めたい
Soft assignment problem
Sinkhorn algorithm（row, columnを交互に正規化することを
繰り返す）により二重確率行列化
Sinkhorn algorithm
20

21. Mobility Technologies Co., Ltd.
既知の画像間の変換パラメータから
正解ペアと、マッチングしなかった特徴点集合を作成、教師とする
Loss
21
正解ペア
画像Aの
マッチングしなかった
特徴点集合
画像Bの
マッチングしなかった
特徴点集合

22. Mobility Technologies Co., Ltd.
RandomなHomography変換（＋photometric distortions）を
行った画像ペアに対してマッチングの精度（P, R）と
homographyの精度（AUC; 10pxまで許容した際の精度曲線）
Homography estimation
22

23. Mobility Technologies Co., Ltd.
pose error is the maximum of the angular errors in rotation
and translation
Wide-baseline indoor pose estimation
23

24. Mobility Technologies Co., Ltd.
Outdoor pose estimation
24

25. Mobility Technologies Co., Ltd.
Ablation Study
25

26. Mobility Technologies Co., Ltd.
一部特徴点数Nに対してN^2の計算量なので
もとの特徴が良いに越したことはない
高速化のニーズはありそう
速度
26

27. Mobility Technologies Co., Ltd.
徐々に正解にたどり着いている
ように見える
Attention可視化
27

28. Mobility Technologies Co., Ltd.
 https://github.com/magicleap/SuperGluePretrained
Network/blob/master/models/superglue.py
実装シンプル
28

29. Mobility Technologies Co., Ltd.
教師あり特徴点マッチング手法
任意のdetector/descriptorに適用可能
納得感のあるパイプライン、ステップは多いがシンプル
結果しゅごい
どの程度汎化能力があるのか？
まとめ
29

30. 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。
Mobility Technologies Co., Ltd.
30