Recommended
Recommended
More Related Content
More from harmonylab
More from harmonylab (20)
Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching
- 1. Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching Yujiao Shi*1*2 Xin Yu*1*2*3 Dylan Campbell*1*2 Hongdong Li*1*2 *1 Australian National University *2 Australian Centre for Robotic Vision *3 University of Technology Sydney 12020/09/22 平間 友大
- 7. Two-Stream CNN 7 Simonyan, Karen, and Andrew Zisserman. "Two-stream convolutional networks for action recognition in videos." Advances in neural information processing systems. 2014. 動作認識において,時系列にならんだ画像と,オプティカルフローを組み合わせて学習するモデル 関連する2つの入力の特徴を同時に学習することで,精度向上することが知られている. ↓ 本論文では,地上画像と航空画像の対応を学習することを狙っている
- 8. 極座標変換 8 S 𝑎 × S 𝑎: 航空画像サイズ 𝐻𝑔 × 𝑊𝑔 : 極座標変換サイズ
- 9. 9DSM 動的類似性マッチング（DSM） ・地面の特徴をスライディングウィンドウとして使用 し、地面と航空画像の特徴間の内積を計算する →極座標変換を行うことで,水平方向が方向角を示して いる 𝐹𝑔：地上画像の特徴量 𝐹𝑎` & 𝐹𝑎∗`：地上画像に一致した特徴量と一致しない特徴量 𝐻 & 𝐶：高さとチャンネル数 𝑊𝑎&𝑊𝑔：航空画像と地上画像の横幅
- 10. 損失関数 10 𝐹𝑔：地上画像の特徴量 𝐹𝑎` & 𝐹𝑎∗`：地上画像に一致した特徴量と一致しない特徴量 𝛼：学習率パラメータ.本論文では10に設定 フロベニウスノルム：行列の 大きさを表す
- 11. 実験設定 11 クロスビューデータセット ・CVUSA ・CVACT 学習データ 地上・航空画像のペアが35,532 検証データ 8,884 ・CVACT_test テストデータ：92,802 地上画像はすべてパノラマであり, 画像の中心が北を示している. 航空画像は上方向が北を示す 方向が不明でFoVが制限された地面画像の実験 ・CVUSAとCVACTで地上の画像を方位角方向に沿ってランダムに回転させ、設定したFoVに従っ てそれらをトリミングする モデル：Imagenetで学習済みのVGG16 最適化手法： Adam 学習率10−5 バッチサイズ： 32
- 12. 実験結果 12 データセット CVUSA 類似度が高い順にtopk accuracyを用いた従来手法との比較 （方向角がわかっている場合）
- 16. 実験結果 16
- 17. まとめ 17 ・地上画像の方位角を推定し,クロスビュー検索に利用したDynamic Similarity Matching （DSM）を提案 ・一般的なカメラを想定したFOVの小さい画像に対しても適用可能 ・方位角が不明な場合にも対応 ・Two-Stream CNNとDSMを用いることで,SOTAを達成 個人的な考察 ・現状は道路や少ないオブジェクトがある地域の地上画像に対して のみであり,碁盤の目のように設計された都市部データセットへの応 用は難しそう