https://www.dropbox.com/sh/0qcyxxahshbl7qt/eK-lDt0vd2#f:MLDM-03-11-2013.mov

1. SIFT 的介紹與應用
ML/DM Monday
2013/3/11 癸已。乙卯。丙子
@scwang
http://sdrv.ms/ZsU8vG

2. Who Am I?
王紹權 (Shao-Chuan Wang)
Currently as SDE at
Had _some_ computer vision experience.
Mainly speak Python and C/C++.
@scwang
…/in/scwang
shaochuan.wang

3. 如何描述一張圖？(1/2)

4. 如何描述一張圖？(2/2)
顏色?
材質?
局部? 全局?
形狀? Appearance?
哪些點附近的形狀是「特徵點」?
如何描述或量化？

5. 如何決定好的描述法？
Distinctiveness 辨識度
「心目中」不同的「樣子」，希望在描述空間中也
長得很不一樣
Invariance 不變性 (robustness)
「心目中」相同的「樣子」，希望在描述空間中也
長得一樣

6. 常見的不變性
Affine invariance Viewpoint
Scaling
Skew
Rotation/orientation
Translation
Occlusion (遮住)
Luminance (強度, 色溫

7. 辨識度與不變性之權衡
不變性一定會破壞一些辨識度 (e.g. 旋轉不變)
VS
更極端的例子 (histogram of pixels)
正如同 ML 中, 太 Robust 的 model 也會把有用的資訊
吃掉

8. 回到最初的第一個問題
哪些點附近的形狀是「特徵點」Interest point/keypoints?
帶有「高度資訊」(high information)
唯一/獨特: 沒有 ambiguous, 沒有 degeneracy
舉例:
Corner/blobs are more
interesting than
edges and lines.

9. 1D Blobs 2D Blobs

10. 高斯的一、二階微分算子

11. 尺度空間 (Scale Space)
BLOB A BLOB B BLOB C
σA σB σC
Local Extrema in (x*, σ*) – Space Represent Blobs

12. Blob 大小與特徵尺度成正比!

13. Blob Size Characteristic Scale
Given a 1D signal f(x).
¶2 ns
Compute * f (x) at many scales (σ0, σ1, …,
σ) ¶x 2
k
Find:
¶ ns 2
(x , s ) = arg max 2 * f (x)
* *
( x,s ) ¶x
Characteristic scale

14. Convolution 與微分有交換律
I(x, y) S(x, y, s 1 ) S(x, y, s 2 ) S(x, y, s 3 )
σ Large
(x*, y*, s * ) = argmax s 2 Ñ2 ns * I(x, y)
( x,y,s )
(x , y , s ) = argmax s 2 Ñ2 S(x, y, s )
* * *
( x,y,s )

15. 特徵尺度
[Mikolajczyk 2004]

16. Laplacian of Gaussian
V.S. Difference of
Gaussian
G(x, y, ss )-G(x, y, s ) » (s -1)s 2Ñ2G.
[Lowe 2004]

17. 回到最初的第二個問題
如何描述或量化? (Histogram of gradients)
Assignment of orientation
Principal Orientation
Histogram of orientation
Characteristic Scale
[Lowe 2004]

18. 主方向校正:有旋轉不變性
主方向(Principal Orientation)決定之後, 在取量化
表示之前，先將主方向轉至同一個方向。
DEMO
$ git clone https://github.com/shaochuan/MLDM-
demo.git
$ cd MLDM-demo/
$ ./pull_submod.sh
$ cd sift/
$ ./rotate

19. 尺度不變性
Characteristic Scale
DEMO
$ git clone https://github.com/shaochuan/MLDM-
demo.git
$ cd MLDM-demo/
$ ./pull_submod.sh
$ cd sift/
$ ./scale

20. 應用: 全景圖
[Mikolajczyk 2004]

21. 應用: 非變形物體追蹤/光流
NAÏVE
FLOW
DEMO
$ ./tracking
光流應用:
防手震 (Video stabilization)
慢動作合成
(Synthetic slow motion)
還有很多圖學上的應用。。。

22. 應用:重建 3D 模型
[Pollefeys 2006]

23. 應用: 辨識
配合 Bag-Of-Words 可用於辨識物體

24. Reference
[Mikolajczyk 2004] Scale & Affine Invariant
Interest Point Detectors.
[Lowe 2004] Distinctive Image Features from
Scale-Invariant Keypoints
[Pollefeys 2006] Towards Urban 3D
Reconstruction From Video