3次元レジストレーション（PCLデモとコード付き）

1
3次元画像センシング技術「3次元レジストレーション」 © 2014Toru Tamaki
3次元画像センシング技術 2014/11/14 14:50∼16:45 (115分)!
玉木徹（広島大学）
@ttttamaki
玉木徹
tamaki@hiroshima-u.ac.jp
3次元レジストレーション
３次元点群に対するレジストレーション（位置合わせ）手法について解説する。
＜成果目標＞
3次元レジストレーション手法の概要の把握。 ICP程度の手法を実装できるスキルの取得。
1.  レジストレーションとは：2次元のレジストレーションの例から始めて，3次元レジストレーション
の基礎を学ぶ。
最小二乗法，最適化，Procrustes analysis
2. ICPとその変種：基本的なアルゴリズムであるICP（Iterative Closest Point）と，その拡張を学ぶ。
ICP，Softassign，EM-ICP
3．さまざまなレジストレーション手法を学ぶ
剛体レジストレーション，非剛体レジストレーション

2
3次元点位置合わせ：大仏の形状スキャン
大石岳史,増田智仁,倉爪亮,池内克史,創建期奈良大仏及び大仏殿のデジタル復元,日本
バーチャルリアリティ学会論文誌, Vol. 10, No. 3, pp.429-436, 2005.10.

3
PCL：3次元点群処理ライブラリ
The PCL Registration API, http://pointclouds.org/documentation/tutorials/registration_api.php"

4
レジストレーション：応用
応用: パノラマ写真の作成
応用: 医用画像位置合わせ
応用: ３次元点位置合わせ
画像1 画像2パノラマ画像"
ボリューム1 ボリューム2ボリューム
点集合1 点集合2点集合

5
分類：2Dと3D
2D画像の位置合わせ
3Dボリュームの位置合わせ
3D点群の位置合わせ
画像1 画像2パノラマ画像"
ボリューム1 ボリューム2ボリューム
2D-2Dレジストレーション

6
分類：利用する情報
特徴点ベース
輝度差の最小化
仮の対応を与える
各点は位置情報のみ"
仮の対応を与えて推定，反復"
画像から抽出される特徴点"
対応は特徴点マッチング
画像の輝度値"
ボリュームのボクセル値"
点対応は未知
特徴点対応を見つける
各点の値値が近い"
所を探す
対応を与える（仮）
2D-2D点"
3D-3D点"
3D-3Dボ
2D-2D"
3D-3Dボ
2D-2D点
3D-3D点

7

8
レジストレーションを構成する3つの要素
1st Image "
Template"
Fixed image"
model
2nd Image "
Observation"
Moving image"
measurements
I1 I2p
運動パラメータ"
変形パラメータ
似ているか？（類似度）"
近いか？（距離）
I0
2
I1 I2p I0
2p
点の座標"
画素値ボクセル値"
ユークリッド距離（L2）"
ロバスト関数"
SSD, NCC"
相互情報量(MI)
剛体変換（並進・回転）"
アフィン変換"
非剛体変形"
min との距離{ }と
で
を変換した
（
）
）
（

9
レジストレーションの一般的な形式
1st Image "
Template"
Fixed image"
model
2nd Image "
Observation"
Moving image"
measurements
I1 I2p
I0
2
The Robotics Institute, Mellon University, AAM Fitting Algorithms, http://www.ri.cmu.edu/research_project_detail.html?project_id=448&menu_id=261
運動パラメータpは思っているよりも複雑！

10
補足：３枚以上の画像の位置合わせ
I1 I2
In
...min { ( )と( )との距離}I0
jI0
i
i, j
バンドル調整

11
I1 I2p
I0
2
I1 I2p I0
2p
点の座標"
ロバスト関数"
SSD, NCC"
相互情報量(MI)
アフィン変換"
非剛体変形"
で
を変換した
（
）
）
（

12
I1 I2pI0
2
min
p
dist(I1, I0
2(p))もう少し数学的に．．．"
I1 I2p I0
2p
点の座標"
ロバスト関数"
SSD, NCC"
相互情報量(MI)
アフィン変換"
非剛体変形"
で
を変換した
（
）
）
（

13
min
p
X
i
||x1i (x2i p)||2
特徴点ベースのレジストレーション：例
I1 I2
p
min
p
dist(I1, I0
2(p))
特徴点の場合を具体的に"
min
p
X
i
dist(x1i, W(x2i, p))
x11
x12
x13
パラメータは並進だけ"
x21
x22
x23
W 1

14
I1 I2
min
p
dist(I1, I0
2(p))
特徴点の場合を具体的に"
min
p
X
i
dist(x1i, W(x2i, p))
x11
x12
x13
パラメータは並進だけ"
t
x21
x22
x23
min
t
X
i
||(x1i + t) x2i||2

15
||x11 + t x21||2
= 0
||x12 + t x22||2
= 0
||x13 + t x23||2
= 0
I1 I2
x11
x12
x13 t
x21
x22
x23
x11 + t = x21
x12 + t = x22
x13 + t = x23
...
...
min
t
X
i
||(x1i + t) x2i||2
ユークリッド距離（L2ノルム）"
の2乗"

16
min
t
X
i
||(x1i + t) x2i||2
I1 I2
x11
x12
x13 t
x21
x22
x23
||x11 + t x21||2
' 0
||x12 + t x22||2
' 0
||x13 + t x23||2
' 0
x11 + t = x21
x12 + t = x22
x13 + t = x23
...
...
差の二乗和"
二乗誤差和"
SSD"
(sum of squared differences)
の2乗"

17
最小二乗法・最適化

18
目的関数の最適化（1次元）
目的関数 (objective function)"
コスト関数 (cost function)"
（エネルギー関数）"
（大域的）最適解"
(global minimum)"
目的関数Eの値
最適解"
局所最適解，局所解"
(local minimum)"
極値，極小値"
局所解"
並進移動量
t = tx
0
tx
の場合
E =
X
i
||(x1i + t) x2i||2

19
目的関数の最適化（2次元）
（大域的）最適解"
(global minimum)"
目的関数Eの値
tx
の場合
E =
X
i
||(x1i + t) x2i||2
t =
⇣
tx
ty
⌘
ty
並進移動量 tx
ty並進移動量

20
目的関数の最適化＝微分して0
■  最適解では…"
n  Eの接線の傾きが0"
n  Eを微分して0"
■  微分"
n  1次元：txで微分"
n  2次元：t で微分"
■  Let’s 微分！"
t = tx
0
の場合
E =
X
i
||(x1i + t) x2i||2
@E
@t
= 0
@E
@t
6= 0
接線の傾き
接線の傾き
目的関数Eの値
並進移動量 tx

21
Let’s 式展開＆ベクトル微分
E =
X
i
||(x1i + t) x2i||2
=
X
i
((x1i + t) x2i)T
((x1i + t) x2i)
=
X
i
((x1i x2i) + t)T
((x1i x2i) + t)
=
X
i
(x1i x2i)T
(x1i x2i) + (x1i x2i)T
t + tT
(x1i x2i) + tT
t
=
X
i
(x1i x2i)T
(x1i x2i) + 2(x1i x2i)T
t + tT
t
=
X
i
||x1i x2i||2
+ 2(x1i x2i)T
t + ||t||2
@E
@t
=
X
i
(2(x1i x2i) + 2t) = 0
(
NX
i
2(x1i x2i)) + 2Nt = 0
対応点の移動量の平均
解析解"
（数式で表される）
N:点の個数
||a||2
= aT
a
@aT
a
@a
= 2a
@bT
a
@a
= b
微分して0とおいて解く
平均同士の差
の場合t =
⇣
tx
ty
⌘

22
ポイント1：だからユークリッド距離
I1 I2
x11
x12
x13 t
x21
x22
x23
||x11 + t x21||2
' 0
||x12 + t x22||2
' 0
||x13 + t x23||2
' 0
x11 + t = x21
x12 + t = x22
x13 + t = x23
の2乗"
目的関数が2次関数"
最小値は解析的に求まる"
目的関数Eの値
並進移動量 tx

23
t = ¯x1 ¯x2
ポイント2：外れ値に気をつけよう
I1 I2
x11
x12
x13 t
x21
x22
x23
||x11 + t x21||2
' 0
||x12 + t x22||2
' 0
||x13 + t x23||2
' 0
並進の推定値
（の2乗）"
「ノイズが正規分布」を仮定"
（最尤推定）"

24
ポイント2：外れ値に気をつけよう
I1 I2
x11
x12
x13 t
x21
x22
x23
||x11 + t x21||2
' 0
||x12 + t x22||2
' 0
||x13 + t x23||2
' 0ユークリッド距離（L2ノルム）"
（の2乗）"
並進の推定値
「ノイズが正規分布」を仮定"
（最尤推定）"
外れ値に弱い！"
外れ値"
■  対策"
n  L1ノルムを用いる"
n  ロバスト距離関数を用いる"
n  RANSACを利用
t = ¯x1 ¯x2

25
p
W (x1i, p) = x2i ||W (x1i, p) x2i||2
' 0
補足：一般化
I1 I2
x11
x12
x13
x21
x22
x23
目的関数は一般に非2次関数"
最小値は解析的に求まらない"
目的関数Eの値
パラメータ
■  解析的に解ける"
n  並進，回転，相似変換"
n  アフィン変換"
■  反復法が必要"
n  非線形関数"
n  （スプライン，FFD，など）"
変換関数（ワープ関数）

26
勾配法の例：最急降下法
■  問題点"
n  局所解に陥る"
n  画像ピラミッドを利用"
n  ステップサイズが固定"
n  Newton法を採用"
目的関数Eの値
パラメータ
p0 p1 p2 · · ·
下る方向に進む
（この場合は右方向）
パラメータ更新式
ステップサイズ
降下方向一つ前の
推定値
新しい
推定値
最適解
局所解
pn = pn 1 + ↵ pn 1
pn

27
PROCRUSTES ANALYSIS

28
分類：利用する情報
特徴点ベース
輝度差の最小化
仮の対応を与える
各点は位置情報のみ"
仮の対応を与えて推定，反復"
画像から抽出される特徴点"
対応は特徴点マッチング
画像の輝度値"
ボリュームのボクセル値"
点対応は未知
特徴点対応を見つける
各点の値値が近い"
所を探す
対応を与える（仮）
2D-2D点"
3D-3D点"
3D-3Dボ
2D-2D"
3D-3Dボ
2D-2D点
3D-3D点

29
対応の与えられているマッチング問題
点集合X 点集合Y
対応が与えられている点集合
解くべき問題
ここで
重心位置の計算
つまり，回転Rが与えられれば"
並進tも求められる
■  手順"
n  Rを先に推定"
n  次にtを計算
重心重心

30
Rのみの推定問題へ変形（行列形式）
3xn
1xn
3xn
フロベニウスノルム
解くべき問題（各点の誤差の2乗和）
解くべき問題（行列ノルム最小化）
ここで
重心位置を引く
と：
解くべき問題（回転のみ）
ここで
3xn
3xn
■  代表的な解法"
n  四元数を用いる方法
n  SVDを用いる方法"
重心を引いたデータ"
（センタリング済み）

31
Lagrange乗数を用いた解法
最小化する項
制約条件
Lagrange乗数6つの異なるLagrange乗数を"
要素に持つ3x3対称行列
Shinji Umeyama. Least-squares estimation of transformation parameters between two point patterns. IEEE
Trans. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 4, pp. 376–380, 1991. "
直交行列行列式が＋1
解くのは大変．．．
127
127
Eigen::umeyama という名前でEigenに実装されている

32
四元数を用いた解法
１
２
３S
Kの第１固有ベクトルを計算：q

これを四元数qとみなす"
回転行列Rへ変換"
Berthold K. P. Horn, Hugh M. Hilden, and Shahriar Negahdaripour. Closed-form solutions of absolute
orientation using orthonormal matrices. Journal of the Optical Society of America, Vol. 5, pp. 1127–1135, 1988.
Berthold K. P. Horn. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical
Society of America, Vol. 4, pp. 629–642, 1987.
行列Sを計算
行列Kを計算
nx3
3xn
3x3

33
SVDを用いた解法
■  トレースの性質"
■  Frobenius normと行列のト
レース(tr) 解くべき問題（行列ノルム最小化）
解くべき問題（行列トレース最大化）
K. S. Arun, T. S. Huang, and S. D. Blostein. Least-squares fitting of
two 3-D point sets. PAMI, Vol. 9, No. 5, pp. 698–700, 1987.
Peter H. Schönemman. A generalized solution of the orthogonal
procrustes problem. Psychometrika, Vol. 31, No. 1, pp. 1–10, 1966.

34
SVDを用いた解法
トレースの上界を計算"
特異値分解 (Singular Value Decomposition, SVD)
だから最大値を与えるのは
直交行列" 対角行列
Schwarzの不等式で示せる"
K. S. Arun, T. S. Huang, and S. D. Blostein. Least-squares ﬁtting of
two 3-D point sets. PAMI, Vol. 9, No. 5, pp. 698–700, 1987."
Peter H. Schönemman. A generalized solution of the orthogonal
procrustes problem. Psychometrika, Vol. 31, No. 1, pp. 1–10, 1966.
求めた回転行列
さっきの式
するとRの行列式は+1"
でもRの行列式は+1か-1"
Kenichi Kanatani. Analysis of 3-D rotation ﬁtting. PAMI, Vol. 16, No. 5, pp. 543–
549, 1994."
Shinji Umeyama. Least-squares estimation of transformation parameters between
two point patterns. PAMI, Vol. 13, No. 4, pp. 376–380, 1991. "
金谷健一, 画像理解—３次元認識の数理—, 3.4節, 森北出版, 1990.
S

35
Orthogonal Procrustes Problem
Procrustes. "Now then, you fellows;
I mean to ﬁt you all to my little bed!”
The Modern Bed of Procrustes - Cartoon from the Project Gutenberg
eBook of Punch, Volume 101, September 19, 1891, by John Tenniel.
http://commons.wikimedia.org/wiki/File:The_Modern_Bed_of_Procustes_-_Punch_cartoon_-_Project_Gutenberg_eText_13961.png"
Orthogonal Procrustes
Extended Orthogonal Procrustes
Generalized Orthogonal Procrustes
Peter H. Schönemmanand Robert M. Carroll. Fitting one matrix to another under choice of a central dilation and a rigid motion. Psychometrika,
Vol. 35, No. 2, pp. 245–255, 1970.
Devrim Akca. Generalized procrustes analysis and its applications in photogrammetry. Technical report, ETH, Swiss Federal Institute of
Technology Zurich, Institute of Geodesy and Photogrammetry, 2003.
Peter H. Schönemman. A generalized solution of the orthogonal procrustes problem. Psychometrika, Vol. 31, No. 1, pp. 1–10, 1966.
John R. Hurley, Raymond B. Cattell, The procrustes program: Producing direct rotation to test a hypothesized factor structure, Behavioral
Science, Volume 7, Issue 2, pages 258–262, April 1962.
回転のみ
並進も
たくさん

36
絶対標定：Absolute Orientation
Berthold K. P. Horn, Hugh M. Hilden, and Shahriar Negahdaripour. Closed-form solutions of
absolute orientation using orthonormal matrices. Journal of the Optical Society of America, Vol. 5,
pp. 1127–1135, 1988."
Berthold K. P. Horn. Closed-form solution of absolute orientation using unit quaternions. Journal of
the Optical Society of America, Vol. 4, pp. 629–642, 1987.
E. H. Thompson. An exact linear solution of the problem of absolute orientation. Photogrammetria,
Vol. 15, pp. 163-179, 1958-1959."
G.H. Schut, On exact linear equations for the computation of the rotational elements of absolute
orientation, Photogrammetria, Volume 17, pp. 34-37, 1960–1961.
E. H. Thompson, 1958-1959"
0
@
X
Y
Z
1
A = R
0
@
X0
Y 0
Z0
1
A
これを求める

37
DERiVE コンピュータビジョンブログ, 【シリーズ】「PCLを触ってみよう!」
第3回：Point Cloudデータの読み込みと可視化, 2011/10/29, http://
derivecv.tumblr.com/post/12067667202
付録：ノイズが非等方ガウスの場合!
Leo Dorst, "First Order Error Propagation of the Procrustes Method
for 3D Attitude Estimation," PAMI, vol. 27, no. 2, pp. 221-229, 2005."
原裕貴，新妻弘崇，金谷健一，不均一な誤差分布をもつ空間
データからの3次元回転の最適計算, 2011-CVIM-175-20, 2011.1"
松永力, 2次元/3次元幾何学変換の統一的な最適計算, SSII2012.
非等方ガウスノイズ
一方向にノイズが広がっている"
例：ステレオ復元など
不均一ノイズ分布
各点のノイズ分布が異なる"
例：Kinectで取得した点群など
等方ガウスノイズ
ノイズ分布を表す楕円
すべての点のノイズが同一分布"
通常仮定されるノイズ"
一般的，非現実的
手前"
精度高い
奥"
精度低い
Kinect点群
Tsukuba
D. Scharstein and R. Szeliski. A taxonomy and evaluation of
dense two-frame stereo correspondence algorithms. IJCV
2002. http://vision.middlebury.edu/stereo/eval/newEval/tsukuba/
alg12t100.html

38
点群の大きさが異なる場合：相似変換
R, tに加えてスケールsを推定しなければならない"
n  単純解法"
n  最適計算"
"
スケール
•  本田卓士, 新妻弘崇, 金谷健一, 3次元相似変換の最適化計算：
ガウス・ニュートン法vs.ガウス・ヘルマート法, 2011-
CG145CVIM179-12, 2011.11."
•  原裕貴，新妻弘崇，金谷健一，不均一な誤差分布をもつ空間
データからの3次元相似変換の最適計算, 2010-CVIM-176-15,
2011.3"
s =
tr(Y 0T
X0 ˆR)
tr(X0T
X0)
•  L. Dryden, K. V. Mardia, Statistical shape analysis, Wiley, 1998."
•  Shinji Umeyama. Least-squares estimation of transformation
parameters between two point patterns. IEEE Trans. on
Pattern Analysis and Machine Intelligence, Vol. 13, No. 4, pp.
376–380, 1991. "
Toru Tamaki, Shunsuke Tanigawa, Yuji Ueno, Bisser Raytchev,
Kazufumi Kaneda: "Scale matching of 3D point clouds by ﬁnding
keyscales with spin images,” ICPR2010."
n  Keyscale"
n  ３次元点群の大きさ特徴量を表すスケールを
見つけてそろえる（keypointのスケール版）
剛体変換の場合
相似変換の場合
Eigen::umeyama
pcl::registration::Transformation
EstimationSVDScale

39
PCL1.7.1における!
RとTの推定

40
RとTの推定（通常版：point-to-point）
剛体変換の推定"
•  出力"
•  回転行列R，並進ベクトルT"
•  （スケールs）"
•  入力"
•  点の対応関係"
•  点数が同じ2つの点群"
•  ソース，ターゲット"
•  pcl::registration::TransformationEstimationSVD"
•  剛体変換：回転行列R，並進ベクトルT"
•  pcl::registration::TransformationEstimationSVDScale"
•  相似変換：回転行列R，並進ベクトルT，スケールs"
スケール s =
tr(Y 0T
X0 ˆR)
tr(X0T
X0)

41
RとTの推定（point-to-plane版）
•  出力"
•  入力"
•  点の対応関係"
•  点数が同じ2つの点群"
•  各ターゲット点の法線ベクトル"
•  （オプション）対応の重み"
対応＋法線が与えられている点集合
•  pcl::registration::TransformationEstimationPointToPlane"
•  レーベンバーグ・マーカート法による最適化"
•  pcl::registration::TransformationEstimationPointToPlaneLLS"
•  線形最小二乗法による近似最適化"
•  pcl::registration::TransformationEstimationPointToPlaneLLSWeighted"
•  重み付き線形最小二乗法による近似最適化"
point-to-plane"
distance
point-to-point"
distance 遠い
近い
平面に"
近い
平面から"
遠い

42
point-to-point"
distance 遠い
近い
point-to-plane"
distance
平面に"
近い
平面から"
遠い
point-to-point
point-to-plane
point-to-point vs point-to-plane
Szymon Rusinkiewicz, Marc Levoy, Efﬁcient Variants of the ICP Algorithm, 3DIM, 2001."
http://www.cs.princeton.edu/~smr/papers/fasticp/"
Szymon Rusinkiewicz, Derivation of point to plane minimization, 2013."
http://www.cs.princeton.edu/~smr/papers/icpstability.pdf
"
Kok-Lim Low, Linear Least-Squares Optimization for Point-to-Plane ICP Surface Registration,
Technical Report TR04-004, Department of Computer Science, University of North Carolina at
Chapel Hill, February 2004."
https://www.comp.nus.edu.sg/~lowkl/publications/lowk_point-to-plane_icp_techrep.pdf"
point-to-planeのICPの方が収束がよい"
ただし法線情報が必要

43
PCLサンプルコード：RとTの推定
メインパート
PCL1.7.2ではこのバグは直っています（1.7.1ではバグあり）
1.7.2ではこの部分は不要です
このsがなかった．．．

44
ICP

45
ICP：点集合マッチング
■  Iterative Closest Point (ICP) "
n  点集合マッチングの代表的な手法"
n  多数の派生手法が登場"
■  マッチング"
n  ＝剛体レジストレーション"
n  回転行列Rと並進ベクトルtを推定
する
並進ベクトルt
？"
対応が与えられていない点集合
大石岳史,増田智仁,倉爪亮,池内克史,創建期奈良大仏及び大仏殿のデジタル復元,日本
バーチャルリアリティ学会論文誌, Vol. 10, No. 3, pp.429-436, 2005.10.
Chen, Y. and Medioni, G. “Object Modeling by Registration of Multiple Range Images,” Proc. IEEE Conf. on Robotics and Automation, 1991. "
Besl, P. and McKay, N. “A Method for Registration of 3-D Shapes,” Trans. PAMI, Vol. 14, No. 2, 1992. "
点集合Y

46
対応が与えられていない点集合マッチング
■  問題"
n  対応は与えられていない"
n  点の座標しか情報がない"
■  ICPの基本アルゴリズム"
1.  仮の対応：Xの各点に最も近いY
の点を求める (closest point)
2.  パラメータを求める：XをYに変
換するパラメータ（回転Rと並進
t）を推定する"
3.  仮の対応：RX+tの各点に最も近
いYの点を求める (closest point)"
4.  ステップ2と3を反復(iterate)"
■  ICPのコンセプト"
n  「対応がない問題」を「対応のあ
る問題」に置き換える"
n  これを反復する"
？"
玉木徹：「姿勢推定と回転行列」, 電子情報通信学会スマートインフォメ
ディアシステム研究会（SIS）信号処理研究会（SIP）オーディオビジュアル
複合情報処理研究会（IPSJ-AVM）, 電子情報通信学会技術報告 SIP2009-48,
SIS2009-23, Vol.109, No.202, pp.59-64, 広島大学, 広島（2009 09）."

47
点集合X 点集合Y 点集合Y
反復"
1回目
各点xiに最も近い"
yiを対応させる
各点Rxi+tに最も近い"
Rとtを推定

48
反復"
1回目
反復"
2回目
Rとtを推定
Rとtを推定

49
反復"
1回目
反復"
2回目
反復"
3回目
Rとtを推定
Rとtを推定
Rとtを推定

50
反復"
1回目
反復"
2回目
反復"
3回目
反復"
4回目
Rとtを推定
Rとtを推定
Rとtを推定
Rとtを推定
終了！"

51
対応が与えられていない点集合マッチング
■  問題"
4.  ステップ2と3を反復"
？"

52
point-to-planeの場合
■  問題"
4.  ステップ2と3を反復"
？"
ここがpoint-to-planeになる

53
ICP on PCL
•  出力"
•  （スケールs）"
•  入力"
•  2つの点群"
•  （ターゲットの法線ベクトル）"
•  ICP実装"
•  pcl::IterativeClosestPoint"
•  デフォルトで"
•  変換推定にpoint-to-point"
•  距離はpoint-to-point"
•  pcl::IterativeClosestPointWithNormals"
•  デフォルトで"
•  変換推定にpoint-to-plane"
•  距離はpoint-to-point !"
•  どちらもメンバ関数で動作変更可能"
•  pcl::Registration::setTransformationEstimation()"
•  変換の推定方法（RTのみ，スケール含む，point-to-plane）"
•  pcl::Registration::setCorrespondenceEstimation"
•  距離計算の方法（point-to-point, point-to-plane, その他）"
？"

54
PCLサンプルコード：point-to-point ICP
メイン部分

55
PCL1.7.1のICPデモ
PCLのICP
point-to-point
PCLのICP
point-to-plane

56
SOFTASSIGN & EM-ICP

57
ICPはかなりアドホック
■  ICP on PCL1.7.1"
n  パラメータ多数．．．"
n  setMaximumIterations"
n  最大反復回数"
n  setRANSACIterations"
n  RANSAC回数"
n  setRANSACOutlierRejectio
nThrethold"
n  RANSACのしきい値"
n  setMaxCorrespondenceDist
ance"
n  対応を除外する距離のしきい
値"
n  （必須のアドホック）"
n  setTransformationEpsilon"
n  収束判定"
n  setEuclideanFitnessEpsilon"
n  収束判定"
■  考えるべきこと多数"
■  距離しきい値が不要な手法"
n  softassign"
n  EM-ICP"
n  sparse ICP

58
arg min
yj 2Y
||yj xi||
ICP：仮の対応を与える
y1
y2x2
x1
X Y Y ⇤
y21
y43
y43
XとY*を用いてRとtを推定"
X中の各点xiについて"
一番近いY中の点を探す
一般に点集合XとYの点の数は異なる Xと同じ点の数の集合Y*を作成
y⇤
i =

59
arg min
yj 2Y
||yj xi||
arg min
yj 2Y
||yj (Rxi + t)||
y1
y2x2
x1
X Y Y ⇤
y21
y43
y43
y21
y⇤
i =

60
arg min
yj 2Y
||yj xi||
arg min
yj 2Y
||yj (Rxi + t)||
y1
y2x2
x1
X Y Y ⇤
y21
y43
y43
y21
y⇤
i =

61
ICP：仮の対応はHard assignment
y1 y2
x2
x1
X
Y
Y ⇤
y21 y43
y43
y211
10 0 0
0 0 0
arg min
yj 2Y
||yj (Rxi + t)||y⇤
i =

62
Softassign：仮の対応はsoft assignment
y1 y2
x2
x1
X
Y
y21 y43
0.60.1 0.02 0.3
0.50.1 0.1 0.2
一般に点集合XとYの点の数は異なる XとYを重み付きで処理
XとYを用いて重み付きでRとtを推定"
mijxi
yj
Steven Gold, Anand Rangarajan, Chien-Ping Lu,
Suguna Pappu, Eric Mjolsness, "New algorithms for 2D
and 3D point matching: pose estimation and
correspondence," Pattern Recognition, Vol. 31, No. 8,
pp. 1019-1031, 1998.
外れ値対策
外れ値対策

63
mij
Shinkhorn iterations：行と列の正規化
各行と列は"
和が1になるように正規化"
（Shinkhorn iterations）
sum up to 1
sum up to 1
sum up to 1
sum up to 1
行と列の正規化を交互に反復"
（収束するまで）"

64
mij
各行と列は"
sumupto1
sumupto1
sumupto1
sumupto1

65
mij
各行と列は"
sumupto1
sumupto1
sumupto1
sumupto1
sum up to 1
sum up to 1
sum up to 1
sum up to 1

66
重み付きの四元数を用いた方法
𝑆
=
𝑆
=
𝑀
3 3
Normal version 重み付きversion
注：平均も重み付きで計算しておく
Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda: "Softassign and
EM-ICP on GPU", Proc. of UPDAS2010; The 2nd Workshop on Ultra
Performance and Dependable Acceleration Systems, In Proc. of ICNC'10, pp.
179-183 (2010 11), Higashi Hiroshima, Japan, November 17-19, 2010.

67
Pipeline of Softassing.GPU
Compute with CUDA kernel
Shinkhorn.GPU
Centering.GPU
Weighted Horn’s method
and
Solve"
Eigenvalue"
problem
Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda, Marcos Slomp:
"CUDA-based implementations of Softassign and EM-ICP,” CVPR2010 demo."
EM-ICP on GPU", Proc. of UPDAS2010.
=

68
EM-ICP：仮の対応はsoft assignment
y1 y2
x2
x1
X
Y
y21 y43
0.5
0.60.1 0.02 0.3
0.1 0.1 0.2
一般に点集合XとYの点の数は異なる Xと同じ点の数の集合Y*を作成"
（重み付き）"
mijxi
yj
Sebastien Granger, Xavier Pennec, "Multi-scale EM-ICP: A Fast
and Robust Approach for Surface Registration,” ECCV2002, Vol. 4,
pp. 69-73, 2002
Y ⇤
外れ値対策 Shinkhorn不要

69
Pipeline of EM-ICP.GPU
Compute with CUDA kernel
Row normalization on GPU
Centering.GPU
2 step weighted Horn’s method
and
Solve"
Eigenvalue"
problem
Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda, Marcos Slomp:
"CUDA-based implementations of Softassign and EM-ICP,” CVPR2010 demo."
EM-ICP on GPU", Proc. of UPDAS2010.
* =

70
GPU実装：コード＋デモ映像 (CVPR2010 demo)
12/04/13 14:28CUDA-based implementations of Softassign and EM-ICP
ABSTRACT DEMO MOVIES REFERENCES CODE SVN DOWNLOAD
ABSTRACT
This demonstration provides CUDA-based implementations of two 3D point sets registration algorithms:
Softassign [Gold 1998] and EM-ICP [Granger 2002]. Both algorithms are known for being time demanding,
even on modern multi-core CPUs. Our GPU-based implementations vastly outperform CPU ones. For
instance, our CUDA EM-ICP aligns 5000 points in less than 7 seconds on a GeForce 8800GT, while the
same implementation in OpenMP on an Intel Core 2 Quad would take 7 minutes.
Registration (alignment) of 3D point sets is one of the most important problems in computer vision and
several methods have been developed over the last two decades. The widely used Iterative Closest Point
(ICP) algorithm [Besl 1992] provides quick registration, but requires a good initial alignment in order to
prevent local minima and produce a plausible match. Softassign and EM-ICP represent efforts to overcome
such limitations: instead of looking for "hard" correspondences between points (each point in one of the sets
has to uniquely map to another point in the other set), the latter two algorithms focus on "soft"
correspondences (each point in one of the sets corresponds somehow to every point in the other set by
some weight). Although these algorithms can handle any initial arrangement, their associated computational
cost has been preventing their practical usefulness even for moderately large number of points.
Recent advances in graphics hardware and software have motivated us to implement Softassign and EM-
ICP on a GPU and evaluate their corresponding behavior and performance. Our contribution is twofold: we
introduce the GPU implementations and also demonstrate that most steps of these algorithms are GPU-
friendly, consisting of either vector-matrix multiplications or element-wise operations. The registration
process is iteratively tracked in a window with interactive manipulation.
Connection to the main conference
CUDA-based implementations of Softassign and EM-ICP
Toru Tamaki, Miho Abe, Bisser Raytchev, Kazufumi Kaneda, Marcos Slomp
Hiroshima University, Japan
Contact address: tamaki@hiroshima-u.ac.jp
CVPR2010 DEMO
SUBMISSION
15th June 2010
The content of this page was
presented at CVPR201 demo.
SOURCE CODE
7th July 2010
Source code is now available!
Download tarball
(cuda_emicp_softassign.0.1.tar.gz)
or brouse SVN
See README.txt for usege.
The demo is written in C++ and
CUDA and is Linux/GCC compliant
(Fedora 11), but should port easily to
Windows or Mac platforms.
Additional dependencies include
freeglut (a modern GLUT alternative)
for visualization and OpenMP for the
ALIGN TWO 3D SETS OF 5000 POINTS WITHIN 7 SECONDS
EM-ICP on GPU", Proc. of The 2nd Workshop on Ultra Performance and
Dependable Acceleration Systems (UPDAS), CD-ROM, 5 pages, 2010."
https://github.com/tttamaki/cuda_emicp_softassign"
http://home.hiroshima-u.ac.jp/tamaki/study/cuda_softassign_emicp/

71
ICPとの比較
EM-ICP (50%削減）
point-to-point
softassign (50%削減)
point-to-point
PCLのICP
point-to-point

72
SPARSE ICP

73
sparse ICP
Soﬁen Bouaziz, Andrea Tagliasacchi, Mark Pauly,"
Sparse Iterative Closest Point, Symposium on Geometry Processing 2013,
Computer Graphics Forum, Volume 32, Issue 5, pages 113–123, August 2013."
http://www.youtube.com/watch?v=ii2vHBwlmo8"
http://lgg.epﬂ.ch/sparseicp"
https://code.google.com/p/sparseicp/
ただしLpノルムではなくL2ノルムのp乗
ノイズに頑健"
重複領域が少なくても安定

74
sparse ICPの定式化
ADMMで解く (Alternating Direction Method of Multipliers)
元の問題
割り当て問題
推定問題
変形
通常のclosest point探索
I：指示関数（条件を満たせば0，そうでなければ無限大）

75
sparse ICPの比較
sparse ICP (p=0.1)
point-to-plane（10倍速）
sparse ICP (p=0.05)
PCLのICP
EM-ICP (50%削減)
point-to-point（1倍速）
sparse ICP (p=0.2)
sparse ICP (p=0.2)
point-to-point（10倍速）

76
HKS：非剛体レジストレーションの
ための特徴量

77
HKS特徴による非剛体物体の対応点探索
Jian Sun, Maks Ovsjanikov and Leonidas Guibas, A Concise and Provably
Informative Multi-Scale Signature Based on Heat Diffusion, SGP 2009."
http://www.geomtop.org/paper_ppt/multiscale_htker.pdf
M. Bronstein and I. Kokkinos, Scale-invariant
heat kernel signatures for non-rigid shape
recognition, Proc. IEEE Conf. on Computer
Vision and Pattern Recognition (CVPR), 2010.
http://cvn.ecp.fr/personnel/iasonas/pubs/
BronsteinKokkinos_scale_invariance_CVPR10.p
df
Original
Scaled
Figure 3. Comparison of HKS (left) and the proposed scale-invariant HKS (right). First and third rows: three components of HKS and
scaled HKS
log(t)
1
2
3
4
3
4
1
2
1
Figure 1: top left: dragon model; top right: scaled HKS at
points 1, 2, 3 and 4. all four signatures are close at small
t’s while big t’s separate the points on the front claws from
those on back; bottom left: the points (blue), whose signature
is close to the signature of point 1 based on the smaller half
estriction to the temporal
hile on the other hand, it
HKS inherits many useful
rturbations of the shape.
apture information about
demonstrate the practical
ng based on the HKS and
es.
scaled HKS
log(t)
1
2
3
4
(a)
Figure 8: Isometric matches in the SCAPE dataset [ASK+
05]. (a) left, the landmark corresponde
the map misses one of the arms. The second landmark correspondence allows to obtain good dens
values of t reflects the properties of a local neighborhood of
p. Thus, to match partial and incomplete shapes, we can con-
struct the Heat Kernel Map by only considering small values
of t. Figure 9 shows the result of applying our method for
matching an arm to a human body and a leg to a horse model.
Note that the arm model is significantly denser (containing
9k points, whereas the human model is 10k points), and the
two maps shown in the figure are computed for the same arm
model. To compute the heat kernel for the partial models, we
used Dirichlet boundary conditions, and computed the Heat
Kernel Embedding for time values such that the heat kernel
at points close to the boundary remains negligible.
Figure 9: Matching o
e objects by finding two possible maps. (a) left: using a single landmark correspondence is su
olated map,(a) middle: a single landmark correspondence provides a good map, but the ear
omputing the second landmark correspondence (a) right. Even under considerable geodes
ndences are enough to find high quality direct and symmetric maps, (b) left and right respect
mark correspondence (Section 4). In this
where, we have observed that Shape-DNA
without using the Heat Kernel Signature.
addition of the HKS, all three methods
Moreover, the distortion levels out be-
amples. Therefore, the dimensionality of
ap is relatively low (we used 10 time sam-
mples below). Finally, the top of Figure
of adding HKS to the Heat Kernel Map.
nse map is computed without HKS, and
ches the tail of the model to its leg. Us-
effect and allows us to find a high quality
nly one landmark correspondence. Note
of the average geodesic distortion when
three discretizations. Figure 5 shows the
our method for intrinsic symmetry de-
ample shapes from the Nonrigid World
7]. In all of the remaining examples we
Figure 7: Direct and symmetric maps found
shapes from the dataset by Vlasic et al. [VBM
diameter. Moreover, we are able to find the in
try of the armadillo, by considering the seco
for the initial feature correspondence (Figur
This map, however, flips the two ears of the ar
can be fixed by computing a second landm
dence (Figure 6(a) right). Similarly, even und
geodesic distortion (13.2% of the diameter), o
find both the direct and the symmetric map (F
Maks Ovsjanikov, Quentin Mérigot, Facundo Mémoli and Leonidas Guibas, One Point Isometric
Matching with the Heat Kernel,” Symposium on Geometry Processing 2010, Computer Graphics
Forum, Volume 29, Issue 5, pages 1555–1564, July 2010."
http://www.lix.polytechnique.fr/~maks/papers/onepoint.pdf"
各点での特徴量が1次元関数で表される
似ている場所は似た特徴量（関数）になる
縦軸：特徴量
横軸：パラメータ（時間）
姿勢が変わっても
似た特徴量（関数）
スケールが変わっても
似た特徴量（関数）
非剛体マッチング
（対応点探索）

78
熱拡散方程式
のフーリエ展開係数
境界条件初期条件
一般解
一般解
多次元1次元
例1:
例2:
一般にと書ける
熱核 (heat kernel)
グリーン関数
解釈：初期分布 f が熱核 Gt によって畳み込まれる
大石進一, フーリエ解析, 岩波書店, 1989.
ガウス関数
ユークリッド空間ならLaplace演算子
多様体上ならLaplace-Bertlami演算子

79
熱拡散方程式
一般解
1次元
例1:
（基底関数）
時刻tが大きくなると（時間が経つと）
指数関数的に高周波成分が減る
初期条件拡散後
初期条件のフーリエ係数展開（基底関数の線形和）を用いて
一般解を（基底関数✕指数関数）の線形和で構成する

80
熱拡散方程式
一般解
1次元
例2:
グリーン関数
ガウス関数
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
-1.0 -0.5 0.0 0.5 1.0
0.2
0.4
0.6
0.8
1.0
初期条件拡散後
熱核
畳み込み

81
熱拡散方程式
一般解
一般解
多次元1次元
例1:
例2:
グリーン関数
ガウス関数

82
熱拡散方程式
一般解
1次元
例1:
基底関数係数
類推
熱核の構成方法
多次元
（基底関数）
基底関数係数

83
HSK: メッシュ物体上の特徴量
平面
ユークリッド空間
位置に依存しないガウス関数
（2点間の距離のみに依存）
多様体
メッシュ状の物体表面
2点の位置に依存する
熱核
Heat Kernel
HKS
(Heat Kernel Signature)
ガウス関数でx=0の高さ
物体上の位置xに
固有の特徴量
（tに依存する1次元関数）
of the heat diffusion process on a shape. Our signature,
restricting the well-known heat kernel to the temporal
mptions, HKS captures all of the information contained
metry. This means that the restriction to the temporal
and easily commensurable, while on the other hand, it
y of the shape. In addition, HKS inherits many useful
ar, that it is stable under perturbations of the shape.
putable multi-scale way to capture information about
ful in many applications. To demonstrate the practical
non-rigid multi-scale matching based on the HKS and
d across a collection of shapes.
scaled HKS
log(t)
1
2
3
4
3
4
1
2
Jian Sun, Maks Ovsjanikov and Leonidas Guibas, A Concise and Provably Informative Multi-Scale
Signature Based on Heat Diffusion, SGP 2009. http://www.geomtop.org/paper_ppt/multiscale_htker.pdf
場所1と2は似ている
場所1と3は異なる
時間t
凸部はHKSの
値が大きい
凹部はHKSの
値が小さい
注意：
閉曲面にのみ定義されている
（裏面のないKinectスキャン
などは対象外）

84
対応点ベンチマーク
http://www.cs.princeton.edu/~vk/projects/CorrsBlended/doc_data.php

85
特徴点検出器と特徴量記述子!
PCLの場合

86
pcl::Keypoint
http://docs.pointclouds.org/1.7.1/

87
Keypointの注意点
•  他の手法での注意点"
•  点群かdepthかメッシュかボリュームか"
•  シーンかオブジェクトか"
•  オブジェクトには穴があるとダメ"
•  PCLでの注意点"
•  スケール：不変 or 固定"
•  点の情報：座標のみ，＋法線，＋輝度値・色"
•  構造：点群 or RGBD"
例：pcl::SIFTKeypointは3DのDoGを使うので"
スケール不変．でも何のDoG？"
•  何も指定しなければ<PointT>：点の輝度値"
•  法線があれば<PointNormal>：法線の曲率"
•  色があれば<PointXYZRGB>：点の輝度値に変換"
ソースコードを見なければ分からない！"
•  detectKeypoints()"
•  detectKeyppointsForOctave()"
•  computeScaleSpace()"
•  SIFTKeypointFieldSelector型のgetFieldValue_()がオーバーロードされている"
例：pcl::HarrisKyepoint3Dは法線を使う．．．でもsetMethod()で手法が選べる．何？"
•  HARRIS / NOBLE / LOWE / CURVATURE / TOMASI"
ソースを見ないと何なのか分からない．
例：pcl::HarrisKeypoint6は，点の座標＋輝度値の”mixed version”．実際
の処理はソースを見るしかない．ソースを見ると，手法はTomashiだけ．．．
3D SIFTって書いてあるから読んだらボリューム用だった"
•  P. Scovanner, S. Ali, and M. Shah, “A 3-dimensional sift
descriptor and its application to action recognition,” in ACM
Multimedia, 2007, pp. 357–360."
•  W. Cheung and G. Hamarneh, “n-sift: n-dimensional scale
invariant feature transform,” in Trans. IP, vol. 18(9), 2009,
pp. 2012–2021."
3D SURFは一回ボクセルにするからボリューム用"
•  Jan Knopp, Mukta Prasad, Geert Willems, Radu Timofte,
Luc Van Gool, Hough Transform and 3D SURF for Robust
Three Dimensional Classiﬁcation, Computer Vision – ECCV
2010, Lecture Notes in Computer Science Volume 6316, pp
589-602, 2010."
詳しくは"
•  Tsz-Ho Yu, Oliver J. Woodford, Roberto Cipolla, A
Performance Evaluation of Volumetric 3D Interest Point
Detectors, International Journal of Computer Vision,
Volume 102, Issue 1-3, pp 180-197, March 2013."
こちらはrange image用．"
•  3D Geometric Scale Variability in Range Images: Features
and Descriptors P. Bariya, J. Novatnack, G. Schwartz, and
K. Nishino, in Int'l Journal of Computer Vision, vol. 99, no.
2, pp232-255, Sept., 2012"

88
Fixed/Adaptive scale 3D keypoints
Salti, S.; Tombari, F.; Di Stefano, L., "A Performance Evaluation of 3D Keypoint Detectors," 3D Imaging,
Modeling, Processing, Visualization and Transmission (3DIMPVT), 2011 International Conference on , vol.,
no., pp.236,243, 16-19 May 2011. doi: 10.1109/3DIMPVT.2011.37"
"
Federico Tombari, Samuele Salti, Luigi Di Stefano, Performance Evaluation of 3D Keypoint Detectors,
International Journal of Computer Vision, Volume 102, Issue 1-3, pp 198-220, March 2013."
"
http://vision.deis.unibo.it/keypoints3d/

89
pcl::Feature
特徴量
法線を使う特徴量
局所座標系を"
持つ特徴量
http://docs.pointclouds.org/1.7.1/
•  他の手法での注意点"
•  点群かdepthかメッシュかボリュームか"
•  シーンかオブジェクトか"
•  PCLでの注意点"
•  スケール：不変 or 固定"
•  点の情報：座標のみ，＋法線，＋輝度値・色"
•  構造：点群 or RGBD"
•  特徴：各点の特徴か，点群自体の特徴か"

90
PCLサンプルコード!
特徴量を用いたレジストレーション

91
PCLサンプルコード：特徴点を利用する
特徴点検出
•  Harris3D
特徴量計算
•  FPFH
•  (SHOT)
対応点探索
•  FLANN kd-tree
誤対応除去
•  sample consensus
剛体変換推定
•  SVD
微修正
•  point-to-point ICP

92
PCLサンプルコード：特徴点検出

93
PCLサンプルコード：特徴量計算

94
PCLサンプルコード：対応点探索

95

96
PCLサンプルコード：誤対応除去

97

98
PCLサンプルコード：RとTの推定

99

100
PCLサンプルコード：ICPによる微修正

101

102
PCLデモ：特徴点を利用した位置合わせ

103
サンプルコード on the github
■  PCLのICP & RとTの推定 & 特徴点ベース"
n  https://github.com/tttamaki/ICP-test
n  icp1：ICP with point-to-point 途中表示なし"
n  icp2：ICP with point-to-point"
n  icp3：ICP with point-to-plane"
n  icp4：特徴点ベース+ICP微修正"
n  transform_estimation：RとTの変換 with point-to-point/plane"
■  sparse ICP"
n  https://github.com/tttamaki/SICP-test
n  scip1：sparse ICP with point-to-plane 途中表示なし"
n  scip2：sparse ICP with point-to-plane"
■  EM-ICP"
n  https://github.com/tttamaki/cuda_emicp_softassign
n  ICP"
n  EM-ICP.CPU"
n  softassign.GPU"
n  EM-ICP.GPU

104
3次元画像センシング技術 2014/11/14 14:50∼16:45 (115分)!
玉木徹（広島大学）
@ttttamaki
玉木徹
tamaki@hiroshima-u.ac.jp
３次元点群に対するレジストレーション（位置合わせ）手法について解説する。
＜成果目標＞
3次元レジストレーション手法の概要の把握。 ICP程度の手法を実装できるスキルの取得。
1.  レジストレーションとは：2次元のレジストレーションの例から始めて，3次元レジストレーション
の基礎を学ぶ。
最小二乗法，最適化，Procrustes analysis
2. ICPとその変種：基本的なアルゴリズムであるICP（Iterative Closest Point）と，その拡張を学ぶ。
ICP，Softassign，EM-ICP
3．さまざまなレジストレーション手法を学ぶ
剛体レジストレーション，非剛体レジストレーション
（sparse-ICP，特徴ベース）（HKS）

3次元レジストレーション（PCLデモとコード付き）

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (16)

Similar to 3次元レジストレーション（PCLデモとコード付き）

Similar to 3次元レジストレーション（PCLデモとコード付き） (20)

More from Toru Tamaki

More from Toru Tamaki (20)

Recently uploaded

Recently uploaded (6)

3次元レジストレーション（PCLデモとコード付き）