SSII2019 チュートリアル講演 TS3 6月14日(金) 9:00～10:20 (メインホール) カメラの幾何学的キャリブレーションはカメラを使った３次元計測・認識に欠かすことができない基礎技術です。​近年では LIDAR や ToF カメラのように深度情報を直接出力するカメラや、全周囲カメラのように透視投影ではないカメラをセンサとして使用することも一般的になりました。本講演ではこれらの幾何学的キャリブレーションについて、実例を交えながら基礎からご紹介します。さらに講演内容に対応した初学者向けのサンプルコードについても紹介します。

1. 実践カメラキャリブレーション
〜 カメラを用いた実世界計測の基礎と応用 〜
2019.6.14
延原 章平（京都大学）高橋 康輔（NTT）

2. カメラキャリブレーションの使われ方
2

3. ３次元形状計測
3

4. 自動運転
NVIDIA DRIVE Autonomous Vehicle Platform
BMV
4

5. AR / MR
IKEA Place
5

6. データセット構築
http://domedb.perception.cs.cmu.edu/ 6

7. データセット構築
“Facebook VR Research: Photorealistic Face Tracked Avatars,” from Youtube 7

8. このチュートリアルのゴール
8

9. もしカメラキャリブレーション検定があるとしたら？
• Lv1：基礎を理解する
– 適切なカメラモデルを選択できる
– 適切なキャリブレーション手法を選択できる
• Lv2：実践する
– キャリブレーション結果の妥当性を確認できる
– 独自カメラシステムのためのキャリブレーション手順を設計できる
• Lv3：応用する
– センサフュージョン
• LiDARと組みわせることができる
– 異なる光学系
• 屈折反射光学系のキャリブレーションを組める
9

10. お断り
• すべての種類のキャリブレーション手法を網羅することを
目的とはしていません．
• OpenCVなどで実装が公開されているものを中心に議
論します．
• 数式の説明はあまりしません．教科書をご確認ください．
– Hartley and Zisserman. Multiple view geometry in
computer vision. 2004.
– 金谷他．３次元コンピュータビジョン計算ハンドブック．2016.
10

11. Lv1：カメラキャリブレーションとは
11

12. カメラキャリブレーションとは
オブジェクト
カメラモデル
パラメータ 1 パラメータ 2 パラメータ N…
画像
カメラキャリブレーション
画像の生成過程をモデル化し，そのカメラモデルが持つパラメータを推定すること．
12
位置 放射輝度
位置 輝度

13. カメラキャリブレーションの種類
カメラキャリブレーション
幾何学的キャリブレーション
「どこに」
光学的キャリブレーション
「どういう輝度で」
オブジェクト
パラメータ 1 パラメータ 2 パラメータ N
カメラモデル
画像
… 13
位置 放射輝度
位置 輝度

14. 幾何学的カメラキャリブレーション
幾何学的カメラキャリブレーション
内部キャリブレーション
位置姿勢に独立なパラメータを推定
e.g. 焦点距離，レンズ歪みなど
外部キャリブレーション
位置・姿勢パラメータを推定
パラメータ 1 パラメータ 2 パラメータ N
カメラモデル
… 14

15. 幾何学的カメラキャリブレーションができると
何ができるようになるか？
三次元計測 カメラの自己位置推定
https://grail.cs.washington.edu/rome/ 15

16. Lv1：
幾何学的カメラキャリブレーションの基礎
16

17. カメラモデル
透視投影カメラモデル
一般的なカメラ
正射影カメラモデル
顕微鏡，望遠鏡など
魚眼カメラ，アクションカムなど
魚眼カメラモデル その他：
弱透視投影カメラモデル
凸レンズカメラモデル
など
17

18. 透視投影カメラモデル
光学中心
＝全ての光が通過する点
焦点距離 f
仮想画像平面
x
y
z
特徴
• レンズに依る効果（ぼけ，歪み）が無い．
• 対象物を目で見た時と同じような表現が可能．
⇒ 一般的なカメラの投影に近い．
仮定
• Ｚ軸と光軸が一致
• 原点が光学中心に一致
18

19. 世界座標系での座標値
投影過程 0 : 世界座標系 画像座標系
世界座標系 W カメラ座標系 C
投影行列：Projection matrix
画像座標系 I画像座標系での座標値
19

20. 世界座標系での座標値
投影過程 １：世界座標系 カメラ座標系
世界座標系 W カメラ座標系 C
カメラ座標系での座標値
3x3の回転行列 3x1の並進ベクトル
外部パラメータ
(世界座標系 カメラ座標系)
20

21. 投影過程 2：カメラ座標系 正規化画像座標系
世界座標系 W カメラ座標系 C
正規化画像座標系 N
カメラ座標系での座標値
正規化画像座標系での座標値
の平面
21

22. 投影過程 3：正規化画像座標系 画像座標系
世界座標系 W カメラ座標系 C
正規化画像座標系での座標値
の平面
正規化画像座標系 N
画像座標系 I
内部パラメータ(行列)
単位はピクセル 単位は三次元座標系のもの (mm, cmなど)
22

23. 投影過程 まとめ
世界座標系 W カメラ座標系 C
の平面
正規化画像座標系 N
画像座標系 I
世界座標系での座標値
画像座標系での座標値
23
内部キャリブレーション：内部パラメータ の推定
外部キャリブレーション：外部パラメータ の推定
幾何学的カメラキャリブレーション

24. 投影過程 レンズ歪み (正規化画像座標系)
世界座標系 W カメラ座標系 C
の平面
正規化画像座標系 N
画像座標系 I
注：OpenCVで利用されている歪みモデル
歪み無し
歪み有り
歪み係数 カメラ固有なので内部パラメータに含まれる
半径方向の歪み 円周方向の歪み 24

25. レンズ歪み補正
25

26. 三角測量
26
世界座標系
カメラ1 カメラ2
被写体
世界座標系
カメラ座標系
正規化画像座標系
画像座標系
投影の過程 ３次元再構成
内部パラメータの逆行列をかける
外部パラメータを利用する

27. 外部パラメータ = 位置姿勢？(1/2)
世界座標系 W カメラ座標系 C
を代入すると• 世界座標系の原点
として，世界座標系の各軸方向の単位ベクトルから
成る行列 は となる．
•
外部パラメータ はカメラ座標系における世界座標系の位置，
は姿勢とみなせる．

28. 外部パラメータ = 位置姿勢？(2/2)
世界座標系 W カメラ座標系 C
外部パラメータ は世界座標系におけるカメラ座標系の位置，
は姿勢とみなせる．(カメラの位置姿勢)

29. 外部パラメータの注意点
• 変換の方向に注意
 座標系の変換元，変換先はなにか？
 パラメータに変換方向を添字として書いておくと良い．
(例：世界 -> カメラの場合， など．)
29
世界座標系 カメラ座標系
カメラ座標系

30. 復習
1. 幾何学的キャリブレーションによって，以下の式を満たす外部パラメータ
が得られたとする．カメラの投影中心は世界座標系においてどこにあるか？
1. １において，カメラの光軸は世界座標系においてどの向きか？
2. 内部パラメータ の単位は？
30
答え
ピクセル
答え
答え

31. Lv1：キャリブレーションアルゴリズム
31

32. キャリブレーションとは
実世界
物理モデル
(運動方程式)
𝑚𝑚
𝐹𝐹 = 𝑚𝑚𝑚𝑚
キャリブレーション = モデルパラメタ推定
𝐹𝐹 = 𝑚𝑚𝑎𝑎
• 𝐹𝐹と𝑚𝑚が与えられたときに𝑎𝑎を推定.
• 線型方程式を解く．
• もし𝐹𝐹と𝑚𝑚に計測誤差があるなら？
(i.e., 𝐹𝐹 = �𝐹𝐹 + 𝜖𝜖, 𝑚𝑚 = �𝑚𝑚 + 𝜖𝜖)
• 複数回の計測から求める．
• もし𝐹𝐹が直接計測できなかったら？
• 可観測なものを使った方程式
を立てる．(e.g. 位置と時刻)
32

33. 画像中心
𝑅𝑅, 𝑡𝑡
登場する概念
3D形状
外部パラメータ
内部パラメータ
2D-2D対応点
3D-2D対応点
33

34. Zhangの手法
8-point
設計値から概算する
他のセンサーから得る
キャリブレーションの流れ
𝐾𝐾, 𝑅𝑅, 𝒕𝒕の初期値を得る
最尤推定となるように
最適化する
再投影誤差最小化
究極的には初期値に過ぎない．
妥当でありさえすればどんな方法でもよい．
幾何学的に意味がある基準で最適化する．
34

35. 分類
入力＼出力 内部パラメータ 外部パラメータ
2D-3D
2D-2D
3D-3D
Zhang
PnP
8-Point
Absolute Orientation
35

36. Zhangの手法
• 入力
– 既知の３次元点とその投影先
• 出力
– 内部パラメータ 𝐾𝐾
– 外部パラメータ 𝑅𝑅, 𝒕𝒕
2D image
𝑢𝑢
𝑣𝑣
3D plane
(0,0)
(1,0)
36

37. Zhangの手法
37

38. Zhangの手法
38

39. Zhangの手法の解釈
カメラ：固定
参照物体：移動
カメラ：移動
参照物体：固定
(0,0,0)
(1,0,0)
39

40. Zhangの手法
• 入力
– 既知の３次元点とその投影先
• 出力
– 内部パラメータ
– 外部パラメータ
2D image
𝑢𝑢
𝑣𝑣
3D plane
(0,0)
(1,0)
40

41. Projective-n-Point
• 入力
– 内部パラメータ
– 既知の３次元点の画像中での投影先
• 出力
– 外部パラメータ
シーン
カメラ1
カメラ2
カメラ3
カメラN
…
41

42. 8-Point, 5-Point
42

43. 8-Point, 5-Point
• 入力
– 内部パラメータ
– ２つのカメラで同じものを写している点（対応点）
• 例：球を同期撮影してその中心を検出＝全カメラ間の対応点
• 出力
– 外部パラメータ
𝑅𝑅, 𝒕𝒕
𝑿𝑿1 𝑿𝑿2 = 𝑅𝑅𝑿𝑿1 + 𝒕𝒕
𝐾𝐾1 𝐾𝐾2
𝒙𝒙1
𝒙𝒙2
43

44. Absolute Orientation
Horn. Closed-form solution of absolute orientation using unit quaternions, JOSA 1987
44

45. 疑問点
• Zhangの手法ではなぜチェスパターンを使うのだろう？
– 3Dの参照物体だと？ （Tsaiの手法）
• Zhangの手法は最低４枚の入力が必要だが，実際は
何枚くらい，どんな画像を用意するのだろう？
• 8-pointの場合もチェスパターンを使ったらいいのでは？
• あるいはボールではなく輝点(e.g. LED)でもいいのでは？
45

46. Lv1：バンドル調整
46

47. 三角測量（再掲） (1/3)
47
世界座標系
カメラ1 カメラ2
被写体
世界座標系
カメラ座標系
正規化画像座標系
画像座標系
投影の過程 ３次元再構成
内部パラメータの逆行列をかける
外部パラメータを利用する

48. 三角測量 (2/3)
• 対応点から逆投影した２直線は１点で交差しない場合がある．
(⇒ ねじれの位置)
– 対応点の検出誤差，キャリブレーション誤差などが原因．
– 視点が増えると厳密に１点で交差することはより難しくなる．
48
世界座標系
カメラ1 カメラ2

49. 三角測量 (3/3)
• DLT (Direct Linear Transform)
49
N 視点の制約式をまとめて
を解く．
１視点につき，
２本の制約式が得られる
カメラ2カメラ1

50. • 対応点から逆投影した２直線は１点で交差しない場合がある．
– 対応点の検出誤差，キャリブレーション誤差などが原因．
– 視点が増えると厳密に１点で交差することはより難しくなる．
• DLTなどで三次元点 を得たとして，それをもう一度画像に投影すると，三
角測量に用いた元の点からずれる．
再投影誤差
50
カメラ2カメラ1
再投影誤差
この誤差を再投影誤差と呼ぶ．

51. バンドル調整 (Bundle Adjustment)
51
カメラ2カメラ1
再投影誤差
• 再投影誤差はキャリブレーションパラメータの推定誤差に起因する．
– 再投影誤差：
• 現在のパラメータ を初期値とし，再投影誤差を最小にするように
非線形最適化を行う．
この処理をバンドル調整と呼ぶ．
注：最適化するパラメータは状況によって
異なる場合もある．
(例：内部パラメータは固定するなど）

52. 52
ケーススタディ
目的：三次元復元などのために，同期されている複数の固定カメラの
幾何学的キャリブレーションを実施したい．
手順
1. 各カメラの内部パラメータの推定
• 各カメラの前でチェスボードを動かし，複数回撮影．
2. 外部パラメータの初期値を推定
• 基準カメラと同時に撮影したチェスボードを利用して，
基準カメラに対する外部パラメータを推定．
3. 外部パラメータを最適化する
• すべてのカメラで様々な姿勢のチェスボードを撮影し，
検出したコーナー点を利用してバンドル調整．
カメラ1
（基準）
カメラ2カメラ3

53. Lv2：実践する
53

54. チェスボード
• チェスボードの精度 ＞ キャリブレーションの精度
� プリンタで印刷して糊で貼り付ける．日数がたっても使う．
• コーナー点の検出精度 ＞キャリブレーションの精度
– 奇数×偶数のパターンを使う
• 奇数×奇数，偶数×偶数は上下の判断がつかないので
– 単純なコーナー検出は使わない
• Harris detectorでは偏りがある
• cv::findCornerSubPix()を使う
• いずれにしても必ず目視で確認する
54

55. キャリブレーション結果の確認方法
• 内部パラメータ
– 𝑓𝑓𝑢𝑢, 𝑓𝑓𝑣𝑣は画角から考えて妥当か？
• センサの物理サイズ（画素サイズ𝑠𝑠[μm] ）とレンズの焦点距離
𝑓𝑓[mm]から𝑓𝑓𝑢𝑢, 𝑓𝑓𝑣𝑣 ≈ 1000𝑓𝑓/𝑠𝑠と概算できる．
– センサが正方画素なら，𝑓𝑓𝑢𝑢 = 𝑓𝑓𝑣𝑣と仮定してBAした場合と，
𝑓𝑓𝑢𝑢, 𝑓𝑓𝑣𝑣を別変数としてBAした場合で結果が一致するか？
• 十分なキャリブレーションデータを入力しているなら一致するはず．
– レンズ歪み補正によって直線が直線になるか？
55

56. 補正前
56

57. 補正後
57

58. キャリブレーション結果の確認方法
• 外部パラメータ
– 再投影誤差は十分小さいか？
• サブピクセルが望ましい
• 交差検証（e.g. LOOCV）でも同程度に小さいか？
– カメラ配置をプロット
• 再投影誤差が小さくても，配置が現実と合わないことはある
– 特に偏った対応点を使った場合
– 視体積交差法（SfS）をしてみる
• あるカメラを使うとvisual hullが不必要に削られる＝そのカメラのパラ
メータがおかしい
58

59. • 限りなく正確な参照物体を利用する．
– Zhangの手法やPnPでの参照物体は定規の役割
– 身近で簡単に手に入る平面な物体は液晶ディスプレイ
• しかしマクロ撮影する場合はコーナー点が不正確に
• 観測対象が存在する領域に参照物体を置く
– 参照物体の検出点を利用して各パラメータを最適化している
ので，参照物体を設置した領域で最も精度が良くなる．
– レンズ歪みを取りたいなら，歪みが大きい場所でコーナー点を
検出する 観測対象が存在する領域
高精度・安定な推定のために
59

60. Lv2：実際の例
60

61. 多視点カメラシステム
An earlier version was used for ICCV2009 demo
“On-Site 3D Video Capture System” by S. Nobuhara et al.
61

62. 素朴なアイデア
全カメラで１つのチェスボードを撮影したら𝑅𝑅, 𝒕𝒕が得られる？
この方法の欠点は？62

63. 現実的なアプローチ
球体
👍👍 どの方向のカメラからも観測できる
＝強い制約→安定な初期推定
� 球の中心を正しく検出するには
レンズ歪み補正が必要
＝鶏と卵
コーナー点
👍👍 レンズ歪みがあっても検出は正しい
＝シンプルなBAが可能
� 一部のカメラからしか観測できない
＝「宙ぶらりん」なカメラが出ない
ように配慮が必要
63

64. Extrinsic camera calibration
64

65. 床面を𝑧𝑧 = 0平面，単位をmmにしたい
床面上のチェスコーナーを三角測量して
absolute orientation．
→ キャリブレーション精度には無関係 65

66. テニスのボール軌道を推定する
課題：
• 試合前にキャリブレーション機材を持ち込む
ことが難しい．
• 適切な大きさのキャリブレーションボードを
用意することが難しい．
アプローチ：
1. コートを既知の三次元モデルとみなして
PnPを解く．
2. 画像からボールを検出して三角測量．
推定した軌道
66

67. Projective-n-Point
OpenFace: an open source facial behavior analysis toolkit, WACV 2016
67

68. Lv3：応用
68

69. 鏡の反射を利用したキャリブレーション
• 鏡を利用することでカメラの視野を拡張 [*]
⇒ カメラの視野外にある物体とのキャリブレーション
視野を共有しないカメラ同士のキャリブレーション
[*] K.Takahashi+, A new mirror-based extrinsic camera calibration using an orthogonality
constraint, CVPR2012 69

70. プロジェクタ
70

71. プロジェクタ
Tahara et al., Interference-free epipole-centered structured light pattern for mirror-based multi-view
active stereo, 3DV 2015
71

72. 屈折層を含む光学系のキャリブレーション
72
• 透視投影カメラと被写体の間に屈折層がある場合でも，画素と
光線の対応をキャリブレーションすることが可能
• 複数台のカメラ・プロジェクタもOK
– Kawahara et al., Dynamic 3D capture of swimming fish by underwater active stereo, Methods in
Oceanography 2016
Agrawal et al., A Theory of Multi-Layer Flat
Refractive Geometry, CVPR 2012
Nishimura et al., A Linear Generalized Camera Calibration
From Three Intersecting Reference Planes, ICCV 2015

73. 深度カメラ / ToF / LiDAR
• Oneshotアクティブステレオ 解像度〇，深度△
• パターン光によるステレオ 解像度〇，深度〇
• ToF 解像度△～〇，深度〇
• LiDAR 解像度△，深度〇
２次元特徴点 ３次元特徴点
どちらの精度を
信用するか？
空間解像度が高い場合
（画素間隔が密）
得られる深度が推論に過ぎない場合
得られる深度の信頼性が高い場合
AND
信頼できる３Ｄ特徴点が利用できる
場合
一般論
73

74. 格子点を用いたカメラ-LiDAR外部キャリブレーション
• LiDARから得られる深度ではなく輝度（反射強度）画像を用い
たキャリブレーション
• 疎な反射強度画像から格子点位置を推定
Wang et al., Reflectance Intensity Assisted Automatic and Accurate Extrinsic Calibration of 3D LiDAR
and Panoramic Camera Using a Printed Chessboard, Remote Sensing, 2017
74

75. 球体を用いた異種深度センサの外部キャリブレーション
Ruan and Huber, Extrinsic Calibration of 3D Sensors Using a Spherical Target, 3DV 2014
• 深度マップ中で球面をフィッティング→中心が対応点
– 大きな球体であれば，深度の精度が不十分でも頑健に推定できる
– 実際は𝑅𝑅, 𝒕𝒕に加えてフィッティング自体もBAの対象にする
• 画像としての空間解像度が低くても適用できる
– 異なる種類・特性の深度センサでもキャリブレーションできる 75

76. 光学的キャリブレーション
• センサのレスポンスが線形＆レンズに口径蝕がない場合
𝑟𝑟′
𝑔𝑔′
𝑏𝑏′
= 𝐴𝐴3×3
𝑟𝑟
𝑔𝑔
𝑏𝑏
+ 𝒃𝒃3×1
を構成する24パラメータを推定する．
http://xritephoto.com/
モデルあり or なし（LUT）
積分球，フィルタ，natural image
statistics
Debevec and Malik. Recovering High
Dynamic Range Radiance Maps from
Photographs. SIGGRAPH 1997
76

77. 光学的キャリブレーション
77

78. 光学的キャリブレーション
観測値 内側：補正後
外側：理想値
78

79. 光学的キャリブレーション
補正前
補正後
79

80. まとめ
• 幾何学的に意味のある最適化をする
– 「Multiple View Geometry」のGold Standardアルゴリズム
• 要求する精度・有効範囲を明確にする
– 少なくともそれより２桁以上高い精度で参照物体を用意する
– キャリブレーションに用いた点（チェスコーナーがあった場所）で精
度は最も高くなる
• キャリブレーション時に参照されなかった空間では精度の保証が無い
• 機械学習での訓練データとテストデータの関係と同じ
• 機械学習を使うとしたら？
– 内部・外部パラメータの推論？
– 対応点・特徴点の検出？
– ３次元形状の推論？ 80