Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
光源方向推定のための構造色パターンマッチング
浦西 友樹1), 井村 誠孝2)3), 黒田 知宏1), 大城 理2)
1) 京都大学 医学部附属病院 医療情報企画部
2) 大阪大学 大学院基礎工学研究科
3) 関西学院大学 理工学部 人間システ...
Augmented/Mixed Reality 1
[ARTK] ARToolKit Home Page, http://www.hitl.washington.edu/artoolkit/
[IMD] Interactive Media De...
実世界の光源特性の取得 2
光源方向および色推定 [安室2003]
[安室2003] 安室ら, “立体マーカを用いた実空間における仮想物体の調和的表現”, 映情学誌 2003
[Debevec1998] P. Debevec, “Renderi...
研究目的とアプローチ
http://ja.wikipedia.org/wiki/構造色
3
構造色の特徴
 物理的構造により発色する
 光源特性と視点方向に依存して,観測される色が変化する
…平面形状から光源特性を推定できる?
研究目的
実...
提案手法: 構造色からの光源方向推定
 ARマーカにより視点方向は既知
 回折格子の構造色パターン 𝐼 から光源方向を推定
回折格子マーカ
構造色パターン 𝐼
4
視点方向
𝜃cam, 𝜙cam
光源方向
𝜃light, 𝜙light
𝐼 ...
パターンマッチングベース光源方向推定
入力パターン
( 𝜃cam, 𝜙cam は既知)
推定光源角度 𝜃est, 𝜙est = argmin
𝑖
diff 𝐼 − 𝑅𝑖
既知の視点 𝜃cam, 𝜙cam に対応する参照パターン 𝑅
𝑅1: 𝜃1...
光源方向の推定手順 6
事前処理
𝑑𝑖
0. 参照パターンの事前撮影
1. 入力パターンの切り出し
2. 明度成分の平滑化
3. 相違度 𝑑 の計算
Referential images
Frame image
𝑅𝑖
𝑅𝑗
𝑑𝑗
…
1
2
3
L* 平滑化 (𝐿∗
= 128)元画像
明度成分の平滑化 7
SV 平滑化 (𝑆 = 𝑉 = 255)
SV 平滑化
HSV to RGB
RGB to HSV
L* 平滑化
L*a*b* to RGB
RGB to L*a*b*
光源強度の...
相違度の計算 8
𝑑𝑖 =
𝑥 𝑦
𝑅𝑖,r 𝑥, 𝑦 − 𝐼r 𝑥, 𝑦
2
+ 𝑅𝑖,g 𝑥, 𝑦 − 𝐼g 𝑥, 𝑦
2
+ 𝑅𝑖,b 𝑥, 𝑦 − 𝐼b 𝑥, 𝑦
2
𝑥
𝑦
参照パターン 𝑅𝑖
𝑥
𝑦
入力パターン 𝐼
相違度 𝑑𝑖 ...
実験 9
回折格子マーカ
カメラ
光源
目的
カメラを固定した環境下で,
光源方向を提案手法により推定できるか?
実験条件 10
0
0.2
0.4
0.6
0.8
1
360 460 560 660 760
Normalizedirradiance
Wavelength [nm]
光源光の分光分布
回折格子マーカ
 一辺50 mm, 周辺部の幅5 mm...
光源方向推定結果 11
入力パターン 𝜃est, 𝜙est
Index 𝜃, 𝜙 元画像 SV 平滑化 L* 平滑化
1 (300, 20) (300, 20) (300, 30) (300, 30)
2 (300, 30) (300, 40)...
提案手法による選択例 12
入力パターン2
(300, 30)
参照パターン
(300, 30)
選択された
参照パターン
(310, 30)
元画像
SV 平滑化
L* 平滑化
(30, 60)
(300, 40)
𝜃
視線方向
𝜃 = 180
 構造色が観測された光源方位角は
30 ≤ 𝜃 ≤ 70, 280 ≤ 𝜃 ≤ 310 に限定
方位角は格子の配列方向に依存
格子の配置について要検討
考察 13
 L* 平滑化画像を用いることで,最も安定して...
𝐼 𝑥, 𝑦 = 𝑓 𝜃cam, 𝜙cam, 𝜃light, 𝜙light
まとめ 14
𝐼 𝑥, 𝑦 =
𝑛
𝑓 𝜃cam, 𝜙cam, 𝜃light,𝑛, 𝜙light,𝑛, 𝑠 𝑛 𝜆
回折格子の構造色パターンから光源方向を推定する手法を...
Upcoming SlideShare
Loading in …5
×

光源方向推定のための構造色パターンマッチング

  • Login to see the comments

光源方向推定のための構造色パターンマッチング

  1. 1. 光源方向推定のための構造色パターンマッチング 浦西 友樹1), 井村 誠孝2)3), 黒田 知宏1), 大城 理2) 1) 京都大学 医学部附属病院 医療情報企画部 2) 大阪大学 大学院基礎工学研究科 3) 関西学院大学 理工学部 人間システム工学科
  2. 2. Augmented/Mixed Reality 1 [ARTK] ARToolKit Home Page, http://www.hitl.washington.edu/artoolkit/ [IMD] Interactive Media Design Laboratory, Nara Institute of Science and Technology, http://imd.naist.jp/ ARToolKit [ARTK] Virtual Popup Book [IMD] 実世界と仮想物体の間の3つの整合性  幾何学的整合性  光学的整合性  時間的整合性 マーカを用いることで幾何学的整合性を解決
  3. 3. 実世界の光源特性の取得 2 光源方向および色推定 [安室2003] [安室2003] 安室ら, “立体マーカを用いた実空間における仮想物体の調和的表現”, 映情学誌 2003 [Debevec1998] P. Debevec, “Rendering Synthetic Objects into Real Scenes”, ACM SIGGRAPH 98 Rendering Synthetic Objects into Real Scenes [Debevec1998] 従来手法では,鏡面球など立体形状のマーカを使用 …立体マーカが適さない場面で使用が困難 Augmented/Mixed Reality における光学的整合性の向上のために 実世界の光源特性の取得は重要な要素
  4. 4. 研究目的とアプローチ http://ja.wikipedia.org/wiki/構造色 3 構造色の特徴  物理的構造により発色する  光源特性と視点方向に依存して,観測される色が変化する …平面形状から光源特性を推定できる? 研究目的 実世界の光源特性を,平面マーカを用いて実時間で推定する アプローチ ~構造色を観測すると?~
  5. 5. 提案手法: 構造色からの光源方向推定  ARマーカにより視点方向は既知  回折格子の構造色パターン 𝐼 から光源方向を推定 回折格子マーカ 構造色パターン 𝐼 4 視点方向 𝜃cam, 𝜙cam 光源方向 𝜃light, 𝜙light 𝐼 𝑥, 𝑦 = 𝑓 𝜃cam, 𝜙cam, 𝜃light, 𝜙light
  6. 6. パターンマッチングベース光源方向推定 入力パターン ( 𝜃cam, 𝜙cam は既知) 推定光源角度 𝜃est, 𝜙est = argmin 𝑖 diff 𝐼 − 𝑅𝑖 既知の視点 𝜃cam, 𝜙cam に対応する参照パターン 𝑅 𝑅1: 𝜃1, 𝜙1 𝑅2: 𝜃2, 𝜙2 𝑅𝑖: 𝜃𝑖, 𝜙𝑖 𝑅 𝑛: 𝜃 𝑛, 𝜙 𝑛 … … 5 𝜃cam, 𝜙cam 𝜃est, 𝜙est
  7. 7. 光源方向の推定手順 6 事前処理 𝑑𝑖 0. 参照パターンの事前撮影 1. 入力パターンの切り出し 2. 明度成分の平滑化 3. 相違度 𝑑 の計算 Referential images Frame image 𝑅𝑖 𝑅𝑗 𝑑𝑗 … 1 2 3
  8. 8. L* 平滑化 (𝐿∗ = 128)元画像 明度成分の平滑化 7 SV 平滑化 (𝑆 = 𝑉 = 255) SV 平滑化 HSV to RGB RGB to HSV L* 平滑化 L*a*b* to RGB RGB to L*a*b* 光源強度の影響除去のため, 明度成分を平滑化
  9. 9. 相違度の計算 8 𝑑𝑖 = 𝑥 𝑦 𝑅𝑖,r 𝑥, 𝑦 − 𝐼r 𝑥, 𝑦 2 + 𝑅𝑖,g 𝑥, 𝑦 − 𝐼g 𝑥, 𝑦 2 + 𝑅𝑖,b 𝑥, 𝑦 − 𝐼b 𝑥, 𝑦 2 𝑥 𝑦 参照パターン 𝑅𝑖 𝑥 𝑦 入力パターン 𝐼 相違度 𝑑𝑖 が最小となる 𝑅𝑖 を撮影したときの光源方向 𝜃𝑖, 𝜙𝑖 を, 推定光源方向 𝜃est, 𝜙est とする 𝑑𝑖 RGB 色空間における画素ごとのユークリッド距離の総和
  10. 10. 実験 9 回折格子マーカ カメラ 光源 目的 カメラを固定した環境下で, 光源方向を提案手法により推定できるか?
  11. 11. 実験条件 10 0 0.2 0.4 0.6 0.8 1 360 460 560 660 760 Normalizedirradiance Wavelength [nm] 光源光の分光分布 回折格子マーカ  一辺50 mm, 周辺部の幅5 mm  格子周波数: 600 本/mm (直線状に配置) カメラ  Sony NEX-5  4592x3056 pixels
  12. 12. 光源方向推定結果 11 入力パターン 𝜃est, 𝜙est Index 𝜃, 𝜙 元画像 SV 平滑化 L* 平滑化 1 (300, 20) (300, 20) (300, 30) (300, 30) 2 (300, 30) (300, 40) (30, 60) (310, 30) 3 (300, 35) (290, 50) (300, 40) (300, 40) 4 (55, 30) (50, 30) (60, 30) (50, 30) 5 (60, 30) (50, 60) (40, 60) (70, 40) 参照パターン  𝜃light, 𝜙light をそれぞれ10度刻みで変化させながら撮影  構造色パターンを目視により確認できた38枚を使用 ※ パターン画像は512x512 pixelsに正規化
  13. 13. 提案手法による選択例 12 入力パターン2 (300, 30) 参照パターン (300, 30) 選択された 参照パターン (310, 30) 元画像 SV 平滑化 L* 平滑化 (30, 60) (300, 40)
  14. 14. 𝜃 視線方向 𝜃 = 180  構造色が観測された光源方位角は 30 ≤ 𝜃 ≤ 70, 280 ≤ 𝜃 ≤ 310 に限定 方位角は格子の配列方向に依存 格子の配置について要検討 考察 13  L* 平滑化画像を用いることで,最も安定して光源方向を推定可能  光源強度の角度依存性や表面形状の影響を最も良好に除去?  同じ光源方向で撮影した入力パターンと参照パターンが類似しない 構造色の角度依存性が強いため,誤差の影響を強く受ける 参照パターン撮影の高精度化が必要
  15. 15. 𝐼 𝑥, 𝑦 = 𝑓 𝜃cam, 𝜙cam, 𝜃light, 𝜙light まとめ 14 𝐼 𝑥, 𝑦 = 𝑛 𝑓 𝜃cam, 𝜙cam, 𝜃light,𝑛, 𝜙light,𝑛, 𝑠 𝑛 𝜆 回折格子の構造色パターンから光源方向を推定する手法を提案 今後の展望: モデルベース光源特性推定への発展  光源の分光分布 𝑠 𝜆 も推定可能か?  𝑛 個の光源を考慮したモデルを構築できるか?

×