デプスセンサとその応用
•Download as PPTX, PDF•
11 likes•12,859 views
映像情報メディア学会 立体映像技術研究会（3DIT） ［招待講演］「デプスセンサとその応用」の発表資料です． http://www.ite.or.jp/ken/program/index.php?tgs_regid=a5bacacea82fb086cc4a6ef2b050f2c2f673ff48cd98a1d315bb489a9937779a&tgid=ITE-3DIT&lang=
Recommended
More Related Content
What's hot
What's hot (20)
Similar to デプスセンサとその応用
Similar to デプスセンサとその応用 (20)
More from Norishige Fukushima
More from Norishige Fukushima (16)
Recently uploaded
Recently uploaded (9)
デプスセンサとその応用
- 1. デプスセンサとその応用 名古屋工業大学 福嶋 慶繁 映像情報メディア学会・立体映像技術研究会 (3DIT) 2017/7/4 名古屋大学 http://fukushima.web.nitech.ac.jp/
- 3. デプスセンサ 3
- 4. センサのタイプ –Structured Light Coding • Kinect V1, Xtion, RealSense F200, RealSense SR300 –Time of Fight • Kinect V2, MESA SR4000, DepthSense525 –Stereo Camera + Unstructured Light • RealSense R200, RealSense RS400 –Stereo Camera 主なメーカー –Microsoft Kinect xx –Intel RealSense xx 近年のデプスセンサの種類 4
- 5. Microsoft Kinect V1 5 RGBカメラ 640x480@30fps, 1280x960＠12fps デプスセンサ 640x480@30fps 方式 Light Coding 有効範囲 800~4000mm, (Nearモード設定時：400 ~ 3500mm) 発売時期 2010 接続 USB2.0 備考 室内限定．複数台置くと干渉する．RGBカメラの質が相当低い．
- 6. Microsoft Kinect V2 6 RGBカメラ 1080p@30fps デプスセンサ 512x424@30fps 方式 Time of Flight 有効範囲 800~4000mm, (Nearモード設定時：400 ~ 3500mm) 発売時期 2014 接続 USB3.0 備考 室内限定．RGBカメラの質がだいぶ上がった．
- 7. Intel RealSense F200 7 RGBカメラ 1080p@30fps デプスセンサ 640x480@30fps 方式 Light Coding 有効範囲 200~1200mm 発売時期 2015 接続 USB3.0 備考 近距離用．発売終了．SR300が後継機．
- 8. Intel RealSense SR300 8 RGBカメラ 1080p@30fps, 720p@60fps デプスセンサ 640x480@60fps, 640x240@110fps 方式 Light Coding 有効範囲 20~120mm（この範囲でソフトウェアが最適化） 発売時期 2016 接続 USB3.0 備考 近距離用．室内限定．
- 9. Intel RealSense R200 9 RGBカメラ 1080p@30fps デプスセンサ 640x480@30fps 方式 Stereo + Unstructured Light Projection 有効範囲 400~2800mm（この範囲でソフトウェアが最適化） 野外は 10M 発売時期 2015 接続 USB3.0 備考 ステレオカメラ．
- 10. Intel RealSense 400 10 RGBカメラ N/A デプスセンサ N/A 方式 Stereo + Unstructured Light Projection 有効範囲 N/A 発売時期 2017 接続 USB3.0 備考 ステレオカメラ．R200の後継？ ？
- 11. Structure Sensor 11 RGBカメラ N/A デプスセンサ 640x480@30fps, 320x240@60fps 方式 Light Coding 有効範囲 400mm~3500mm 発売時期 2014 接続 USB3.0 備考 iPad専用．iPadの内部カメラと連携する．室内限定．
- 12. アプリケーションと SDK 12
- 13. Windows –Kinect for Windows SDK 2.0 –Intel RealSense SDK –OpenNI：メンテナンス終了 Linux, MacOS –OpenKinect: libfreenect, libfreenect2 –librealsense（Windows用よりも機能が貧弱） –STRUCTURE SDK –OpenNI：メンテナンス終了 SDK一覧 13
- 15. C++，C# RGB，IR，デプスの取得，位置合わせ 人物スケルトン取得（最大6人まで同時） ハンドトラッキング，ハンドジェスチャ認識 顔認識・追跡 ３Dスキャン –Kinect Fusion 背景差分・クロマキー合成 Kinect for Windows SDK 15
- 17. C++，C# RGB，IR，デプスの取得，位置合わせ リアルタイムエンコーダ – RGB：H.264イントラ（1/10程度の圧縮） – Depth：Lempel-Ziv-Oberhumer（lzop）（1/2程度の圧縮） – 条件：Intelのグラフィックス用のチップがついていること スケルトン，人物トラッキング 顔認識・追跡，パーツ認識 ハンドジェスチャ・ハンドジェスチャ認識 カーソル操作 ３Dスキャン クロマキー合成 Intel RealSense SDK 17
- 20. システム構成イメージ 20 USB3.0 10GbE RGB: JPEG 8bit Depth: LZ4 16bit Clients Server Imaged decode (CPU) Rendering (GPU) 10GbE Hub Kinect V2(s)
- 21. 検討事項・必要事項 複数台のデプスセンサ（Kinect）・マシンが必須 – 干渉しないように遠くに配置 – Kinect間のキャリブレーション – データの通信・圧縮 高いキャリブレーションの精度が必要 – センサ内の再キャリブレーションが必要に – 工場出荷時のパラメータでは不十分 1台のマシンにRGBDのデータを集めればあとは３ Dスキャンの処理とだいたい同じ デプスセンサによる自由視点映像21
- 23. スマートフォンへの 展開 23
- 24. Google Project Tango 24 Lenovo Phab2 Pro ASUS Zenfone AR
- 25. Lenovo Phab2 Pro 25 RGB Camera Depth Sensor Tracking Camera Chipset Qualcomm Snapdragon 652 for Tango 1.8GHz x 8core 500$ 2016/11
- 26. ASUS Zenfone AR 26 RGB Camera Depth Sensor Tracking Camera Snapdragon 821 2.35GHz 4core 1000$ 2017/7
- 29. デュアルカメラスマホ 29 iPhone 7 Plus HUAWEI P9/Mata9/ P10 Honor 8 Pro LG V20/G6 Xiaomi Mi5S PlusZTE Nubai Z17mini/V8 Asus Zenfone 3 Zoom
- 30. 広角，望遠の切り替え –iPhone V20/G6, Zenfone 同一レンズ・受光装置組み合わせの違い –カラー，モノクロ同時撮影 • P9/10, Honor8, Z17, Mi5S –カラー，モノクロ高解像度同時撮影 • Mate 9 デュアルカメラスマホ 30
- 32. 取得デプスマップの問題の傾向 32 取得不能オクルージョン ざらつき 輪郭の不一致アウトライヤ Kinectによる取得 ステレオマッチングによる取得
- 33. 有効画素率 –全体の何％デプスが求まっているか？ • 不安定な場所やオクルージョンを無効化 値域の精度 –Ｚが何ミリ以内か？ • 平滑化フィルタでスムージング・デノイジング 空間の精度 –ｘ，ｙのエッジの位置がRGBとあっているか？ • ジョイントフィルタによる復元 デプスマップの精度指標と対策 33
- 36. マッチングの安定度による評価 LRのマッチング一致 マッチングコストのピーク メディアンフィルタ スペックル除去 分散の評価 etc… アウトライヤ除去２ 36 低基準 中基準 高基準
- 37. デプスのざらつき 37
- 41. バイラテラルフィルタ )(xJ )(I)( 1 xk outputinput x ),( xf ))()(( xIIg 画素ごとにカーネルのウェイトが異なる • 中心の色に近いほど高い重み：値域ガウシアン • 中心の位置に近いほど高い重み：空間ガウシアン C. Tomasi, and M. Roberto, "Bilateral filtering for gray and color images," ICCV1998.
- 42. Gaussian Smoothing * * * input output Same Gaussian kernel everywhere Averages across edges ⇒ blur Slides taken from Sylvain Paris, Siggraph 2007
- 43. Bilateral Filtering * * * input output Kernel shape depends on image content Avoids averaging across edges Slides taken from Sylvain Paris, Siggraph 2007
- 45. フラッシュ・ノンフラッシュフォトグラフィ フラッシュ画像 光源の変化→影の消失 色合いが不自然 コントラストがはっきり ノイズが少ない 「フラッシュを焚いて撮影した写真と 焚かずに取った写真を計算して統合する方法」 ノンフラッシュ画像 色合いが自然 影が正しく撮影 コントラストが曖昧 ノイズが多い
- 46. 色温度高，影つき，ノイズ大
- 47. 色温度低，影無し，ノイズ小
- 48. フラッシュノンフラッシュ統合
- 49. デプスリファインメント結果 49
- 50. エッジ保存平滑化フィルタ – ざらつきの平滑化 ジョイントフィルタ – 輪郭の補正 – 穴埋め フィルタの特徴と目的の精度に応じて，かける場所や種類を選択 – バイラテラルフィルタ • 輪郭のエッジが多少なまるためイプシロンフィルタのほうが良い – ジョイントバイラテラルフィルタ • RGBのノイズをデプスに転写するため平面部分では使わない – ウェイテッドモードフィルタ • 輪郭が非常にきれいに求まるが重たいため，輪郭限定 – 重み付きフィルタ • デプスマップがない場所を信頼度０として重みづけしてフィルタして正規化するこ とで穴埋め可能 各フィルタの使用方法 50
- 51. 左カメラ（RGB） 51
- 52. 右カメラ（RGB） 52
- 54. Joint Bilateral Upsampling 54 高解像度の色情報をガイド にして補間する値を決定
- 56. 様々な高速化アルゴリズムが提案 –Compressive Bilateral Filter • K. Sugimoto and S. I. Kamata, "Compressive Bilateral Filtering," in IEEE Transactions on Image Processing, vol. 24, no. 11, pp. 3357-3369, Nov. 2015. • グレイスケールかつVGAなら，１０ｍｓ程度で任意の フィルタカーネルサイズで計算可能 –乱択バイラテラルフィルタ • 藤田秀, 木村誠, 福嶋慶繁, "乱択化バイラテラルフィルタ による高速エッジ保持平滑化," 情報処理学会コンピュー タビジョンとイメージメディア研究会(CVIM), Jan．2016. • 乱数を使ってフィルタリングを間引くことで簡単に高速 化．カラーでも高速化可能． エッジ保存平滑化フィルタの高速化 56
- 62. 様々なデプスセンサが登場 –Light Coding –Time of Flight –Stereo + Unstructured Light –Stereo スマートフォンにも３D処理が導入 デプスマップのフィルタリングによる改善 謝辞 本研究はJSPS科研費JP15K16023，JP17H01764の助成を受けた． まとめ 62