1. 3Dセンサーの活用
13年10月10日木曜日

2. 新里 祐教 Hirotaka Niisato
GMO Internet Special Project Officer
Programmer
13年10月10日木曜日

3. 3Dセンサー
実空間上(XYZ)の動きを感知できるセンサー
追加機能：人・骨格・ジェスチャー・表情・
重心・心拍・音声
13年10月10日木曜日

4. 測定の仕組み∼複眼
基本的には３角測量の方法と一緒の原理
測定対象点
カメラ１ カメラ２
カメラ間の距離
13年10月10日木曜日

5. 測定の仕組み∼IRパターン
赤外線パターンを照射して、パターンの幾何的
な歪みを測定して３次元データを生成
13年10月10日木曜日

6. 測定の仕組み∼ToF
ToF（Time of Flight)
13年10月10日木曜日

7. Skeleton Tracking
およそ100万枚の画像データから作られた決定木に
基づいて、毎フレーム毎に体の20部位を推定
関節の3Dモデル仮説を作成 → 関節の接合の推定
→ スケルトンの作成 → ユーザーのトラッキング
ジェスチャー
3Dモデルの骨格の角度と状態から予測
基本的には自分で実装する
体の状態を固定させるケースと、時間的な状態から推定
点から点にまっすぐ体が移動する事は無い
13年10月10日木曜日

8. 色々なセンサー
13年10月10日木曜日

9. 3Dセンサーカメラ
13年10月10日木曜日

10. マニア向け
13年10月10日木曜日

11. Kinect
種類 XBOX 360 Kinect、Kinect for Windows
対応OS Windows、Kinect for Windows SDK
センサー 赤外線、RGBカメラ、マイク
測位距離 800mm ∼ 4000mm、Near Mode : 500mm ∼ 3000mm
SDK機能
RGB、Depth、骨格、顔認識（部位）、音声認識、ジェスチャ、
Interaction（手を握る、開く、押す）、Fusion（リアルタイム3D）
その他
外部電源が必要
XBOX 360 KinectはXBOX以外の接続はNG、Kinect for Windowsは
Windows以外への接続はNG
13年10月10日木曜日

12. Xtion
種類 Xtion、Xtion Pro、Xtion Pro Live、CARMINE 1.08, 1.09
対応OS Windows、Mac、Linux、Android、ARM、OpenNI SDK + NiTE SDK
センサー 赤外線、RGBカメラ、マイク
測位距離 800mm ∼ 3500mm、Near Mode : 350mm ∼ 1400mm
SDK機能 RGB、Depth、骨格、音声認識、ジェスチャー
その他
USBのみで駆動
OpenNIはオープンソース（OpenCV、Point Cloud Library等と連携）
NiTEのソースコードは未公開
13年10月10日木曜日

13. DepthSense/PerC
種類 DS325, DS311, DS525, DS530, Interactive Gesture Camera
対応OS Windows, IISU SDK, Perceptual Computing SDK(PerC)
センサー ToFカメラ、RGBカメラ、マイク
測位距離 150mm ∼ 1000mm (HandTracking)、1500mm ∼ 4500mm(Skeleton)
SDK機能 RGB、Depth、骨格、顔認識（部位）、音声認識、ジェスチャ
その他
USB駆動
最小サイズ: 95mm x 22mm x 20mm
13年10月10日木曜日

14. Capri
種類 Capri
対応OS Windows、Mac、Linux、Android、ARM、OpenNI SDK
センサー 赤外線
測位距離 800mm ∼ 3500mm
SDK機能 Depth
その他
USB駆動
とてつも無く小さい
13年10月10日木曜日

15. Structure Sensor
種類 Structure Sensor
対応OS Windows、Mac、iOS、Android、ARM、OpenNI
センサー 赤外線
測位距離 400mm ∼ 3500 mm
SDK機能 Depth、OpenNIと一緒
その他 USB駆動、バッテリー付き
13年10月10日木曜日

16. XBOX ONE
種類 XBOX ONE Kinect
対応OS Windows
センサー TOF、RGBカメラ、マイク
測位距離 N.A
SDK機能
RGB、Depth、骨格、顔認識（部位）、音声認識、ジェスチャ、
Interaction（手を握る、開く、押す）、Fusion（リアルタイム3D）
心拍、重心、筋肉、回転角度
その他 $399で2013/11に先行入手、正式発売は2014年
13年10月10日木曜日

17. PS4 Camera
種類 Play Station Camera
対応OS PS4
センサー カメラ x 2
測位距離 300 mm ∼ N.A
SDK機能 N.A
その他 PS4用専用端子
13年10月10日木曜日

18. HVC
種類 HVC(HumanVision Components)、組込み向けモジュール
対応OS 組込み向け
センサー N.A（恐らくRGBカメラ or ToF）
測位距離 N.A
機能
顔検出、人体検出、性別推定、年齢推定、視線推定、顔向き推
定、顔認証、表情推定（満足、不満足／喜び、驚き、怒り、悲し
み）、手検出、目つむり推定
その他 1,000ロットで37,000円∼とのこと
13年10月10日木曜日

19. 出来ること
メディア寄り 商用・製品
AR
ユーザーインタフェイス
展示でのインタラクション
ゲーム
アートワーク
医療
ロボット
製品への組込
店舗ディスプレイ
行動分析
13年10月10日木曜日

20. 最近の流れ
• Intel PerCが異常に力を入れている
• TOF方式が安価で主流になりそう
• Android/iOS等のモバイル端末への組込
• PC等への搭載
LEAP&Dell、PrimeSense&Apple？
13年10月10日木曜日

21. 組込と3Dセンサー
13年10月10日木曜日

22. 組込利用
Xtion
唯一の選択肢
KINECT : ライセンス的にNG
PerC : 組込向けSDKが無い
13年10月10日木曜日

23. OpenNI
NiTE
3Dセンサー用SDK
主にXtionで利用（他も組込可）
RGB/Depthデータを処理
SkeletonTracking/ジェスチャを処
理するミドルウェアNiTE
13年10月10日木曜日

24. 動作確認済基盤
BeagleBoard
TI(Texas
Instruments)
CPU : Coretex-A8 Single Core 1Ghz
MEM : 512Mbyte
Power : 5V/400mA
Pandaboard TI
CPU : Cortex-A8 Dual Core 1.2Ghz
MEM : 1Gbyte
Power: 5V/2A
Raspberry PI
Raspberry PI
Foundation
CPU :ARM1176JZF-S, 700Mhz
MEM: 512Mbyte
Power: 5V/700mA over
ODROID
Hardkernel
(CPU:
Samsung)
CPU : Cortex-A9 Quad Core 1.7Ghz
MEM : 2GByte
Power : 5V/2A
13年10月10日木曜日

25. 利用可能な環境
ARM Linux
Linaro Ubuntu
Debian Linux ...
Android
Android 2.2 以上
注)
・ARM CPU の型
・浮動小数点演算の選択
(Softfloat/Hardfloat)
・GPUの選択
・root権限必須
13年10月10日木曜日

26. 利点 問題点
ポータブルな
センシング
低消費電力
他デバイスとの連携
CPUの処理能力が
凄まじく低い
NiTEが無い
電力の確保
組込のノウハウ
（OS・基盤のクセ）13年10月10日木曜日

27. 利用方法 ∼ GW
PC：3Dデータの処理、ARM端末からの制御処理を行うGW
ARM端末 : 処理データの表示・制御を行うコントローラ
利点：Kinect/Xtion/DepthSense何でも使える。
欠点：ARMはただのコントローラ
13年10月10日木曜日

28. 利用方法 ∼ 直接
ARM端末
直接Xtionからのデータを処理する
利点＆欠点は全部引き継ぐ
端末性能が現時点ではとても低いため、１次/２次加工
データはクラウドへ...
13年10月10日木曜日

29. 直接接続での推奨環境
・基盤の選定
Dual Core Cortex ARM 9/NEON
１Gbyte以上のメモリ
・OSの選定
OpenNIがバイナリ提供しているのはSoftfp
rootが必須
・構成検討
13年10月10日木曜日

30. 課題
・電源の確保
高スペックCPU/処理を大量に行うと電池を食う
モバイルバッテリーにも上限が...
・熱暴走
・NiTEの公開
13年10月10日木曜日

31. 個人的な事例＆デモ
13年10月10日木曜日

32. R&D Support
Meta AR Glass Michigan Univ
Industrial Technology Research Institute,
Columbia Univ, Cololado Univ, Vienna University of Technology,
Kuwait University National University of Singapore,
Universidade Federal de Goiás ... etc
Virtu Sense
Technologies
13年10月10日木曜日