Jetson TK1でPS4Eyeを動作させました．

1. Jetson TK1 +
PlayStation Camera
ROS package
2016/1/26(火)
NVIDIA Jetson Meet-up #01
矢口裕明(@hyaguchijsk)

2. Introduction

3. Who am I
 普段はロボットの研究をしております．
 専門は視覚認識機能．ウェアラブルセンシン
グ．各種人間支援・自動化タスクに向けたロ
ボットシステム構築・運用．少しだけ拡張現実．
 未踏スーパークリエータです．
 マーカーを自力生成できるARソフトを作りまし
た．

4. ステレオカメラと私(2004-)
矢口，RSJ2014
2013
2009
2012
2011
2005
自律移動ロボット
矢口，修士論文
これはステレオじゃない…

5. PS4eye (PlayStation Camera)
 2010- Kinect 3Dセンサが極めて安く手に入るようになる．
 赤外線パターン投光方式．ステレオよりも密で手軽．
 諸事情で入手困難に…
 2014- PS4のカメラがステレオになる．
 コネクタの形状が違うがUSB3.0規格．
 ハックされる．(http://ps4eye.tumblr.com/)
 ROS対応される．(https://github.com/longjie/ps4eye)
 安い，軽い，小さい．
 私が買った時は4000円でお釣りがきた！
 解像度，フレームレートともに十分．
 普段は1748 x 408, 60fpsで動作させている．
 左右の画像が同期されている．

6. ステレオカメラの特性
 Pros:
 計測可能範囲を計算機側が決められる．
 赤外線パターン投光方式は近い方の計測範囲の狭さが問題になっ
た．
 直射日光下でも調整すれば動く．
 赤外線パターン投光方式は直射日光下など，プロジェクタの出力を
かき消してしまう条件では動かない．
 Cons:
 三次元復元は全て計算機側で行わなければいけない．しかも処理は重
い．
 画像の歪み取り，平行化と左右のマッチング．
 テクスチャが少ないものや繰り返しパターンは苦手．
 三次元復元の密度は低くなる．

7. ビジョンボード
 画像処理は重い．専用の計算装置がほしい．
 ただし，その性能はCPUの高速化によって追いつき追い越され…
 cons: CPUがガンガン速くなる+マルチメディア処理の搭載．
 pros: 専用ボードは軽く，小さく，消費電力を少なくできる．
富士通ステレオビジョンモジュール(2009)
http://rraj.rsj-web.org/atcl/1071
日立高速画像処理ボードIP5000 (1999)
http://www.hitachi.co.jp/New/cnews/9911/1130a.html
Motion Estimation Processor on Transputer
Inoue et al., Robot Vision System with a
Correlation Chip for Real-Time Tracking,
Optical Flow and Depth Map Generation,
ICRA1992

8. モチベーション
 PS4eye + Jetson TK1なら，安価で小型軽量な
ステレオビジョンシステムが実現できるのでは？
 かつてのビジョンボードと同じことを最新のア
イテムで実現する．
 三次元センサ+αの処理ができるセンサユニッ
トを構築する．
 まずは，三次元復元を行い点群を返すようなシ
ステムを作る．

9. PS4eye + Jetson TK1

10. 動作確認
 最初の問題：ps4eyeを開けるか？
 amd64ではカーネルバージョン，チップセット
の相性が問題になっていた．
 結論：カーネルそのままで動いた！
 次の問題：Jetson TK1ではROSが動くからそのま
まps4eyeを動かせばいいだろう．
 結論：重すぎて動きませんでした…

11. Jetson TK1と
ROSの組み合わせは不利
 CPUはそんなに速くない．
 ROSにおけるps4eyeのプログ
ラム構成は複数のnodeletを用
いた分散構造になっている．
 nodelet間で通信が発生す
ると，たとえ同じマシン内で
も，ものすごいCPU負荷が
発生する．
 そもそも画像処理はやはり重
い．
 特にステレオマッチングは
非常にリソースを食う．
GSCam
ImageCrop
UndistortRectify
CalcDisparity
CameraInfo
Reconstruct3D
ImageCrop
UndistortRectify

12. 解決策
 CPUの負荷を減らしてGPUを活用する．
 ps4eyeの分散構造を一体構造に変更す
る．
 画像処理全般をGPU (OpenCV + CUDA)
で行う．
 適度なところで外部PCに投げられるようにする．
 STEP1: Camera Image
 STEP2: Disparity Image + Left Camera
Image
 STEP3: Point Cloud
 どのみち，三次元点群にした時点で通信
負荷は激増してしまう…
 視差+カラーに比べておおよそ二倍
以上の転送量になる．
 この成果物が
 https://github.com/hyaguchijsk/ps4eye
_tegra
Capture
ImageCrop
UndistortRectify
CalcDisparity
CameraInfo
Reconstruct3D
ImageCrop
UndistortRectify
Camera Image
Disparity + Color Image
Point Cloud
GPU space

13. パフォーマンス計測
 第一案:カメラキャプチャと三
次元復元は別Nodeletにする．
 6fps程度
 画像の入力に12ms近くか
かる．
 視差画像，左目画像の出
力に20ms近くかかる．
 実行時間の分散が大きす
ぎる．
 実用上10fpsは超えて欲しい．
ちょっと遅すぎる．
 やはり過負荷？

14. パフォーマンス向上
 第二案:三次元復元は別Nodelet
にする．カメラキャプチャを埋め込
み入力画像分の通信をなくす．
 11-12fps程度
 画像の入力に10ms近くかか
る．→やや短縮
 視差画像，左目画像の出力に
20ms近くかかる．→同じ
 ただし全体的に速度は向上し
ている．分散も小さい．
 Nodeletを減らし，通信負荷を下げ
るだけでCPUに余裕が出ていると
考えられる．
 GPUの負荷は変化していない

15. (付録)Block Matching vs. CSBP
 第2.5案:ステレオマッチングを
CSBPにする．
 3fps程度
 画像の入力に10ms，視差画
像+左目画像の出力に20ms
近くかかるのは同じ
 純粋にCSBPに時間がかかっ
ている．
入力画像
CSBPBlock Matching

16. まとめ
 PS4eye + Jetson TK1で安価で小型軽量なステレオシステムを作りました．
 改良点
 速度向上：GPUにまかせている間にCPUで進められる処理を進められ
るようにする．
 応用：特徴点ベース・3Dフロー，ビジュアルオドメトリ，etc…
 本システムにおいてはたくさんの方々の成果物を利用させていただい
ております．
 Jetson TK1: nVidia様
 Playstation Camera: SCE様
 ROS: OSRF様
 OpenCV: itseez様
 PS4eye hack: @ps4eye様, @longjie様