つくばチャレンジ2016への取り組みについて

1. Tsukuba Exploration Roverの開発と
つくばチャレンジ2016へ取り組み

2. About Me
• 所属 XXXX株式会社 XXXXXXXXXXXXXXXXX
 業務内容：車載カメラ向けの画像処理ソフト開発
• 画像処理技術 & 自律走行技術 & 応用アプリケーションを作り
たい
• ものづくり大好き
 過去にもロボコン参加歴あり．
• ETロボコン2013
• つくばチャレンジ2015

3. つくばチャレンジ3ヵ年計画
• つくばチャレンジ2015 (参加初年度)
 ハードウェアの作成
• つくばチャレンジ2016 (<- 今ここ)
 ソフトウェアの作成及び，コース完走
• つくばチャレンジ2017
 コース完走，及び全課題達成！

4. つくばチャレンジ3ヵ年計画
• つくばチャレンジ2015 (参加初年度)
 ハードウェアの作成
• つくばチャレンジ2016 (<- 今ここ)
 ソフトウェアの作成及び，コース完走
 ベースとなるアイデアの作成．．．
• つくばチャレンジ2017
 コース完走，及び全課題達成！
2015年，ここでリタイア 70m/1580m
2016年，ここでリタイア 80m/2013m
進歩，10m．．．
(((( ；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ

5. ということで，技術的にはかなり素朴な発表内容になりますが，，，
「素人が Google 先生に頼りながら，
0 から自作ロボットを作ったらどうなるか？」
という観点で見ていただけると楽しんでいただけるかと思います．

6. Tsukuba Exploration Rover コンセプト
• パッシブセンサ（画像処理）だけでコースの完走をめざす！！
• 達成できれば，注目される！
 パッシブセンサのみで完走したチームはいまだ無し．
• 「素人のように考え，玄人のように実行する」 by 金出先生
 動物は視覚情報のみで自律移動
 解釈さえ正しくできれば，一番リッチな情報源．
Why Image Processing?

7. Tsukuba Exploration Rover コンセプト
• パッシブセンサ（画像処理）だけでコースの完走をめざす！！
• 達成できれば，注目される！
• パッシブセンサのみで完走したチームはいまだ無し．
• 「素人のように考え，玄人のように実行する」 by 金出先生
• 動物は視覚情報のみで自律移動
• 解釈さえ正しくできれば，一番リッチな情報源．
Why Image Processing?

8. システム構成
~ Hardware ~
Arduino x 2
CMOS Cam x 2
IMU
Ubuntu PC
PC Battery
Motor Battery
Components
Qt
y
Model
Platform 1 Toyota Land Cruiser – CR01 (Tamiya)
CMOS
Camera
2
Camera : DFK23UM021
(Imaging Source)
Lens : 13FM22IR (Kowa)
Micro
Controller
2 Arduino Leonard
PC Battery 2 700-BTL017BK (Sanwa)
Motor
Battery
2 YB-S392 (Yokomo)
Servo Motor 2 MG995
IMU w
Compass
1 MPU9150 (InvenSense)
DC Motor 1 AT7-146 (ATLAS)
PC 1
PC : BOXNUC5I7RYHR (Intel)
OS : Ubuntu 15.04, Memory 16GB

9. システム構成
~ Software ~
Tsukuba Exploration Rover
Arduino
Controller
Camera Left
Odometry
Controller
Camera Right
IMU
Wheel Pulse
Right
Wheel Pulse
Left
Localization
Map
Server
Free Space
Detector
Stereo
Top View
Transform GridMap
ImageImage

10. Tsukuba Exploration Rover コンセプト
画像処理を用いた検知・認識
• 路面の “色・テクスチャ” ，障害物の “立体構造” を用いた自
己位置認識，及び軌道計画の実施．
 ステレオカメラを用いた立体構造物の検出．
 路面色・テクスチャ情報の抽出．
1. 映像取得
2-1. 視差計算，路面検出，構造物検出
2-2. 色，テクスチャ検出
3. 走行可能エリア検出
& マップマッチング

11. システム構成
~ Stereo ~
• ステレオ
 Extrinsic, Intrinsic ともに OpenCV を使用．
 SGBM（Semi Global Matching） を使用．
 ソフトウェアにてシャッタータイミングを同期．
(ハードウェアトリガがサポートされておらず，同期が ms
オーダーでしか実現できず，フレーム取得時にロボットを停
止させる必要あり．．)
• 出力
視差情報：路面上に存在する障害物の検知に利用．
vDisparity : ロボットのピッチ角推定に使用．
左右画像 視差情報，及び vDisparity
ステレオカメラ
コーナンで買った
1000円のアルミステー

12. システム構成
~ TopView Transform ~
• 鳥瞰図変換
 自動車のサラウンドビューを見て，使うことを思いつく．
 ステレオの視差情報をもとに，ピッチ角を計算．
 ピッチ角情報をもとに，視点変換．
XvcYvc
Zvc
Oc
Ovc
Xc
Yc
Zc
Ow
Zw
Xw
Yw
X
Y
X’Y’
HC
DVC
HVC
θ
映像取得 鳥瞰図画像
模式図

13. • 立体構造物検知による Free Space の検出
 路面を一様平面と仮定し，視差が推定路面の範囲より大きいものを障
害物として扱う．（障害物は路面に垂直に生えていると仮定する．）
• 路面色・テクスチャ情報による Free Space の検出．
 ロボットの前方1m2内の色情報を分析し，色情報が似通っている場所の
みを Free Space とする．
システム構成
~ Free Space Detector ~
映像取得
視差取得，障害物検知
鳥瞰図変換 & 色分析 二値化
鳥瞰図変換
合成結果

14. システム構成
~ Map, Localization ~
• レファレンスデータ取得のため，台車を作成．
 自作ロボットでは足回りが不安定なため，レファレ
ンスデータ取得に不向き．
 ステレオカメラ，オドメトリ計測器を搭載．
 大清水公園一周くらいは耐えられるオドメトリ
大清水公園のマップデータ

15. 2016年の反省と2017年に向けて
• いろんなこと (新しいこと，難しいこと) がやりたくなる．
 寄り道厳禁！まずは簡単，シンプルなことから取り組む．
• 開発，実機検証の小さなループを常に回す．
 システムとしての検証を怠らない！
• 1年は短い！
 つくばチャレンジ参加者向け説明会が7月で，ここから本番まで4か
月．．．．この段階である程度動くものがないと，ツラい．．．
1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月
本番
試走会シーズン
説明会

16. 2016年の反省と2017年に向けて
• いろんなこと (新しいこと，難しいこと) がやりたくなる．
 寄り道厳禁！まずは簡単，シンプルなことから取り組む．
• 開発，実機検証の小さなループを常に回す．
 システムとしての検証を怠らない！
• 1年は短い！
 つくばチャレンジ参加者向け説明会が7月で，ここから本番まで4か
月．．．．この段階である程度動くものがないと，ツラい．．．
1月 2月 3月 4月 5月 6月 7月 8月 9月 10月 11月 12月
本番
試走会シーズン
説明会

17. ご清聴，ありがとうございました．
2017年も，よろしくお願いします(・ω・)ノ

18. Appendix

19. 質問事項
• つくばチャレンジへの参加目的と達成度合い
 画像処理技術，自律走行のための知識・方法論に対する理解を深める．(40%)
 実際にモノづくりを通して，スキルの向上を図る．(100%)
• 技術的目標と目標達成のために必要であった基本的技術要素
 技術的目標 「パッシブセンサのみを用いたコースの完走」
 必要であった基本的技術要素：無数にあったような気がしています．．．
• システム構築における既存システムの利用
 ROS (ノード間通信)，Arduino (モータ制御，センサコントロール)，OpenCV (画像処
理のための枠組み)
• つくばチャレンジの経験や成果を生かしていく具体的な計画
 仕事とある程度リンクしているので，習得した技術はそのままダイレクトに役立っています．

20. 画像処理部の作成 試験走行で発覚した課題
• 日向，日陰の対処