tokyowebmining 58th

1. ドローン農業最前線
TokyoWebmining #58th 2017/03/25
古川哲也 (@negative_t28)
1/35

2. 自己紹介
2/35
ニューラルネット ネオコグニトロン大変そう〜
変分ベイズ パダワン中退
SunGridEngine 分散処理！
顔検出 OpenCVやめて～、特許もうや～
ベンチャー1 お腹いっぱい（検索,レコメンド,CDN,DRM,EC,STB)
Solr、Hadoop 検索はレコメンド
ベンチャー2 いつの間にか濱田さんが隣
ドローン フルスタックなフレンズと、すごーい！、たのしー！

3. 目次
1. ドローン入門
2. 農業分野のドローン活用
2.1. リモートセンシング
2.2. 農薬散布
3. 位置推測技術
3.1. GPS
3.2. Visual SLAM
4. まとめ
3/35

4. 1. ドローン入門
4/35

5. ドローン構成
5/35
気圧センサー
角速度センサー（ジャイロ )
加速度センサー
ステレオカメラ
レーザー距離計(LiDAR)
超音波距離計(SONAR)
ブラシレスモーター
プロペラ Power Management Unit (PMU)
Electric Speed Controler
(ESC)
GPS
リチウムポリマーバッテリー
フライトコントローラ
通信
モジュール
地磁気センサー
フレーム
慣性計測装置(Inertial Measurement Unit)
電気自動車とほぼ同じ

6. ドローン制御
6/35
フライトコントローラ
通信
モジュール
電源系
センサー系
駆動系
駆動制御
PID 制御
姿勢・位置推定
- 相補フィルタ
- カルマンフィルタ
飛行指示・状態報告
フライトコントローラ基盤上に乗ってるセンサーも多数
フライトコントローラ以外でも、一部モジュールは CPUを搭載しソフトウェア稼働＝＞分散処理

7. 代表的会社
7/35
社名 DJI（中国） Parrot (フランス） 3D Robotics（アメリカ）
社員数 5000人以上 840人→ 550人(ドローンだけ) 350 → 未公表
特色 覇者
・一人勝ち
・コントローラ、キット販売
先駆者
・産業系に力入れ始めた？
・子会社(Micasence,Pix4D)
伝道者
・オープン戦略、産業系へ (Autodesk)
・HW:pixhawk SW:ardupilot, px4
機体
※画像は各社HPより転記

8. インテルの本気
8/35
買収
● Asending(ドローン)
● MAVinci(ドローン)
● Movidius(画像処理+カメラ)
● Mobileye(画像処理+カメラ)
● Itseez(画像処理,OpenCV)
● Altera(FPGA)
● Yogitech(FPGA開発ツール)
出資
● ZMP(自動運転)
● Yuneec(ドローン)
● PresicionHawk(データ加工)
● Airware(ドローンソフト)
※intel社 HPより転記

9. フライトコントローラ
9/35
名前 A3 Pixhawk NAVIO2
開発元 DJI 3D Robotics Emlid
特徴 ・DJIキットとセット利用
・開発用SDKあり
・10万円
・CPU: 不明
・PX4、ArduPilotの標準ハード
・オープンハード(コピー品有)
・3万円
・CPU 168MHz
・ラズパイ拡張ボード
・PX4、ArduPilot動作
・3万円
・CPU 1.2GHz
※画像は各社HPより転記

10. 業界動向
● コンシューマーはDJI一人勝ち
● 産業用途のソリューションで勝負（観測センサー、データ管理、収集、分析 )
○ 空撮、測量、施工管理、運輸、農業、監視、セキュリティ
● 関連する法律
○ 航空法で以下条件は国土交通大臣の許可・承認が必要 (200g未満は対象外)
■ 空港周辺、人工密集地、高度 150m以上の飛行
■ 夜間、目視外、危険物輸送、投下、安全距離 (30m)未満 の飛行
○ 電波法
■ 技適マークのない無線は NG (海外製品はNGが多い）
■ 携帯をドローン搭載に載せるのは NG (免許あれば実験はOK)
○ その他: 民法（土地所有権 上空300m)、 道路交通法、条例、etc
● 法的には免許不要（民間免許のみ）
10/35

11. 2. 農業分野のドローン活用
11/35

12. 2.1 リモートセンシング
12/35

13. 農業分野における用途
13/35
● 付面積調査
● 土壌分析
● 収量予測
● 生育状況監視（肥料散布・農薬散布・収穫 時期決定）
○ 正規化植生指数(Normalized Difference Vegetation Index)=NDVI
● 衛星(SPOT, ALOS...) を使ったものが主流
○ 時間・空間解像度低 → ドローン使おう！

14. NDVIとは？
NDVI = (IR - R) / (IR + R), -1.0 <= NDVI <= 1
● IR: 近赤外光(波長 720 - 1200 nm) の反射率
● R: 可視光赤(波長 620 - 690 nm) の反射率
● 光合成は赤い光を吸収 ＝ 赤の反射率低下（=緑に見える)
● 近赤外光は光合成に利用されない
● 光合成不活発 → NDVI小
● 光合成活発 → NDVI大
反射率なので基準必要
14/35

15. ドローンによるNDVI計測
15/35
※ parrot 社 HPより転記
マルチスペクトルカメラ
照度計
較正板 装着方法
parrot sequoia
反射率基準

16. 撮影方法 + データ量(sequoia の場合)
16/35
飛行経路
農場
撮影範囲
● 30m以上の高度で撮影
● オーバーラップ80%を確保して飛行
○ 画像結合のため
● 波長ごとの画像を取得
● gps位置および、撮影時カメラ姿勢記録
○ 地図重畳、画像結合補助
● データ量 (90m x 90m 高度30m) = 2GByte
○ 225枚 x 4波長 x (1280 x 960) x 2Byte
正確な飛行は結構難しい（自動化）

17. NDVI解析アプリ(ATLAS)
17/35
● 全撮影画像をクラウドにアップ
● クラウドで画像結合＋NDVI計算
● 計算終了後、結果をwebで確認
○ ダウンロードして加工可能
● 画像結合(スティッチング)
○ SfM(Structure From Motion)
● 地理情報連動
○ GIS(Geographic Informatin System)
○ GeoTiff フォーマット

18. SfM の有名ソフト
18/35
製品名 Photoscan Pix4D OpenMVG Photosynth
開発元 Aigsoft社 Pix4D社 Pierre Moulon 氏 Microsoft社
特徴 SfM定番 産業系で強い？
クラウド処理可
parrot子会社
オープンソース
(MPL2)
SfM 先駆け？
クラウド＋スマフォ
サービス終了
● 計算コストが高いため、強力なGPUがあったほうがよい
● クラウドと相性良さそう（回線太ければ）
● OpebMVGはGPU対応してないので辛いかも

19. 2.1 農薬散布
19/35

20. 農薬散布ヘリ
20/35
● 1987年 ヤマハ + ヒロボーが農薬散布ヘリ発売、以降ほぼ独占
● 全国の水稲の3割～4割で農薬散布実施
● エンジン駆動で60分飛行可能
● 30リットル搭載可能
● 価格 1000万～
● 一般社団法人 農林水産航空協会の免許制
○ 散布業務は委託が多い
■ 適時散布、ピンポイント散布は難しい
もっと簡単に、もう少し手ごろに→ ドローンに期待
※ ヤマハ発動機社 HPより転記

21. 農薬散布ドローン
21/35
● 操縦が簡単 → 自動化し易い
○ 適時散布、ピンポイント散布可能
● 構造が単純
○ メンテしやすい
○ 安い 100万円〜300万円
● 飛行時間が 20分程度
● 搭載可能量が10リットル
しばらくは規模、用途でヘリと済み分け？
※ ナイルワークス社 HPより転記

22. 農薬散布の課題
● 農場の端から端まできっちり飛ばすことは難しい
○ 散布漏れは生育不良、害虫被害に直結
○ 重複散布は薬害の恐れ
○ 対象外に飛散すると大問題（別作物に悪影響、健康被害）
■ プロペラの作る下降気流に乗せた散布
■ 速度と連動した散布制御
■ 10センチ以下の位置制御
22/35
● 空中散布可能な農薬は限られている
○ 通常散布に比べ農薬の濃度が濃い
○ 農薬特性の違い
人間には無理＝自動化
ドローンだけではだめ

23. 動画デモ
23/35

24. 3. 位置推測技術
24/35

25. 3.1 GPS
25/35

26. GPSとは？
● GPS = Global Positioning System
○ アメリカが開発・運用する人工衛星を使った測位システム
● アメリカ以外も衛星を使った測位システムを開発・運用！
○ ロシア GLONASS(GLOval NAvigation Satellite System)
○ 中国 BeiDou(北斗衛星導航系統）→ 次世代Compass
○ ＥＵ Galileo
○ インド IRNSS(Indian Regional Navigational Satellite System)
○ 日本 QZSS(Quasi-Zenith Satellite System 準天頂衛星システム)
26/35
人工衛星による位置情報サービスをひっくるめて、
GNSS： Global Navigation Satellite System
※最近のGPS受信機は、大抵複数システムをサポートするので、正確には GNSS受信
機

27. さいたま市の衛星状態 2017/03/20 10:30
27/35
GPS(12) GPS(12), QGS(1) GPS(12),QZS(1),
GLO(7), BDS(10), GAL(4)
衛星が多いほど位置精度が向上

28. GNSS の仕組み
28/35
衛星１
衛星2
衛星N
地上観測網 受信機
● 衛星の位置、誤差用情報観測
● 衛星にアップロード
衛星ごとに決まったコード波形で、
衛星位置、補正情報をエンコード、
さらに放送電波に変調して放送
● 既知の各衛星コード波形を使って電波を分離
● コード波形に乗っている衛星情報をデコード
● 複数衛星の情報を合わせて測位計算

29. 測位方法の種類
29/35
単独測位 数m 通常方法
ドップラー測位 数cm/s ドップラーシフトで受信機移動速度を計測
時間積分で相対位置を算出可能（誤差累積）
相対測位
RealTimeKinematic
数cm 基準点との相対距離を計測
数百万円 → 数万円
衛星数増加 + 高須先生のRTKLIB(BSD)
高精度単測位 数cm 準天頂衛星（2018年4月から稼働）
大幅な精度向上
観測精度向上＋補正データ放送周波数追加

30. 実精度比較（静止時）
30/35

31. 3.2 Visual SLAM
31/35

32. Visual SLAM
● Simultaneous Localization And Mapping 地図と位置の同時推定
● Visual SLAM の種類
○ 特徴点ベースのもの PTAM, SVO, ORB-SLAM....
■ SfM のリアルタイム化
○ ピクセルベースのもの LSD-SLAM
● Visual SLAM の弱点
○ 初期化重要: 失敗するとアウト
○ 逐次処理のため誤差蓄積: 何らかの方法で補正が必要
■ Loop Closing(一度見た場所にもう一度戻った時に、まとめて補正)
■ 別センサー情報(GNSSなど)と組み合わせ
32/35

33. デモ(ORB-SLAM)
33/35

34. 4. まとめ
34/35

35. まとめ...というか感想
35/35
● cm精度はセンシングの世界を変える予感
● things は楽しいが、スタックが拡大して結構大変
○ センサー評価、ドライバ実装、ロジック検討、高速化実装、システム結合
● 物理強し
○ アルゴリズムよりセンサー精度・サンプルレート。
○ 力技は王道
● WEBと対象は違えど、実装で重要なことは類似
○ データの ETL（Extract Transform Load）がメイン
○ pub/sub モデル(PX4)

36. 多すぎたのでカット
36/35

37. 単独測位方法
37/35
衛星１ 衛星2 衛星N
受信機
各衛星と受信機の疑似距離
各衛星位置
＝真の距離 ＋ 受信機時計誤差 ✕光速c
受信機位置
コード波形の位相ずれから算出し
た電波到達にかかった時間Tiと
光速cで算出可能
ニュートン・ラフソン法で解く
● 初期値決定
● 初期値周りで線形化
● 線形化した方程式を解く
● 初期値更新
● 収束するまで繰り返し
精度： 数m

38. ドップラー測位方法
38/35
衛星１
衛星2
衛星N
受信機
精度： 数 ㎝/s
各衛星速度
擬似距離変化率
受信機移動速度
受信機時計誤差の時間変化
ドップラーシフト関係式に、これらを代入
すると、線形連立方程式が成立
速度積分で相対位置を算出可能（累積誤算発生）

39. 相対測位方法(RealTime Kinematic)
39/35
衛星１ 衛星2
受信機
衛星N
基準点
衛星位置
dx ＝放送電波の波長✕ 整数倍x ＋ 余りx
dy = 放送電波の波長✕整数倍y ＋ 余りy
dz = 放送電波の波長✕整数倍z ＋ 余りz
放送電波の位相ずれで距離推定
コード波形に比べ周波数が高いため距離精度が向上
するが、余り部分しか計測できない
既知の基準点からの距離を推定
様々な誤差が打ち消しあって精度向上
精度： 数cm
dを解いた後、整数制約をLAMBDA法で探索
Leastsquare Ambiguity Decorrelation Adjustment

40. RTK搭載ドローンと基準局
40/35
基準局位置を(0, 0, 0）とした時
左アンテナ位置 (north1, east1, down1)
右アンテナ位置 (north2, east2, down2)
がcm単位でわかる
→ コンパスにも使える

41. 高精度単独測位
● 準天頂衛星から放送される補正データを使った測位方法
● 基本的には、単独測位方法と同じ
● 誤差修正データがより精密化、地域別に分割
● 準天頂衛星システムが正式稼働するまでテスト難しい
○ 現在衛星１台 → 2018年４月 4台体制
○ 地上観測網の整備中
● RTKいらなくなる？
41/35
誤差： 数cm

42. SfM: Structure From Motion
● 多数の画像から、3次元形状を復元する技術
● 計算フロー
1. 各画像で画像特徴量(SIFT, SURF, ORB)計算
2. キーポイントとしてふさわしいもの抽出
3. 画像間のキーポイント対応を抽出(RANSAC)
4. 対応点関係からカメラ位置姿勢推定、各点の3次元位置を推測
a. カメラ位置姿勢は、IMUの値を利用することもあり
5. 4を初期値として、再投影誤差最小化基準で非線形最適化（Bundle調節）
42/35

43. 特徴点ベース visual SLAMのフロー
1. 追跡するキーポイント決定＋3次元位置推定
2. カメラ移動・姿勢変化
3. キーポイントを追跡して、画像位置変化補足
4. 画像位置変化からカメラ位置・姿勢推定とキーポイント3次元位置推測
(SfM のときとほぼ一緒）
5. 新しいキーポイント登録
6. カメラ位置・姿勢、キーポイント３次元位置を非線形最適化(Bundle調節）
7. 2から６を繰り返し
43/35