Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
ARラジコン開発中 -その2-
2021/03/19 【オンライン】xTech ゆるっとLT: ROS Kyushu UG and AR_Fukuoka
hiro-han
自己紹介
札幌でAI x IoTシステムの開発マネージャーやってます
自動運転とか@東京 (9年) → AI x IoTシステム@札幌 (1年半)
➢ c++, pythonなど
AI、IoT、xRなどを組み合わせて遊びたい人
➢ Raspbe...
モチベーション
オフィスでARマ○カーをやりたい!
● ラジコンにカメラ載せて、VRゴーグルに画像
表示してオフィスを走らせる
● アイテム表示したり、オフィスの風景に自動で
テクスチャを表示したり
○ オフィスの壁がク○パ城になったら面白い
作ったもの
● OculusQuest2でカメラ画像表示、ラジコン制御
● OculusQuest2のヘッドセット向きに合わせてカメラ回転
● ラジコンの移動合わせてVR空間移動
○ オブジェクトとカメラ画像を重ねてARっぽく
● ROSを使っ...
OculusQuest2との連携
Unityアプリで簡単にROSと連携できるROS#を使用
最新のv1.6をOculusQuest2で動かしたら、少し修正を加えないと動かなった
● PublisherのStart()内で、RosConnectの...
ARをどうやる?
OculusQuestはカメラ画像をテクスチャ表示しているだけ
● スマホのARアプリみたいに画像処理?
○ 平面や立体を検出しないといけない
○ 処理も大変そう
まずは簡単な方法を試すことに
ラジコンの移動にあわせてVR空間...
VR空間の移動
ラジコンの位置を推定して、OculusQuest2に送る必要がある
SLAMをraspiで動かすのは処理負荷がやばそう
RealSense T265をラジコンに載せて位置取得
OVRCameraRigを動かす!
結果
結果
● VR空間を走ることができた!
● でも微妙だった
○ オブジェクトの影が画像上にできてしまう
○ 画像の位置をもう少し遠くにしないと、急にオブジェクトが現れる
■ オクルージョン無視
○ 床面とオブジェクトの下面がずれると違和感
● ...
これから
● オブジェクトの位置、画像位置の調整
● 転送速度の改善
○ nodelet
○ WebRTC
○ ROS TCP Connector
● そもそもARのやり方を変える?
○ 画像処理(ARCore)
○ 3Dセンサを使う(Real...
ありがとうございました!
おまけ
カメラの変更
Raspi カメラ
Raspi 用広角カメラ
Raspiカメラは視野角が狭いため、広角カメラに変更
→臨場感がアップ!
62.3x48.8度 160度
ROS#の変更点
try catch 追加
これを追加しないと、messageの初期化に失敗する
rosConnectorと、publicationIdの初期化を追加
UnityPulisher.cs
構成
Upcoming SlideShare
Loading in …5
×

ARラジコン開発中2

Developed AR R/C Car

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to comment

  • Be the first to like this

ARラジコン開発中2

  1. 1. ARラジコン開発中 -その2- 2021/03/19 【オンライン】xTech ゆるっとLT: ROS Kyushu UG and AR_Fukuoka hiro-han
  2. 2. 自己紹介 札幌でAI x IoTシステムの開発マネージャーやってます 自動運転とか@東京 (9年) → AI x IoTシステム@札幌 (1年半) ➢ c++, pythonなど AI、IoT、xRなどを組み合わせて遊びたい人 ➢ RaspberryPi, Arduino, RealSense, OculusQuest2, ROSとかで遊んでます ➢ AI(Tensorflow, Pytorch)は最近あまりやってない 今日は2020/12にAR Fukuoka主催のLTで発表した開発の続きです @hiro-han Qiita: https://qiita.com/hiro-han
  3. 3. モチベーション オフィスでARマ○カーをやりたい! ● ラジコンにカメラ載せて、VRゴーグルに画像 表示してオフィスを走らせる ● アイテム表示したり、オフィスの風景に自動で テクスチャを表示したり ○ オフィスの壁がク○パ城になったら面白い
  4. 4. 作ったもの ● OculusQuest2でカメラ画像表示、ラジコン制御 ● OculusQuest2のヘッドセット向きに合わせてカメラ回転 ● ラジコンの移動合わせてVR空間移動 ○ オブジェクトとカメラ画像を重ねてARっぽく ● ROSを使ってアプリ開発 Arduino Uno Raspberry Pi 4 Model B / 8G Raspberry用広角カメラ タミヤラジコン モバイルバッテリー サーボモータ RealSense T265
  5. 5. OculusQuest2との連携 Unityアプリで簡単にROSと連携できるROS#を使用 最新のv1.6をOculusQuest2で動かしたら、少し修正を加えないと動かなった ● PublisherのStart()内で、RosConnectの初期化に失敗 ● アプリ起動時のタイミング問題? すごくARアプリっぽくなった(気分)! 解像度は高くなったし、別にコントローラを使わなくてよくなった ただし、コントローラが小さいので、ラジコンのコントロールがピーキーに...
  6. 6. ARをどうやる? OculusQuestはカメラ画像をテクスチャ表示しているだけ ● スマホのARアプリみたいに画像処理? ○ 平面や立体を検出しないといけない ○ 処理も大変そう まずは簡単な方法を試すことに ラジコンの移動にあわせてVR空間を移動、VR空間のオブジェクトを表示し て、カメラ画像を背景にしてみる
  7. 7. VR空間の移動 ラジコンの位置を推定して、OculusQuest2に送る必要がある SLAMをraspiで動かすのは処理負荷がやばそう RealSense T265をラジコンに載せて位置取得 OVRCameraRigを動かす!
  8. 8. 結果
  9. 9. 結果 ● VR空間を走ることができた! ● でも微妙だった ○ オブジェクトの影が画像上にできてしまう ○ 画像の位置をもう少し遠くにしないと、急にオブジェクトが現れる ■ オクルージョン無視 ○ 床面とオブジェクトの下面がずれると違和感 ● 広角カメラにしたので、画像転送の遅延が顕著になった
  10. 10. これから ● オブジェクトの位置、画像位置の調整 ● 転送速度の改善 ○ nodelet ○ WebRTC ○ ROS TCP Connector ● そもそもARのやり方を変える? ○ 画像処理(ARCore) ○ 3Dセンサを使う(RealSense D435i) ● Unityと組み合わせてシミュレーションとか ● AIと組み合わせて強化学習とか
  11. 11. ありがとうございました!
  12. 12. おまけ
  13. 13. カメラの変更 Raspi カメラ Raspi 用広角カメラ Raspiカメラは視野角が狭いため、広角カメラに変更 →臨場感がアップ! 62.3x48.8度 160度
  14. 14. ROS#の変更点 try catch 追加 これを追加しないと、messageの初期化に失敗する rosConnectorと、publicationIdの初期化を追加 UnityPulisher.cs
  15. 15. 構成

×