Google Tangoで現実世界を感じてみよう

「GoogleTangoで
現実世界を感じてみよう」
Panasonic System Design
大久保聡

自己紹介
パナソニックシステムデザイン
大久保聡
twitter ovjang(@followapp)
技術は浅く広く、剣も魔法も使えるけどどれも中途半端

本日の内容
• SLAMとは
• Visual SLAMとは
• マーカーレスAR
• GoogleTangoとは
•MotionTracking
•Area Learning
•Depth perception
•Visual Positioning Service

SLAMとは
Simultaneous Localization And Mapping
• もともとはロボット分野
Localization : 位置・姿勢推定
Mapping : マップの推定
車の自動運転、ドローン、ロボット掃除機な
どで利用される。3Dスキャナとして利用され
はじめる。
サイモテーニアス

SLAMの目
• レーザーレンジスキャナー(測域センサ)
• RGBカメラ
• Depth(深度)カメラ
• Stereo(2眼)カメラ
レーザーレンジスキャナーはとても高価なので
カメラ映像をもとに推定を行う、Visual SLAM
がスマホなどで使われるようになってきた。

Visual SLAMとは
• カメラの画像をもとに現実世界の特徴を利用
して空間認識と、位置推定を行う。
• ＲＧＢの単眼カメラ、ステレオカメラ、深度
カメラなどで実現するため安価。

Visual SLAMとは
• フレーム間での特徴点を対応づけ、特徴
を追跡し、環境Mapを作成
参考 https://goo.gl/uFqQtk

Visual SLAMのデモ
• Outdoor stereo SLAM with RTAB-Map
ミュンヘン工科大学コンピュータビジョングループ
• Real-TimeTrajectory Replanning for MAVs using
Uniform B-splines and 3D Circular Buffer
• Autonomous Camera-Based Navigation of a
Low-Cost Quadrocopter

Visual SLAMの弱点
• 特徴の変わるものは苦手
– 動くもの
– 反射する、透明なもの
• 特徴のないものは苦手
– 無地の壁
• 同じ特徴の時は同じものとみなす
– 病室みたいなものや、ビルの階数の違いなど

SLAMの用語
• Localization
位置同定、Areaの中のどこにいるかを推
定すること

SLAMの用語
• Drift correction
ループクロージャー(Loop closure)とも呼ば
れるドリフト補正を実行できます。デバイ
スは既に通過した場所に戻ってきたとき、
ループの中を移動してきたことを理解し、
その経路を補正する。

マーカーレスARが流行る
• GoogleTango
• Google ARCore
• AppleARKit(iOS11)
• KudanAR
• GrapecityWikitude

コンピュータビジョン技術
使われている技術の種類
SLAM リアルタイムに周囲環境のマッ
ングと自己位置推定を行う。
GoogleTango
Windows Mixed Reality
(Hololens)
Visual
Odometry
(VO)
リアルタイムの自己位置推定の
で、グローバルマップを作らな
AppleARKit
Google ARCore

MotionTracking
自分自身の移動と回転を3D空間で追跡でき
る。前後左右に歩き回ったり、上下の移動
や回転などをした際にどの位置にどの向き
であるのかを知ることができる。
3軸電子コンパス、3軸加速度センサー、3
軸ジャイロスコープと魚眼レンズカメラか
らの視覚特徴点の情報を利用する。

Depth Perception
周辺の物理構造(形状)を認識することがで
きる。机、いす、パソコンなど3Dとして認
識できる。
赤外線ベースのTOF（TimeOf Flight、光線
の照射と反射による測距技術）を用いる。
計測可能な範囲は4-5m程度。

Area Learning
まわりを見渡して、自分がどこにいるのか
を知ることができる。学習したエリアを保
存(深度情報と特徴点をマッチングした情
報)し読みだすことができる。
学習エリアよりローカライゼーションと呼
ばれるプロセスを使用して自己位置を特定
することができます。

Visual Positioning Service
MotionTracking、Area Learningなど組み合
わせ、地図上のどこに自分がいるかを把握
できる。

とは
Tango ARCore
• MotionTracking ○ ○
• Area Learning ○
• Depth perception ○ ○
• Visual Positioning Service ○
• Light estimation ○

Tangoデバイス
• 専用デバイスが2種発売されている。
Depthカメラ、RGBカメラ、魚眼レンズカ
メラを搭載

ARCoreデバイス
• 現状は、PixelとGalaxy S8のみ、対応機種
は拡大中で、Googleはプレビューリリー
ス中に1億台の普及を目指す。

ローリングシャッターは
SLAMに向かない
• ローリングシャッター(ライン露光順次読み出し:CMOS素子)
• グローバルシャッター(同時露光一括読み出し:CCD素子)

Tango SDK
• Application development stack

Unity開発の前準備
• Android SDK with package level 17+ installed.
• Unity (5.2.1 or later), set up for Android
development.
• Tango Unity SDK.
• OnWindows, install the Google USB Driver if
your device is not recognized automatically.

• Edit > Preference のExternalToolsでAndroid
SDKとJDKの設定。

• File > Build Settings > Android > Player
SettingsのMinimumAPI Levelを17以上にす
る。
• Unity用のTango SDKをimport

MotionTrackingの実装
• Texture(Cubemap)作成
• Skyboxマテリアル作成
• LightingのシーンタブでSkybox Materialに
マテリアル割り当て
• Main Camera削除

MotionTrackingの実装
• ProjectウィンドウのAssets >TangoPrefabs
からTango ManagerとTangoCameraをシー
ンにドロップ
• Tango Cameraを選択し、InspectorのClear
FlagをSky Boxに変更する。
• Buildして完成

Depth Perceptionの実装
• ProjectウィンドウのAssets >TangoPrefabs
からTango ManagerとTangoCamera 、
Tango Point Cloudをシーンにドロップ
• Tango Managerを選択、InspectorでEnable
Depthにチェックを入れる。

Depth Perceptionの実装
• Tango Point Cloudを選択し、Inspectorの
Mesh RendererとUpdate Points Meshに
チェックを入れる。
• Tango Cameraを選択し、InspectorのClear
FlagをSolidColorに変更する。
• Buildして完成

Depth Perceptionデモ
• Depth情報にRGBカメラの情報を重ね合わ
せて、3D空間を取り込む。
https://youtu.be/FOKiaFL-WXI

Area Learningの用語
• Area Description
学習した空間情報、ADF（Area Description File）とい
うファイルに保存できる。
• Frames of Reference
Area(3D空間)のどの位置にどの向きにデバイスがあ
るかを知ることができる。その空間(枠組み)のこと
• Pose
Frames of Referenceの中での位置と向きのこと

Area Learningの実装
• 地図の作成機能
– 初期化
– エリアラーニング開始
– ADF保存
• 作成した地図上にマーカー設置と保存す
る機能
– 初期化
– ADF読込
– エリアラーニング開始
– マーカー設置

Area Learningの実装
• 流れ
Start
Stratup
ADFなし
Learning Mode = True
ADF保存
End
Start
Stratup
ADFあり
Learning Mode = False
ADF読込
End
マーカー設置
ADF

Learning ModeとADFの利用
Learning
Mode
ADF
利用
フレームに対する姿勢データを利用可能か
ADFを保存できるかサービス開始位置
デバイス位置
AD
デバイス位置
AD
サービス
開始位置
False False 開始時に利用可能利用不可利用不可 ADを保存できません
True False 開始時に利用可能開始時に利用
可能
開始時に利用可
能
新しいUUIDで現在のADが
保存される
False True 開始時に利用可能ローカライズ
された後に使
用可能
ローカライズさ
れた後に使用可
能
ADを保存できません
True True 開始時に利用可能ローカライズ
された後に使
用可能
ローカライズさ
れた後に使用可
能
ロードしたADFに対して
ローカライズされるまでは、
ADを保存できません。
保存するときはロードした
ADFと同じUUIDを使用し、
本質的には古いADに新し
く学習した領域を追加し、
拡張しています。

Tangoの座標系
• サービス開始位置またはADのいずれかを
APIの基準座標系として使用する
Tango : 右手系
Unity : 左手系

初期化処理
• Registerで、Tango Serviceへ接続
※継承したインターフェースの実装
(OnTango～)が呼ばれるようになる。
public class AreaLearning : MonoBehaviour,
ITangoLifecycle, ITangoPose, ITangoEvent,
ITangoDepth

初期化処理
public void Start()
{
m_poseController = FindObjectOfType<TangoPoseController>();
m_tangoApplication = FindObjectOfType<TangoApplication>();
if (m_tangoApplication != null)
{
m_tangoApplication.Register(this);
if (AndroidHelper.IsTangoCorePresent())
{
m_tangoApplication.RequestPermissions();
}
}
else
{
DebugPrint("No Tango Manager found in scene.");
}
}

エリアラーニング開始
• Startupでエリアラーニング開始

エリアラーニング開始
public void StartAreaLearning(bool isNewAreaDescription)
{
m_isLearning = isNewAreaDescription;
if (m_isLearning)
{
m_currentAreaDescription = null;
m_tangoApplication.m_areaDescriptionLearningMode = true;
}
else
{
m_currentAreaDescription = FindAreaDescription();
if (m_currentAreaDescription == null)
{
DebugPrint("not found AD.");
return;
}
m_tangoApplication.m_areaDescriptionLearningMode = false;
}
m_poseController = m_tangoCamera.GetComponent<TangoPoseController>();
m_poseController.gameObject.SetActive(true);
m_tangoCamera.SetActive(true);
// Relocalization中のImage表示用
m_relocalization.SetActive(true);
m_tangoApplication.Startup(m_currentAreaDescription);
}

ADF保存
• CurrentのADFを保存する

ADF保存
if (m_tangoApplication.m_areaDescriptionLearningMode)
{
m_saveThread = new Thread(delegate ()
{
// ADF削除
AreaDescription oldAreaDescription = FindAreaDescription();
// ADF保存
m_currentAreaDescription = AreaDescription.SaveCurrent();
AreaDescription.Metadata metadata = m_currentAreaDescription.GetMetadata();
if (m_currentAreaDescription != null)
{
metadata.m_name = FILE_NAME;
m_currentAreaDescription.SaveMetadata(metadata);
DebugPrint("New ADF ID = " + m_currentAreaDescription.m_uuid, true);
if (oldAreaDescription != null)
{
oldAreaDescription.Delete();
}
} else
{
DebugPrint("ADF not found", true);
}
});
m_saveThread.Start();
}

ADF保存
• ADFの中身は？

ADF読込
• ADFのリストを取得
※デバイス内の保存領域を使
う場合

ADF読込
private AreaDescription FindAreaDescription()
{
//DebugPrint("PopulateList start", false);
AreaDescription[] list = AreaDescription.GetList();
AreaDescription foundADF = null;
//DebugPrint("Length = " + list.Length, false);
if (list != null && list.Length > 0)
{
foreach (AreaDescription areaDescription in list)
{
AreaDescription.Metadata metadata = areaDescription.GetMetadata();
if (metadata.m_name == FILE_NAME)
{
foundADF = areaDescription;
//DebugPrint("found uuid = " + foundADF.m_uuid, false);
break;
}
}
}
if (foundADF == null)
{
//DebugPrint("No area descriptions available.", false);
}
return foundADF;
}

マーカー設置
• Depthカメラを有効にし、タップ位置のプ
レーンを取得する。

マーカー設置
m_findPlaneWaitingForDepth = true;
// Depthカメラを有効にする
m_tangoApplication.SetDepthCameraRate(TangoEnums.TangoDepthCameraRate.MAXIMUM);
while (m_findPlaneWaitingForDepth)
{
yield return null;
}
m_tangoApplication.SetDepthCameraRate(TangoEnums.TangoDepthCameraRate.DISABLED);
// 平面を見つける
Camera cam = Camera.main;
Vector3 planeCenter;
Plane plane;
if (!m_pointCloud.FindPlane(cam, touchPosition, out planeCenter, out plane))
{
yield break;
}
// 法線ベクトル
Vector3 up = plane.normal;

Area Learningデモ
• Area Learningした情報と実際の物の場所の
情報を紐づける。
家電AR + NLP(文脈理解)

Android端末Tango設定
許可の管理と端末内のADのクリア

Visual Positioning Service
• Indoor Retail Mapping Leader aisle411
Delivers In-Store 3D Mapping on Google's
ProjectTango

VPSでやれること
• 情報の提供
– 固定の情報を配信
• 場所を知らせる
• 物の情報を知らせる
– いま、その場所にいる人に情報を配信
• 広告
• リコメンド
• 利用者の場所をリアルタイム把握

VPSで必要となること
• 移動によるADFの切り替え（同じ構造の建
物(階数)の違いなどを埋めることも）
– 直前のGPS情報
– Wifi、Beacon、LinkRay
– ADFのマージ
• 環境変化によるADFの更新
– ユーザー
– サービス事業者

VPSにお役立ち
• ADFの提供サービスを牛耳る
• ADFの編集サービスもしくはツールの提供
– 店舗内の棚割りとの連動
サービスを作るのは個々に任せ、土台と末端な
どで使えるものを提供していくことが普及につ
ながる。お金の匂いがします。

Google Tangoで現実世界を感じてみよう

Recommended

Recommended

More Related Content

Similar to Google Tangoで現実世界を感じてみよう

Similar to Google Tangoで現実世界を感じてみよう (20)

More from 聡大久保

More from 聡大久保 (20)

Recently uploaded

Recently uploaded (9)