2021年6月20日に開催されたAndroid Bazaar and Conference 2021 Springで「AndroidのAR最新動向」というタイトルのセッションの資料です。UnityでARCoreを活用したARアプリ開発や、Raw Depth APIとかRecording and Playback APIとかのGoogle I/Oでアップデートされた新機能の話を盛り込んでいます。 https://japan-android-group.connpass.com/event/214900/

1. AndroidのAR最新動向
2021/06/20 株式会社カブク 高橋憲一

2. @ken1_taka ktaka
株式会社カブク / ソフトウェアエンジニア
高橋憲一
• 携帯向け3Dグラフィクスエンジンや、昔あった
某ARアプリの開発に携わる
• 現在はカブクで3Dグラフィクスのレンダリング
および解析エンジンの実装を担当
• 個人的活動としてAR&VRの実験をする傍ら翻訳
本を出したり、技術系雑誌への解説記事を寄稿す
るなどしている
• 東北TECH道場の講師として主に石巻道場、時々
東北のあちこちに出没

3. 今日の内容
• ARCoreでできること
• Google I/O 2021のAR関連情報
• Recording and Playback API
• Raw Depth API
• WebXR

4. ARCoreでできること
• 基本の3機能
• 環境認識
• モーショントラッキング
• 光原推定

5. 子猫と戯れるARアプリ
• Unity + AR Foundationで開発
• Android → ARCore
• iOS → ARKit
• Software Designで連載していた記事
• 2019年8月∼2020年9月の14回
• UnityのプロジェクトはGitHubで公開
• https://github.com/ktaka/ARKitten2019

6. 簡易版のハンズオン動画
• 東北TECH道場のオンライン講座アーカイブ
• 全3回の動画
• https://youtube.com/playlist?
list=PLy_WOQXVomS7DdhFxITGKkuKQ
yyouGQuu

7. 1回目
• Unityのインストール
• ボールに見立てた球体を追加
• 物理エンジンの機能を試す
• ボールが落下する
• 落下したボールが平面ではずむ
• スワイプしてボールを投げる機能を追加

8. 2回目
• ボールに色をつける
• ペットのオブジェクトを追加
• ボールを投げてはずんだところにペットが
歩いてくる
• AR Foundationを組み込む
• ビルドしてスマホで動かす

9. 3回目
• ペットの後ろに回り込むとこちらを向いて
くれる
• 単純な回転
• アニメーションつきの回転
• 現実空間の平面にARペットの影を落とす
• 影を描画するシェーダーの追加
• 平面を完全に透明化

10. UnityでARCoreを使うときの注意
• 2種類のパッケージ
• ARCore SDK for Unity
• AR Foundation + ARCore Extensions for AR Foundation

11. UnityでARCoreを使うときの注意
• 2種類のパッケージ
• ARCore SDK for Unity → 非推奨
• AR Foundation + ARCore Extensions for AR Foundation

12. Google I/O 2021のAR関連情報

13. ARCore関連セッション

14. ARCore関連セッション
？

15. ARCore関連セッション

16. ARCore関連セッション
レコーディングとプレイ
バックAPIでARを好きな
場所に連れていく

17. Recording and Playback API

18. ARといえばカメラからのライブビューありき
(Live AR)
AR画面の背景
モーショントラッキング
平面認識

19. Recording and Playback API (AR Anywhere)
アプリで再生
動画(mp4)として保存
• カメラ映像
• IMU（加速度センサなどの値）
AR画面の背景

20. オブジェクトの配置情報（アンカー）も
動画のトラックに埋め込める
AR画面の背景
動画(mp4)として保存
映像
トラック
独自トラック
に配置情報
配置情報を
元にオブジェクトを配置
アプリで再生

21. コードラボ
• Introduction to ARCore Recording and
Playback API
• https://codelabs.developers.google.com/
codelabs/arcore-record-and-playback-intro

22. コードラボの完成画面

23. 保存した動画は見た目は通常のもの
• CGのオブジェクトは含まれない
• 映像は640x480

24. これで嬉しいのは…
• 開発者は現地に何度も行って調整しなくても済む
• ユーザーはその場にいなくても前にいた場所のARを再現できる
• 外出先で「これうちのリビングに合うかな」という時など

25. Raw Depth API

26. Depth API
• Depth APIは2020年6月に追加
• 現実の物体に隠れるCGのオブジェクト
• 平面ではない現実の物体との衝突

27. Raw Depth API
• より精度の高い距離の値
• ピクセルごとの値の信頼度を示す
Con
fi
dence Images
• 簡易的な3Dスキャンに使用できる

28. Depth (full Depth) vs Raw Depth
• Raw Depth API
• すべてのピクセルはカバーしていない
• 精度は高い
• (full) Depth API
• すべてのピクセルをカバー
• なめらかになるよう補間されている
• 精度は低い
Camera Raw Depth Full Depth
https://developers.google.com/ar/develop/java/depth/raw-depth

29. WebXRでAR

30. WebXR
• WebXRでARコンテンツを開発するワーク
ショップ
• コードラボを進めていくセッション
• https://
codelabs.developers.google.com/ar-
with-webxr

31. ご静聴ありがとうございました