Kobe HoloLens Meetup! vol.3 https://arkobe.connpass.com/event/188718/ にて話したスライド

1. 最近のUE4のMRについて

2. 自己紹介
山地 直彰
XRを中心に関西とかで活動してる関西のHoloLensの人
大阪駆動開発の言い出しっぺ
あとXRとかにご興味ある方お気軽に声をかけてもらえると

3. 今日の内容
・UE4のMR対応あれこれ
・UE4×MRでできること
・UE4×MRで地味にできないこと
・UE4×MRのメリット

4. 注意点等
HoloLensの表記について、
初代のものはHoloLens(初代)と記載し、初代と2共通の場合はHoloLensと記載し
ます
本日の内容について、
基本的には手元で試していますが、確認時期から結構間が空いていたり、一部確
認しきれていない部分があったりします

5. UE4のMR対応あれこれ
前提条件として、現在国内で一般消費者が入手、体験可能でかつ
比較的メジャーな光学シースルーの以下デバイスに関して記載します
・HoloLens
・Magic Leap 1
・Nreal Light
・だんグラ/ホログラス

6. HoloLens
・HoloLens(初代)はHolographic Remoting Player経由でのPCとのストリーミ
ング動作のみサポート
・HoloLens 2はネイティブで対応
・ハンドトラッキング、ジェスチャー入力、視線入力、空間マッピング、音声入
力、空間オーディオ、アンカー等の基本的な機能の対応
・MRTK for Unreal UX ToolsというHoloLens向けのプラグイン有
・公式のテンプレート有
・公式のサンプルプロジェクト有

7. Magic Leap 1
・ネイティブで対応
・ハンドトラッキング、コントローラー入力、視線入力、空間オーディオ、画像
マーカー等の基本的な機能の対応
・Magic Leap UE4 Editorという専用のエンジンがある
・MLTKというツールキット有
・Zero Iteration経由でPCとのストリーミング動作対応
・ハードウェア提供支援有

8. Nreal Light
・未対応
・現在はUnity向けSDKのみ公開の模様

9. だんグラ/ホログラス
・アルファ版として対応したSDK有
・Android端末のみ対応
詳しくはホログラム株式会社まで
問い合わせページ： https://ho-lo.jp/contact/
Twitter： @holo_jp

10. 本日のメイン
・HoloLens 2
・Magic Leap 1
※今回はその中でもHoloLensの方がメインです

11. 本題、ちょっとその前に

12. UE4.26 Preview1がリリースされました
丁度10日ほど前に4.26のPreview1がリリースされたので、
軽く関連アップデート情報を

13. UE4.26 Preview1 MR系アップデート
・AzureSpatialAnchorsのARCore、ARKit対応
・各種SDKアップデート対応
・XRVisualization？
リリースニュース
詳細の載っているフォーラム

14. UE4×MRでできること

15. 【HoloLens】PCからのストリーミング実行
Holographic Remoting Player経由でIPアド
レスを指定して、ストリーミング実行できる
本体の位置/向き以外にもジェスチャー/視線入
力やアンカー情報も取り扱える
HoloLens(初代)とHoloLens 2では設定の切り
替えが必要
4.25.1からはexeファイルにパッケージ化した
ものをストリーミングすることも可能に
公式ドキュメント

16. 【HoloLens 2】ハンドトラッキング
手の種類(右手/左手)と26の手の部位を指定して位置情報が取れる
また、イベントによって手の検出開始や終了も検知できる
公式ドキュメント

17. 【HoloLens 2】ジェスチャー入力
Mixed RealityトリガーでAirTap含む掴む入力を検知できます
より詳細の入力はWindows Spatial Input xxx Gestureで検知できます
公式ドキュメント

18. 【HoloLens 2】視線入力
SetEyeTrackingPlayerで初期化し、GetGazeDataでアイトラッキング情報を取
得できる
プレイヤーからの相対情報で取得されるので、必要に応じて、プレイヤー自身の
位置等を別途反映させる
公式ドキュメント

19. 【HoloLens 2】空間マッピング
ARSessionConfig側の設定のみで、ワイヤーフレームの表示やコリジョン生成等
の指定を行えるようになっている
公式ドキュメント

20. 【HoloLens 2】音声入力
プロジェクト設定のインプットから音声マッピングに、イベント名と認識させた
いキーワードを設定し、イベントが呼び出された時の処理を用意する
公式ドキュメント

21. 【HoloLens 2】空間オーディオ
通常の3Dサウンドではなく、Microsoftの専用プラグインがあり、それを利用す
ることができる
プラグインとプロジェクトの設定で有効にしたら、減衰オブジェクトを用意する
ことで対応可能
公式ドキュメント

22. 【HoloLens 2】アンカー
ARPinというものがあり、それがアンカーに該当する
公式ドキュメント
AzureSpatialAnchorsの公式ドキュメントはこれ
(ただ10/3時点では情報不足感ある。ここにも書いた)

23. 【HoloLens 2】QRコード
QRコードを検出して、QRコードの内容や位置情報等を取得できる
検出等はイベントで管理される
(この機能もストリーミングでも動かせます)
公式ドキュメント

24. 【HoloLens 2】WinRTの機能利用
WinRT系の現在UE4上から呼び出せないAPI等を利用するために、DLLを作成し、
DLL経由でUE4側からWinRTのAPIを呼び出せる
ファイルアクセス周りやBluetooth周りがここに該当するはず
公式ドキュメント

25. 【Magic Leap 1】ハンドトラッキング
基本的にHoloLens 2と同様
公式ドキュメント

26. 【Magic Leap 1】コントローラー入力
基本的にはVRのモーションコントローラーと同じ
MotionControllerコンポーネント経由で位置や向きのトラッキング、ML Trigger
等のインプットイベントから入力検知可能
Touchpadだけ、MagicLeapTouchpadGestureという専用のコンポーネント有
公式ドキュメント

27. 【Magic Leap 1】視線入力
基本的にHoloLens 2と同様
公式ドキュメント

28. 【Magic Leap 1】空間オーディオ
Magic Soundfield Audioという専用のプラグインがある(要The Labからのイン
ストール)
あとはプラグインからMSAを有効にして、使う
MSAとついたコンポーネントも有
公式ドキュメント

29. 【Magic Leap 1】アンカー
MagicLeapARPinを使用する
公式ドキュメント

30. UE4×MRで地味にできないこと

31. 【HoloLens】ネイティブ対応
公式がサポートしていないので、パッケージの出力ができない
どうしてもやりたかったらこれでも参考に

32. 【HoloLens】レイトレーシング対応
HoloLensのネイティブではなく、
PCからのストリーミング経由で、PC側でレイトレーシングを行い、HoloLensで
見ることはできない
(レイトレーシング用の設定では接続時にエラーがでる)
※4.26 Preview1でも出たまま

33. 【Magic Leap 1】MLTKが専用エディタ向け
Epic Games LauncherからインストールできるMagic Leap UE4 Editorという
専用のエディターがあり、そちらでないとBPにないノードを使用している
ただ、Magic Leap 1の開発自体は通常のUE4Editorでも可

34. UE4×MRのメリット

35. UE4のメリット
・ノードベースオンリーでの開発
・標準機能の充実
・マルチプラットフォーム対応
・オープンソース
・大量の公式サンプル
・大量の公式無料アセット
・毎月の無料アセット
・様々なテンプレート

36. ノードベースオンリーでの開発
ロジックだけでなく、シェーダーもノードベースだけでも作っていける

37. 標準機能の充実
ゲーム作りによく使う機能に加え、ここ数年はノンゲーム向けの機能も充実して
いる

38. マルチプラットフォーム対応
標準で汎用的な枠組みがあるため、複数プラットフォームの対応がしやすい
今回だとARSessionConfig等少しだけHoloLens 2とMagic Leap 1で別の枠組み
になっているものもあるため、その辺りだけは注意が必要

39. オープンソース
オープンソースなので、エンジン側に問題があっても特定しやすく、ドキュメン
トに最新の詳細仕様がなくても、自分で調べて対応できる

40. 大量の公式サンプル
UE4での開発の参考になる様々なサンプルプロジェクトが無料で公開されている

41. 大量の公式無料アセット
1,200万ドル相当のアセット無料公開など、公式が無料でも高品質なアセットを
いくつも公開しているため、手軽に何か作る場合でも、キャラクターや背景のデ
ータ等の選択肢が増える

42. 毎月の無料アセット
毎月いくつかのアセットが無料で入手できるようになっており、お金的な制約が
あっても選択肢が増えやすい

43. 様々なテンプレート
ゲーム、ノンゲーム双方向けにいくつかのテンプレートがあるため、プロトタイ
ピングや検証にも便利

44. まとめ

45. まとめ
・標準機能だけでも簡単にマルチプラットフォーム対応でコンテンツが作れる
・ノードベースでデザイナーも高速なイテレーションを回しながら体験の調整が
できる
・UE4の今までの様々な資産を使いまわせる
・万能ではないが、公式ドキュメントに基礎は大体まとまっている
・HoloLensは2からの対応のため、ユーザーノウハウが少な目な点は注意が必要

46. みんなもUE4でMR(XR)開発しよう！

47. 【告知タイム】