このスライドは2021.01.18に行われたHololensミートアップのLT登壇のスライドです。 https://hololens.connpass.com/event/198999/ 3DCGリアルタイム合成撮影スタジオにてバーチャルイベントを提供している弊社にて、HoloLensを用いた制作効率化の実験についてご紹介します。

1. UE4ベースのバーチャルイベント制作における
HoloLens活用実験始めました
2021.01.18 Tokyo HoloLens ミートアップ vol.24 LT枠
株式会社サイバーエージェント
株式会社CyberHuman Productions
岩﨑 謙汰 (@iwaken71)

2. 岩﨑謙汰 (イワケン)
自己紹介
・HoloLens好き CyberAgent 社員
・最近仕事ではUnreal Engine4 (UE4)
・UE4 × HoloLens 開発友達ほしい
・Twitter: @iwaken71
・MR分野にて
社内Next Experts認定

3. HoloLens ×
バーチャル
イベント
実験
HoloLensと私年表
2016.12.15
HoloLensに出会い感動
2018.3.28
HoloLens参考書読書会登壇
HoloLensとイチャ開発 MR研究
2021.01
HoloLens2購入
3年間のHoloLens空白期
VTuber配信 VRアプリ開発 バーチャルイベント
2018.04
CyberAgent入社
2019.06 2020.07
CHP Join
大学卒業と共に
HoloLensとお別れ
3年越しの再会
ありがとうCyberAgent
Now

4. HoloLens ×
バーチャル
イベント
実験
HoloLensと3年ぶり再会しました
2016.12.15
HoloLensに出会い感動
2018.3.28
HoloLens参考書読書会登壇
HoloLensとイチャ開発 MR研究
2021.01
HoloLens2購入
3年間のHoloLens空白期
VTuber配信 VRアプリ開発 バーチャルイベント
2018.04
CyberAgent入社
2019.06 2020.07
CHP Join
大学卒業と共に
HoloLensとお別れ
3年越しの再会
ありがとうCyberAgent
Now

5. 大学卒業と共に
HoloLensとお別れ
3年越しの再会
ありがとうCyberAgent
今日の話
2016.12.15
HoloLensに出会い感動
2018.3.28
HoloLens参考書読書会
HoloLensとイチャ開発 MR研究
2021.01
HoloLens2購入
3年間のHoloLens空白期
VTuber配信 VRアプリ開発 バーチャルイベント
2018.04
CyberAgent入社
2019.06 2020.07
CHP Join
Now
HoloLens ×
バーチャル
イベント
実験

6. バーチャルイベント制作やってます
フィジカルな人間 × バーチャル空間のライブ・イベント
リアルタイム3DCG合成撮影スタジオ × Unreal Engine4
New Service for Virtual Event: https://www.youtube.com/watch?v=7ZrZix9chA4

7. 昨年末 MIYAVIさんのバーチャルイベント担当しました
画像引用)
MIYAVIの無料配信ライブ「MIYAVI Virtual Level 5.0: Synthesis シンセシス」にて最先端のリアルタイム合成技術で制作に参加

8. UE4エンジニア 初実績
画像引用)
MIYAVIの無料配信ライブ「MIYAVI Virtual Level 5.0: Synthesis シンセシス」にて最先端のリアルタイム合成技術で制作に参加

9. 撮影スタジオ=現実世界とデジタル世界が融合する場所
現実世界
デジタル世界
カメラを通して融合

10. スタジオは現実世界とデジタルワールドが遭遇する場所
それってつまりMixed Realityじゃん…?
HoloLensがバーチャルイベントの制作フローに
貢献できるのでは…?

11. 今回作りたいもの
• この白いステージをスタジオに重ね合わせてHoloLens2で表示できれば成功
• 以前のバーチャルイベント制作データを元に作成
• 最終ゴールは制作のイテレーションを早くすること

12. 実際作ったもの
https://youtu.be/-org_YIhlFU
バッチリ位置が合っていることを確認できた👏

13. 開発環境
• Windows10 Pro/Home (どちらも可)
• Unreal Engine4.26 (HoloLens2用)
• Unreal Engine4.23 (合成撮影用)
• HoloLens2
• Visual Studio2019
• MRTK for Unreal UX Tools v0.11.0
• カムロ坂スタジオ

14. 手順
• スタジオのScanデータを取得
• Scanデータを元にUE4上にデジタル世界を制作
==ここまではバーチャルイベント用にデータを作ってもらう==
• デジタル世界を画像マーカーに合わせて表示するHoloLensアプリを作る
• MRTK for Unreal UX ToolsでUI作成
• パフォーマンスに関する推奨事項設定を行う
• デジタル世界の原点とスタジオの画像マーカー位置を合わせる
• スタジオでHoloLens2装着
バーチャル
イベント
制作
HoloLens
アプリ制作

15. スタジオのScanデータを取得
• iPad Pro 11インチ (LiDAR付き)
• 3d Scanner App
• iPadかざして歩き回るだけでScanできる
• TexturedのOBJデータで出力
• 簡単にできる

16. Scanデータを元にUE4上にデジタル世界を制作
• ScanデータをCGデザイナーに渡して
制作依頼
• Maya→UE4のフロー

17. デジタル世界を画像マーカーに合わせて表示する
HoloLensアプリを作る
• HoloLens2×UE4.26ではImage Trackingですぐ実装できるのはQRCodeのみ
• QRCode TrackingについてZenn記事を書きました。
【HoloLens2】UE4.26でQRCode Trackingの座標軸に合わせてActorを出現させる
(QRコードのチュートリアルをベースに作っています)

18. MRTK for Unreal UX ToolsでUI作成
• MRTK for Unreal UX Toolsをダウンロード、UE4のPluginに追加
https://github.com/microsoft/MixedReality-UXTools-Unreal
• 今回はHand Menuを採用→チュートリアル通りやってみる
https://github.com/microsoft/MixedReality-UXTools-Unreal/blob/public/0.11.x/Docs/HandMenu.md
• ステージのVisible On/OffボタンとQRCode Follow On/Offボタンを実装

19. パフォーマンスに関する推奨事項設定を行う
• 撮影用ステージデータをそのまま使うと処理が重く、カクツクので
HoloLens用にパフォーマンス設定する必要がある
• こちらのドキュメント通り設定を変えるだけで、処理が軽くなるよ！！
https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/unreal/performance-recommendations-for-unreal
https://docs.microsoft.com/ja-jp/windows/mixed-reality/develop/unreal/unreal-materials

20. デジタルワールドの原点とスタジオの
画像マーカー位置を合わせる
デジタル世界の原点
現実世界の原点
位置を合わせる
任意のQRCodeでOK

21. スタジオでHoloLens2装着
やってみて気づいたこと
・地面のQRコードにかなり近づく必要がある
・黒色は透過するので対策が必要
・小道具や照明など位置合わせが重要なプロジェクトで
真価を発揮するかも…?
→ 今後もユースケース, UI/UXの研究を重ねていきます
→ Azure Remote Rendering for Unreal対応してほしい…!

22. UE4×HoloLens2 開発友達募集…!
・Twitter: @iwaken71 フォローお願いしますmm
・ZennにUE4×HoloLens2の開発記事あげていきます
2021年すでに11本ほど投稿
今年は月10本くらい技術記事書いていきたい