【CEDEC2018】おうちでVRライブ体験バーチャルライブプラットフォーム「INSPIX」のこれまでと今後

© 2018 pulse.Inc
おうちでVRライブ体験
バーチャルライブプラットフォーム
「INSPIX」のこれまでと今後
パルス株式会社
加田健志
2018.8.22

© 2018 pulse.Inc
自己紹介
加田健志
パルス株式会社 / VR Live Engineer
アーケードゲーム開発会社、 VRゲーム開発会社を経て
2018年パルス株式会社に入社。
2015年より公私にわたって VRコンテンツの制作に従事
現在はVRデバイス制御、クライアント通信、サウンド制御が主な担当範囲

© 2018 pulse.Inc
パルス株式会社
株式会社イグニスの子会社
VRコンテンツの企画・開発・運営
岩本町芸能社と業務提携中
岩本町芸能社所属タレント
VRアイドル「えのぐ」馬越健太郎

© 2018 pulse.Inc
アジェンダ
● バーチャルライブプラットフォーム「INSPIX」とは
● モーショントラッキングシステム
● VR HMD
● ライブプラットフォームに求められる通信
● 今後と本日のまとめ

© 2018 pulse.Inc
バーチャルライブプラットフォーム「INSPIX」
https://1923.co.jp/wp-content/uploads/2018/02/20180227_pulse_products.pdf
・仮想空間
・リアルタイム
・インタラクション

© 2018 pulse.Inc
先日のライブイベントの様子
8月10日岩本町芸能社所属VRアイドル「えのぐ」
VR・Youtube・UDXライブビューイングの 3会場で実施
UDX
VR

© 2018 pulse.Inc
アジェンダ
● バーチャルライブプラットフォーム「INSPIX」とは
● モーショントラッキングシステム
● VR ヘッドマウントディスプレイ
● 今後と本日のまとめ

© 2018 pulse.Inc
システムの入口

© 2018 pulse.Inc
モーショントラッキングシステム
アクターの動きを取り込むためのシステム
ゲーム・映画・VTuberなど応用範囲は広い
磁気式・光学カメラ式・VRデバイスを使ったシステムなどがある
ボーンの位置・回転情報をデータとして出力

© 2018 pulse.Inc
プロジェクト初期(2017年夏)
Perception Neuron
- 磁気を利用して全身をキャプチャ
- 約20万円
- 磁場によるキャプチャ崩れ
Vive Tracker
- VRデバイスのViveを利用
- 足や腰などにVive Trackerを装着
- 約10万円
- 1PCで使えるTracker数に制限

© 2018 pulse.Inc
光学式モーショントラッキングシステム
アクターはマーカーを取り付けた専用のスーツを着用
マーカーの位置を専用のカメラが撮影し、モーションをトラッキング
トラッキングスペース内であれば、理論上何人でもトラッキングが可能
とても高価

© 2018 pulse.Inc
モーショントラッキングシステムの特徴
メリットデメリット
Perception Neuron 安価磁気によるキャプチャ崩れ
1PCで1人キャプチャ
Vive Tracker 安価
複数人対応
デバイスが重い
1PCのTracker数に制限
光学式正確なキャプチャ
複数人対応
高価（数百万円以上）

© 2018 pulse.Inc
Unityで使うとこんな感じ

© 2018 pulse.Inc
リアルタイムモーションキャプチャの難しさ
常に正しい動きが出力されるわけではない
→想定していない方向に関節が曲がっている
一般のモーションキャプチャ
→キャプチャ後にアニメーターがデータを編集
リアルタイムモーションキャプチャ
→キャプチャデータ自体の編集はできない
→キャラクターにモーションを適用する際に制御を加える
→ボーンの角度制限・IKなど

© 2018 pulse.Inc
他にも・・・
・アクターとキャラクターの対格差
　→小物を持たせると破綻が発生
　→IKなどを駆使し解決
・ポーズがうまく決まらない
　→アクターのポーズとキャラクターのポーズに差異
　→キャプチャされたポーズがカッコよくなるようにアクターが調整
課題はアクターの練習とエンジニアリング両面で解決

© 2018 pulse.Inc
システムの出口

© 2018 pulse.Inc
今回のイベントの前提条件
いきなり様々なデバイス・通信環境に対応するのは難しい
最初はクローズドな環境でイベントを行う
→ターゲットVRデバイスの選定

© 2018 pulse.Inc
VRヘッドマウントディスプレイ(HMD)選定
大人数の使用に耐えうるHMD
→ワイヤレス
来場していただくのでリッチな体験が必要
→Cardboardのような簡易デバイスではない
ライブだからサイリウムも振りたい
→コントローラがあるデバイス

© 2018 pulse.Inc
6DoFと3DoFの違い
6DoF
頭の回転と前後左右上下への動きが
VR内に反映される
3DoF
頭の回転の動きのみが
VR内に反映される
音楽にノッてくると体が動くので3DoFだと酔い易い

© 2018 pulse.Inc
HMD比較
プラットフォームヘッドトラッキングコントローラフレーム欠損時の補間
Vive PC 6DoF ありあり
Oculus Rift PC 6DoF ありあり
Cardboard スマホ 3DoF なしなし
Gear VR スマホ(Galaxy) 3DoF ありあり
Oculus Go スタンドアローン 3DoF ありあり
Mirage Solo スタンドアローン 6DoF ありあり

© 2018 pulse.Inc
Lenovo Mirage Solo with Daydream
スタンドアローンヘッドセットながら6DoF
コントローラは3DoF
中身はAndroid+Snapdragon 835
バッテリー稼働時間　約2時間半
定価￥55,296

© 2018 pulse.Inc
サイリウム
サイリウムとは
→アイドルのコンサートでファンが振っている光る棒
→昔は単色で化学発光
→現在は電気式で複数色を切り替え可能
VR内でもサイリウムを振られるように実装
ボタンを押すことで好きな色に切り替え可能
ユーザー⇔アクター　ユーザー⇔ユーザーの
インタラクションに活用

© 2018 pulse.Inc
エージング
どれくらい連続稼働できるか調べる必要があった
→HMDを被っていないとスリープしてしまう
対策
1.装着センサーを無効にするため、シールで隠した
2.動きがないとスリープしてしまうので、ターンテーブルで回し続けた

© 2018 pulse.Inc
スピーカーvsヘッドフォン
VR体験ではヘッドフォンがいいと言われる
ライブだと大きな音、振動、一体感などが求められる
→ 逆に立体音響のような繊細な指向性は求められない
今回はヘッドフォンを使用したが、今後はスピーカーの使用も検討中

© 2018 pulse.Inc
ライブプラットフォームに求められる通信
リアルタイム通信で送らなければいけないデータ
- アクターのモーション・表情
- 音楽・歌声
- ライトやビジョンの演出
- 観客の動き
タイミングが揃わないとライブ感は得られない

© 2018 pulse.Inc
通信の安定化
通信が不安定になると・・・
→音やモーションが途切れる
→ライブ体験の質が大幅に下がる
通信を安定させるために効果的なこと
→強力なインフラを準備する
→高スペックなマシンを用意する
→通信量を減らす

© 2018 pulse.Inc
通信量の削減
通信量を減らすために効果的だったこと
〇送信モーションデータの削減
　・毎フレーム送らず受信側で補間
　・見た目に影響しないボーン情報を送信しない
〇ボーン情報をQuaternionではなくEulerで送信
　・float4個からfloat3個に削減
× ボーンの回転情報をfloatではなくbyteに圧縮
　・通信量は削減できたが動きがカクカクしてしまった
通信量約90%減を達成
改善前改善後

【CEDEC2018】おうちでVRライブ体験バーチャルライブプラットフォーム「INSPIX」のこれまでと今後

Recommended

Recommended

More Related Content

Featured

Featured (20)