アバター生放送支援アプリ「アバれぽ」
•
0 likes•805 views
VRMが使える、読み上げアプリ「アバれぽ」の紹介です。はーいよーいスタート。 2019/02/19 VRM勉強会
Recommended
More Related Content
What's hot
What's hot (20)
More from torisoup
More from torisoup (20)
Recently uploaded
Recently uploaded (9)
アバター生放送支援アプリ「アバれぽ」
- 2. 自己紹介 • とりすーぷ • バーチャルキャスト社 • Unityエンジニア • 人類を美少女にする仕事をしています • Microsoft MVP (Developer Technologies) 2018～
- 3. 自分のアバター • カシスちゃん • デザイン、イラストさえばし（@saebashi）さん • ３Dモデリング：おぐら（＠OGOG_Ogura）さん ちなみにVRMモデ ルは今朝６時に納 品された。おぐら先 生本当にすごい。
- 5. 「アバれぽ」 ちなみに、アバれぽ は Avatar Reporterの略。 もともとは「Virtual Streamer Assistant」と いう名前にしようとしたが、 長すぎたので却下となった。 （その名残で、名前空間 はそれを略した「Vista」 になっている。） アバター生放送を支援するWindows向けアプリ
- 6. できること • VRMをロードして表示 • 背景のクロマキー合成、透過表示 • 外部からテキストメッセージの取得 • ニコ生、Twitter、その他任意のアプリケーションから • テキストメッセージの読み上げ＆字幕表示 • 棒読みちゃん、VOICEROID連携 要するに、 テキストの読み上げに 特化したデスクトップ マスコットです
- 7. データフロー Twitter 生放送 コメント その他 棒読みちゃん VOICEROID マイク テキストメッセージ 音声 読み上げ （リップシンク用にオーディオをループバック） 生放送 映像配信
- 9. 使いみち２ • 登壇時にTwitterのリアルタイム読み上げ • 見た目のインパクトはある • 気が散ってスライドの内容がオーディエンスに 伝わらないデメリットがある
- 10. 使いみち３（妄想） • アバター登壇 / アバター生放送 • 表情やモーションは外部から制御可能にする予定 • APIを公開予定 • Webカメラで認識した結果を アバれぽ 上で再生とか • 字幕の表示もできるので、音声認識読みあげ勢にもやさしい 「受肉登壇」「受肉生 放送」と言ったほうが ニュアンス的には正し いが、字面がよくな かったのでこの表現に した
- 11. 使いみち４（妄想） • リアルタイムゆっくり講座 • プレゼンスライドに台詞を埋め込み • 台詞を読み上げながら自動でスライド送り＆読み上げ • 試してはないが、たぶんできると思う
- 12. 使いみちはいろいろありそう • APIを公開するのでいろいろ試してほしい • 読み上げ • 表情操作 • HumanPose • カメラ操作
- 13. 技術的な話
- 14. 技術的な話 • 開発環境 • 使ってるライブラリ • アーキテクチャ
- 15. 開発環境 • Unity 2018.3.4f1 • .NET 4.X + C# 7.3
- 16. 使っているライブラリとか • UniVRM • UniRx • Zenject • OVRLipsync • Protocol Buffers • CoreTweet • UnityBoyomichanClient • UnityNicoliveClient • UniWinApi
- 17. UniVRM • VRMのUnity向け標準インポータ/エクスポータ • Unityならとりあえずこれ使えばOK • glbロードにも対応している
- 18. UniRx • Reactive Extensions for Unity • 使ってない人はいないと思うくらいメジャーなライブラリ • 最近追加された「UniTask」がめちゃくちゃ便利 • https://github.com/neuecc/UniRx
- 19. Zenject • Dependency Injection Framework for Unity3D • DI ContainerをUnityで使えるようにするライブラリ • すごく便利だけど、すごく難しい • https://github.com/modesttree/Zenject
- 20. OVRLipsync • リップシンク（口パク）を行うライブラリ • マイクデバイスを指定するだけで、音の成分がとれる • 結果をVRMBlendShapeProxyにそのまま渡せば口パクできる • https://developer.oculus.com/downloads/package/oc ulus-lipsync-unity/
- 21. UniWinApi • Windows APIをUnityから実行するライブラリ • @kirurobo さん作のライブラリ • ウィンドウの透過、マウス操作などができる • サクっと使えるのですごいイイ！ • https://github.com/kirurobo/UniWinApi
- 22. CoreTweet • Twitter連携ライブラリ • .NET向けのTwitterライブラリ • Unityの.NET バージョンが上がってやっと使えるようになった • UniRxにそのままシームレスに連結可能 • https://github.com/CoreTweet/CoreTweet TwitterのDeveloper申 請、なんであんなに面倒 くさくなってしまったん？
- 23. UnityBoyomichanClient • 棒読みちゃんをUnityから制御するライブラリ • 自分がつくった • TCP Socket経由で棒読みちゃんを制御できる • https://github.com/TORISOUP/UnityBoyomichanClient プロセス間通信も試してみ たけど、一部メソッドが monoでは未実装のため 実行時エラーが出てしまい 動かなかった。 そのためなくなくTCP Socketにしたという経緯 がある。
- 24. UnityNicoliveClient • ニコ生APIをUnityから呼び出すライブラリ • 自分がつくった • 番組情報取得やコメントの取得も可能 • https://github.com/TORISOUP/UnityNicoliveClient 実はニコ生側のAPIを 作ったのも自分なので、 完全に自給自足である
- 25. 技術的な話 • 開発環境 • 使ってるライブラリ • アーキテクチャ
- 26. アーキテクチャ • オニオンアーキテクチャを採用 • Unity向けにちょっとアレンジ • Assembly Definition Fileでレイヤ間の依存を制御 もんりぃ先生さんが提唱す る、Clean Architecture for Unity も最初は検討し た。ただ本質は両方とも 同じはずなので、より単純 なオニオンアーキテクチャ を今回は採用してみた。
- 27. オニオンアーキテクチャ for Unity • Domain層が一番の中核 • Infra層が実装本体 • App層が手続きを書くところ • Presentation層が Unityとの境界 本当はInfra層が MonoBehaviourを参照 することは禁止したい。 だが実際は MonoBehaviourを意識 せざるを得ない場合もある ので一応参照は許してい る。
- 28. やってみた感想 • ○ 実装の差し替えや機能追加が簡単にできる • ○ Zenjectとの相性がよい • ✕ ドメインのモデリングがむずかしい • ✕ 処理内容に対して記述量が増える 「これ本当にオニオン アーキテクチャなの か？」という不安と常 に戦いながら作ってい た。とりあえずモノには なったので多分あって るハズ…。
- 29. Unityとアーキテクチャ論 • LTでは語りきれない • どこかでガッツリ時間をとってこの辺の話したい • 登壇者が集まるようなら勉強会やりたい
- 30. 今後の予定
- 31. 今後追加する機能１ • 開発者向けAPIの提供 • REST API および UDP Socket • 読み上げ、表情、Human Poseなどを外から制御可能に • VRMのハブサービスとの連携 • まずはTHE SEED ONLINE との連携を予定
- 32. 今後追加する機能２ • 表情の自動制御 • 読み上げテキストを解析して表情を自動推定 • キーボードやゲームパッドの入力を反映 • アバターにゲームパッドをもたせて、 指の動きがX Inputに同期するみたいなことがしたい • アバターが実際にゲームで遊んでいるみたいに見える
- 33. 配布について
- 34. 配布 • 今春を目処にリリースしたい • ４月くらいまでには… • 体験版と有料版で別けるつもり • どういう差別化をするかは検討中 • 生放送配信用途なら体験版でも十分な感じにはしたい
- 35. 最後に
- 36. 感想 • アバれぽ、よろしくね！ • Unityの設計とかアーキテクチャの勉強会やりたいね • みんなちゃんと話聞いてた？