2016-06-25 Google I/O Extended 報告会 Fukuoka 2016 での講演資料 "Audio and Music"

1. Google I/O Extended 報告会
Fukuoka 2016
“Audio and Music”
2016-06-25
@yukio_tada
#io16jp
https://ja.wikipedia.org/wiki/ひよ子

2. /45
agenda
1. “Android high-performance audio”
‐ May 19 15:00-16:00
‐ https://youtu.be/F2ZDp-eNrh4
2. “Spatial Audio and Immersion – VR’s Second
Sense”
‐ May 20 9:00-10:00
‐ https://youtu.be/Na4DYI-WjlI
3. “What’s next for the web?”
‐ May 19 13:00-14:00
‐ https://youtu.be/bK6Ah68jEX8
4. Android Pro Audio ブース展示
1

3. /45
example of android music apps
‐ DRC – Polyphonic Synthesizer
‐ https://play.google.com/store/apps/details?id=com.imaginand
o.drc
‐ https://youtu.be/F2ZDp-eNrh4?t=2m2s
‐ edjing Scratch – digital vinyl
‐ https://play.google.com/store/apps/details?id=com.djit.apps.e
djing.scratch
‐ https://youtu.be/F2ZDp-eNrh4?t=3m47s
‐ KORG iKaossilator
‐ http://www.korg.com/jp/products/software/ikaossilator/
‐ https://youtu.be/F2ZDp-eNrh4?t=4m23s
‐ Android 版は未リリース
‐ ROLI NOISE
‐ https://roli.com/products/noise
‐ https://youtu.be/F2ZDp-eNrh4?t=5m5s
‐ Android 版は未リリース
2

4. /45
“Latency” and “Glitch”
‐ Latency: 遅延
‐ 例) ドラムを叩いてから実際に音が出るまで
‐ 10ms(1/100秒)遅れると知覚できる
‐ プロの電子楽器の世界では(遅くとも)4ms以下が基準
‐ 映像の世界は60fps(16.6ms)なので、音の方が要求が厳しい
‐ Gritch: 音切れ、ノイズ
‐ ブツッ、チリチリ、ブツブツ、…
‐ 何らかの原因で音声データの生成が間に合わなくなったときに起きる
‐ Android は iOS と比較してこれらの問題が発生しやすい
‐ Java
‐ 機種依存
‐ Latency と Glitch はトレードオフ
‐ Latency 小 → バッファ小 → ちょっとした処理の遅れで Glitch 発生
‐ これらを高いレベルで解決することが音楽アプリケーション実装の鍵
3

5. /45
WALT(入出力遅延測定ツール)
4
https://github.com/google/walt

6. /455

7. /456
サンプリングレートを
ハードコーディングしない

8. /457

9. /458
バッファサイズが大きすぎる
(48KHz x 4000 sample = 83ms)

10. /459

11. /4510

12. /4511

13. /4512

14. /45
Systrace
13

15. /4514

16. /45
Android Pro Audio
‐ Android M (API Level 23) で FEATURE_AUDIO_PRO flag 導入
‐ Latency 20ms (目標10ms)
‐ 現時点での対応機種
‐ Nexus 9
‐ Nexus 5x
‐ Nexus 6P
‐ 引き続きハードメーカー・チップメーカーと連携しながら対応を
進めていく計画とのこと
15

17. /45
@ Day0 Intel Google I/O Party
‐ https://youtu.be/_YT0eXuN8oE
16

18. /45
nVIDIA SHIELD タブレット向けイメージ
17

19. /45
Samsung Professional Audio
(SAPA)
18

20. /4519

21. /45
session summary
‐ 音楽アプリを開発する際には「latency」「glitch」を
減らすことが重要
‐ 現時点で音楽アプリを開発する際のポイント
‐ (1) サンプルレートとバッファサイズを適切に設定する
‐ (2) バッテリセーブモードに入らないように定期的にタッチイ
ベントを送る
‐ (3) Systraceを使って処理時間を測定しパフォーマンスを改善
する
‐ Android M から導入された「Android Pro Audio」の
フレームワークを使うことのできる機種がこれから増
えていく見込みなので期待しましょう
20

22. /45
agenda
1. “Android high-performance audio”
‐ May 19 15:00-16:00
‐ https://youtu.be/F2ZDp-eNrh4
2. “Spatial Audio and Immersion – VR’s Second
Sense”
‐ May 20 9:00-10:00
‐ https://youtu.be/Na4DYI-WjlI
3. “What’s next for the web?”
‐ May 19 13:00-14:00
‐ https://youtu.be/bK6Ah68jEX8
4. Android Pro Audio ブース展示
21

23. /45
spatial audio(空間オーディオ)とは
‐ 音源との位置関係、壁などの反射、頭や耳の形、など
を元に、実際の3D環境で聞こえる音を再現する技術
‐ 簡単な例
‐ 音源が近づいてくると音が大きくなる
‐ 音源が右側に移動すると右耳に入ってくる音が大きくなる
‐ 音が壁に反射すると反射した音が遅れて聞こえてくる
‐ 複雑な例
‐ 壁の材質によって反射する音の音量や音質が変わる
‐ 頭を動かすと聞こえる音が変わる
‐ 耳の形による音の変化(周波数・位相差)を利用して、音源の前
後・上下を聞き分けることができる
22

24. /4523

25. /4524
初期化
SoundObject
生成
音を鳴らす
room effect
設定

26. /4525

27. /4526

28. /45
GVR Sample Video
‐ https://youtu.be/I9zf4hCjRg0
27

29. /45
Sample code / apk
28
https://github.com/googlevr/gvr-unity-sdk/tree/master/Samples/SpatialAudio

30. /45
session summary
‐ spatial audio は VR やゲームアプリの臨場感を高める
上で重要な技術
‐ Google VR SDK で spatial audio がサポートされてい
る
‐ Gogole VR SDK は Unity・Android・iOS の3プラット
フォームに対応
‐ spatial audio は以下の4ステップで簡単に利用可能
‐ 1) Initialize
‐ 2) Create a sound object
‐ 3) Play sound
‐ 4) Add room effects
‐ GitHub でサンプルの apk ファイルが公開されている
のでまずはそれを試してみるのが良いのでは
29

31. /45
agenda
1. “Android high-performance audio”
‐ May 19 15:00-16:00
‐ https://youtu.be/F2ZDp-eNrh4
2. “Spatial Audio and Immersion – VR’s Second
Sense”
‐ May 20 9:00-10:00
‐ https://youtu.be/Na4DYI-WjlI
3. “What’s next for the web?”
1. May 19 13:00-14:00
2. https://youtu.be/bK6Ah68jEX8
4. Android Pro Audio ブース展示
30

32. /45
session summary
‐ Progressive Web App, Web Bluetooth,
Physical Web, Web USB, ...は割愛
‐ Web MIDI
‐ MIDI: 楽器と楽器をつなぐためのプロトコル
‐ Web MIDI API: Web アプリケーションから MIDI 機器を制御する
ための API
‐ Web MIDI API 実装状況
‐ Chrome 43(2015-05)以降で標準サポート
‐ Firefox 実装進行中、レビュー段階
‐ 楽器メーカーやアーティストから Web MIDI API に対応した Web
アプリケーションがリリース、実用フェーズに
‐ Soundmondo for reface
‐ Madeon’s Adventure Machine
31

33. /45
Soundmondo
32
https://youtu.be/Zp_LI1UiCxo?t=1m

34. /45
Madeon’s Adventure Machine
33
http://www.madeon.fr/adventuremachine/

35. /45
agenda
1. “Android high-performance audio”
‐ May 19 15:00-16:00
‐ https://youtu.be/F2ZDp-eNrh4
2. “Spatial Audio and Immersion – VR’s Second
Sense”
‐ May 20 9:00-10:00
‐ https://youtu.be/Na4DYI-WjlI
3. “What’s next for the web?”
‐ May 19 13:00-14:00
‐ https://youtu.be/bK6Ah68jEX8
4. Android Pro Audio ブース展示
34

36. /4535
http://jamstik.com/

37. /4536
https://www.pioneerdj.com/ja-jp/product/controller/ddj-wego3/black/overview/
https://www.algoriddim.com/djay-android

38. /4537
https://roli.com/

39. /4538
http://www.korg.com/jp/products/software/ikaossilator/

40. /4539
https://youtu.be/QlDLX2wrwxE

41. /4540
https://youtu.be/dMK1OdfNN0E
https://play.google.com/store/apps/details?id=com.yurisuzuki

42. /4541
https://youtu.be/kUslnbMCY0E

43. /45
おまけ
42

44. /45
Web Music Developers JP
43

45. /45
音楽アプリ(DJ)ハッカソンやります
‐ 日時: 7月30日(土)
‐ 場所: Google Japan (六本木)
‐ やること:
DJ がライブで使えるような Web アプリを開発する
‐ 今回の特徴:
優秀作品は実際のライブイベントにてデビュー!
‐ 詳細は Web Music Developers JP の ML にて
(近日発表)
‐ 過去のハッカソン(4回開催)の様子は、
”Web Music Developers JP ハッカソン”
で検索
44

46. /45
ありがとうございました!
‐ 本日の資料は slideshare で共有いたします
‐ @yukio_tada
‐ #io16jp
45