ドワンゴ研究開発部の成果をStreaming Conferenceで発表しました。 https://streaming-lab.connpass.com/event/121623/ https://dwango.github.io/articles/av1hwencoder/

1. AV1 リアルタイム
ハードウェアエンコーダ
る @ ドワンゴ
1

2. る と呼んでください
@yue_roo
2
• ドワンゴ 2017年入社 研究開発部に所属
• 学生時代はデータマイニング系の研究室にいました
yue82

3. AV1 リアルタイム
ハードウェアエンコーダ
3

4. 4
• オープンかつロイヤリティーフリーな
動画圧縮コーデック
• 従来のコーデックよりも高画質
• Alliance for Open Media(aom)が規格化を進めている
AV1

5. 5
20
22
24
26
28
30
32
34
36
38
0 200 400 600 800 1000 1200 1400 1600
PSNR(dB)
ビットレート (kbps)
aom (2pass)
aom (1pass)
x264
vp9
jm
2018年4月時点

6. 6
公式ページ曰く
https://aomedia.org/av1-features/

7. 7
0
500
1000
1500
2000
2500
3000
3500
4000
0 200 400 600 800 1000 1200
エンコード時間(sec)
ビットレート (kbps)
aom_cpu-used0
aom_cpu-used1
aom_cpu-used2
aom_cpu-used3
aom_cpu-used4
aom_cpu-used5
aom_cpu-used6
aom_cpu-used7
aom_cpu-used8
全探索
部分探索
2018年4月時点
たとえば 一番高速な cpu-used=8 の場合
約30sec / 15frame (CIF 352x288)
=> 0.5 fps

8. 8
•専用ハードウェアを作って
リアルタイムエンコードを可能に！
リアルタイム化
https://aomedia.org/about/av1-roadmap/

9. 9
どの部分をハードウェア化するのか？
ローカルデコード画像
原画像 レート制御 算術符号化 圧縮画像
動き予測 動き補償 フィルタモード決定

10. 10
重い処理
ローカルデコード画像
原画像 レート制御 圧縮画像
フィルタ動き予測 モード決定
算術符号化
動き補償

11. 11
• 動きベクトルを予測
• 画質劣化や符号量を見積もり、最適なモードを決定
• 動きベクトルや様々な情報から予測画像を生成
• エンコード画像を順に符号化
動き予測
モード決定
動き補償
⇒ 並列化に向いている
算術符号化
⇒ 並列化に向いていない

12. 12
FPGA上に実装
ローカルデコード画像
原画像 レート制御 算術符号化 圧縮画像
モード決定動き予測 動き補償 フィルタ

13. 13
• 実装がハードウェア向きではないもの
• CfL, IntraBC, GlobalMotion, Pallet ..
• リアルタイム化すると回路規模が莫大なもの
• DCT64x64以上, ADST16x16以上 ..
• 画質に大きく影響しないもの
• 参照フレーム上限, 予測モードの一部 ..
エンコードツールの削減

14. 14
•720p 30fps リアルタイムエンコード達成
• 1080p 30fps はチューニング中
リアルタイム性能

15. 15
画質
25
27
29
31
33
35
37
39
41
43
0 1000 2000 3000 4000 5000 6000 7000
PSNR(dB)
ビットレート (kbps)
niconico_av1
x264_medium_2pass
aom_kf25_cpu-used4
aom_kf25_cpu-used8
svtav1

16. 16
AV1エンコーダをFPGAで実装
720p 30fpsでリアルタイムエンコード
ご静聴ありがとうございました！