My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC
•
15 likes•4,627 views
(in Japanese), I was invited to a honorable speech hosted by Skyperfect TV. In that speech I'm recalling my life in MPEG. The topics cover mainly MPEG-4 and H.264.
Recommended
More Related Content
Viewers also liked
Viewers also liked (8)
Similar to My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC
Similar to My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC (20)
More from Osaka University
More from Osaka University (20)
My MPEG life: MPEG-2, MPEG-4, H264/AVC and H.265/HEVC
- 2. 簡単な自己紹介 2
- 5. 10k 100k 1M 10M 176x144 (テレビ電話) 320x240 (PCｽﾄﾘｰﾐﾝｸﾞ) 720x480/VGA (通常TV映像) 1920x1080 (HD映像) 3840x2160 (4K UHDTV) MPEG-2(1994) H .261 M PEG-1 (1992) H.263 MPEG-4(1999) H.264/AVC (2003) 100M ISDNテレビ電話 デジタルSD放送 / DVD (6M～8M) デジタルHD放送 / HD-DVD (20M～28M) Blu-ray DVD ワンセグ H.265/HEVC (2013) 5
- 6. ISO/IEC JT1の組織図とMPEGの位置づけ ! ! ! International Organization for Standardization ! ! International Electrotechnical Commission IEC 国際標準化機構 ISO 国際電気標準会議 ! ! ! ISO/IEC Joint Technical Committee ISO/IEC 合同技術委員会 1 ISO/IEC JTC1 SC1 SC2 SC29 WG1(JPEG, JBIG) WG11(MPEG) WG12(MHEG) SC :Sub Committee, 専門部会 WG :Working Group, 作業部会 JPEG :Joint Photographic Coding Experts Group MHEG :Multimedia and Hypermedia Information Coding Experts Group MPEG :Moving Picture Experts Group ﾏﾙﾁﾒﾃﾞｨｱ 符号化 6
- 7. 画像符号化規格の変遷 • ISO/IEC 標準規格 と ITU-T 勧告 ISO/IEC ITU-T MPEG-1 MPEG-2 MPEG-4 Part2 H.261 H.262 H.263 H.26L Storage Media ～1.5Mbps Generic ～80Mbps Generic AV 10k～40Mbps ISDN TV phone p×64kbps B-ISDN Comm. ～80Mbps PSTN TV Phone ～28.8kbps Common Text 1990 1992 1994 1996 1998 2000 2002 2004 Technically Aligned MPEG-4 Part10 H.264 2003年3月作業完了 7
- 8. トピック • 動画像符号化標準化の歴史! ❖ ＭＰＥＧ１：ＣＤ-ROMに動画像! ❖ ＭＰＥＧ２：デジタルＴＶ放送の実現! ❖ ＭＰＥＧ４：オブジェクト表現への挑戦! ❖ H.264/AVC: ITUチームの勝利! ❖ H.265/HEVC：実はドコモが仕掛けた標準! • 標準化裏話 8
- 13. ❏ ❏メディアの性質を利用 ➤ 2値画像:白黒画素が連続しやすい ランレングス符号化 ➤ 静止画: 近くの画素は似ている DCT ➤ 動画像: 現画面は前画面に似ている 動き補償予測 ❏ ❏人間の視聴覚特性を利用 ➤ 画像: 色信号の劣化には鈍感 色はサブサンプル ➤ 音声: 大音と同時にある小音は聞こえにくい マスキング ❏ ❏符号の発生確率の偏りを利用 ➤ 符号発生確率に差がある 可変長符号化 まずは画像符号化（圧縮）のおさらい 13
- 15. 画像圧縮とは 15 視覚特性を考慮した上で、画像等の持つ 空間的、時間的、統計的冗長性 を除く事によってデータ量を減らすこと この辺は一様なの で冗長度が高く圧 縮しやすい この辺は入り組ん でいるので冗長度 が 低く圧縮しにくい 画像
- 16. ❏ ❏空間的冗長性の利用 ➤ DCT/量子化 ❏ ❏時間的冗長性の利用 ➤ 動き補償予測 ❏ ❏統計的冗長性の利用 ➤ 可変長符号 画像圧縮の原理 -冗長性からの分類- 16
- 17. ❏ メディアの性質: 自然画では隣り合う画素は似ている ❏ 視覚の性質: 人間は細かな絵柄は見えにくい ❏ 画像を空間周波数成分に分解 ➤ 信号が低周波成分に集中する ❏ 低周波成分のみ伝送 ➤ 少しのデータで伝送可能 空間冗長性の利用 17
- 24. 転送レート 64Kbps～2Mbps ～1.5Mbps ～15Mbps（現行TV） ～80Mbps（HDTV） 代表的画像サイズ 360×288×30 （ﾉﾝｲﾝﾀｰﾚｰｽ） 360×288×30 （ﾉﾝｲﾝﾀｰﾚｰｽ） 基本アルゴリズム 動き補償予測 ＋DCT 動き補償予測 ＋DCT フレーム構造 フレーム内符号化 ＋フレーム間符号化 フレーム内符号化 ＋フレーム間符号化 ＋両方向予測符号化 フレーム内符号化 の周期 不定期 （最低132frame中 1frame） 定期 （GOP単位） その他 標準化時期 1990年12月 勧告 1992年11月標準化 主な用途 ISDN網用テレビ電 話・会議 CD、DAT H.261 MPEG1 MPEG2 720×480×30（ｲﾝﾀｰﾚｰｽ） HDTV 動き補償予測 ＋DCT フレーム内符号化 ＋フレーム間符号化 ＋両方向予測符号化 定期 （GOP単位） ・ﾉﾝｲﾝﾀｰﾚｰｽ/ｲﾝﾀｰﾚｰｽ 適応 符号化 ・ｽｹｰﾗﾋﾞﾘﾃｨ拡張 1994年11月 標準化 汎用 (DVD, 放送など) H.261とMPEG1、MPEG2 24
- 25. I B B P B B P I : Intra (ﾌﾚｰﾑ内符号化） P : Prediction (前方向ﾌﾚｰﾑ予測符号化） B : Bi Prediction (両方向ﾌﾚｰﾑ予測符号化） MPEG H.261 I P P P P P P フレーム予測構造 25
- 26. MPEG-4標準化でやったこと ❖ １９９２年から１９９６年頃にかけて、超低ビットレート符号化（VLBR Coding)の研究がブームとなり、多くが挑戦。しかし、モバイルだから超低 ビットレート／誤り耐性という特徴を求めたことは失敗。! ❖ 私の標準化チームもオブジェクト符号化を提案した。これは画像を階層的に 表現するものでMPEG-4の主特徴となったが商用化は失敗。! ❖ DCT係数予測、動きベクトルの精緻化、算術符号化の導入などをやって MPEG1/2より30%改善程度。 26
- 27. スプライト符号化 27
- 28. スプライト符号化 28
- 30. ISO標準化で思うこと ✴ それまで「大学の研究が一番進んでいて、企業は応用開発を考える ところだ」と思っていた青い考えが木っ端みじんに粉砕。 ✴ 標準化＝世界の英知を集めた競争／共同開発。 ✴ 交渉、発表は 全て個人ベース。会社の肩書きなんて役立たず。 ✴ 腹芸、論破、ロビー活動、交渉、法的記述で個人能力は成長。 ✴ インナーサークル（内輪） は存在し、入るための場外活動が重要。 ✴ 英語が話せないということは論外。 30
- 33. 2001年 ITU-Tグループが地道に先行 FDIS: 最終標準規格案 1997 1998 1999 2000 2001 2002 2003 ITU-T (VCEG) ISO/IEC (MPEG) H.26L 提案募集 H.26L 第1草案 MPEG-4 Part 2 Ver. 1 FDIS MPEG-4 Part 2 Ver. 2 FDIS 新規 提案評価 `98/01 `99/10 `98/10 `99/11 `01/07 `01/12 `03/03 J V T 最終標準規格案 H 2 6 4 / A V C共同作業班発足 33
- 35. H.264 Baseline Profile 画像サイズ：352x288 フレームレート：15fps ビットレート：96 Kbps MPEG-4 Simple Profile 画像サイズ：352x288 フレームレート：15fps ビットレート：96 Kbps 35
- 36. Akiyo QCIF 15Hz Y-PSNR[dB] 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 Bit-rate [kbit/s] 0 7.4 14.9 22.3 29.7 37.1 44.6 52 H.263-Base MPEG-4 SP H.264/AVC BP H.264/AVC Baseline Profileの客観的性能 Codec MPEG-4 SP H.263 Baseline H.264/AVC Baseline 29.37% 40.59% MPEG-4 SP - 15.69% By courtesy of Heinrich Hertz Institute Berlin, Germany 36
- 37. H.264/AVC と MPEG-4 パート2との比較 要素技術 MPEG-4 (Simple) H.264/AVC (Baseline) フレーム内予測 変換係数の予測 画素値の予測 動き補償の単位 16x16画素のブロックと 8x8画素のブロックの2種類 16x16画素のブロック～4x4 画素のブロックの7種類 動き補償の精度 ½ 画素精度まで ¼画素精度まで 参照画像の枚数 1枚 5枚 動きベクトルの個数 1または4個 1, 2, 4または16個 変換方法 8x8画素単位の離散コサイン 変換(DCT) 4x4画素単位の整数変換 エントロピー符号化 ハフマン符号化 適応ハフマン符号化* ループフィルタ なし あり エラー耐性ツール 組込み型 組込み型 冗長 度削 減 時間 方向 冗長 度削 減 空間 方向 * H.264/AVC main プロファイルには算術符号化が含まれる 37
- 38. H.264/AVC映像符号化標準規格のHigh Profileへの貢献に 対して、米国のエミー賞(Primetime Emmy Engineering Awards)を団体で受賞。 ITUとISO/IECのビデオ・エキスパート・グループの共同検討 チーム (通称JVT、ドコモを含む全9団体）が受賞。 ! Emmy賞とは：米国テレビ芸術科学アカデミー（The Academy of Television Arts & Sciences）の主催で、アメリカ のテレビドラマを始めとする番組のほか、テレビに関連する様々 な業績に与えられる賞である。 過去1996 年に ISO/IEC SC29（代表、安田浩 元東大教 授、現東京電機大学）JPEG、 MPEG-1、MPEG-2の国際標 準化活動の功績に対して、第50回米国エミー賞（技術開発部 門）を受賞 Technology and Engineering Emmy Award エミー賞（団体）の受賞(2008) 38
- 39. エミー賞技術部門 授賞式出席模様(2008.8.23 18:00-22:00) 受賞会場：Renaissance Hollywood Hotel and Spa, SONY Thomson HHI Microsoft Motorola Docomo Dolby 出席者：技術部門賞の関係者200人ほど 39
- 40. 受賞後の記念撮影 40
- 41. 知財について ❖ MPEG-2の規格特許は一本数億円の価値だとか？ 秘密。! ❖ 多くの私企業ではR＆Dの仕事は知財の確保。! ❖ どちらが大事？ 1. N社は寄書提出前に書く。2. S社とP社 は特許を会合中に書く。! ❖ 会合終了時に標準ドラフトの不備を指摘する。自ら技術提 案はしない。待っていれば、自分が書いた特許にぶつかる 寄書を誰か出す。自分が提案しなくても特許は増える。 41
- 43. と思ったら。同僚が。。。 43
- 44. H.264の２倍の効率：H.265/HEVC 2003 2013 ドコモ端末にて 提供される動画サービス (2001) (2006) (2012) (2009) HEVCによる モバイル動画の 高精細・高品質化 10年 3GPP Rel.12 (予定) 2014/61998 H.265 HEVC 44
- 45. HEVC標準化とドコモの関わり ■ ドコモは「動画トラヒック急増によるモバイル網の逼迫」を見越し、H.264の性能を超える方式の必要性を提起。 ■ 全世界の英知を集め最高性能の方式構築を目指し、ITU-T/ISO共同標準化作業の立ち上げに貢献。 – ドコモ主催の標準化会合で、ITU-Tから正式にISOとの共同作業提案を表明。8か月後に共同作業班JCT-VC*1が設立。 – JCT-VCの下でHEVC標準化が開始し、HEVC要求仕様はドコモ提案(圧縮率/複雑度要求等)に基づく。 ■ ドコモが開発した方式に基づく共同提案は、HEVC提案募集に対する最優秀方式の１つ(27提案中)と評価。 ■ 各社提案の技術採否審議の主要メンバーや、HEVC規格参照ソフトウェア(HM)の主査を担う。 ■ 圧縮性能、機能性、演算量低減、プロファイル提案等の幅広いドコモ提案が採用。 *1 Joint Collaborative Team on Video Coding HEVC標準化活動(JCT-VC) 規格完成 構想・要求条件議論 共同提案 プロファイル決定 （ドコモ案ベース） 技術提案（圧縮性能、機能性、演算量低減 等） ドコモの動画圧縮方式開発 技術採否審議・参照ソフトウェア(HM)主査 次期圧縮方式 必要性提起 20122011 2013201020092006-2008 構想検討 構想／要求 仕様を提案 標準化会合 主催 テスト 動画提供 最優秀方式 の1つと評価 HEVC標準化 プロファイル 提案 モバイル 実時間再生 実証 ドコモの関わり 4K実時間再生（ＰＣ） 要求仕様(初版) (ドコモ案ベース) ITU-TからISO に共同作業提案 検証必須 動画に採用 JCT-VC設立 要求仕様・ 提案募集 発行
- 46. 46
- 47. 47
- 48. ＨＥＶＣの主な技術 48 画面間 予測 フレーム メモリ エントロピー 符号化 － ＋ 動き 検出 変換 量子化 逆量子化 逆変換 画面内 予測 空間方向の冗長度削減 画像の復元画像を複数の ブロックに分割 フィルタ 処理 時間方向の冗長度削減 0 10 0 011 ① ② ② ③ ① 高解像な動画の効率圧縮のため、より大きなブロックサイズの導入 ② 画面内・画面間予測でさらに高精細な予測方法の実現 ③ 復号画像を原画により近づけるフィルタ処理の導入
- 49. - 7 - 49
- 51. ドコモにおけるHEVCの商用利用 51 ©創通･サンライズ 機動戦士ガンダム ©Magica Quartet/Aniplex ･ Madoka Partners ･ MBS ©ANOHARA PROJECT 魔法少女 まどか☆マギカ あの日見た花の名前を 僕たちはまだ知らない。 iPhone6/6plus 14冬-15春モデル 9機種 SC-04F SH-04F F-05FSO-04F SO-03F F-06F SH-06F SO-05F SO-02G SC-01G SC-02GSO-01G F-02G SH-02G F-03GSH-01G SC-03G dアニメストア HEVC対応作品例 14夏モデル 8機種 dアニメストア HEVCコンテンツ対応端末 iPhone FaceTime(TV電話)でHEVC対応 FaceTime
- 53. H.266 ! to be continued?