博士学生が語る、4K/8K/VR配信基盤の最先端とコンテンツ配信の未来
•Download as PPTX, PDF•
4 likes•2,786 views
JTF2017用発表スライドです。
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (12)
Similar to 博士学生が語る、4K/8K/VR配信基盤の最先端とコンテンツ配信の未来
Similar to 博士学生が語る、4K/8K/VR配信基盤の最先端とコンテンツ配信の未来 (20)
More from Takuma Nakajima
More from Takuma Nakajima (11)
博士学生が語る、4K/8K/VR配信基盤の最先端とコンテンツ配信の未来
- 1. 博士学生が語る、 4K/8K/VR配信基盤の最先端と コンテンツ配信の未来 2017/08/27 July Tech Festa 2017 1 電気通信大学 大学院情報システム学研究科 情報ネットワークシステム学専攻 博士後期課程3年 中島 拓真
- 2. 自己紹介 中島 拓真（なかじま たくま） Twitter: penguin2716 コンテンツ配信の効率化について 研究している電通大の博士課程学生 産学官連携研究員として TIS株式会社との共同研究を実施 分散配置された キャッシュサーバの効率利用による インターネット通信データ量の削減 2017/08/27 July Tech Festa 2017 2
- 3. 私が取り組んでいること AkamaiやAmazonの下に、 ISPが管理する階層CDNを作りたい 2017/08/27 July Tech Festa 2017 3 Tier1 ISP (e.g. NTT, AT&T, AOL) Tier2 ISP (e.g. OCN) Tier3 ISP Tier3 ISP Tier2 ISP (e.g. KDDI) Tier3 ISP Tier3 ISP Tier2 ISP (e.g. IIJ) Tier3 ISP Tier3 ISP 既存CDN CDNエッジの帯域不足でダウンロード速度が低下 →ユーザ満足度が低下し，サービス利用の中止につながる コンテンツ事業者の コスト負担も増大 CDNサービス利用量が 爆発的に増加しボトルネックに Tier1 CDN Tier2 CDN Tier3 CDN Tier3 CDN Tier2 CDN Tier3 CDN Tier3 CDN Tier2 CDN Tier3 CDN Tier3 CDN 既存CDN 近くのCDNエッジからダウンロードして高速DL →大容量コンテンツが利用可能になり、ユーザ満足度が向上 コンテンツ事業者の コスト負担が軽減 CDNサービス利用量が 劇的に減少しボトルネック解消
- 4. 目次 はじめに 通信量増大の仕組み 通信量削減のための関連研究の紹介 共同研究で生まれた次世代CDN技術 アクセス傾向の変化に追従する ハイブリッドキャッシュ制御 色タグ情報に基づく軽量分散協調キャッシュ制御 まとめ 2017/08/27 July Tech Festa 2017 4
- 5. YouTube、 見てますか？ 2017/08/27 July Tech Festa 2017 5
- 6. Netflix、Hulu、 見てますか？ 2017/08/27 July Tech Festa 2017 6
- 7. インターネット通信の8割は動画 通信量は5年で3倍に、1年あたり24%増大 2017/08/27 July Tech Festa 2017 7 [出典] “The Zettabyte Era: Trends and Analysis,” Cisco, 07-Jun-2017. [Online]. Available: http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/vni-hyperconnectivity- wp.html. [Accessed: 25-Jun-2017]. 5年で約3倍 約8割が動画
- 8. コンテンツは大容量化する 2021年には51%のテレビが4K画質に対応 2017/08/27 July Tech Festa 2017 8 [出典] “The Zettabyte Era: Trends and Analysis,” Cisco, 07-Jun-2017. [Online]. Available: http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-vni/vni-hyperconnectivity- wp.html. [Accessed: 25-Jun-2017].
- 9. 本当に、コンテンツは 大容量化するの？ もう十分じゃない？ 2017/08/27 July Tech Festa 2017 9
- 10. そう考えたあなたは 10年前も同じことを 考えていたはずです。 2017/08/27 July Tech Festa 2017 10
- 11. コンテンツの大容量化 データサイズが大きくなる データ軸が増える 2017/08/27 July Tech Festa 2017 11 8K 4K Full HD SD
- 12. 動画 時間 コンテンツの大容量化 データサイズが大きくなる データ軸が増える 2017/08/27 July Tech Festa 2017 12 横 縦 画像 縦、横、高さ、時間 VR さらに… 手触り、弾力、香り、…
- 14. 大容量コンテンツで 快適なユーザ体験 2017/08/27 July Tech Festa 2017 14
- 15. 大容量コンテンツで 快適なユーザ体験 2017/08/27 July Tech Festa 2017 15 まだー遅い 重い 混雑 早く！ 重い 止まった 高い もっと 安く 重い 遅い
- 16. 大容量コンテンツで 快適なユーザ体験 2017/08/27 July Tech Festa 2017 16 まだー遅い 重い 混雑 早く！ 重い 止まった 高い もっと 安く 重い 遅い ネットワークエンジニア
- 17. こうならないために 今考えなければ いけないこと 2017/08/27 July Tech Festa 2017 17
- 18. まずは相手を 知るところから 2017/08/27 July Tech Festa 2017 18
- 19. 通信量増大の原因 異なる視聴者が同じ動画を視聴する際に 同じ動画が何度も転送される 動画配信サーバ 視聴者 同じ動画がネットワークを 何度も通過 = 通信量増大の原因 視聴者 インターネット 2017/08/27 July Tech Festa 2017 19
- 20. キャッシュサーバで通信量削減 経路中のサーバで動画をコピーして保存 2回目以降のリクエストにはコピーした動画を再利用 動画配信サーバ 視聴者 視聴者 キャッシュサーバ 途中のサーバで 動画のコピーを保存して 次のアクセスで再利用 ネットワークを通過する 通信量を削減 キャッシュサーバから 動画を取得 インターネット 2017/08/27 July Tech Festa 2017 20
- 21. CDN事業者 コンテンツ配信の階層ネットワーク コンテンツ配信サーバを最上位とした階層構造 下層で通信を完結させて通信量を削減したい 広域コンテンツ配信 ネットワーク (CDN) 通信事業者B通信事業者A 動画配信サーバ 通信事業者の ネットワーク Request 2017/08/27 July Tech Festa 2017 21 階層間の通信路は コストが大きい
- 22. 既存の配信ネットワークの課題 上流との接続点がボトルネック化 少数拠点のCDNサーバに通信が集中し，通信品質が低下 キャッシュ容量の不足 動画総数の増大と高精細化に伴い， 単一キャッシュサーバでは容量が不足 2017/08/27 July Tech Festa 2017 22 通信事業者 CDNキャッシュサーバ 8K 4K Full HD SD CDNサーバへの負荷集中 動画の高精細化
- 23. 動画配信サービスのアクセス傾向 (1/2) 動画通信はアクセスの偏りが大きい [Cheng13] 一度見た動画はあまり見なくなる 視聴者はVoDサービスに推薦された動画を クリックしやすい 0 0.2 0.4 0.6 0.8 1 0 25 50 75 100 動画アクセスのCDF 動画の人気順位（%） 2017/08/27 July Tech Festa 2017 23 0 0.01 0.02 0.03 0.04 0.05 0.06 0 10 20 30 40 50 60 70 80 90 アクセス確率 動画の人気順位（%） 動画全体の10%が リクエストの70%を占める = 上位のキャッシュミスは ペナルティが大きい
- 24. 動画配信サービスのアクセス傾向 (2/2) 1時間で人気動画の20-60%が変化 [Yu06] 新規動画の追加や人気動画のランキング変化に起因 短時間でアクセス数が急激に変化する[Yin08] 突然のニュースやSNSの話題などに起因 1時間あたりの人気順位の入れ替わり 2017/08/27 July Tech Festa 2017 24 急激にアクセスが集中する動画
- 25. 現状考えられている 解決方法は？ 2017/08/27 July Tech Festa 2017 25
- 26. 動画配信サーバ 動画A 動画B 技術的な解決策：複数サーバを 組み合わせた分散協調キャッシュ トラフィックエンジニアリングを駆使して キャッシュサーバ間でデータを融通 2017/08/27 July Tech Festa 2017 26 動画配信サーバ 通信量増大 動画A 動画B
- 27. CDN事業者による 分散協調キャッシュの懸念事項 CDN事業者はネットワーク構造を把握していない 意図しない混雑経路の発生 トランジットリンクの過剰利用 2017/08/27 July Tech Festa 2017 27 ISPはCDN事業者の分散協調キャッシュを許容できない 動画配信サーバ 動画A 動画B 左右のキャッシュサーバ間の リンクが混雑するのでは？ 有料リンクの場合は できるだけ利用を避けたい
- 28. ネットワークの管理主体が キャッシュサーバを置けば 問題ないよね！ 2017/08/27 July Tech Festa 2017 28
- 29. ISPが管理するCDN: Telco-CDN 物理ネットワークを把握するISPが キャッシュサーバを配置してCDNを構成 懸念事項を払拭して分散協調キャッシュを運用 2017/08/27 July Tech Festa 2017 29 広域コンテンツ配信 ネットワーク(CDN) CDN事業者 通信事業者B通信事業者A 動画配信サーバ 通信事業者が 管理するCDN Request 研究の焦点 キャッシュサーバと ネットワークの両方を 同一の事業者が管理 Hit! 階層間の通信量を 大幅削減
- 32. 短い計算時間で 効率よく通信量を 削減する方法は？ 2017/08/27 July Tech Festa 2017 32
- 33. 準最適キャッシュ配置の考察 遺伝的アルゴリズムでネットワーク通信量を 小さく抑えるキャッシュ配置を計算 コンテンツのアクセス頻度によって ネットワーク中にキャッシュされる数が異なる 2017/08/27 July Tech Festa 2017 33
- 34. 効率的な分散協調キャッシュの検討 2種類のキャッシュ制御方針を組み合わせる 342017/08/27 July Tech Festa 2017 ①分散キャッシュ： サーバ間で異なるコンテンツを 保持して実効キャッシュ容量を拡大 ②重複キャッシュ： アクセス頻度の高いコンテンツは 多数のサーバで重複保持
- 35. ①色タグを付した分散キャッシュ サーバ間で異なるコンテンツを保持して 実効キャッシュ容量を拡大 キャッシュサーバとコンテンツに付された タグがマッチする場合にキャッシュ 352017/08/27 July Tech Festa 2017 Cache server Cache server Cache server Cache server 実効キャッシュ容量が最大4倍
- 36. ②人気コンテンツの重複キャッシュ キャッシュサーバ間の通信量を削減 人気コンテンツには複数の色を付してヒット率を向上 Cache server Cache server Cache server Cache server Popular contents Unpopular contents キャッシュヒット率を向上 362017/08/27 July Tech Festa 2017
- 37. 分散協調動作の例 基本的に動画は分散してキャッシュされる 一部の人気動画は重複して保持 2017/08/27 July Tech Festa 2017 37 動画ライブラリ 配信サーバ : 高人気の動画 : 低人気の動画
- 38. 動画リクエストの転送方法 リクエストされたコンテンツと色がマッチする 近くのサーバにリクエストを転送 CDNサーバ Video1.mp4 Video2.mp4 Video3.mp4 Video4.mp4 Video2.mp4 Color: Green Video3.mp4 Color: Blue REQ REQ Video2.mp4 Video3.mp4 キャッシュ領域 2017/08/01 D論研究審査 38 ネットワーク内部に キャッシュされた動画を 活用して通信量削減
- 39. キャッシュサーバの彩色方法 各キャッシュサーバは四色定理の要領で 事前に色タグが付される 下図は，同じ色が隣り合わず， 色間距離が大きくなるように彩色した例 392017/08/27 July Tech Festa 2017
- 40. コンテンツの色タグ設定方法（1/2） 色タグはビット列で表現 各ビットが各色に対応 人気の動画には多数の ビットを立てておき， 多数のサーバで保持させる 2017/08/27 July Tech Festa 2017 40 # of colors R G B Y 4 1 1 1 1 3 1 1 1 0 1 1 0 1 1 0 1 1 0 1 1 1 2 1 1 0 0 1 0 1 0 1 0 0 1 0 1 1 0 0 1 0 1 0 0 1 1 1 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 1111 1110 1100 1000
- 41. コンテンツの色タグ設定方法（2/2） 動画をアクセス数で並び替えて，循環的にタグ付け 一定時間ごとにアクセスログを解析して色タグを更新 色数 R G B Y 4 1 1 1 1 3 1 1 1 0 1 1 0 1 1 0 1 1 0 1 1 1 2 1 1 0 0 1 0 1 0 1 0 0 1 0 1 1 0 0 1 0 1 0 0 1 1 1 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 順位 色数 コンテンツ名 色タグ 1 4 Video01.mp4 1111 2 4 Video02.mp4 1111 11 3 Video11.mp4 1110 12 3 Video12.mp4 1101 13 3 Video13.mp4 1011 14 3 Video14.mp4 0111 15 3 Video15.mp4 1110 130 2 Video130.mp4 1100 131 2 Video131.mp4 1010 132 2 Video132.mp4 1001 133 2 Video133.mp4 0110 …… 上 位 か ら 順 に タ グ 付 け 2017/08/27 July Tech Festa 2017 41
- 42. ネットワーク内外の通信量を評価 色数と通信量の関係を調査 4色，8色，16色で通信量を評価 NTTのバックボーンネットワークを 模したトポロジを使用 各サーバのキャッシュ容量は コンテンツ全体の10% 内部ネットワーク →通信コスト小 外部との接続 →通信コスト大 2017/08/27 July Tech Festa 2017 42
- 43. 色数と通信量の関係 使用する色数が増えると通信量削減効果が拡大 遺伝的アルゴリズム(GA)で求めた 準最適なキャッシュ配置に近づくため 2017/08/27 July Tech Festa 2017 43
- 44. 色数と通信量の関係 使用する色数が増えると通信量削減効果が拡大 遺伝的アルゴリズム(GA)で求めた 準最適なキャッシュ配置に近づくため 2017/08/27 July Tech Festa 2017 44
- 46. 急激にアクセス傾向が 変化したら 対応できるの？ 2017/08/27 July Tech Festa 2017 46
- 47. ハイブリッドキャッシュの活用 LRUとLFUを組み合わせたハイブリッドキャッシュを 活用し，急激なアクセス傾向の変化に追従 色タグに基づいてキャッシュするLFUに領域で 分散協調キャッシュを構成 LRU領域にはModified LRUアルゴリズム[Vleeschauwer11] を採用し，色がマッチしないコンテンツを保持 472017/08/27 July Tech Festa 2017 赤色が付されたキャッシュサーバ 色タグがマッチしたコンテンツを LFUでキャッシュ タグにかかわらず Modified LRUでキャッシュ
- 48. 色制御ハイブリッドキャッシュの評価 色制御ハイブリッドキャッシュは 新規動画が追加されてもヒット率を維持 482017/08/27 July Tech Festa 2017 Colored Hybrid Cache 色制御LFU 90% Modified LRU 10% Colored Cache 色制御LFU 100% 色制御LFUだけでは ヒット率が13.9%下落 ヒット率の下落幅を2.3%に抑制 Inserted 5 popular contents (0.5% of content library) with no-color
- 49. でも、研究結果だけ なんでしょう？ 2017/08/27 July Tech Festa 2017 49
- 50. いいえ、 作りました。 2017/08/27 July Tech Festa 2017 50
- 51. 2017/08/27 July Tech Festa 2017 51 Go言語で書かれているので Windows/Mac/Linuxで ネイティブ動作します！ 開発に協力して 下さる方募集中です
- 52. まとめ 動画通信を効率よくキャッシュする キャッシュ基盤を提案し，効果を確認した 動画アクセス傾向を考察し，ハイブリッドキャッシュと 軽量分散協調キャッシュを組み合わせた 短時間の計算で，高い通信量削減効果が得られた ハイブリッドキャッシュは，急激なアクセス傾向の 変化を起こしてもヒット率を維持できた 2017/08/27 July Tech Festa 2017 52
Editor's Notes
- 中国のVODサービスの利用ログを解析した論文 →1時間で人気動画の20-60%がかわる YouTubeのアクセスを解析した論文 →人気の偏りが非常に大きい 今まで多くの論文：アクセスの偏りはZipf則に従うと言われていた しかし，1度見た動画はその後あまり見られない，新規動画にアクセスが集中する 一般的なWebコンテンツよりも偏りが大きい Zipfだと人気上位25%の動画がで54%のアクセスを占める，Gammaだと90%以上占める →25%の動画をキャッシュできればヒット率が90%になる
- 中国のVODサービスの利用ログを解析した論文 →1時間で人気動画の20-60%がかわる YouTubeのアクセスを解析した論文 →人気の偏りが非常に大きい 今まで多くの論文：アクセスの偏りはZipf則に従うと言われていた しかし，1度見た動画はその後あまり見られない，新規動画にアクセスが集中する 一般的なWebコンテンツよりも偏りが大きい Zipfだと人気上位25%の動画がで54%のアクセスを占める，Gammaだと90%以上占める →25%の動画をキャッシュできればヒット率が90%になる
- ## 関連研究と問題点 ### キャッシュサーバのグループ化と完全重複排除 - 目的: 複数のキャッシュサーバをまとめて実効キャッシュ容量を拡大 - 問題点: アクセス傾向の高いコンテンツの取得のために内部通信が増大
- ## 関連研究と問題点 ### 遺伝的アルゴリズムでキャッシュ配置計算 - 目的: 通信量を効率よく削減するキャッシュ配置を見つける - 問題点: 計算時間が長く，コンテンツのアクセス傾向の変化に追従できない
- We consider key factor to manage cache servers is a combination use of content distribution and (2) duplication of popular contents. Content distribution increase effective cache capacity by storing different contents in servers, while content duplication could increase hit rate of cache servers by storing popular contents. I’ll explain the details from the next slide.
- At the first step, it is important to increase the effective cache capacity to reduce the traffic. So we group (cache servers and contents) with color tags. Each color tag has a specific color. These cache servers store contents only when the color of content matches the server color. Accordingly, each cache server stores different contents explicitly, and we could increase cache capacity up to 4 times. However, a single use of this scheme sometimes increase traffic, especially when accessing to popular contents. (CLICK) When this content with blue-color tag is a popular content, many users will request it. So this content will flow the network many times, generating additional traffic.
- So we duplicate popular contents by applying multiple colors to them to increase hit rates of cache servers and eliminate traffic among cache servers. It efficiently reduce traffic among cache servers. And also it can maintain low average hops that contribute the traffic reduction.
- This slide shows an example of cache distribution. There’re 4 cache servers with color tags, and the origin server has five contents. The yellow content is popular one, so it has tags with all colors. The rest of contents have tags with a single color. As a result, these contents with a single tag are distributed, While the popular one is duplicated everywhere. So users could achieve popular contents from their nearest cache servers, and the rest of contents from nearby servers. Accordingly, our scheme reduces traffic efficiently.
- It is also important to distribute server colors to reduce average hops from users. Each cache server is preliminarily colorized with a specific color like the four-color theorem. For a case study, we colorized the cache servers by preferring longer distances between the same colors.
- Moreover, we implement a color tag as a set of bits. Each bit stands for a specific color like this figure. For example, this color tag is described with all 1-bit, because the tag has all colors. And this color tag with 3 colors is described with 1-1-1-0, including a single 0-bit. Also, when we use 4 colors, there’re 2 to the 4th power, that is 16 types of color tags. In order to duplicate popular contents in the network, we set tags with many 1-bits to popular contents, while less popular contents will be applied tags with many 0-bits. Accordingly, we increase hit rates of cache servers.
- In addition, to follow rapid access changes, We adopt a hybrid caching scheme with colored LFU area and no-color modified LRU area. Modified LRU is a kind of LRU algorithm, which achieves better hit rate than LRU. In our colored hybrid cache, the colored LFU area stores contents with matching color tags, while the LRU area stores any contents regardless of tags’ colors. This LRU behavior could follow rapid changes in access patterns, even when a content with a different color rapidly rises its rank.
- We also evaluated the hit rate of proposed hybrid caching scheme when access pattern changes. We inserted 5 contents with no color at a time and compared the hit rate with single colored cache. This graph shows the cache hit rate along time. When we insert new contents, the green graph, which is for single colored cache, falls off its hit rate by 13.9 percent. On the other hand, the purple graph, which is for the hybrid cache, maintain the hit rate. Our colored hybrid cache limited the degradation to only 2.3 percent. This is because the colored cache area couldn’t store inserted contents with no matching color, while the LRU area could store them regardless of the color tags. Thus our colored hybrid caching scheme could follow rapid change in access pattern.