Internetトラフィックエンジニアリングの現実

© J-Stream Inc. All Rights Reserved.
2017年8月27日
鍋島公章
株式会社Jストリーム
Internetトラフィック
エンジニアリングの現実
July Tech Festa 2017@産業技術大学院大学

2© J-Stream Inc. All Rights Reserved.
はじめに
 本資料の目的
 トラフィックエンジニアリングの説明
 大規模配信側視点
 BGPではなくCDN
 マネージャ視点
 技術詳細ではなく、社会的背景、技術概要、効果

エンジニアリング
 サイエンスとエンジニアリング
サイエンスエンジニアリング
目的真理の探究人類の幸福
アウトプット論文ビジネス
大学理学部工学部
キャッチフレーズ
It’s beautiful
(体系・数式の美しさ)
It works
(動いてなんぼ)
イメージ洗練泥臭さ

Internetトラフィックエンジニアリング
速度制御
・シェーピング
・ペーシング
透過型プロキシー
・コンテンツ変換
複製(網側)
・TCP Proxy
経路制御
・BGP
CDN
・リクエストルーティング
・コンテンツ複製(サーバ側)
広義：IPネットワーク運用における
パフォーマンス評価と最適化
狭義：(大量の)Internetトラフィックを
上手くコントロール(経路制御)すること
優先処理
・VoLTE
グローバルDC
・エニキャスト

Internetトラフィックエンジニアリング
 関連
閉域網(VPN)：MPLS TE 交通（土木工学)：交通制御
(Traffic Engineering)
RFC 2702 Requirements for Traffic Engineering Over MPLS
RFC 3346 Applicability Statement for Traffic Engineering with MPLS

Internetトラフィック管理の難しさ
 Internet
 ネットワークを相互接続させたネッ
トワーク(分散協調ネットワーク)
 ピアリング、トランジット
 Internetトラフィック
 複数の事業者・ネットワークを通過
 配信、DC、IX、トランジット、ISP
 トラフィック取引
 トラフィック＝お金

ネットワークの中立性問題（コスト負担問題）
 誰がInternetのコストを負担するか？
 ユーザ（ISP)とサーバ（OTT)のパワーゲーム（費用の押し付け合い）
による全体最適化
 パワーゲーム＝ユーザを人質としたチキンゲーム
 例：OTTとISP間の回線容量が足りない
 OTT→ISP：このままだとISPユーザ減るよ！
 ISP→OTT：このままだとOTTユーザ減るよ！
Internet
配信費用ネット利用料

米国事例
 2010～2014年（自社CDN以前)
 巨人2社
 VoD：Netflix (2014末：約4,000万加入(2016末約5,100万加入) )
 ブロードバンド接続：Comcat(2014末約2,200万加入(2016末約2,400万加入))
 両社間の接続
 対等(無料ピアリング)
 Netflixトラフィック増加とともに接続性が悪化(2013年10月ごろ)
 Comcastがピアリングの有料化をNetflixに要求
 Netflixが配信料をComcastに支払うことで合意(2014年2月)

コスト負担問題
 現状とトレンド
 国内固定網：だいたいバランス？
 消費者ISP市場規模：数千億円※1
 配信市場規模：数千億円※2
 国内モバイル網：ユーザがInternetを維持
 データ通信市場規模：数兆円
 配信市場規模：数千億円
 ゼロレーティング
 モバイルネット利用料を配信側が負担
Internet
配信費用ネット利用料
※1：足回り(光ファイバ)含めると2兆円弱
※2：配信市場規模：DC等回線＋CDN
(CDN単体市場は数百億程度)

トランジット
 トランジット（ )：Internet全体への接続性を購入
国際(Tire1)ISP
日本(大手)
海外
ISP
国際(アジア等)
日本(地方)

ピアリング
 ピアリング( )：ISP間の相互トラフィック交換
プライベート・ピア
(直接接続)
パブリック・ピア
(IX経由)
ISP ISP ISP ISP
IX
費用折半
ISPDC
ペイド
(Paid)
IX
ISPDC
トラフィックはIX経由
費用は直接支払
主にDCとISP間

トラフィック取引(マネーフロー)
 概要
国際(Tire1)
国際(アジア等)
国内(全国)
国内(地方)
IX
ユーザのみ DCのみユーザ＋DC
ローカルISP・DC
ピアリング
トランジット
グローバルDC
(Google等)

グローバルDC
 特徴
 自社だけで全世界をカバー
 だれとでも無料ピアリング（トランジット販売無し）
 技術
 エニキャスト：網内に同一IPサーバを複数配置
 コールドポテト：できるだけユーザに近い所からトラフィックを出す
ISP ISP
8.8.8.8 8.8.8.8
ISP
コールドポテト
ホットポテト

インタラクティブ通信のエンジニアリング
 ローバルDC：コールドポテト
 最大限、グローバルDCの国際ネットワークを使う
 品質管理が容易（一般に高品質）
 ホップ（中継ルータ）数が減る（レイテンシ向上）
 CDN:CDNサーバ間の特殊処理
 CDN専用バックボーン
 専用（わがまま：公平性無視）プロトコル
オリジンサーバCDNサーバ CDNサーバ
TCP TCP
特殊プロトコル
CDN専用バックボーン

BGP
 BGP基本
１、それぞれのネットワークが経路情報（＋ポリシー）を外部に広報
 受け取りたい：経路広報
 受け取りたくない：PATHプリペンド（ダミーパス追加）
２、それぞれは（1が正しいと信じて）経路テーブルを作成
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路情報
経路
テーブル
経路
テーブル
経路
テーブル
経路
テーブル

BGPの特徴
 BGP
 受信トラフィック
 Internet全体に対しある程度のコントロールが可能
 ポリシーは伝播される
 受信ポリシーの広報
 分散協調システムにおける「ある1つのネットワークの希望する経路」
 送信側がそのポリシーを遵守しない場合もある
 送信トラフィック
 Internet全体に対するコントロールはできない
 ポリシーの伝播なし
 送信ポリシーは自ネットワークの出口制御まで、その先の制御は、その先のネッ
トワークにお願い

配信事業者の視点
 BGPトラフィックエンジニアリング
 できること
 出来るだけ多くのISPとピアリング（一般なコスト：トランジット＞ピアリング）
 (配信事業者に)安いトランジットISPを上手く使う
 送信トラフィックの制御は難しい
 まだまだ頑張りたい
 配信コストの9割以上を占める回線費用を圧縮
 配信コストの内訳
 サーバ費用：回線・ルータ費用＝1：10～
 CDN技術の積極活用
 アグレッシブな送信制御

CDN基本
 特徴
 地理分散された多数の配信サーバ
 リクエストナビゲーション（GSLB、GTM)
 トラフィックエンジニアリング
 ユーザの近くにサーバ配置
 回線を出来るだけ使わない
 配信の柔軟性
 いろいろな場所かから
いろいろなパターンで配信

CDN運用
 運用テクニック※
 Tire1 ISPからの配信
 ISP無償コロケーション
 配信拠点のオークション調達
 海外からの配信
 活用テクニック
 巨大キャリアのCDN活用
※注意点
一般論であり、現在は通用しないテクニックも含む

CDN運用：運用テクニック
 Tire1 ISPに配信サーバを(格安で）置く
 Tire 1 ISPは、そのトラフィックを国際トランジットとして販売
Tire 1 （国際）ISP
日本国内
ローカルISP
海外

 ISP無償コロケーション
 ローカルISPに無償でサーバを置いてもらう
 ローカルISPにとっては上位ISPへの回線負担が減る
 無償で置かせたサーバから近傍のISPに配信する
日本国内
ローカルISP

 配信拠点のオークション調達
 CDNでは配信拠点の移設が容易
 CDN＝安価で使える網構成を追い続けるための技術
100円/Mbps 200円/Mbps 300円/Mbps
(オープン)
入札

海外
 海外から配信する
 配信費用：1/10程度
 動画：数Mbps程度なら問題なし（バッファリング）
 マルチCDN：パフォーマンスが落ちたら国内から配信
 バッチ系ダウンロード：非インタラクティブ
日本国内

CDN活用：巨大キャリアのCDNコントロール
 国内ISP
 CDNサーバは、国内ISPではなく、国際ISPに置かせる
 国際ISP
 ①CDNサーバから配信料を徴収
 ②CDNが配信したトラフィックを他のISPにトランジットとして販売
 巨大キャリア
 ③そのCDNの有力代理店
国際ISP日本国内
国内ISP
ISPs
ISPs
巨大キャリア
・国内ISP(AS)と国際ISP(AS)を持つ通信キャリア
一粒で3度美味しい

CDN利用方法
 OTT事業者のCDN利用形態
 単独CDNから、マルチCDN、自社CDNへの移行が進む
出典：OTT Video Services (2017)
http://www.streamingmedia.com/Research/7064-OTT-VIDEO-SERVICES-INNOVATION-
OPPORTUNITY-MATURATION--TECHNOLOGY-TRENDS-IN-OTT-DELIVERY.htm
利用形態 OTT事業者数
単独(汎用)CDN 30%
マルチ(汎用)CDN 48%
自社CDN 22%

マルチCDN
 複数のCDNを使ったトラフィックエンジニアリング
ユースケース概要
ラウンドロビン一定比率で複数のCDNを利用
国別切替国別に使用するCDNを選択
ベストパフォーマンス地域別、時間別で最速のCDNを利用
バックアッププライマリCDNがダウンした時にバックアップCDNを利用
オーバーフロー
プライマリCDNの利用量が一定以上になった時、セカンダ
リCDNのみを利用
バースト対応
(ハイブリッドCDN)
オンプレミス設備or自社CDNの帯域を使い切った時、汎
用CDNを追加利用
最小コスト一定条件(最低速度)の元で最小コストのCDNを利用

自社専用CDNの普及（北米、2016年下期）
 ハイパージャイアントは自社専用CDNを構築、運用
 固定網： 56.94%
(マルチCDN利用も含むと61.74%）
 モバイル網： 24.59%
(マルチCDN利用も含むと41.58%）
 背景
 配信トラフィック
自社トラフィック > 汎用CDN
固定:56.94% モバイル:24.59%
Netflix 35.15 % Youtube 20.87 %
Youtube 17.53 % Facebook 13.97 %
Amazon Video 4.26 % HTTP - Other 9.36 %
HTTP - Other 4.19 % SSL - Other 6.85 %
iTunes 2.91 % Instagram 6.66 %
Hulu 2.68 % Snapchat 5.17 %
SSL - Other 2.53 % Netflix 3.72 %
Xbox One 2.18 % iTunes 3.02 %
Facebook 1.89 % Google Cloud 2.87 %
BitTorrent 1.73 % MPEG - Other 2.37 %
サービス別トラフィック出典：Sandvine Global Internet Phenomena
https://www.sandvine.com/trends/global-internet-phenomena/

自社専用CDN
 2010年ごろまで
 ハイパージャイアントも汎用CDNサービス（Akamai等）を使用
 汎用CDNがInternetを支配（半分程度のトラフィックを配信）
 2017年現在
 Internetのビデオ化が顕著（トラフィックの7割以上はビデオ）
 一部OTTがビデオマーケットを寡占
 有料VoD：Netflix
 無料VoD：Youtube
 自社専用CDNへ切り替え
 自社専用CDNがInternetを支配（半分以上のトラフィックを配信）

自社専用CDN背景
 背景・メリット・デメリット
大項目補足
背景
CDNサーバの低廉化
・オープンソースHTTPサーバソフトウェア
の成熟（Cacheモード）
動画のHTTP化・オープンソースHTTPサーバが利用可能
メリット
柔軟・詳細・シンプルな
運用
・共用運用の煩雑さ無し
・設定コンソール不要
・コンフィグ直設定による詳細設定
・消費者行動分析による複製管理
デメリット規模が必要

複製管理のトレンド
 CDNトレンド：単純配信から全体管理へ
 背景
 自社専用CDNの普及
 汎用CDN
 設備が余る⇒大幅ディスカウント（Akamaiでもメディア配信は減収減益）
 配信のみでは儲からない⇒サービス全体の受託を目指す
 垂直統合（CDN＋OVP(Online Video Platform)＋顧客DB）
 配信管理＋コンテンツ管理＋ユーザ管理
 複製はハイブリッド（ミラー＋キャッシュ）利用
 予測可能な人気コンテンツ：ミラー
 コンテンツの属性分析、ユーザ行動分析
 その他（ロングテール）：キャッシュ

CDNによるInternetの単純化
 CDN配信サーバのスペック
 配信キャパ：1台で数十Gbps
 SSDとメモリの塊←高価
 配信サーバの配置
 一定規模以上のISPのみ
 中小ISPは切り捨て

ネットワーク構造の今後
 CDN/OTTを中心とした、シンプルなネットワーク構造
 CDNサーバを置いてもらえないISPは大手に吸収される

おわりに
 Internetトラフィックエンジニアリング
 パワーゲームの武器
 Internetトラフィックエンジニアリングのトレンド
 BGP→汎用CDN→マルチCDN→自社CDN
 Internetの今後
 メディア配信プラットフォームへ
 双方向通信はおまけ
 パワーゲームによる単純化、集約
 基本構造の変化
 より高度な配信・複製管理
 ユーザの行動分析(ビッグデータ解析)

参考文献その他
 講演サポートページ
 https://tech.jstream.jp/blog/meeting/jtf2017_te/

Internetトラフィックエンジニアリングの現実

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to Internetトラフィックエンジニアリングの現実

Similar to Internetトラフィックエンジニアリングの現実 (20)

More from J-Stream Inc.

More from J-Stream Inc. (12)

Internetトラフィックエンジニアリングの現実