1.
2014/09/14 情報科学若若⼿手の会
本当は楽しいインターネット
インターネットの仕組みと運⽤用
インターネットマルチフィード株式会社 技術部
川上 雄也

2.
注意書き
n この資料料は2014年年9⽉月14⽇日に開催された「情報科学若若⼿手の会2014」における
若若⼿手特別講演での発表に使⽤用した資料料です
n 誤記の修正や補⾜足の追加、内容の削除、順序の変更更など、発表時の資料料と異異な
2014 (c) INTERNET MULTIFEED CO. 2
るところがあります
n この資料料は初学者向けにわかりやすく説明することを⽬目的としたものであり、
厳密には正しくない内容が含まれている可能性があります
n この資料料は全て公開されている情報に基づいて作成されています
n この資料料に含まれるデータは、2014年年9⽉月13⽇日時点において取得可能であった
ものを利利⽤用しています
n この資料料の中で引⽤用している画像の著作権は元の著作者に帰属します
n この資料料を利利⽤用することによって発⽣生した、いかなる損害やトラブルについて
も責任を負いません
n 所属を記載しておりますが、業務として⾏行行った発表ではありませんので、所属
組織の意向や⾒見見解を反映したものではありません
n もしこの資料料に誤りがありましたら遠慮無くお知らせください

3.
川上 雄也 (@yuyarin, ゆやりん)
インターネットマルチフィード株式会社 技術部
ネットワークエンジニア
インターネットエクスチェンジ「JPNAP」の運⽤用
学⽣生時代にインターネットの魅⼒力力に取りつかれる
2014 (c) INTERNET MULTIFEED CO. 3

4.
この発表の動機
インターネット
萌え
2014 (c) INTERNET MULTIFEED CO. 4

5.
インターネットとは
インターネット・プロトコル技術を利利⽤用した
相互接続によるコンピュータ・ネットワーク
ネットワークのネットワーク（インターネットワーク）
相互接続
[Wikipedia]
IP通信IP通信
ネットワークαネットワークβ
2014 (c) INTERNET MULTIFEED CO. 5

6.
インターネットとAS
相互接続している個々の独⽴立立したネットワークを
⾃自律律システム(Autonomous System, AS)と呼ぶ
ASαASβ
相互接続
ネットワークαネットワークβ
2014 (c) INTERNET MULTIFEED CO. 6

7.
AS（⾃自律律システム）
単⼀一のルーティングポリシーに基づいて運⽤用される
機器の集合(ドメイン)で固有の番号(AS番号)が割り当てられる
AS65001AS65002
相互接続
ネットワークαネットワークβ
2014 (c) INTERNET MULTIFEED CO. 7

8.
知っておくと便便利利なAS番号
n 国内キャリア・ISP
AS番号会社代表サービス
2497IIJ
2516KDDIau, au one net
2914NTTコミュニケーションズntt.net
4713NTTコミュニケーションズOCN
4725ソフトバンクテレコムODN
9605NTTドコモmopera
17505ソフトバンクモバイル
17676ソフトバンクBBYahoo!BB
2014 (c) INTERNET MULTIFEED CO. 8
n コンテンツプロバイダ
同じ会社でもポリシーが
違うとASを分ける
714Apple
13414Twitter
15169GoogleYouTube
23576LINE
38634dwangoニコニコ動画

9.
インターネット・プロトコル(IP)
インターネットワーキングにおいてパケットを
転送するためにに使われるプロトコル
End-to-End
ネットワークを超えて宛先までデータを運ぶだけよ！
コネクションレス
相⼿手にいきなりパケットを送りつけるよ！
ベストエフォート
でもちゃんとパケットが相⼿手に届くかなんて知らない！
ステートレス
今何の通信をやっててどうなってるかなんて知らない！
プロトコルには役割分担がある
2014 (c) INTERNET MULTIFEED CO. 9

10.
Internet Protocol Suite
今⽇日インターネットで使われている通信プロトコルの⼀一式
アプリケーション層
HTTP, SMTP, SSH, etc
アプリケーションのための制御をするよ！
TCP, UDP
IPv4, IPv6
Ethernet, 802.11(無線LAN), ATM, FDDI,
2014 (c) INTERNET MULTIFEED CO. 10
トランスポート層
通信の状態を管理理してデータの信頼性を保証してやんよ！(TCP)
ネットワーク層
とりあえず頑張ってデータを宛先まで運ぶだけよ！(IP)
データリンク層
物理理メディアを使うことなら任せろ！
上位

11.
2014 (c) INTERNET MULTIFEED CO. 11
レイヤー (Layer)
各機能は上下関係にあるのでレイヤーと表現する
下位レイヤーに⾏行行くほどヘッダが追加されていく
データ
TCP
ヘッダ
IP
ヘッダ
Etheret
ヘッダ
Etheret
フッタ
TCP
データ
IPデータ
Ethernet データ
アプリケーション層
トランスポート層
ネットワーク層
データリンク層

12.
IPルーティング (Routing)
宛先に対してパケットを届けるために経路路情報に基づいて
次のルータ(next-hop)を決定する（ルーティング）
2014 (c) INTERNET MULTIFEED CO. 12
ルータ
10.10.10.10
10.10.10.10にパケットを送るためには、
どっちのルータに転送すればいい？

13.
経路路広告 (Route Advertisement)
宛先ネットワークの到達情報(経路路)を伝搬させる
10.10.10.10
10.10.10.0/24は
こっちだよ
ルーティングプロトコルを使って
真ん中の経路路が⼀一番近そうだ！
2014 (c) INTERNET MULTIFEED CO. 13

14.
パケットフォワーディング (Forwarding)
ルータはルーティングテーブルに基づいて
パケットをnext-hopに転送する（フォワーディング）
10.10.10.10
10.10.10.0/24は
こっちだよ
真ん中の経路路が⼀一番近そうだ！
2014 (c) INTERNET MULTIFEED CO. 14

15.
経路路広告とトラフィックの関係
経路路を広告する
トラフィックが
吸い込まれる
経路路広告
トラフィック
2014 (c) INTERNET MULTIFEED CO. 15

16.
IPについて知っておいて欲しいこと
1. パケットは落落ちる（ベストエフォート）
▶ ルータの処理理能⼒力力を超えたものは捨てられる
▶ 転送中にデータが壊れてたときも捨てられる
2. ⾏行行きと帰りの経路路は同じとは限らない（⾮非対称経路路）
▶ 世界⼀一周して帰ってきてるかもしれない！
3. 宛先に対して評価値が同じ経路路が複数ある場合はどっちに
いくのかわからない(ECMP)
4. パケットの到着順序が正しいことは保証されない
▶ 特にECMPの場合経路路で時間差があるので順序が⼊入れ替わる事がある
2014 (c) INTERNET MULTIFEED CO. 16

17.
TCPとIPの役割分担
n TCP
p コネクション志向
p ステートフル
p 再送制御
分離離した
2014 (c) INTERNET MULTIFEED CO. 17
n IP
p コネクションレス
p ステートレス
p ベストエフォート
信頼性のある通信路路を構築する機能
信頼性はないけど宛先まで届ける機能

18.
⽇日本の総トラフィック量量
我が国のインターネットにおけるトラヒック総量量の把握
http://www.soumu.go.jp/main_content/000244628.pdf
2014 (c) INTERNET MULTIFEED CO. 18

19.
もしもIPで信頼性を担保していたら…
全てのルーターはそのルータを通る
通信の状態を管理理しなくてはいけない
再送制御、順序制御
輻輻輳制御、フロー制御
スケールしない！！
2014 (c) INTERNET MULTIFEED CO. 19
送信先
アドレス
送信元
アドレス
送信先
ポート
送信元
ポート
プロトコ
ル
状態
AB8023456TCPEstab
……
…
…
…
…
セッションごとの
コネクションステート管理理

20.
インターネットの萌えポイント１
TCP/IPの機能分離離によって
インターネットは
全世界規模で
スケールできている！
2014 (c) INTERNET MULTIFEED CO. 20

21.
インターネットにおける相互接続(ピア)
相互接続してお互い⾃自⾝身の経路路情報を交換して
お互いのASへの到達性を確保する関係をピア(peer)と呼ぶ
peerpeer
AS
ASAS
peer
2014 (c) INTERNET MULTIFEED CO. 21

22.
インターネットにおける相互接続(トランジット)
相互接続して他のAS（インターネット全体）への
到達性を提供することをトランジット(transit)という
peerpeer
AS
AS
peer
2014 (c) INTERNET MULTIFEED CO. 22
AS
AS
親AS
transit
⼦子AS
地理理的に離離れているから
全員とはピアできないな
僕がつなげて
あげるよ

23.
インターネットの階層構造
ピアだけを⾏行行っている最上位のASをTier1と呼び、
そこからトランジットを下るごとにTier2, Tier3と呼ぶ
peerpeer
peer
2014 (c) INTERNET MULTIFEED CO. 23
transit
Tier1
Tier2
Tier3
※実際にはこんなにきれいな階層構造にはならない

24.
各Tierのプロバイダの例例
n Tier1 ISP (2014年年9⽉月現在13社)
http://en.wikipedia.org/wiki/Tier_1_network
AS番号会社国
2914NTTコミュニケーションズ⽇日本
7018ATTアメリカ
3356LEVEL3アメリカ
1239Sprintアメリカ
6453TATAインド
2014 (c) INTERNET MULTIFEED CO. 24
n Tier2 ISP
n Tier3 ISP
p 地域ISP
国内Tier1とも呼ばれる
4713NTTコミュニケーションズ(OCN)
2516KDDI
4725ソフトバンクテレコム
2497IIJ

25.
トランジットとお⾦金金(1)
トランジットにはお⾦金金がかかる！
n ⼦子ASがトラフィックを流流せば流流すだけ、親ASの設備を通って⾏行行くだけの
トラフィックが増えるので設備投資費が必要になる
n ⼦子ASからお⾦金金をもらう（トランジット料料⾦金金）
n だいたいの場合で帯域での⽉月額従量量課⾦金金
p Mbpsあたり何円（メガ単価）
p ケータイと違って累累積パケット量量じゃない
お⾦金金もらわないと
やってらんないぜ
peer
親AS
transit
⼦子AS
2014 (c) INTERNET MULTIFEED CO. 25

26.
トランジットとお⾦金金(2)
ピアを張ってお⾦金金を節約する！
n 下位AS同⼠士の通信量量が多くなってくると、双⽅方のASにとってトランジ
ット費⽤用が負担になってくる
n 直接ピアを張って経路路交換することができれば、品質(*1)も上がるし、
お⾦金金を節約できる！
transit
peer
2014 (c) INTERNET MULTIFEED CO. 26
transit
⼦子AS
親AS
※１：ここでいう品質は主に「遅延の⼩小ささ」

27.
クイズ
n 各ASが以下の関係にあるとき、ノートPCからサーバへの
通信は⼀一般的にどこを経由するでしょうか？
a
transit
bc
transitpeer
def
peerpeer
2014 (c) INTERNET MULTIFEED CO. 27

28.
間違った回答１
n ⼀一⾒見見最適なパス
n ｄはｅに流流したいけど、ｅにとっては素通りになるので
流流してほしくない
a
transit
bc
transitpeer
def
peerpeer
タダで素通りされたら損！
2014 (c) INTERNET MULTIFEED CO. 28
ｅに流流したら
お⾦金金がかからない

29.
間違った回答２
n ｄはｂに流流すしかなくなる
n ｂはｅに流流したいが、ｅにとっては素通りになるので 流流
してほしくない
a
ｅに流流したら transit
お⾦金金が儲かるぜ
bc
transitpeer
def
peerpeer
素通りされた上にお⾦金金を
払わないといけない！
2014 (c) INTERNET MULTIFEED CO. 29

30.
n みんな⾃自分が損しないようにトラフィックを流流したがる
a
transit
bc
transitpeer
def
2014 (c) INTERNET MULTIFEED CO. 30
クイズ（正解）
peerpeer
トランジットに流流すより
タダのピアに流流した⽅方が
いい
素通りさせない！

31.
経路路制御とトラフィックコントロール
経路路の広告をコントロールすることで
トラフィックの流流れをコントロールできる
a
トランジットやピアから transit
来た経路路は⼦子ASに広告する
bc
transitpeer
⼦子ASの経路路はピアとトラ
ンジット両⽅方に広告する
def
peerpeer
ピアから来た経路路は他のピアや
トランジットに対して広告しない
2014 (c) INTERNET MULTIFEED CO. 31

32.
AS間で経路路制御するためのプロトコル
AS間でのルーティングにはBGPが⽤用いられている
BGP (Border Gateway Protocol)
BGPはパスベクタ型ルーティングプロトコル
通ってくるパスとその属性の情報に基づいて経路路を決定する
d
AS Path: f
f
b
AS Path: d_f
c
2014 (c) INTERNET MULTIFEED CO. 32
AS Path: b_d_f
a
AS Path: c_f
パスが短い
⽅方を選ぶ
AS Path: f
経路路広告

33.
BGPで広告されるインターネットの経路路数
約520,000経路路
http://bgp.potaroo.net/
2014 (c) INTERNET MULTIFEED CO. 33

34.
相互接続のまとめ
n インターネットはネットワークの相互接続でできている
n トラフィックを流流すのにはお⾦金金がかかる
p 誰とどうやって接続するかの戦略略が超重要（ピアリング戦略略）
n ピア
p お⾦金金がかからない接続
p ピア相⼿手への到達性だけを確保する
n トランジット
p お⾦金金がかかる接続
p ピア相⼿手にインターネットに対する接続性を保証してもらう
n BGPで経路路制御することでトラフィックを制御する
当初はピア同⼠士でもその後の企業の成⻑⾧長次第ではトラフィックのバランスが崩れてしまい、
ピアが解消されてしまうことがある。2005年年にはLevel3がCogentとのピアを解消し、
2008年年のSprintもCogentとのピアを解消し、⼤大きな話題となった。
2014 (c) INTERNET MULTIFEED CO. 34

35.
インターネットの萌えポイント２
インターネットの
相互接続関係と
トラフィックの流流れは
経済的・地理理的要因に
⼤大きく依存している
2014 (c) INTERNET MULTIFEED CO. 35

36.
インターネットの萌えポイント３
様々な制約の中
経路路を制御することで
⾃自分のビジネスの利利益を
最⼤大化する戦略略ゲーム
でも⾃自⼰己中はNG
2014 (c) INTERNET MULTIFEED CO. 36

37.
もしも２つのルータが同じ経路路を広告したら
ルーティングプロトコルのアルゴリズムに従って
⼀一番近いところにトラフィックは吸い込まれる
10.10.10.0/24は
こっちだよ
2014 (c) INTERNET MULTIFEED CO. 37
10.10.10.0/24は
こっちだよ

38.
もしも２つのルータが同じ経路路を広告したら
n 同じ組織/ASがやっていた場合
p IP Anycast
p DNS root サーバなどで利利⽤用される (http://www.root-servers.org/)
u AからMまでの13種類のルートサーバ
u ⼀一番多いL-rootは同じIPアドレスのサーバが世界に152台存在する！
n 別の組織/ASがやっていた場合
p 経路路ハイジャック
u スパムメール送信のために⾏行行われる事例例がある
p 実際は設定ミスによる物が多いので mis-origin と呼ぶようになった
u パキスタンのISPやChina TelecomがYouTubeに対してmis-origin
u ベネズエラのASによるGoogle Public DNS (8.8.8.8)に対してmis-origin
2014 (c) INTERNET MULTIFEED CO. 38

39.
インターネットについて知っておいてほしいこと
1. インターネットはASが相互接続した⾃自律律分散システムである
2. インターネットのトラフィックは相互接続関係に左右される
3. インターネットの相互接続関係は経済関係に左右される
4. IPアドレスは乗っ取られる
p 経路路広告は⾃自主的に⾏行行われる「存在の宣⾔言」である
p もしかしたら別の悪意あるサーバにトラフィックが吸い込まれている
かもしれない
p 経路路広告の正当性証明を⾏行行うRPKIの展開が現在進められている
2014 (c) INTERNET MULTIFEED CO. 39

40.
多くのASとピアを張ると…
トランジット費⽤用を下げることができる
ネットワークが近くなり品質が上がる
ピアの数だけ回線が必要になる
回線ごとの帯域利利⽤用効率率率が悪くなる
2014 (c) INTERNET MULTIFEED CO. 40

41.
インターネットエクスチェンジ(IX)
どこか⼀一箇所にみんなで集まって、トラフィック交換すれば
回線は１本で済むし、帯域利利⽤用効率率率も上がる！！
それがインターネットエクスチェンジ(IX)
IX
2014 (c) INTERNET MULTIFEED CO. 41
経路路交換＆
トラフィック交換
NAP(Network Access Point)とも呼ぶ

42.
主要インターネットエクスチェンジ
n 国内
IXGroupPOPTraffic [Gbps]
2014 (c) INTERNET MULTIFEED CO. 42
n 海外
JPNAPNTT東京、⼤大阪418
JPIXKDDI東京、⼤大阪、名古屋248
BBIXSoftbank東京、？？
IX Country代表POPTraffic [Gbps]
AMS-IXオランダアムステルダム2972
DE-CIXドイツフランクフルト2876
LINXイギリスロンドン2075
MSK-IXロシアモスクワ1105
PTT.brブラジルサンパウロ562
トラフィック量量は2014年年09⽉月13⽇日時点

43.
教科書的なインターネットの構造
n 巨⼤大なコンテンツプロバイダ(Hyper Giant)の登場で構造は変わってきている
http://en.wikipedia.org/wiki/Internet
2014 (c) INTERNET MULTIFEED CO. 43

44.
インターネットの運⽤用
相互接続する他の組織との信頼関係が重要
n mis-originしてしまったら…
p 悪いASだと思われて相互接続してもらえなくなるかも
n 通信トラブルが起きた時に…
p 何が問題なのかを切切り分けるために、組織を超えた連携が必要になる
運⽤用者同⼠士が情報交換して仲良良くなっておき、
何かが起きたら即座に連携することができる体制
2014 (c) INTERNET MULTIFEED CO. 44

45.
NOG (Network Operators Group)
NOGでの情報交換と⼈人脈形成が活発
メーリングリストとカンファレンスで活動
JANOG (⽇日本)NANOG (アメリカ)
http://jprs.jp/related-info/event/2010/0202JANOG.htmlhttp://drpeering.net/white-papers/NANOG-History.html
2014 (c) INTERNET MULTIFEED CO. 45

46.
その他のミーティング
とにかくFace to Face、会って話すことが超重要
2014 (c) INTERNET MULTIFEED CO. 46
n Global Peering Forum
p ピアリング交渉をするためのイベント
n APRICOT
p アジア・パシフィック地域でのインターネット関係者のカンファレンス
p チュートリアルが豊富
n APNIC
p アジア・パシフィック地域でのインターネットのポリシーについて議論論
n RIPE
p ヨーロッパ地域でのインターネット関係者のカンファレンス

47.
インターネットの萌えポイント４
インターネットの安定は
運⽤用している⼈人たちが
同じ⽬目的に⼀一丸となって
円滑滑につながることで
実現されている
2014 (c) INTERNET MULTIFEED CO. 47

48.
まとめ
1. 地球規模でスケールするTCP/IPの設計すごい
2. インターネットのトラフィック制御は超⾯面⽩白い
3. インターネットの運⽤用には⼈人のネットワークが重要
I ♥
The Internet
2014 (c) INTERNET MULTIFEED CO. 48