OSSコンソーシアム クラウド部会 第11回部会で発表した資料です

1. Dockerのネットワークについて
2015年10月02日
TIS株式会社 松井 暢之
OSSコンソーシアム クラウド部会
第11回部会

2. 2
松井 暢之（まつい のぶゆき）
TIS株式会社 戦略技術センター
～2003
2003～2008
2009
2010～2012
2013～
2015～
現場PJでアーキテクト兼モデラー兼プログラマ兼…を歴任
基盤技術センター（現戦略技術センター）で不芳PJの火消しに奔走
全社生産性向上の企画策定に従事
オープンでエッジな技術を活用した事業企画に従事
OSSクラウドオーケストレータ “CloudConductor®” の開発に着手
IoTプラットフォーム関連の研究開発に着手
nbyk.matsui nmatsui
nbyk.matsui@n_matsui

3. Dockerが生まれた背景
 Dockerはもともと、パブリックなPaaSを実現するために開発された
 2011年 米dotCloud社（現Docker社）がPaaS提供開始
 2013年 dotCloudのコア技術を「Docker」としてOSS公開
 2014年 PaaS事業を売却して「Docker」事業に専念
 「Docker＝コンテナ型仮想化エンジン」では無い
 Dockerとは、アプリケーション実行環境をイメージとして標準化し
そのイメージから実際の実行環境を素早く提供するための仕組み
 “Docker allows you to package an application with all of its
dependencies into a standardized unit for software
development.”
 コンテナ型仮想化技術は、Dockerが求める世界を実現するための
手段であって、目的では無い
3
出展：https://www.docker.com/whatisdocker

4. Dockerを構成するプロダクト
 Dockerは以下のようなプロダクトで構成される
 Docker Engine
 アプリケーションの実行環境を効率よくイメージ化
 イメージから実際の実行環境（コンテナ）を素早く提供
 Linuxカーネルに実装された様々な隔離技術を用いて
Linux上にコンテナを構築する（libcontainer）
 libcontainerは現在、コンテナ技術の標準化団体
Open Container Initiative（OCI）が定める標準
仕様のリファレンス実装としてOCIに寄贈済み
 Docker Registry
 イメージを集約・共有
 Docker社が提供するパブリックなRegistryがDocker Hub
4

5. Dockerを構成するプロダクト
 Dockerは以下のようなプロダクトで構成される
 Docker Machine
 Docker Engineが動作する環境をサーバやクラウド上へ
自動構築
 Docker Swarm
 複数ホスト上のDocker Engineをクラスタリングし、
単一のDocker Engineのように操作
 Docker Compose
 依存関係（link）を持つ複数のコンテナをYAMLの
定義ファイルから生成
5

6. IaaS/PaaS基盤として見た場合のDockerの課題
 隔離されたアプリケーション実行環境を単一サーバ上に構築するので
あれば、Docker EngineとDocker Registryで必要十分
 複数ホストをクラスタリングし、Dockerを用いたIaaS/PaaS的な環境
を構成したい場合、Docker Engineだけでは不足する部分がある
 コンテナのスケジューリングやルーティング、ヘルスチェック等
 Docker Swarm、kubernetes、rancher、apache/mesos等
 コンテナ間の仮想ネットワーキング
 etcd/flannel、weaveworks/weave、rancher等
Docker native Overlay network（experimental）
 サーバをまたがって利用できるコンテナ用ストレージ
 ClusterHQ/flocker ?
 ホストの管理、認証認可とマルチテナンシー、テレメトリー等
6

7. eth0
docker0
伝統的なDocker Networking（bridgeモード）
1. Dockerを起動
i. docker0という仮想ブリッジを作成
ii. docker0から外部に接続できるように、iptablesにルールを追加
2. Dockerコンテナ立ち上げ
i. vethペアをコンテナのNW namespaceとdocker0に接続
ii. 指定されていれば、ポート変換ルールをiptablesに追加
7
veth
コンテナ1
veth
veth
コンテナ2
veth
veth ペア
iptablesでIPマスカレード（とポート変換）

8. 伝統的なDocker Networking（bridgeモード）の面倒な点
 コンテナに与えられるIPアドレスを制御できない
 docker0に与えるIPアドレスは指定できるが、コンテナのIPアド
レスはdocker0が所属するアドレス空間から昇順で自動採番
 同一ホスト上の他のコンテナにアクセスする際には、link機能を
用いて接続先コンテナのネットワークやサービスポートの情報を
環境変数として埋め込んでもらう必要がある
 ホストOSの外部からコンテナにアクセスするのが面倒
 コンテナに与えられたIPアドレスは、ホストOSの外部からは
アクセスできない
 コンテナ内のデーモンにアクセスするためには、ホストOSへ
ポートフォワードしておく必要がある
8

9. Dockerの仮想ネットワーキングツールの例（１）
 GRE + jpetazzo/pipework
 シェルスクリプト一つだけで実現されており、至極シンプル
 ただし複数ホストで動作させる場合、GREやVXLAN等を用いて
ホスト間に自力で仮想ネットワークを敷設する必要がある
9

10. Dockerの仮想ネットワーキングツールの例（２）
 coreos/flannel
 Kubernetesと共に利用される（ことが多い）
 goをインストールした後にflannel自身のビルドが必要で、かつ
etcdにも依存するため、インストールと設定が面倒
10

11. Dockerの仮想ネットワーキングツールの例（３）
 rancher/rancher
 WebUIからホストの登録やコンテナ起動を実施できる
 rancherのサーバやエージェントはdockerコンテナとして提供され
るため、インストールが簡単
11

12. Dockerの仮想ネットワーキングツールの例（３）
 rancher/rancher
12

13. Dockerの仮想ネットワーキングツールの例（４）
 weaveworks/weave
 rancherと同様、weaveの仮想ネットワークエージェントはDocker
コンテナとして提供されるため、インストールが簡単
 Dockerの仮想ネットワーキングツールだけでなく、最近はコンテナ
の可視化やコンテナのクラスタリング・ルーティング等も提供する
13

14. Dockerの仮想ネットワーキングツールの例（４）
 weaveworks/weave
14

15. Dockerネイティブの仮想ネットワーキング
 Dockerは1.7からネットワーク機能がlibcontainerから切り離され、
libnetworkへの移行が進められている
 libnetworkのコンセプト
 Sandbox
 コンテナのネットワーク設定（インタフェース、ルーティング等）を
Network Namespace等の技術で隔離するもの
 Endpoint
 SandboxをNetworkに接続するインタフェース
veth pairやOVS internal port等で実装される
 Network
 お互いが直接通信できるEndpointの集合体
Linux bridgeやVLAN、あるいはその他のoverlay技術で実装される
 一つのSandboxが複数のNetworkのEndpointを持っても良い
15出展：https://github.com/docker/libnetwork/blob/master/docs/design.md

16. Dockerネイティブの仮想ネットワーキング
 The Container Network Model
 現在libnetworkに実装されているNetwork Driver
 Null Driver APIの空実装
 Bridge docker0とiptablesを用いる（従来の--net=bridgeと同様）
 Host ホストのネットワークをそのまま使う（従来の--net=hostと同様）
 Overlay 複数ホスト間をVXLANを用いてトンネリング
 Remote pluginとして動的登録される3rd partyのnetworkを利用 16
出展：DOCKER NETWORKING TAKES A STEP IN THE RIGHT DIRECTION,
https://blog.docker.com/2015/04/docker-networking-takes-a-step-in-the-right-direction-2/
windows.goも
ファイルは存在するが、
中身はreturn nil・・・

17. Dockerネイティブの仮想ネットワーキング
 libnetworkのOverlay driverの動作要件
 Linux Kernel >= 3.16
 Ubuntu 14.04は3.13のため動作しない
 Experimental Docker Client
 リリース版Docker（1.8.2）では動作しない
 分散KVS
 libnetworkは、メタデータを保持するためにlibkvを利用する
 libkvは現在、以下の分散KVSをサポートする
 consul >= 0.5.1
 etcd >= 2.0
 zookeeper >= 3.4.5
17
出展：https://github.com/docker/libnetwork/blob/master/docs/overlay.md
https://github.com/docker/libkv/blob/master/README.md

18. Dockerネイティブの仮想ネットワーキング
 libnetworkのOverlay driver（libkv backendがconsulの場合）
 docker daemonが自動で作成するdocker0は利用せず、Network
Namespaceでホストから隔離されたLinux bridgeを利用する
 Endpointはveth pair、NetworkはVXLANでトンネリングされるが、
やはりNetwork Namespaceで隠蔽される
18

19. デモ
 SoftLayerの複数DC（Dallas6とDallas9）を用い、サブネットを
またいだ３つのホストを仮想ネットワークで接続する
 Docker overlay network 1.9.0-dev
 rancher 0.39.0
 weave 1.1.0
19