Docker 18.09 新機能

Copyright©2018 NTT Corp. All Rights Reserved.
NTT ソフトウェアイノベーションセンタ
須田瑛大
Docker 18.09 新機能
Docker Meetup Tokyo #26 (2018/11/21)
https://medium.com/nttlabs
https://slideshare.net/AkihiroSuda

2
• コンテナ関連OSSのメンテナ(いわゆるコミッタ)を務めている
• Docker Moby メンテナ (2016年11月～)
• 2017年4月，OSSプロジェクトとしてのDockerはMobyに名前が変わった
• 商用製品としてのDockerはMobyをベースとして開発されている
• Moby BuildKitメンテナ (2017年夏プロジェクト発足時～)
• 次世代 `docker build`
• CNCF containerdメンテナ (2017年9月～)
• Kubernetesなどで利用できる次世代コンテナランタイム
: ≒ :
RHEL Fedora
自己紹介

3
•BuildKitの正式採用
• 並列ビルド
• コンテキストの差分転送
• キャッシュマウント
• Secretマウント
• SSHマウント
•リモートDockerホストへのSSH接続
Docker 18.09の新機能
11月8日リリース
前回のリリース: 18.06 (7月)
次回のリリース: 19.03
18.09のサポート期間: 7ヶ月

4
• DAG構造を備える中間言語であるLLBを用いる
• Protocol Buffers形式
• 依存性を正確に表現できるので，キャッシュがよく効く
• 命令を並列実行できる
• LLBは主にDockerfileからコンパイルされる
• Dockerfile以外の言語からのコンパイルも可能 (Heroku, CFのBuildpacksなど)
• 他にも，コンテキストの差分転送などの最適化有り
BuildKit: 次世代 docker build
コンパイル
Dockerfile
LLB DAG
Buildpacksなど
docker-image://alpine
Image
git://foo/bar
docker-image://gcc
Run("apk add ..")Run("make")
3命令を同時に実行できる
2

5
• DAG構造はマルチステージDockerfileを用いて簡単に記述できる
BuildKit: 次世代 docker build
FROM golang AS stage0
...
RUN go build –o /foo ...
FROM clang AS stage1
...
RUN clang –o /bar ...
FROM debian AS stage2
COPY --from=stage0 /foo /usr/local/bin/foo
COPY --from=stage1 /bar /usr/local/bin/bar
0
2
1

6
• DAGはマルチステージDockerfileを用いて記述できる
BuildKit: 次世代 `docker build`
FROM golang AS stage0
...
RUN go build –o /foo ...
FROM clang AS stage1
...
RUN clang –o /bar ...
FROM debian AS stage2
COPY --from=stage0 /foo /usr/local/bin/foo
COPY --from=stage1 /bar /usr/local/bin/bar
0
2
1
https://t.co/aUKqQCVmXa より引用

7

8

9

10
• Dockerfileの最初の行に # syntax = docker/dockerfile:1.0-
experimental を指定すると，非標準の命令を利用できる
• 例: RUN –-mount=type=cache
• コンパイラやパッケージマネージャのキャッシュディレクトリを保持できる
• 将来的には，# syntax = ... を指定しなくても標準で利用できるようになる
新しいDockerfile構文: RUN –-mount=type=cache
# syntax = docker/dockerfile:1.0-experimental
...
RUN --mount=type=cache,target=/root/.cache go build ...
https://github.com/moby/buildkit/pull/442 https://github.com/moby/buildkit/pull/455

11
Docker v18.03比で30倍以上高速!

12
• S3やSSHの鍵を，RUNコンテナ内に安全にマウントできる
• マウントされるだけなので，出力イメージ内には残らない
• SSHの鍵にパスフレーズを設定している場合は，後述する RUN –-mount=type=ssh を
用いる
• docker build –-secret を用いて鍵ファイルを指定
新しいDockerfile構文: RUN –-mount=type=secret
...
RUN --mount=type=secret,id=aws,target=/root/.aws/credentials
aws s3 cp s3://... ...
$ docker build –-secret id=aws,src=~/.aws/credentials ...
https://github.com/moby/buildkit/pull/567

13
• クライアントのssh-agentソケット(SSH_AUTH_SOCK)に，RUNコンテナから
アクセスできる
• docker build –-ssh を用いてソケットを指定
新しいDockerfile構文: RUN –-mount=type=ssh
...
RUN --mount=type=ssh git clone ssh://gitlab.com/...
$ eval $(ssh-agent)
$ ssh-add ~/.ssh/id_rsa
(パスフレーズ入力)
$ docker build –-ssh default=$SSH_AUTH_SOCK ...
https://github.com/moby/buildkit/pull/608 https://github.com/moby/buildkit/pull/655

14
• Heroku・Cloud FoundryのBuildpacksも，`docker build`から直接ビ
ルドできる
• やはりLLBに変換されて実行される
Dockerfile以外の言語
# syntax = tonistiigi/pack
---
applications:
- name: myapp
memory: 128MB
disk_quota: 256MB
random-route: true
buildpack: python_buildpack
command: python hello.py
$ docker build –f manifest.yml ...
https://github.com/tonistiigi/buildkit-pack

15
• # syntax = … で指定する文字列は，ファイルを読んでLLBを出力するプ
ログラム(フロントエンド)のコンテナイメージのreference文字列
• DockerfileでもBuildpacksでもない，独自のイメージ記述言語のフロン
トエンドをユーザが実装し，利用することも可能
• Dockerfileは今後「方言」に分かれていくかも知れない
• docker/dockerfile:1.0 が「標準語」
1行目に書く # syntax = …

16
• クライアント側で export DOCKER_BUILDKIT=1 して docker build を実
行するとBuildKitが有効になる
• あるいは， /etc/docker/daemon.json に {“features”:{“buildkit”:true}} と記
述しても有効化できる
• Docker 18.06でも，デーモンをexperimentalモードで実行していれば
BuildKitを有効化できる (Secretマウント，SSHマウントは利用不可)
• BuildKitが有効になっていると docker build の出力が大きく変わる
(次スライド)
BuildKitの使い方

17
BuildKitの使い方
従来 BuildKitモード

18
• Dockerソケットへのアクセスを許すことは，ホストのroot権限を与える
ことと同じ
• インターネットへ向けてTCPでlistenするなら，TLSの設定が必須
• でもTLSの設定は面倒・間違いやすい
Dockerソケットの設定

19
https://docs.docker.com/engine/security/https/ より引用
$ openssl genrsa -aes256 -out ca-key.pem 4096
Generating RSA private key, 4096 bit long modulus
................................................................................
................................................................................
............................++
........++
e is 65537 (0x10001)
Enter pass phrase for ca-key.pem:
Verifying - Enter pass phrase for ca-key.pem:
$ openssl req -new -x509 -days 365 -key ca-key.pem -sha256 out ca.pem
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:
State or Province Name (full name) [Some-State]:Queensland
Locality Name (eg, city) []:Brisbane
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Docker Inc
Organizational Unit Name (eg, section) []:Sales
Common Name (e.g. server FQDN or YOUR name) []:$HOST
Email Address []:Sven@home.org.au
$ openssl genrsa -out server-key.pem 4096
Generating RSA private key, 4096 bit long modulus .............................
........................................++ ....................................
.............................................................++
e is 65537 (0x10001)
$ openssl req -subj "/CN=$HOST" -sha256 -new -key server-key.pem -out server.csr
$ echo subjectAltName = DNS:$HOST,IP:10.10.10.20,IP:127.0.0.1 >> extfile.cnf
$ echo extendedKeyUsage = serverAuth >> extfile.cnf
$ openssl x509 -req -days 365 -sha256 -in server.csr -CA ca.pem -CAkey ca-
key.pem -CAcreateserial -out server-cert.pem -extfile extfile.cnf
Signature ok subject=/CN=your.host.com
Getting CA Private Key
$ openssl genrsa -out key.pem 4096
.........................................................++
................++
e is 65537 (0x10001)
$ openssl req -subj '/CN=client' -new -key key.pem -out client.csr
$ echo extendedKeyUsage = clientAuth >> extfile.cnf
$ openssl x509 -req -days 365 -sha256 -in client.csr -CA ca.pem -CAkey ca-
key.pem -CAcreateserial -out cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=client
$ rm -v client.csr server.csr
$ chmod -v 0400 ca-key.pem key.pem server-key.pem
$ chmod -v 0444 ca.pem server-cert.pem cert.pem
$ dockerd --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --
tlskey=server-key.pem -H=0.0.0.0:2376
$ docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -
H=$HOST:2376 version

20
https://docs.docker.com/engine/security/https/ より引用
$ openssl genrsa -aes256 -out ca-key.pem 4096
................................................................................
................................................................................
............................++
........++
e is 65537 (0x10001)
Verifying - Enter pass phrase for ca-key.pem:
$ openssl req -new -x509 -days 365 -key ca-key.pem -sha256 out ca.pem
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:
State or Province Name (full name) [Some-State]:Queensland
Locality Name (eg, city) []:Brisbane
Organization Name (eg, company) [Internet Widgits Pty Ltd]:Docker Inc
Organizational Unit Name (eg, section) []:Sales
Common Name (e.g. server FQDN or YOUR name) []:$HOST
Email Address []:Sven@home.org.au
$ openssl genrsa -out server-key.pem 4096
Generating RSA private key, 4096 bit long modulus .............................
........................................++ ....................................
.............................................................++
e is 65537 (0x10001)
$ openssl req -subj "/CN=$HOST" -sha256 -new -key server-key.pem -out server.csr
$ echo subjectAltName = DNS:$HOST,IP:10.10.10.20,IP:127.0.0.1 >> extfile.cnf
$ echo extendedKeyUsage = serverAuth >> extfile.cnf
$ openssl x509 -req -days 365 -sha256 -in server.csr -CA ca.pem -CAkey ca-
key.pem -CAcreateserial -out server-cert.pem -extfile extfile.cnf
Signature ok subject=/CN=your.host.com
$ openssl genrsa -out key.pem 4096
.........................................................++
................++
e is 65537 (0x10001)
$ openssl req -subj '/CN=client' -new -key key.pem -out client.csr
$ echo extendedKeyUsage = clientAuth >> extfile.cnf
$ openssl x509 -req -days 365 -sha256 -in client.csr -CA ca.pem -CAkey ca-
key.pem -CAcreateserial -out cert.pem -extfile extfile.cnf
Signature ok
subject=/CN=client
$ rm -v client.csr server.csr
$ chmod -v 0400 ca-key.pem key.pem server-key.pem
$ chmod -v 0444 ca.pem server-cert.pem cert.pem
$ dockerd --tlsverify --tlscacert=ca.pem --tlscert=server-cert.pem --
tlskey=server-key.pem -H=0.0.0.0:2376
$ docker --tlsverify --tlscacert=ca.pem --tlscert=cert.pem --tlskey=key.pem -
H=$HOST:2376 version

21
https://blog.trendmicro.co.jp/archives/19773 より引用

22
• Docker 18.09では，`export DOCKER_HOST=ssh://ユーザ@ホスト`す
るとTLSの代わりにSSHを用いてリモートDockerホストに接続できる
• SSHはホストにDockerをインストールする前に何れにせよ設定するだろ
うから，TLSと違って追加の手間が発生しない
• 単に `ssh -l ユーザホスト – docker` コマンドを実行する場合と異な
り，クライアントの ~/.docker/config.json に保存されているレジスト
リ認証情報や，ビルドコンテキストにアクセスすることが可能
リモートDockerホストへのSSH接続

23
• devicemapper 及び overlay ストレージドライバが非推奨になった
• aufs も19.03から非推奨
• overlay2 が推奨
• json-file に代わるログドライバとしてlocalが導入された
• Protocol Buffersを使うのでオーバヘッドが小さい
• RPM・DEBパッケージ構成が変わった
• docker-ce から docker-ce-cli と containerd.io が分離した
• クライアントだけ欲しい場合は docker-ce-cli だけインストールすれば良い
• Windows Subsystem for Linux ユーザなどに有用かも知れない
• Ubuntu 14.04, Debian 8がサポート外となった
その他の変更点

24
• RUN –-mount=type=(cache|secret|ssh) の正式採用
• 非rootユーザでのDockerデーモンの実行 (#38050)
• User Namespaceを用いる
• --userns-remap と異なり，コンテナだけではなくDockerデーモンも非rootで実行
• Docker, containerd, runcが抱えうる脆弱性を軽減
• 今すぐ試したいなら https://github.com/rootless-containers/usernetes からバ
イナリを入手できる (DockerだけでなくKubernetesも)
• containerdとの重複コードの除去，軽量化 (#38043)
• Dockerのストレージドライバをcontainerdの実装で置き換える
Docker 19.03・19.09 予想

25
•BuildKitの正式採用
• 並列ビルド
• コンテキストの差分転送
• キャッシュマウント
• Secretマウント
• SSHマウント
•リモートDockerホストへのSSH接続
Docker 18.09の新機能まとめ

Docker 18.09 新機能

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Docker 18.09 新機能

Similar to Docker 18.09 新機能 (20)

More from Akihiro Suda

More from Akihiro Suda (20)

Docker 18.09 新機能