KubeCon + CloudNativeCon Europe 2021 における Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit という講演を振り返りながら、KubernetesにおけるLocal Cacheを活用したイメージビルドの方法を紹介します。

1. Running Cache-Efficient Builds
at Scale on Kubernetes with BuildKit
Gautier Delorme, Apple. Inc.
Shingo Omura, Preferred Networks, Inc.
2021/05/20(Thu) Kubernetes Meetup Tokyo #41
KubeCon + CloudNativeCon EU 2021 Virtual Recap

2. 自己紹介 - 大村伸吾 (Shingo Omura)
● エンジニア, Preferred Networks, Inc.
○ 社内向けGPUクラスタの開発運用
○ 主にkubernetes sig-scheduling で活動中
● @everpeace (twitter)
● shingo.omura (facebook)
2

3. 本日の流れ
● セッションのoverview
● なぜこの講演をRecapするのか
● セッションの内容紹介(Recap)
● PFNでの事例との比較
● まとめ
3

4. 4
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

5. 5
Overview of this session
● Appleで実践されているBuildKitを活用したImage Build基盤の紹介

6. 6
なぜこの講演をRecapするのか
Cache-Efficient
というタイトルに
惹かれた！！

7. この講演をRecapする理由
● Cacheがスピードに大きなインパクトがある
● 大きなイメージだとremote cacheでも非常に遅い
○ PFN(主にDeep Learning)の学習に使われるイメージは 数GB~10GB を超えるものが多い
■ pytorch/pytorch:1.8.0-cuda11.1-cudnn8-devel は 7.33 GB (compressed)！！
● PFNでは kaniko + remote cache の構成だが、
最近、daemon-localなキャッシュを活用した BuildKitベースのimage buildサービス(内製)
を開発中で本セッションに興味を持った
● Image Build on Kubernetesの文脈で daemon-local (node-local) な cacheをどう活用するか？
はあまりコミュニティでも共有されていないと感じているので良い機会だと思った
7
ref: KubeCon + CloudNativeCon EU 2019:
Building Images Efficiently and Securely on Kubernetes with BuildKit

8. 8
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

9. 9
TL; DR;
● Buildkitの機能紹介(secure, fast, flexible, etc.)
● KubernetesでBuildkit使う
○ Deployment, StatefulSet, Job といろいろ戦略があるけど
Apple は Job を使っている
○ CachedJob というCRDを開発して活用している
■ キャッシュはhostPathを使う
■ cache keyを指定するとそのcache keyを保持するnodeに
スケジュールされやすくなる
■ 同一Node&同一cacheを使うCachedJob間の排他制御あり

10. Appleが達成したかったこと
10
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
移行は終わっておらず
まだ大部分が bare-metalに
依存しているとのこと

11. Buildkitの特徴
11
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

12. Rootless and daemonless support
12
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

13. Rootless and daemonless support (no docker dependency)
13
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

14. Rootless and daemonless support
14
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

15. BuildKit JobをKubernetesでスケジュールする方法
15
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

16. BuildKit JobをKubernetesでスケジュールする方法
16
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
Docker Buildx の
Kubernetes driver
はDeploymentな戦略

17. BuildKit JobをKubernetesでスケジュールする方法
17
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
キャッシュに使いたいキー
を基にビルド先Podを決める

18. BuildKit JobをKubernetesでスケジュールする方法
18
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
Deamonless Buildkit

19. BuildKit JobをKubernetesでスケジュールする方法(比較)
19
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
Appleは
Jobを選択

20. Project dedicated な cache を実現する
20
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
KubeCon EU 2019の
Sudaさん(NTT)の講演
で紹介されている方法

21. Podに指定されたKeyのキャッシュをマウントする
21
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

22. CacheのあるNodeにスケジュールするには
22
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
● Nodeにcache keyごとのラベルをつけておいて
● Node Affinityをつける
● requiredではなくpreferred
○ 初回への配慮だと思われる
● Podにもcache keyのラベルをつけておいて
● Inter-Pod Anti-Affinityで(Node単位で)排他処理
○ こちらは required で確実に

23. Operatorパターンを適用する
23
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit

24. Operatorパターンを適用する
24
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
From Q&A session
● Q: Node Label はいつ誰がつける？
● A: CachedJobが成功した時にcontrollerが付与

25. Cache の Cleanup
25
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
From Q&A session
●Q: Nodeのlabelが増えすぎるのでは？
●A: cache keyの上限数をcleanup policyで指定
できる

26. Appleが達成したこと
26
KubeCon + CloudNativeCon EU 2021 Virtual: Running Cache-Efficient Builds at Scale on Kubernetes with BuildKit
移行は終わっておらず
まだ大部分が bare-metalに
依存しているとのこと

27. この方法における課題 (個人的な感想)
● 異なるnodeで同一keyのcacheを簡単にホストしてしまうのでは？
○ もしかするとcontrollerが常に新しいものだけ選べばよさそう
● 新しいcacheのほうが嬉しいはずだが選ぶ方法がない
○ Nodeラベルにcacheの世代とかを入れると実現可能かもしれない
● 重複するキャッシュが実は多い
○ cache key毎にcacheが完全に別
→よく利用されるベースイメージなんかは重複する
27
注意
概要レベルでの発表にとどまっていた
ので実際は色々と解決されているのかもしれません

28. PFNでの事例との比較
28
● PFNではStatefulSetを採用
○ キャッシュの共有を重視
○ キャッシュを分ける場合は個別に
StatefulSetを作成

29. PFNでの事例(アーキテクチャ)
29
CLI tool
(buildctl wrapper)
Envoy
BuildKit
Daemon
Local Volume
Envoy
BuildKit
Daemon
Local Volume
Envoy
BuildKit
Daemon
Local Volume
prune/duのようなlayer操作APIを遮断
(セキュリティ上の理由 )
Metadata Service:
現在稼働している BuildKit Deamonのリストを提供
● docker build 互換のインターフェース
● Metadata ServiceでDeamonリストを取得して
● client側でインスタンスを選んでビルド
○ consistent hashing (with virtual nodes)
※現状は1 Pod, metadata serviceなしでPoC中
社内のみから
アクセス可能

30. PFNでの事例との比較
30
󰢄 同一BuildKit Deamon内でのbuild間でリソース分離
されない (moby/buildkit#593)
󰢐 複数keyでキャッシュ共有可(同一Daemon時)
󰢐 同一keyだと常に最新のキャッシュが使える
󰢐 BuildKit DaemonのGCが利用可能
󰢄 リソース効率(未使用時もdaemon起動)

31. まとめ
● Appleの Buildkit+Local Cache を活用したイメージビルド基盤を
KubeConをRecapする形で紹介した
○ Jobを活用してDeamonlessでBuild
○ CachedJobというCRDを活用
● PFNでの事例(StatefulSetの戦略)を紹介しPros/Consを比較した
○ キャッシュ効率を重視
○ の一方、リソース効率を犠牲にしたアーキテクチャ
31

32. 32