2020年10月、Kubernetes 向け GitOps ツール Flux の後継である GitOps Toolkit の API が beta になりました。このセッションでは、GitOps Toolkit の紹介と、Preferred Networks の社内クラスタ開発・運用チームでの Kubernetes マニフェスト CD の取り組みについてお話します。

1. GitOps Toolkit による
Kubernetes マニフェスト CD
2020/10/28 Kubernetes Meetup Tokyo #35
薮内 秀仁 (Hidehito Yabuuchi), Preferred Networks, Inc.

2. 自己紹介 - 薮内 秀仁 (Hidehito Yabuuchi)
2020/04 - 現在：Preferred Networks, Inc. (PFN)
社内向け計算機クラスタの開発・運用
● Kubernetes スケジューラの開発
● クラスタ管理用 Kubernetes
マニフェストの CI/CD
● etc.
2

3. 自己紹介 - 薮内 秀仁 (Hidehito Yabuuchi)
2020/04 - 現在：Preferred Networks, Inc. (PFN)
社内向け計算機クラスタの開発・運用
● Kubernetes スケジューラの開発
● クラスタ管理用 Kubernetes
マニフェストの CI/CD
● etc.
3
詳しくは PFN 大村による
CNDT 2020 での発表

4. 自己紹介 - 薮内 秀仁 (Hidehito Yabuuchi)
2020/04 - 現在：Preferred Networks, Inc. (PFN)
社内向け計算機クラスタの開発・運用
● Kubernetes スケジューラの開発
● クラスタ管理用 Kubernetes
マニフェストの CI/CD
● etc.
4
今回はこちらのお話

5. 今回お話しする内容
● GitOps Toolkit の紹介
○ Git リポジトリ上の Kubernetes マニフェストを自動で適用
● PFN のクラスタ開発・運用チームにおける
Kubernetes マニフェスト CD の取り組み
○ CD ツールを補完し 正しいマニフェストが適用されるように
5

6. GitOps Toolkit
6

7. Kubernetes 向け CD ツール
● CD パイプライン構築系
○ Jenkins X
○ Spinnaker
● ワークフローエンジン系
○ Tekton
● GitOps 系
○ Argo CD
○ Flux v1
○ GitOps Toolkit (Flux v2)
7

8. GitOps とは
2017/08 Weaveworks が提唱
https://www.weave.works/blog/gitops-operations-by-pull-request
8
Person outline icon made by iconixar from www.flaticon.com
Git logo made by Jason Long
Robot icon made by Zlatko Najdenovski from www.flaticon.com
push
merge clone
apply
delete
Git リポジトリに Kubernetes
マニフェストを push すると…
GitOps ツールが
自動でクラスタに適用

9. GitOps とは
2017/08 Weaveworks が提唱
https://www.weave.works/blog/gitops-operations-by-pull-request
9
push
merge clone
apply
delete
Git リポジトリが
Source of Truth に
Person outline icon made by iconixar from www.flaticon.com
Git logo made by Jason Long
Robot icon made by Zlatko Najdenovski from www.flaticon.com

10. Flux v1
2017/08 v1.0 リリース
10
Person outline icon made by iconixar from www.flaticon.com
Git logo made by Jason Long
クラスタ
push
merge clone
apply
delete
Flux デーモン API サーバ
Git リポジトリを
ポーリング
● マニフェストを kubectl apply
● リポジトリから消えたリソースを
kubectl delete

11. Flux v1 - マニフェスト生成
Git リポジトリ内の .flux.yaml ファイルに書かれたコマンドで
生成したマニフェストを kubectl apply
例：
Clone したリポジトリで kustomize build を実行した
出力結果を kubectl apply
11
patchUpdated:
generators:
- command: kustomize build
...

12. クラスタ
apply
delete
Flux デーモン API サーバ
Flux v1 - コンテナイメージの自動更新
12
イメージタグの
更新を commit
Git logo made by Jason Long
Containers icon made by Freepik from www.flaticon.com
Pod テンプレートの
spec.containers[].image を
新しいタグに更新
新しいイメージの
タグを取得
コンテナイメージレジストリ

13. GitOps Toolkit (Flux v2)
● Flux v1 の後継として開発中
● 2020/10/01 v0.1 リリース
○ CRD の API version が v1beta1 に
○ Flux v1 はメンテナンスモードに
● Argo CD と Flux が協力して ひとつの GitOps ツールを
開発する計画もあったが 中止に
13

14. GitOps Toolkit = CRD / コントローラの集まり
14
https://toolkit.fluxcd.io より

15. GitOps Toolkit = CRD / コントローラの集まり
15
https://toolkit.fluxcd.io より
Source controller がリポジトリを clone し…

16. GitOps Toolkit = CRD / コントローラの集まり
16
Kustomize controller が
1. source controller からリポジトリを取得
2. kustomize build の出力を kubectl apply
https://toolkit.fluxcd.io より

17. Source Controller
17
https://toolkit.fluxcd.io/components/source/controller/ より

18. Source Controller
18
リポジトリの
URL, ref を指定
定期的に clone
.tar.gz に圧縮
HTTP GET
Kustomize
controller など
https://toolkit.fluxcd.io/components/source/controller/ より

19. Kustomize Controller
19
https://toolkit.fluxcd.io/components/kustomize/controller/ より

20. Kustomize Controller
20
リポジトリを取得
kustomize build の
出力を kubectl apply
https://toolkit.fluxcd.io/components/kustomize/controller/ より

21. Kustomization CRD
21
apiVersion: kustomize.toolkit.fluxcd.io/v1beta1
kind: Kustomization
metadata: { … }
spec:
sourceRef:
kind: GitRepository
name: repo
path: ./my-app/overlays/prod
validation: server
prune: true
healthChecks:
- apiVersion: apps/v1
kind: Deployment
namespace: gotk-system
name: source-controller
interval: 1m0s
リポジトリの取得先
kustomize build するパス
apply の前に
kubectl apply --dry-run=server
リポジトリから消えたリソースを
kubectl delete
apply の成否を kstatus で 確認

22. kustomization.yaml がない場合は
対象ディレクトリ以下の YAML を読む kustomization.yaml を生成
（kustomize init --recursive --autodetect に相当）
Kustomization CRD
22
<spec.path>
├─ deployment.yaml
├─ namespace.yaml
└─ subdir
└─ service.yaml
apiVersion: …
kind: Kustomization
resources:
- deployment.yaml
- namespace.yaml
- subdir/service.yaml
生成
kustomization.yaml

23. 通知
● GitRepository, Kustomization
などの更新を外部に通知
● Provider CRD で通知先を設定
○ Slack
○ GitHub のコミットステータス
○ etc.
● Alert CRD で何のイベントを
通知するか設定
23
Slack 通知の例

24. 開発状況（2020/10/28 現在）
コンテナイメージの更新機能以外は Flux v1 と同じ機能を提供できている
（残り 10% は移行ガイド）
24
https://toolkit.fluxcd.io/roadmap/ より
コンテナイメージの更新機能は API デザインが完了

25. 情報ソース
● 公式ドキュメント
○ https://toolkit.fluxcd.io
● GitHub
○ https://github.com/fluxcd/toolkit
● Weaveworks ブログ - flux カテゴリ
○ https://www.weave.works/blog/category/flux/
● CNCF Slack ワークスペース - #flux, #flux-dev チャンネル
○ cloud-native.slack.com
● Flux developer community メーリングリスト
○ https://lists.cncf.io/g/cncf-flux-dev
25

26. PFN のクラスタ開発・運用チームにおける
Kubernetes マニフェスト CD の取り組み
26

27. 注意していただきたい点
● クラスタ開発・運用チーム での事例です
○ クラスタ自体に作用したり 権限に関するマニフェストも扱い、
アプリケーションのデプロイとは性質が異なるところもあります
● GitOps Toolkit の運用は始めて1ヶ月足らずです
○ 今後 運用方法が変わる可能性もあります
27

28. 運用中の CD ツール
● 一部のクラスタでは GitOps Toolkit を運用中
○ とくに問題なく動いている
● その他のクラスタでは Flux v1 を運用中
○ 今後 GitOps Toolkit に移行予定
28

29. マニフェスト生成
Kustomize controller の kustomize build 機能は使わず
Git リポジトリ上に生成結果がおかれた状態 にしている
なぜ？ ➔ 生成結果のマニフェストを確認したい
● クラスタ自体や権限に関する 影響の大きいマニフェストも扱う
● 間違ったマニフェストの apply や 意図しない delete の被害が大きい
とはいえ人手で生成したくはない ➔ CI で生成
29

30. CI でのマニフェスト生成
30
Person outline icon made by iconixar from www.flaticon.com
Robot icon made by Zlatko Najdenovski from www.flaticon.com
PR generated ブランチを clone
- deployment.yaml
- kustomization.yaml
- namespace.yaml
CI
● kustomize build などで生成し
結果を generated ブランチに push
● master との差異を PR にコメント
- generated.yaml

31. マニフェストのバリデーション
形式が間違っているマニフェストの検知
● GitOps Toolkit を使っているクラスタでは：
○ Kustomization CR のオプションで
apply --dry-run=server が失敗したら apply しないよう設定
● Flux を使っているクラスタでは：
○ CI 上で kubeval を使いスキーマに適合するかチェック
31

32. まとめ
● GitOps Toolkit の紹介
○ Git リポジトリ上の Kubernetes マニフェストを自動で適用
○ CRD / コントローラの集まり
● PFN のクラスタ開発・運用チームにおける
Kubernetes マニフェスト CD の取り組み
○ CD ツールを補完し 正しいマニフェストが適用されるように
○ Git リポジトリ上 (CI) でマニフェスト生成を済ませる
○ Kustomize controller や kubeval によるバリデーション
32
✔
✔