Kubernetes Meetup #11での発表資料です。

1. Kubernetes Multi-Cluster
Operations without
Federation
Kubernetes Meetup #11
@jyoshise

2. Kubernetes Multi-Cluster Operations without Federation
- Rob Szumski, CoreOS (Intermediate Skill Level)
https://www.youtube.com/watch?v=zVOIk7nO_ts
2

3. なぜこれ
3

4. @jyoshise is 誰
•
• Lead Architect, Cloud Native Application
Platform, Hybrid IT COE
• いろんな国のいろんなお客さんにいろんな提案や導入
をやっています
• 最近は主にコンテナプラットフォームとその活用

5. ある日ある国のあるお金持ちからこんなRFPをもらった
• コンテナプラットフォームを作りなさい
• アプリケーションが環境をまたがって縦横無尽にデプロ
イできること
• ピーク時にリソースが足りなくなったら別の環境にバー
スティングできるよな
• セキュリティと認証認可は一元管理だ当たり前だろ
• もちろん監視とかログ管理とか必要なものはフルセット
提案しろよ
• 孫の代までサポートしなさい
• 提案期限：来週
SIT UAT Prod DR
オンプレデータセンターA 〇 〇
オンプレデータセンターB 〇
パブリッククラウド 〇 〇 〇 〇

6. ＿人人人人人人人＿
＞ わりと日常 ＜
￣Y^Y^Y^Y^Y^Y￣

7. 某社に聞いてみた
Kubernetes
Federationってある
じゃん
あれどうよ

9. 本題です
9

10. MULTIPLE CLUSTERS
–エンタープライズが複数クラスタを運用するのは当たり前
– Dev, Test, Prod
– AWS, Azure, GCP, オンプレ1, オンプレ2,…
–だいたい5～10クラスタじゃね？
10

11. FEDERATION V1の発想
11
Node Node Node
API Server
Node Node Node
API Server

12. FEDERATION V1の発想
12
Node Node Node
API Server
Node Node Node
API Server
Federation API Server

13. FEDERATION V1の発想
13
Node Node Node
API Server
Node Node Node
API Server
Federation API Server
• 全てのnamespaceに対してroot
でなければならない
• KubernetesのAPI全部置き換
えとか本気で言ってる？
• そもそもこいつどこに置くのよ

14. ＿人人人人人人人＿
＞ 詰んだ ＜
￣Y^Y^Y^Y^Y^Y￣

15. ではFEDERATIONに頼らずに
FEDERATION的なことをする
15

16. そもそもなにがやりたいのか
APP OWNER
CI/CDとの連携
クラスタのDiscovery
クラスタ間でのフェイルオーバー
Credentialの統合
16
INFRA ADMIN
クラスタの接続と追跡
全体のセキュリティの保証
できるだけLock down
リソースの制限

17. そもそもなにがやりたいのか
APP OWNER
CI/CDとの連携
クラスタのDiscovery
クラスタ間でのフェイルオーバー
Credentialの統合
17
INFRA ADMIN
クラスタの接続と追跡
全体のセキュリティの保証
できるだけLock down
リソースの制限

18. そもそもなにがやりたいのか
APP OWNER
CI/CDとの連携
クラスタのDiscovery
クラスタ間でのフェイルオーバー
Credentialの統合
18
INFRA ADMIN
クラスタの接続と追跡
全体のセキュリティの保証
できるだけLock down
リソースの制限

19. TECTONICの取り組み
19
CLUSTER REGISTRYの同期
POLICYの同期
オンプレ US East Asia East
Dev Prod Prod Test
• Cluster Registryが一か所ではまずいので全クラスタ上で同期
• Policyがセレクタとして使う
• RBACが対象
• namespace, role, role-bindingsのCRUDを全クラスタに同期

20. やりたいことをどうやって実現していくか
–CI/CDとの連携とか
–バースティングとか
–他にもいろいろあるでしょうよ
20

21. あまり複雑じゃないやつ
–シェルスクリプトでがんばる
–Jenkinsでがんばる
21
問題 ： ダサい

22. 見た目ちょっとクールなやつ
–専用ツール（コマンドとか）を作る
–例）MULTI-CLUSTER INGRESS
–でも結局中身がスクリプトだったりするとおんなじじゃね？
22

23. 簡単じゃないけどクールなやつ
–OPERATOR
–やりたいことに応じたcontrollerを作る
–CRDを使ってアプリケーションを定義
–Cluster RegitstyとRBACを使う
–Kubernetes-native
23
Robさんイチ押し

24. SIG-MULTICLUSTERと
FEDERATION V2
24

25. SIG-MULTICLUSTER
–要するにここで話したようなことを扱っている場がSIG-Multicluster
–Cluster Registry
–Policy Sync
–Multi-cluster Ingress
–CRDs
–Federation v2
–全てを解決するAPIを目指すのではなく、ユーザーが必要な機能を取捨
選択できる/拡張できるようにする方針
25

26. おまけ
26

27. その他関連セッション
27
Keynote: CERN Experiences with
Multi-Cloud Federated
Kubernetes
CERNのお兄ちゃんが巨大ワーク
ロードをマルチクラウドバースティン
グさせた話
https://www.youtube.com/watch?v
=2PRGUOxL36M&t=25s
SIG Multi-Cluster Deep Dive SIGとして何に取り組んでいるか https://www.youtube.com/watch?v
=q27rbaX5Jis
Cloudbursting with Kubernetes HuaweiでPod-Autoscalerを
Federatedにしようとしている話
https://www.youtube.com/watch?v
=AGQL4ItB3NM

28. 感想
–銀の弾丸はない
–万人が必要とする機能以外は、その機能を必要としている人が
CRD/Operationで拡張するべき（Kubernetesの標準機能とManifestは
汚さない）という考え方が広まってきている感
–ラーメン高かった
28

29. Thank you
29