HashiTalks Japan 2020

1. 俺のKubernetes Workflow with HashiStack
Toru Makabe
Cloud Solution Architect at Microsoft

2. 自己紹介
CODE EDITOR
apiVersion: selfIntroduction/v1
name: “真壁 徹(まかべ とおる)”
company:
name: “日本マイクロソフト株式会社”
role: “クラウド ソリューションアーキテクト”
love: “Cloud Computing & Craft Beer”

3. お伝えしたいこと
本日のお品書き
▪ Kubernetes における構成管理の課題
▪ 俺のGitOps (Terraform & Flux)
▪ 俺のWorkflow (Terraform Cloud & Visual Studio Code & GitHub Actions)
▪ Now Challenging… Consul Service Mesh on Kubernetes

4. Azureでの経験をもとに
お話しします
ですが、Terraformがサポートしているプラットフォームであれば
他でも参考になると思います

5. Kubernetes における
構成管理の課題

6. Kubernetesの環境、
何を使って作っていますか?
Terraform
CLI by Cloud Provider
Provisioning Tool by Cloud Provider (e.g. Azure Resource Manager Template)
Other

7. Kubernetesクラスターを作るだけで
出来上がるシステムは稀

8. Kubernetes クラスター
仮想マシン
外部リソース
(データストア、
シークレットストア、
監視サービス、etc)
Kubernetes リソース
(Deployment、DarmonSet、StorageClass、
Secret、ConfigMap、etc)
ネットワーク ストレージ

9. Kubernetes クラスター
外部リソース
(データストア、
シークレットストア、
監視サービス、etc)
仮想マシン ネットワーク ストレージ
Azureが提供するプロビジョニングツールの
カバー範囲
Kubernetes リソース
(Deployment、DarmonSet、StorageClass、
Secret、ConfigMap、etc)

10. Kubernetes リソース
(Deployment、DarmonSet、StorageClass、
Secret、ConfigMap、etc)
Kubernetes クラスター
外部リソース
(データストア、
シークレットストア、
監視サービス、etc)
仮想マシン ネットワーク ストレージ
Terraformの
カバー範囲

11. k8sの構成管理におけるTerraformの利点
Kubernetesクラスター外部のリソースも構成管理できる
DBなどデータストア、シークレットストア、監視サービス、etc
リソース間で設定情報を受け渡せる(識別子、IPアドレス、etc)
Kubernetesクラスター上のリソースも構成管理できる
TerraformのKubernetes/Helmプロバイダーを活用

12. だがしかし

13. リソースには属性の違いがある
ライフサイクルの違い
一度作成したらあまり変更がないリソース
アプリの機能追加や変更に合わせて頻繁、継続的に操作されるリソース
担当者の役割の違い
変更の影響、リスクや機密性の観点から、管理者に権限を限定したいリソース
スピード感や柔軟性を重視し、アプリ開発者にも権限を委譲したいリソース

14. Kubernetes クラスター
仮想マシン
外部リソース
(データストア、
シークレットストア、
監視サービス、etc)
Kubernetes リソース – Platform寄り
(Ingress Controller、DaemonSet、
StorageClass、Secret、ConfigMap、etc)
Kubernetes リソース – App寄り
(Deployment、Ingress、Secret、
ConfigMap,、etc)
ネットワーク ストレージ
分離!!

15. Kubernetes クラスター
仮想マシン
外部リソース
(データストア、
シークレットストア、
監視サービス、etc)
Kubernetes リソース – Platform寄り
(Ingress Controller、DaemonSet、
StorageClass、Secret、ConfigMap、etc)
Kubernetes リソース – App寄り
(Deployment、Ingress、Secret、
ConfigMap,、etc)
ネットワーク ストレージ
Terraformの
カバー範囲
管理者向けの
“Bootstrap”ツールと
位置付ける

16. Kubernetes クラスター
仮想マシン
外部リソース
(データストア、
シークレットストア、
監視サービス、etc)
Kubernetes リソース – Platform寄り
(Ingress Controller、DaemonSet、
StorageClass、Secret、ConfigMap、etc)
Kubernetes リソース – App寄り
(Deployment、Ingress、Secret、
ConfigMap,、etc)
ネットワーク ストレージ
Terraformの
カバー範囲
ここを
どうする？

17. 俺のGitOps
(Terraform & Flux)

18. Kubernetes クラスター
仮想マシン
外部リソース
(データストア、
シークレットストア、
監視サービス、etc)
Kubernetes リソース – Platform寄り
(Ingress Controller、DaemonSet、
StorageClass、Secret、ConfigMap、etc)
Kubernetes リソース – App寄り
(Deployment、Ingress、Secret、
ConfigMap,、etc)
ネットワーク ストレージ
Terraform
Flux & Helm Operator
GitHub(*)
継続的な
pull & apply
構築時のapply
(*)経験上Bootstrapはレポジトリを分けることが多い

19. それぞれの位置づけ
Terraform - Bootstrapping
一度作成したらあまり変更しない or したくないリソース
GitOpsの準備を整える
Flux & Helm Operator – GitOps Continuous Configuration
Bootstrap後にGitHubから構成をpull、適用し続ける
Fluxの他にはArgo CDも人気がある印象
GitHub - Single Source of Truth
ここさえ見れば構成が分かる、と信頼できる情報源
Kubernetesクラスターを直接操作せず、変更はGitHubへ

20. 作成・設定・維持対象リソース例
Flux & Helm Operator
User Application
(e.g. Deployment, Service, HPA, ConfigMap)
Cache
Utilities & Tools
(e.g. Kured, Prometheus)
Terraform
Azure Virtual Network
Azure Public IP Address (For Ingress)
Azure Kubernetes Service
Azure Monitor Integration
Kubernetes Storage Class
Flux & Helm Operator
Ingress Controller (e.g. NGINX)
Service Mesh (e.g. Consul)

21. 作成・設定・維持対象リソース例
▪ 一度作成したら変更したくない or
させたくないリソース
▪ 管理者に操作権限を限定させたい
リソース
▪ Flux & Helm Operatorが動き出
す前に作成を完了したいリソース
▪ 作成、設定順序を意識するリソー
ス
Terraform
Azure Virtual Network
Azure Public IP Address (For Ingress)
Azure Kubernetes Service
Azure Monitor Integration
Kubernetes Storage Class
Flux & Helm Operator
Ingress Controller (e.g. NGINX)
Service Mesh (e.g. Consul)

22. 作成・設定・維持対象リソース例
Flux & Helm Operator
User Application
(e.g. Deployment, Service, HPA, ConfigMap)
Cache
Utilities & Tools
(e.g. Kured, Prometheus)
▪ 継続的に変更するリソース
▪ アプリ開発者にも権限を委譲した
いリソース
▪ 作成、設定順序を意識しない、宣
言的構成管理、Kubernetes Way
に沿ったリソース
▪ Bootstrapで構成する強い理由が
ないリソース (Terraformでは
Kubernetes YAMLマニフェスト
をHCLに書き換える必要があるた
め)

23. 俺のWorkflow
(Terraform Cloud &
Visual Studio Code &
GitHub Actions)

24. 俺の開発環境
もろもろの要件&条件
▪ 開発端末はプロジェクトに合わせてWindowsもmacOSも使う
▪ いくつかの端末を使い分ける
▪ オフィスでもお客様先でも家でもコードを書く
▪ コードは一元管理したい
▪ Terraformのステートも一元管理したい
▪ 開発環境の設定も一元管理したい

25. Windows 10
WSL 2
VS Code
Remote
Dev. Ext.
Terraform
Ext. GitHub
Settings Sync
Ext.
macOS
VS Code
Terraform
Ext.
Settings Sync
Ext.
Terraform
Cloud
Git Terraform Git Terraform
State
Code &
VS Code settings
俺の開発環境
いつでも どこでも Terraform
▪ Terraform Cloudでステートを管理
▪ VS Codeの設定を複数端末で同期(Settings Sync拡張を利用)
– 同期機能は標準提供される予定(現在はInsidersで提供)

26. Terraform Visual Studio Code Extension
▪ v2からHashiCorpが開発をリード
▪ HCL 2やTerraform Language
Server対応など意欲的
▪ v2への移行に伴い、ややIssueが
多めですが、前向きにフィードバ
ックして育てていきましょう
https://github.com/hashicorp/vscode-terraform

27. 俺のTerraform CI & Review
プルリク時にGitHub Actionsでplanし、レビューやマージ判断に活用
GitHub
Pull Request
Trigger
GitHub
Actions
• terraform fmt
• terraform init
• terraform plan
Result
applyの自動化は、あまりやっていません (技術的には可能ですが、リスクを考慮)

28. 俺のKubernetes Workflow 全体像
Dev/Test Production
Apps Flow
Bootstrap
GitOps
参考: Azure Kubernetes Service インフラ ブートストラップ開発フロー&コードサンプル 2020春版

29. Now Challenging…
Consul Service Mesh
on Kubernetes

30. サービスメッシュの需要と必要性↑
正直、サービスメッシュが必要なプロジェクトは限られると感じていた
既存アプリの移行に使われる/妥当なケースは、あまりない(経験上)
技術やエコシステムの変化が激しく追従が大変
(Kubernetesだけでも激しいのに、サービスメッシュをそこに載せたら…)
採用が妥当と思えるプロジェクトが、少しずつ増えている印象
新しく作るシステムの共通機能としては非常に有用
(経路暗号化、トラフィック制御、可観測性向上、etc）
本気の相談をいただく機会も、少しずつ

31. Consul Connect
Service Mesh on k8s
激しく期待を込めて検証中

32. 俺のConsul Connect Service Mesh on k8s
絶賛検証中
Consul
Server
Consul
Client
Consul
Connect &
Envoy
NGINX
Ingress
Controller
Backend
App
Frontend
App
Consul
Connect &
Envoy
Consul
Connect &
Envoy
構成管理4人衆
可観測性コンビ

33. 現在の印象
かっちり動いて
開発のリード、ガバナンスに
安心感がある

34. おねだり‼
Consul
Server
Consul
Client
Consul
Connect &
Envoy
NGINX
Ingress
Controller
Backend
App
Frontend
App
Consul
Connect &
Envoy
Consul
Connect &
Envoy
構成管理4人衆
可観測性コンビ
代表的なIngress
Gatewayだけで構
わないので、もっ
と楽に設定したい
Helmで設定可
能な属性が増
えると幸せ
より容易な
統合手段があ
ると嬉しい

35. まとめ

36. お伝えしたかったこと
▪ Kubernetes における構成管理の課題
▪ 俺のGitOps (Terraform & Flux)
▪ 俺のWorkflow (Terraform Cloud & Visual Studio Code & GitHub Actions)
▪ Now Challenging… Consul Service Mesh on Kubernetes