Nghiên cứu quý 3 của công ty GMO-Z.com VietnamLab. Chủ đề Tìm hiểu và triển khai ứng dụng Web với Kubernetes

1. Kubernetes trong triển khai ứng
dụng web
PhongNX

2. Agenda
 Bối cảnh
 Nhắc lại về Docker
 Giới thiệu Kubernetes
 Kiến trúc Kubernetes
 Các thành phần cơ bản trong Kubernetes
 Rancher 2.0
 Harbor – Docker registry
 Demo

3. Agenda
 Bối cảnh
 Nhắc lại về Docker
 Giới thiệu Kubernetes
 Kiến trúc Kubernetes
 Các thành phần cơ bản trong Kubernetes
 Rancher 2.0
 Harbor – Docker registry
 Demo

4. Docker xuất hiện mở ra cuộc cách mạng về ảo hoá

5. Các vấn đề liên quan đến triển khai hệ thống
Health Discovery Scheduling
Configuration
Scaling Security
There are more!
Monitoring

7. 4. Challenge !

8. Agenda
 Bối cảnh
 Nhắc lại về Docker
 Giới thiệu Kubernetes
 Kiến trúc Kubernetes
 Các thành phần cơ bản trong Kubernetes
 Rancher 2.0
 Harbor – Docker registry
 Demo

9. Vấn đề trong triển khai hệ thống phần mềm

10. m n

11. Giải pháp triển khai hệ thống phần mềm

13. So sánh với các HyperVisor

14. HyperVisor Type 2 Docker
Virtualization Type Vitualization Machine Container
Weight of the created virtual
systems
Heavy Very lightweight
Startup time for created
machine
A few minutes A few seconds
Isolation level for created
vitural systems
Full Partial
Guaranteed Resources at
Hardware Level ?
Yes No
Can create machines with
different OS ?
Yes No

15. Kiến trúc Docker

16. Nginx
Php - fpm
Mysql
Docker
Container
Simple web app

17. Agenda
 Bối cảnh
 Nhắc lại về Docker
 Giới thiệu Kubernetes
 Kiến trúc Kubernetes
 Các thành phần cơ bản trong Kubernetes
 Rancher 2.0
 Harbor – Docker registry
 Demo

19. κυβερνήτης

20. k8s

21. Kubernetes
 Manage application, not machine
 Kubernetes là một Platform tự động hoá việc quản lý,
scaling container
 Kubernetes còn gọi là Container orchestration engine.
 Kubernetes by Google dựa trên kinh nghiệm quản lý
sử dụng các container

22. =

23. Kubernetes vs Docker Swarm
https://platform9.com/blog/kubernetes-docker-swarm-compared/

24. Kubernetes làm được những gì
 Việc quản lý hàng loạt docket host
 Container Scheduling
 Rolling update
 Scaling/Auto Scaling
 Monitor vòng đời và tình trạng sống chết của container.
 Self-healing trong trường hợp có lỗi xãy ra. (Có khả năng phát hiện và tự correct lỗi)
 Service discovery
 Load balancing
 Quản lý data
 Quản lý work node
 Quản lý log
 Infrastructure as Code
 Sự liên kết và mở rộng với các hệ thống khác

25. Kubernetes liên kết với hệ sinh thái
 Ansible: Deploy container tới Kubernetes
 Apache Ignite: Sử dụng Service Discovery của Kubernetes, tự động tạo và scaling k8s
clkuster
 Fluentd: gửi log của container trong Kubernetes
 Jenkins: Deploy container đến Kubernetes
 OpenStack：Cấu trúc k8s liên kết với Cloud
 Prometheus: Monitor Kubernetes
 Spark: Thực thi native job trên Kubernetes(thay thế cho YARN)
 Spinnaker：Deploy container đến Kubernetes
 v.v

26. Các môi trường Kubernetes
 Local Kubermetes
 Công cụ hỗ trợ thiết lập môi trường Kubernetes
 Quản lý Kubernetes trên public cloud

27. Local Kubermetes
Minikube
Docker for Mac

28. Công cụ hỗ trợ thiết lập môi trường Kubernetes
 kubeadm
 Rancher

29. Quản lý Kubernetes trên public cloud
 Google Kubernetes Engine（GKE）
 Azure Container Service（AKS）
 Elastic Container Service for Kubernetes（EKS）
GKE AKS

30. GKE（Google Kubernetes Engine）

31. Agenda
 Bối cảnh
 Nhắc lại về Docker
 Giới thiệu Kubernetes
 Kiến trúc Kubernetes
 Các thành phần cơ bản trong Kubernetes
 Rancher 2.0
 Harbor – Docker registry
 Demo

36. Agenda
 Bối cảnh
 Nhắc lại về Docker
 Giới thiệu Kubernetes
 Kiến trúc Kubernetes
 Các thành phần cơ bản trong Kubernetes
 Rancher 2.0
 Harbor – Docker registry
 Demo

37. Node

38. Hosts running
k8s daemons

41. Node Node Node
Master
API
Scheduler
etc..
kubelet kubelet kubelet

42. Kubernetes Resource
Phân Loại Resource Mô tả
Workloads Resource liên quan đến thực thi container
Discovery＆Load
balancer
Resource cung cấp Endpoint - cho phép truy cập
Container từ bên ngoài Cluster
Config＆Storage Resources liên quan đến settings, confidential
information, persistent volumes vv
Cluster Resources liên quan đến security và quota
Metadata Resource cho việc quản lý Resource

43. Workloads
Pod
ReplicationController
ReplicaSet
Deployment
DaemonSet
StatefulSet
Job
CronJob
Discovery＆LB resource
Service
ClusterIP
NodePort
LoadBalancer
ExternalIP
ExternalName
Headless
Ingress
Config＆Storage
Secret
ConfigMap
PersistentVolumeClaim
Cluster resource
Namespace
ServiceAccount
Role
ClusterRole
RoleBinding
ClusterRoleBinding
NetworkPolicy
ResourceQuota
PersistentVolume
Node
Metadata resource
CustomResourceDefinition
LimitRange
HorizontalPodAutoscaler

44. Workloads
Pod
ReplicationController
ReplicaSet
Deployment
DaemonSet
StatefulSet
Job
CronJob
Discovery＆LB resource
Service
ClusterIP
NodePort
LoadBalancer
ExternalIP
ExternalName
Headless
Ingress
Config＆Storage
Secret
ConfigMap
PersistentVolumeClaim
Cluster resource
Namespace
ServiceAccount
Role
ClusterRole
RoleBinding
ClusterRoleBinding
NetworkPolicy
ResourceQuota
PersistentVolume
Node
Metadata resource
CustomResourceDefinition
LimitRange
HorizontalPodAutoscaler
Application Developer normally use 3 types

45. Workloads
Pod
ReplicationController
ReplicaSet
Deployment
DaemonSet
StatefulSet
Job
CronJob
Discovery＆LB resource
Service
ClusterIP
NodePort
LoadBalancer
ExternalIP
ExternalName
Headless
Ingress
Config＆Storage
Secret
ConfigMap
PersistentVolumeClaim

46. Pod

47. Basic unit of
deployment in k8s

48. Group of container

49. Container configuration

50. Shared storage

51. Pod
container
container
container
Volume
NIC

52. Pod
container
container
container
nginx
frontend app
redis/cache
e.g.

53. Scheduled together

54. Guaranteed to be on
the same node

55. container
container
container
container
container
container
container
container
container
Node Node Node
Pod Pod Pod

56. container
container
container
container
container
container
Node Node Node
Pod Pod
container
container
container
Pod
container
container
container
Pod
container
container
container
Pod
container
container
container
Pod
container
container
container
Pod
Depends on each node’s resource availability
and each pod’s resource requirement

57. container
container
container
Node Node

58. container
container
container
Node Node
This will NEVER happen

59. MasterAPI
UI
CLI
Node 1
Node 2
Node 3
Pod

60. Pod
Node
MasterAPI
UI
CLI
Node 1
Node 2
Node 3
Pod
=

61. Demo Pod

62. ReplicaSet

63. Keep track of
Pod replicas

64. Replica Set
container
container
container
Pod
replica: 3
template:
container
container
container
Pod A

65. Replica Set
container
container
container
Pod
replica: 3
template:
container
container
container
Pod B
container
container
container
Pod A

66. Replica Set
container
container
container
Pod
replica: 3
template:
container
container
container
Pod B
container
container
container
Pod A
container
container
container
Pod C

67. Replica Set
container
container
container
Pod
replica: 3
template:
container
container
container
Pod B
container
container
container
Pod A
container
container
container
Pod C

68. Replica Set
container
container
container
Pod
replica: 3
template:
container
container
container
Pod B
container
container
container
Pod A
container
container
container
Pod D

69. Auto healing

70. Deployment

71. Manages Replicas Set
state transitions

72. Deployment
container
container
container
Pod
replica: 3
template:

73. Deployment
container
container
container
Pod
replica: 3
template:
ReplicaSet A
container
container
container
Pod
replica: 3
template:

74. Deployment
container
container
container
Pod
replica: 3
template:
ReplicaSet A
container
container
container
Pod
replica: 3
template:
Change some setting,
please!

75. Deployment
container
container
container
Pod
ReplicaSet A
container
container
container
Pod
replica: 3
template:
Change some setting,
please!
replica: 3
template:

76. Deployment
container
container
container
Pod
ReplicaSet A
container
container
container
Pod
replica: 3
template:
Change some setting,
please!
ReplicaSet B
container
container
container
Pod
replica: 3
template:
replica: 3
template:

77. Deployment
container
container
container
Pod
ReplicaSet A
Change some setting,
please!
ReplicaSet B
container
container
container
Pod
replica: 3
template:
replica: 3
template:

78. Deployment
container
container
container
Pod
ReplicaSet B
container
container
container
Pod
replica: 3
template:
replica: 3
template:

79. Keep track of state
change history

80. Deployment
container
container
container
Pod
ReplicaSet B
container
container
container
Pod
replica: 3
template:
replica: 3
template:

81. Deployment
container
container
container
Pod
Oh wait, I actually
didn’t want to do that
ReplicaSet B
container
container
container
Pod
replica: 3
template:
replica: 3
template:

82. Deployment
container
container
container
Pod
Oh wait, I actually
didn’t want to do that
ReplicaSet B
container
container
container
Pod
replica: 3
template:
replica: 3
template:
Rollback

83. Deployment
container
container
container
Pod
ReplicaSet A
container
container
container
Pod
replica: 3
template:
ReplicaSet B
container
container
container
Pod
replica: 3
template:
replica: 3
template:
Oh wait, I actually
didn’t want to do that
Rollback

84. Deployment
container
container
container
Pod
ReplicaSet A
container
container
container
Pod
replica: 3
template:
ReplicaSet B
replica: 3
template:
Oh wait, I actually
didn’t want to do that
Rollback

85. Deployment
container
container
container
Pod
ReplicaSet A
container
container
container
Pod
replica: 3
template:
replica: 3
template:

86. Rolling update
Pod

87. DaemonSet

88. DaemonSet: Schedule Pod một cách tuần tự từng Pod một trên tất cả các
Node.
 Use case
 Fluentd: Collect logs tool
 Datadog: Monitoring tool

89. Job

90. Job = Pod + batch = env + batch
 Job
 Start Pod (container
centos)
 Run command: sleep 60;
 Finish

91.  restartPolicy
 OnFailure: Use this Pod to run job again
 Never: Create new Pod if Pod had
problem and run job

92.  completions: 1
 Job success one time and finish
 parallelism: 1
 run parallelism 1 pod
 backoffLimit: 10
 Allows failing 10 times

93. Run job one time

96. CronJob

97. Cronjob = Job + schedule
Crontab = batch + schedule

98. Cronjob = Job + schedule 1
2
3

99. Cronjob = Job + schedule
 schedule
 same cron format
 http://www.nncron.ru/help/EN/working/cron-
format.htm
 Setting
 concurrencyPolicy
 Allow(default): Không hạn chế đối với việc thực thi
đồng thời
 Forbid: Job trước đó thực hiện chưa xong thì
không tạo Job mới.(không thực hiện đồng thời)
 Replace: Trong trường hợp Job cũ đang chạy, huỷ
Job cũ và tạo Job mới
1
2
3

100. Cronjob = Job + schedule
 schedule
 Setting
 startingDeadlineSeconds
 Thời gian trễ cho phép để run job
 successfulJobsHistoryLimit
 Số lượng Job thành công được duy trì
 failedJobsHistoryLimit
 Số lượng Job thất bại duy trì.
 Job
1
2
3

101. K8s Cronjob vs cron job in linux

102. Problem in cron job in linux
Job

103. Problem in cron job in linux
Job
That’s OK ???
Job

104. Solution with K8s Cronjob
Job
Node 1 Node 2

105. Solution with K8s Cronjob
Job
Node 1 Node 2

106. Solusion with K8s Cronjob
Node 1 Node 2
Job

107. Workloads
Pod
ReplicationController
ReplicaSet
Deployment
DaemonSet
StatefulSet
Job
CronJob
Discovery＆LB resource
Service
ClusterIP
NodePort
LoadBalancer
ExternalIP
ExternalName
Headless
Ingress
Config＆Storage
Secret
ConfigMap
PersistentVolumeClaim

108. Workloads
Pod
ReplicationController
ReplicaSet
Deployment
DaemonSet
StatefulSet
Job
CronJob
Discovery＆LB resource
Service
ClusterIP
NodePort
LoadBalancer
ExternalIP
ExternalName
Headless
Ingress
Config＆Storage
Secret
ConfigMap
PersistentVolumeClaim

109. Kubernetes network

110. ClusterIP

111. ClusterIP Service
:80 :80 :80

112. ExternalIP

113. :80 :80 :80
ExtenalIP Service

114. NodePort

115. :80 :80 :80
NodePort Service

116. :80 :80 :80
NodePort Service

117. NodePort Service

118. NodePort Service

119. LoadBalancer

120. Load Balancer Service

121. LoadBalancer support for
GKE AKS

122. Loadbalancer for
my K8s ???

123. MetalLB
https://metallb.universe.tf/

124. Workloads
Pod
ReplicationController
ReplicaSet
Deployment
DaemonSet
StatefulSet
Job
CronJob
Discovery＆LB resource
Service
ClusterIP
NodePort
LoadBalancer
ExternalIP
ExternalName
Headless
Ingress
Config＆Storage
Secret
ConfigMap
PersistentVolumeClaim

125. Agenda
 Bối cảnh
 Nhắc lại về Docker
 Giới thiệu Kubernetes
 Kiến trúc Kubernetes
 Các thành phần cơ bản trong Kubernetes
 Rancher 2.0
 Harbor – Docker registry
 Demo

126. Rancher is redesigned to work on
Kubernetes.

128. Rancher 2.0

129. Agenda
 Bối cảnh
 Nhắc lại về Docker
 Giới thiệu Kubernetes
 Kiến trúc Kubernetes
 Các thành phần cơ bản trong Kubernetes
 Rancher 2.0
 Harbor – Docker registry
 Demo

130. Docker registry

131. Docker registry

132. Docker registry

133. Kiến trúc Harbor

134. Kiến trúc Harbor

136. MasterAPICLI

137. MasterAPICLI
Kube-demo
CLI
Push
images

138. MasterAPICLI
Kube-demo
code-pvc
2G
nginx-config-pvc
1G
CLI

139. MasterAPICLI
Kube-demo
code-pvc
2G
nginx-config-pvc
1G
CLI

140. MasterAPICLI
Kube-demo
code-pvc
2G
nginx-config-pvc
1G
CLI
Mysql

141. MasterAPICLI
Kube-demo
code-pvc
2G
nginx-config-pvc
1G
CLI
Mysql
Pull
images

142. MasterAPICLI
Pull
images
NIC
NIC
code-pvc
2G
nginx-config-pvc
1G
Mysql
NodePort *:32253
Pod
(nginx, php-fpm)
Volume
Mysql Container
Kube-demo

144. Đã làm được
 Hiểu được tổng quan về kiến trúc và các thành phần của K8s
 Workload resource (Pod, ReplicaSet, Deployment, Job…etc..)
 Service (ClusterIP, NodePortIP, LoadBalancer, etc..)
 Xây dựng được K8s cluster, thử nghiệm các loại resouce
 Trãi nghiệm các loại môi trường K8s
 Minikube, Docker for MAC
 K8s with tool Rancher
 GCE
 Kết hợp được với các công cụ hỗ trợ cho K8s
 Rancher 2.0
 Harbor
 Xây dựng demo kết hợp các thành phần + công cụ hỗ trợ K8s

145. Đã làm được
 Hiểu sâu hơn về kiến trúc dự án GMO POINT hiện tại
 Viết blog và chia sẻ
 [Nhập môn Kubernetes P1] - Tại sao Kubernetes là cần thiết?
 [Nhập môn Kubernetes P2] - Các môi trường Kubernetes
 [Nhập môn Kubernetes P3] - Sử dụng Rancher 2.0, Cấu trúc môi trường Kubernetes
 [Nhập môn Kubernetes P4] - Nền tảng Kubernetes
 [Nhập môn Kubernetes P5] - Kubernetes Workloads Resource (1)
 [Nhập môn Kubernetes P6] - Kubernetes Workloads Resource (2)
 [Nhập môn Kubernetes P9] - Kubernetes Config＆Storage Resource (1)
 [Nhập môn Kubernetes P11] - Quản lý Container Images bảo mật với Harbor

146. Chưa làm được
 Chưa tìm hiểu hết được các resource trong K8s

147. Workloads
Pod
ReplicationController
ReplicaSet
Deployment
DaemonSet
StatefulSet
Job
CronJob
Discovery＆LB resource
Service
ClusterIP
NodePort
LoadBalancer
ExternalIP
ExternalName
Headless
Ingress
Config＆Storage
Secret
ConfigMap
PersistentVolumeClaim
Cluster resource
Namespace
ServiceAccount
Role
ClusterRole
RoleBinding
ClusterRoleBinding
NetworkPolicy
ResourceQuota
PersistentVolume
Node
Metadata resource
CustomResourceDefinition
LimitRange
HorizontalPodAutoscaler
Application Developer normally use 3 types

148. Chưa làm được
 Chưa tìm hiểu hết được các resource trong K8s
 Demo còn nhỏ, chưa thể hiện được sự phức tạp và phát huy sức mạnh của
K8s
 Chưa kết hợp với Ansible để cấu trúc và deploy k8s resource

149. Hướng phát triển
 Tìm hiểu về các resource còn lại
 Kết hợp với Ansibe
 Tìm hiểu MetalLB để Loadbalancer
 Sử dụng công cụ hỗ trợ
 Prometheus – Grafana: system & time series database
 Elasticsearch – Fluent – Kibana: log collect and monitoring