Потребность в отстроенном процессе Continuous Delivery встает перед каждым развивающимся highload-проектом. Чем больше серверов и составных приложений, чем выше динамика релизов, тем раньше проект сталкивается с данной потребностью, и тем острее она стоит. Многие команды эксплуатации смогли отстроить этот процесс, некоторые добились впечатляющих результатов, а некоторые — потерпели неудачу. Но все из них знают, что их процесс можно улучшить: сделать быстрее, надежнее, предсказуемее и удобнее. В этом докладе я хочу обобщить и систематизировать лучшие практики построения процесса Continuous Delivery с использованием актуальных Open Source технологий (Docker, Chef, Gitlab, Kubernetes), а также обозначить известные проблемы и потенциальные пути их решения. Будет предпринята попытка однозначно ответить на следующие практические вопросы: - Почему пора всем переходить на Docker? Как лучше собирать Docker-образы? Как лучше доставлять и хранить Docker-образы? - Как правильно построить процесс разработки Infrastructure as Code (IaC)? - Как оптимально интегрировать автоматическое и ручное тестирование в процесс Continuous Delivery? - Как перестать бояться регулярных выкатов новых версий и сделать этот процесс надежным? - Почему Continuous Delivery не заканчивается релизом новой версии и зачем нужен Kubernetes?

1. Лучшие практики
Continuous Delivery
с Docker
Дмитрий Столяров
v3

2. Привет!
# whoami
dmitry.stolyarov
# hostname -d
flant.ru
# cat /etc/motd
Лучшие практики
Continuous Delivery с Docker

3. flant.ru

4. Continuous Delivery
git
build
test
release
operate

5. Continuous Delivery
git
build
test
release
operate
Зачем?

6. Continuous Delivery
git
build
test
release
operate

7. Опыт
OpenSolaris Zones
# capsh --print | grep experience

8. Опыт
Gentoo и Linux-VServer 2006
OpenSolaris Zones
# capsh --print | grep experience

9. Опыт
Gentoo и Linux-VServer 2006
OpenSolaris Zones
procfs v1 by flant 2008
# capsh --print | grep experience

10. Опыт
Gentoo и Linux-VServer 2006
OpenSolaris Zones
procfs v1 by flant 2008
LXC
# capsh --print | grep experience

11. Опыт
Gentoo и Linux-VServer 2006
OpenSolaris Zones
procfs v1 by flant 2008
jailer by flant 2009
LXC
# capsh --print | grep experience

12. Опыт
Gentoo и Linux-VServer 2006
OpenSolaris Zones
procfs v1 by flant 2008
jailer by flant 2009
LXC
Docker 2013, осень
# capsh --print | grep experience

13. Опыт
Gentoo и Linux-VServer 2006
OpenSolaris Zones
procfs v1 by flant 2008
jailer by flant 2009
LXC
Docker 2013, осень
Docker 2014, 6 июня
# capsh --print | grep experience

14. Клиенты
Первый канал Forbes.ru Лепра и Dirty Ситимобил Нотамедиа
# capsh --print | grep clients

15. Внедрения
# capsh --print | grep implementations
10+
прошлых поколений
с 2011 года

16. Внедрения
4
проекта
уже в продакшне
# capsh --print | grep implementations
10+
прошлых поколений
с 2011 года

17. Внедрения
4
проекта
уже в продакшне
# capsh --print | grep implementations
10+
прошлых поколений
с 2011 года
2
проекта
на подходе

18. Зачем Docker? ?

19. Zero Downtime Deployment
V1
Старая версия
работает

20. Zero Downtime Deployment
V1
Старая версия
работает
Старая версия
остановлена

21. Zero Downtime Deployment
V1 V2
Старая версия
работает
Старая версия
остановлена
Новая версия
“прогревается”

22. Zero Downtime Deployment
V1 V2 V2
Старая версия
работает
Старая версия
остановлена
Новая версия
“прогревается”
Новая версия
работает

23. Zero Downtime Deployment
V1 V2 V2
Старая версия
работает
Старая версия
остановлена
Новая версия
“прогревается”
Новая версия
работает

24. Zero Downtime Deployment
V1
Старая версия
работает

25. Zero Downtime Deployment
V1
Старая версия
работает
Новая версия
“прогревается”
V2V1

26. Zero Downtime Deployment
V1 V2
Старая версия
работает
Новая версия
“прогревается”
Переключили
трафик
V2V1 V1

27. Zero Downtime Deployment
V1 V2 V2
Старая версия
работает
Новая версия
“прогревается”
Переключили
трафик
Старая версия
остановлена
V2V1 V1

28. Zero Downtime Deployment
V1 V2 V2
Старая версия
работает
Новая версия
“прогревается”
Переключили
трафик
Старая версия
остановлена
V2V1 V1

29. Zero Downtime Deployment
V1 V2 V2
V1 V2 V2V2V1 V1

30. Zero Downtime Deployment
V1 V2 V2
V1 V2 V2V2V1 V1

31. Запуск “двух версий”
V1
:80

32. Запуск “двух версий”
V1
:80
V2

33. Запуск “двух версий”
V1
:80
V2
:81

34. Запуск “двух версий”
V1 V2
:80 :81 Сетевые ресурсы
порты, сетевые интерфейсы

35. Запуск “двух версий”
V1 V2
:80 :81 Сетевые ресурсы
порты, сетевые интерфейсы
Файловая система
pid-файлы, директории с кэшем, собственные пути

36. Запуск “двух версий”
V1 V2
:80 :81 Сетевые ресурсы
порты, сетевые интерфейсы
Файловая система
pid-файлы, директории с кэшем, собственные пути
IPC
общая память, семафоры, сообщения

37. Запуск “двух версий”
V1 V2
Сетевые ресурсы
порты, сетевые интерфейсы
Файловая система
pid-файлы, директории с кэшем, собственные пути
IPC
общая память, семафоры, сообщения
PID
идентификаторы процессов, видимость
:80 :81

38. Убрать конфликты можно...

39. Запуск “двух версий”
V1
:80
V2
:80

40. Запуск “двух версий”
V1
:80
V2
:80
Сетевые ресурсы
порты, сетевые интерфейсы

41. Запуск “двух версий”
V1
:80
V2
:80
Сетевые ресурсы
порты, сетевые интерфейсы
Файловая система
pid-файлы, директории с кэшем, собственные пути

42. Запуск “двух версий”
V1
:80
V2
:80
Сетевые ресурсы
порты, сетевые интерфейсы
Файловая система
pid-файлы, директории с кэшем, собственные пути
IPC
общая память, семафоры, сообщения

43. Запуск “двух версий”
V1
:80
V2
:80
Сетевые ресурсы
порты, сетевые интерфейсы
Файловая система
pid-файлы, директории с кэшем, собственные пути
IPC
общая память, семафоры, сообщения
PID
идентификаторы процессов, видимость

44. Запуск “двух версий”
V1
:80
V2
:80
Docker даёт гарантию изоляции ресурсов
Сетевые ресурсы
порты, сетевые интерфейсы
Файловая система
pid-файлы, директории с кэшем, собственные пути
IPC
общая память, семафоры, сообщения
PID
идентификаторы процессов, видимость

45. Обновление зависимостей
V1
PHP
v1
driver
v1

46. Обновление зависимостей
V1
PHP
v1
driver
v1
V1 V2
PHP
driver
v1
driver
v2

47. Обновление зависимостей
V1
PHP
v1
driver
v1
V1 V2
PHP
driver
v1
driver
v2
V1 V2
PHP
v1
driver
v1
PHP
v2
driver
v2

48. Обновление зависимостей
V1
PHP
v1
driver
v1
V1 V2
PHP
driver
v1
driver
v2
V1 V2
PHP
v1
driver
v1
PHP
v2
driver
v2

49. Разрулить конфликты зависимостей тоже можно...

50. Главный паттерн
V1
Старая версия работает
1

51. Главный паттерн
V1 V1 V2
Старая версия работает Новая версия “прогревается”
1 2

52. Главный паттерн
V1 V1 V2
V1 V2
Старая версия работает Новая версия “прогревается”
Переключили трафик
1 2
3

53. Главный паттерн
V1 V1 V2
V1 V2 V2
Старая версия работает Новая версия “прогревается”
Переключили трафик Старая версия остановлена
1 2
3 4

54. Главный паттерн
дырявый
openssl
дырявый
openssl
безопасный
openssl
дырявый
openssl
безопасный
openssl
безопасный
openssl
Старая версия работает Новая версия “прогревается”
Переключили трафик Старая версия остановлена
1 2
3 4

55. Главный паттерн
Ubuntu
14.04
Ubuntu
14.04
Ubuntu
16.04
Ubuntu
14.06
Ubuntu
16.04
Ubuntu
16.04
Старая версия работает Новая версия “прогревается”
Переключили трафик Старая версия остановлена
1 2
3 4

56. Главный паттерн
Старая версия работает Новая версия “прогревается”
Переключили трафик Старая версия остановлена
1 2
3 4

57. Независимость
Ubuntu

58. Независимость
Ubuntu CentOS

59. Независимость
Ubuntu CentOS Slackware Enterprise Linux

60. Zero Downtime Deployment
Конфликт общих ресурсов
ФС, сокеты, порты, инит-скрипты

61. Zero Downtime Deployment
Конфликт общих ресурсов
ФС, сокеты, порты, инит-скрипты

62. Zero Downtime Deployment
Конфликт общих ресурсов
ФС, сокеты, порты, инит-скрипты
Конфликт зависимостей приложений
bower, bundler, pip, npm, composer и их зависимостей

63. Zero Downtime Deployment
Конфликт общих ресурсов
ФС, сокеты, порты, инит-скрипты
Конфликт зависимостей приложений
bower, bundler, pip, npm, composer и их зависимостей

64. Zero Downtime Deployment
Конфликт общих ресурсов
ФС, сокеты, порты, инит-скрипты
Конфликт зависимостей приложений
bower, bundler, pip, npm, composer и их зависимостей
Обновление системного ПО

65. Zero Downtime Deployment
Конфликт общих ресурсов
ФС, сокеты, порты, инит-скрипты
Конфликт зависимостей приложений
bower, bundler, pip, npm, composer и их зависимостей
Обновление системного ПО

66. Zero Downtime Deployment
Конфликт общих ресурсов
ФС, сокеты, порты, инит-скрипты
Конфликт зависимостей приложений
bower, bundler, pip, npm, composer и их зависимостей
Обновление системного ПО
Возможность отката

67. Zero Downtime Deployment
Конфликт общих ресурсов
ФС, сокеты, порты, инит-скрипты
Конфликт зависимостей приложений
bower, bundler, pip, npm, composer и их зависимостей
Обновление системного ПО
Возможность отката

68. #1: Используйте Docker

69. Воспроизводимость
программисты
git

70. программисты
staging
git
Воспроизводимость

71. программисты
staging
QA
git
Воспроизводимость

72. программисты
staging production
QA
git
Воспроизводимость

73. production

74. production

75. production

76. cервер #1
git
Воспроизводимость

77. cервер #1
git
зеркало
пакетов
Воспроизводимость

78. cервер #1
git
зеркало
пакетов
обновлённое
зеркало
Воспроизводимость

79. cервер #1
git
зеркало
пакетов
cервер #2
обновлённое
зеркало
Воспроизводимость

80. cервер #2

81. cервер#2

82. cервер
#2

83. Разработчик: “У меня локально всё работает!”

84. … а разработчиков пускать на прод запретили.

85. Воспроизводимость
Тестовое окружение → Продакшн

86. Воспроизводимость
Тестовое окружение → Продакшн
Выкат на множество серверов

87. Воспроизводимость
Выкат на несколько кластеров / площадок
Тестовое окружение → Продакшн
Выкат на множество серверов

88. Воспроизводимость
Выкат на несколько кластеров / площадок
Локальный запуск точной копии
Тестовое окружение → Продакшн
Выкат на множество серверов

89. Выкат на несколько кластеров / площадок
Локальный запуск точной копии
Тестовое окружение → Продакшн
Выкат на множество серверов
Запуск “старых” версий
Воспроизводимость

90. Гарантия воспроизводимости
gitпрограммисты

91. Гарантия воспроизводимости
gitпрограммисты
docker
образ

92. Гарантия воспроизводимости
git
тестовая
площадка
программисты
docker
образ

93. Гарантия воспроизводимости
gitпрограммисты
docker
образ
production
тестовая
площадка

94. Гарантия воспроизводимости
gitпрограммисты
docker
образ
программисты
тестовая
площадка
production

95. Гарантия воспроизводимости
gitпрограммисты
docker
образ
другие
площадки
тестовая
площадка
production
программисты

96. Гарантия воспроизводимости
gitпрограммисты
docker
образ
архив
тестовая
площадка
production
программисты
другие
площадки

97. #2: One image to rule them all

98. Разобрались с Docker ✔

99. ✔
Как собирать docker-образы? ?
Разобрались с Docker ✔

100. Разобрались с Docker ✔
Как собирать docker-образы? ?
Куда положить Dockerfile? ?

101. Код и инфраструктура
development master
git

102. Код и инфраструктура
development master
git
V2 V1

103. staging production
Код и инфраструктура
development master
git
V2 V1

104. staging production
Код и инфраструктура
development master
git
V1 PHP 5.5
V2 V1

105. Код и инфраструктура
development
staging production
master
git
V2 V1PHP 7 PHP 5.5
V2 V1

106. Код и инфраструктура
development
staging production
master
git
V2 V1PHP 7 PHP 5.5
V2 V2

107. Код и инфраструктура
development master
staging production
git
V2 V2PHP 7
V2 V2
PHP 5.5

108. Код и инфраструктура
development master
staging production
git
V2 V2PHP 7 PHP 5.5
V2 V2

110. Код и инфраструктура
development master
V2
staging production
V1
git
V2 V1PHP 7 PHP 5.5

111. Код и инфраструктура
development master
V2
staging production
V1
git
V2 V1PHP 7 PHP 5.5
PHP 7 PHP 5.5

112. Код и инфраструктура
development master
V2 V1
git
PHP 7 PHP 5.5
staging production
V2 PHP 7 V1 PHP 5.5

113. Код и инфраструктура
development master
V2
staging production
V2
git
PHP 7 PHP 7
V2 PHP 7 V1 PHP 5.5

114. Код и инфраструктура
development master
staging production
V2
git
PHP 7
V2 PHP 7 V2 PHP 7
V2
PHP 7

115. … и должна жить с ним
#3: Инфраструктура – это код

116. Код и многослойная архитектура
nginx 1.2
V2
frontend
backend
production
V1

117. Код и многослойная архитектура
nginx 1.2
V2
nginx 1.3
V2
frontend
backend
staging production
V1

118. Код и многослойная архитектура
nginx 1.2
V2
nginx 1.3
V2
frontend
backend
staging production
V1

119. Код и многослойная архитектура
nginx 1.2
V2
nginx 1.3
V2
frontend
backend
staging production
V2

120. Код и многослойная архитектура
nginx 1.2
V2
nginx 1.3
V2
frontend
backend
staging production
V2

122. Код и многослойная архитектура
nginx 1.3
V2
nginx 1.3
V2
frontend
backend
staging production
V2

123. Код и многослойная архитектура
V1
development
PHP 5.5
git
V2
production
PHP 7

124. Код и многослойная архитектура
V1
development
PHP 5.5
nginx 1.2
git
V2
production
PHP 7
nginx 1.3

125. Код и многослойная архитектура
V2
PHP 7
nginx 1.3
git
программисты
devops
V2
docker-образ #1
PHP 7
nginx 1.3
docker-образ #2

126. … и это касается не только бекенда
#3: Инфраструктура – это код

127. Несколько проектов
git project_1
Код nginx

128. Несколько проектов
git project_1
Код nginx
git project_2
Код

129. Несколько проектов
git project_1
Код nginx
git project_2
Код nginx

130. Несколько проектов
git project_1
Код nginx
git project_2
Код nginx

131. Несколько проектов
git project_1
Код nginx
git project_2
Код
git project_3
Код nginx
nginx

132. Несколько проектов
git project_1
Код nginx
git project_2
Код
git project_3
Код nginx
nginx

133. Несколько проектов
git project_1
Код nginx
git project_2
Код
git project_3
Код
git project_4
Код nginx
nginx
nginx

134. Несколько проектов
git project_1
Код nginx
git project_2
Код
git project_3
Код
git project_4
Код
Код nginx
git project_6
Код nginx
git project_5
nginx
nginx nginx

135. Несколько проектов
git project_1
Код nginx
git project_2
Код
git project_3
Код
git project_4
Код
Код nginx
git project_6
Код nginx
git project_5
nginx
nginx nginx

136. Несколько проектов
git project_1
Код nginx
git project_2
Код
git project_3
Код
git project_4
Код
Код nginx
git project_6
Код nginx
git project_5
nginx
nginx nginx

137. WET

138. WET
we enjoy typing

139. WET
we enjoy typing
write everything twice

140. WET
we enjoy typing
write everything twice
waste everyone's time

141. DRY

142. DRY
don't repeat yourself

143. Несколько проектов
git project_1
Код nginx

144. Несколько проектов
git project_1
Код nginx
git project_2
Код

145. Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginxnginx

146. Несколько проектов
git project_1
Код
nginx
v1
git project_2
Код
git nginx
nginx
v1

147. Несколько проектов
git project_1
Код
nginx
v1
git project_2
Код
git nginx
nginx
v1
nginx
v1

148. Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v2
nginx
v1
nginx
v1

149. Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v2
nginx
v2
nginx
v1

150. Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v2
nginx
v2
nginx
v2

151. Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v2
nginx
v3
nginx
v2

152. Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v2
nginx
v3
nginx
v3

153. Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2

154. bundler, composer, pip, npm, ...
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management

155. bundler, composer, pip, npm, ...
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management

156. Dockerfile
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management
bundler, composer, pip, npm, ...

157. Dockerfile + git submodules
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management
bundler, composer, pip, npm, ...

158. Dockerfile + git submodules
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management
bundler, composer, pip, npm, ...
Chef

159. Dockerfile + git submodules
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management
bundler, composer, pip, npm, ...
Chef + Berkshelf

160. Dockerfile + git submodules
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management
bundler, composer, pip, npm, ...
Chef + Berkshelf
Puppet

161. Dockerfile + git submodules
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management
bundler, composer, pip, npm, ...
Chef + Berkshelf
Puppet + Librarian

162. Dockerfile + git submodules
Несколько проектов
git project_1
Код
git project_2
Код
git nginx
nginx
v4
nginx
v4
nginx
v2
Dependency management
bundler, composer, pip, npm, ...
Chef + Berkshelf
Puppet + Librarian

163. … и требует соответствующих подходов
#3: Инфраструктура – это код

164. Разобрались с Docker ✔

165. Интегрировали код инфраструктуры ✔
Разобрались с Docker ✔

166. Разобрались с Docker
Интегрировали код инфраструктуры ✔
Когда собирать docker-образы? ?
✔

167. Разобрались с Docker
Интегрировали код инфраструктуры ✔
Когда собирать docker-образы?
Как лучше тегировать docker-образы?
?
?
✔

168. Git → Docker
Какие бранчи собирать?

169. Git → Docker
Какие бранчи собирать?
Как тегировать образы?

170. Как найти старую версию?
Git → Docker
Какие бранчи собирать?
Как тегировать образы?

171. Как найти старую версию?
Git → Docker
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?

172. Как найти старую версию?
Git → Docker
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Что побывало в продакшне? На какую версию откатиться?

173. Какие из образов должны проходить QA?
Как найти старую версию?
Git → Docker
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Что побывало в продакшне? На какую версию откатиться?

174. master
Временные образы

175. master
Временные образы

176. master
app:master
Временные образы

177. master
app:master
preview
Временные образы

178. master
app:master
preview
app:master
Временные образы

179. master
app:master
release_7
preview
app:master
Временные образы

180. master
app:master
release_7
app:release_7
preview
app:master
Временные образы

181. master
app:master
release_7
app:release_7
preview
app:master
Временные образы

182. master
app:master
release_7
app:release_7
preview
app:master
Временные образы

183. master
app:master
release_7
app:release_7
preview
app:master
Временные образы

184. release_7
app:release_7
preview
Временные образы
app:master
master
app:master

185. app:master
release_7
app:release_7
preview
Временные образы
master
app:master

186. release_7
app:release_7
preview
Временные образы
master
app:master
app:master

187. release_7
app:release_7
preview
Временные образы
master
app:master app:master
≠

188. master
app:master
release_7
app:release_7
preview
Временные образы
app:master

189. master
app:master
release_7
app:release_7
preview
app:master
Временные образы

190. master
app:master
release_7
app:release_7
preview
Временные образы
app:master

191. feature_x
master
app:master
release_7
app:release_7
preview
app:feature_x
Временные образы
app:master

192. Временные образы
Собирать все бранчи?

193. Временные образы
Собирать все бранчи? Не стоит

194. Временные образы
Собирать все бранчи? Не стоит
master — общая интеграция

195. Временные образы
master — общая интеграция
release — интеграция релизов /^release_.*/
Собирать все бранчи? Не стоит

196. Временные образы
master — общая интеграция
release — интеграция релизов /^release_.*/
feature — интеграция “фич” /^feature_.*/
Собирать все бранчи? Не стоит

197. Временные образы
master — общая интеграция
release — интеграция релизов /^release_.*/
feature — интеграция “фич” /^feature_.*/
Выкатывать автоматом?
Собирать все бранчи? Не стоит

198. Временные образы
master — общая интеграция
release — интеграция релизов /^release_.*/
feature — интеграция “фич” /^feature_.*/
Выкатывать автоматом? Как удобнее
Собирать все бранчи? Не стоит

199. master 6.0.1
Релизные образы
staging production

200. master
Релизные образы
app:6.0.1
6.0.1
staging production

201. staging production
master
Релизные образы
app:6.0.1
6.0.1
app:6.0.1

202. staging production
master
release_7
Релизные образы
6.0.1
app:6.0.1
app:6.0.1

203. staging production
6.0.1master
release_7
Релизные образы
app:6.0.1
app:6.0.1

204. staging production
6.0.1master
release_7 7.0.0
Релизные образы
app:6.0.1
app:6.0.1

205. staging production
6.0.1master
release_7
Релизные образы
app:6.0.1
app:6.0.1 app:7.0.0
7.0.0

206. staging production
6.0.1master
release_7
Релизные образы
app:6.0.1
app:6.0.1
7.0.0
app:7.0.0
app:7.0.0

207. staging production
6.0.1master
release_7
Релизные образы
app:6.0.1
app:6.0.1
7.0.0
app:7.0.0
app:7.0.0

208. staging production
6.0.1
7.0.0
master
release_7
Релизные образы
app:6.0.1
app:6.0.1 app:7.0.0
app:7.0.0
✗

209. staging production
6.0.1master
release_7 7.0.0
Релизные образы
app:6.0.1
app:6.0.1 app:7.0.0
app:7.0.0
✗

210. staging production
master
release_7 7.0.0
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:7.0.0
✗

211. staging production
master
release_7 7.0.0
6.1.0
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:7.0.0
✗

212. staging production
master
release_7 7.0.0
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:7.0.0
✗ app:6.1.0
6.1.0

213. staging production
master
release_7 7.0.0
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.0
✗ app:6.1.0
6.1.0

214. staging production
master
release_7 7.0.0
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.0
✗ app:6.1.0
6.1.0

215. staging production
master
release_7 7.0.0
release_8
Релизные образы
6.0.1 6.1.0
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.0
✗ app:6.1.0

216. staging production
master
release_7 7.0.0
release_8
Релизные образы
6.0.1 6.1.0
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.0
✗ app:6.1.0

217. staging production
6.1.0master
release_7 7.0.0
release_8
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.0
✗ app:6.1.0
✗

218. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.0
✗ app:6.1.0
✗

219. staging production
master
release_7 7.0.0
release_8
6.1.0 6.1.1
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.0
✗ app:6.1.0
✗

220. staging production
master
release_7 7.0.0
release_8
6.1.0 6.1.1
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.0
✗ app:6.1.0
✗
app:6.1.1

221. staging production
master
release_7 7.0.0
release_8
6.1.0 6.1.1
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1

222. staging production
master
release_7 7.0.0
release_8
6.1.0 6.1.1
Релизные образы
6.0.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1

223. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1

224. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
app:6.0.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1
OK

225. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
app:6.1.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1

226. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
app:6.1.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1

227. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
app:6.1.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1

228. staging production
master
release_7 7.0.0
release_8
6.1.0
7.0.1
Релизные образы
6.0.1 6.1.1
app:6.1.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1

229. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
app:6.1.1
app:6.0.1 app:7.0.0
app:6.1.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1
7.0.1

230. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
app:6.1.1
app:6.0.1 app:7.0.0
app:7.0.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1
7.0.1

231. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
app:6.1.1
app:6.0.1 app:7.0.0
app:7.0.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1
7.0.1

232. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
7.0.1
app:6.1.1
app:6.0.1 app:7.0.0
app:7.0.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1

233. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
7.0.1
app:6.1.1
app:6.0.1 app:7.0.0
app:7.0.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1
OK

234. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
7.0.1
app:7.0.1
app:6.0.1 app:7.0.0
app:7.0.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1

235. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
7.0.1
app:7.0.1
app:6.0.1 app:7.0.0
app:7.0.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1

236. staging production
master
release_7 7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
7.0.1
app:7.0.1
app:6.0.1 app:7.0.0
app:7.0.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1

237. staging production
master
7.0.0
release_8
6.1.0
Релизные образы
6.0.1 6.1.1
7.0.1
app:7.0.1
app:6.0.1 app:7.0.0
app:7.0.1
✗ app:6.1.0
✗
app:6.1.1 app:7.0.1

238. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?

239. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
git branch
git tag
временные образы
релизные образы

240. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?

241. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?

242. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
docker tag git tag

243. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?

244. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?

245. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?

246. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?
Что побывало в продакшне? На какую версию откатиться?

247. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?
Что побывало в продакшне? На какую версию откатиться?
релиз багфикс итерация QA6.0.3

248. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?
Что побывало в продакшне? На какую версию откатиться?
релиз багфикс итерация QA6.0.3

249. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?
Что побывало в продакшне? На какую версию откатиться?
релиз багфикс итерация QA6.0.3

250. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?
Что побывало в продакшне? На какую версию откатиться?

251. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?
Что побывало в продакшне? На какую версию откатиться?
Как найти старую версию?

252. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?
Что побывало в продакшне? На какую версию откатиться?
Как найти старую версию?
git tag docker tag

253. Git`о Docker`ный workflow
Какие бранчи собирать?
Как тегировать образы?
Какой коммит на продакшне? Дельта выката?
Какие из образов должны проходить QA?
Что побывало в продакшне? На какую версию откатиться?
Как найти старую версию?

254. #4: Свяжите Git с Docker

255. Интегрировали код инфраструктуры ✔
Разобрались с Docker ✔

256. Интегрировали код инфраструктуры ✔
Разобрались с Docker ✔
Связали Git с Docker ✔

257. Чего не хватает? ?
Интегрировали код инфраструктуры ✔
Разобрались с Docker ✔
Связали Git с Docker ✔

258. frontend
backend
Последовательность выката
nginx 1.2
HTTP
PHP 5.5V1
Старая версия
работает

259. frontend
backend
Последовательность выката
nginx 1.2
HTTP
nginx 1.2
HTTP
Старая версия
работает
Обновили
backend
PHP 5.5V1 PHP 7V2
1

260. frontend
backend
Последовательность выката
nginx 1.2
HTTP
nginx 1.2
HTTP WS
Старая версия
работает
Обновили
backend
PHP 5.5V1 PHP 7V2
1

262. frontend
backend
Последовательность выката
nginx 1.2
HTTP
nginx 1.2
HTTP WS
nginx 1.3
HTTP WS
Старая версия
работает
Обновили
backend
Обновили
frontend
PHP 5.5V1 PHP 7V2 PHP 7
1
V2
2

263. Последовательность выката
PHP 5.5
HTTP
nginx 1.2
HTTP WS
nginx 1.3
HTTP WS
Старая версия
работает
frontend
backend V1
nginx 1.2
PHP 7V2 PHP 7V2
2
1
Обновили
backend
Обновили
frontend

264. Последовательность выката
PHP 5.5
HTTP
Старая версия
работает
frontend
backend V1
nginx 1.2

265. Последовательность выката
PHP 5.5
HTTP
nginx 1.3
HTTP
Старая версия
работает
frontend
backend V1
nginx 1.2
PHP 5.5V1
Обновили
frontend
1

266. Последовательность выката
PHP 5.5
HTTP
nginx 1.3
HTTP
nginx 1.3
HTTP WS
Старая версия
работает
frontend
backend V1
nginx 1.2
PHP 5.5V1 PHP 7V2
Обновили
frontend
Обновили
backend
1
2

267. Последовательность выката
PHP 5.5
HTTP
nginx 1.3
HTTP
nginx 1.3
HTTP WS
Старая версия
работает
frontend
backend V1
nginx 1.2
PHP 5.5V1 PHP 7V2 2
1
Обновили
frontend
Обновили
backend

268. Например: frontend → migration → backend
#5: Регламентируйте порядок выката

269. Интегрировали код инфраструктуры ✔
Разобрались с Docker ✔
Связали Git с Docker ✔

270. Интегрировали код инфраструктуры ✔
Разобрались с Docker ✔
Связали Git с Docker ✔
Установили порядок выката ✔

271. Интегрировали код инфраструктуры ✔
Разобрались с Docker ✔
Связали Git с Docker ✔
Установили порядок выката ✔
Снова чего-то не хватает? ?

272. Docker swarm Docker compose

273. Docker swarm Docker compose

274. Docker swarm Docker compose Consul Serf

275. Dokku
Docker swarm Docker compose Consul Serf

276. Dokku Shipyard
Docker swarm Docker compose Consul Serf

277. Dokku Shipyard
Docker swarm Docker compose Consul Serf

278. Dokku Shipyard
Docker swarm Docker compose Consul Serf

280. Accelerate Your Delivery

281. by Google

286. κυβερνήτης

287. кормчий

288. Readiness probe
V1
Старая версия
работает

289. Readiness probe
V1
Старая версия
работает
V1
Новая версия
прогревается
V2

290. Readiness probe
V1
Старая версия
работает
V1
Новая версия
прогревается
V2 V1 V2
Readiness
probe

291. Readiness probe
V1
Старая версия
работает
V1
Новая версия
прогревается
V2 V1
Readiness
probe
V2 V1
Переключили
трафик
V2
Старая версия
остановлена
V2

292. Synchronous update
V1 V1 V1 V1 V1 V1 V1 V1

293. Synchronous update
V1 V1 V1 V1 V1 V1 V1 V1

294. Synchronous update
V1 V1 V1 V1 V1 V1 V1

295. Synchronous update
V1 V1 V1 V1 V1 V1 V1

296. Synchronous update
V1 V1 V1 V1 V1 V1

297. Synchronous update
V1 V1 V1 V1 V1

298. Synchronous update
V1 V1 V1 V1

299. Synchronous update
V1 V1 V1 V1V2

300. Synchronous update
V1 V1 V1 V1V2

301. Synchronous update
V1 V1 V1 V1V2 V2

302. Synchronous update
V1 V1 V1 V1V2 V2

303. Synchronous update
V1 V1 V1 V1V2 V2 V2

304. Synchronous update
V1 V1 V1 V1V2 V2 V2 V2

305. Synchronous update
V1 V1 V1 V1V2 V2 V2 V2

306. Synchronous update
V1 V1 V1V2 V2 V2 V2

307. Synchronous update
V1 V1V2 V2 V2 V2

308. Synchronous update
V2 V2 V2 V2

309. Synchronous update
V2 V2 V2 V2 V2

310. Synchronous update
V2 V2 V2 V2 V2 V2

311. Synchronous update
V2 V2 V2 V2 V2 V2 V2 V2

312. Rolling update
V1 V1 V1 V1 V1 V1 V1 V1

313. Rolling update
V1 V1 V1 V1 V1 V1 V1 V1

314. Rolling update
V1 V1 V1 V1 V1 V1 V1

315. Rolling update
V2 V1 V1 V1 V1 V1 V1 V1

316. Rolling update
V2 V1 V1 V1 V1 V1 V1 V1

317. Rolling update
V2 V1 V1 V1 V1 V1 V1 V1

318. Rolling update
V2 V1 V1 V1 V1 V1 V1

319. Rolling update
V2 V2 V1 V1 V1 V1 V1 V1

320. Rolling update
V2 V2 V1 V1 V1 V1 V1 V1

321. Rolling update
V2 V2 V2 V1 V1 V1 V1 V1

322. Rolling update
V2 V2 V2 V2 V1 V1 V1 V1

323. Rolling update
V2 V2 V2 V2 V2 V1 V1 V1

324. Rolling update
V2 V2 V2 V2 V2 V2 V1 V1

325. Rolling update
V2 V2 V2 V2 V2 V2 V2 V1

326. Rolling update
V2 V2 V2 V2 V2 V2 V2 V2

327. kubernetes & release
readiness
probe

328. kubernetes & release
readiness
probe
synchronous
update

329. kubernetes & release
readiness
probe
synchronous
update
rolling
update

330. kubernetes & release
readiness
probe
synchronous
update
canary
releases
rolling
update

331. kubernetes & operate
service
supervision

332. kubernetes & operate
service
supervision
liveness probe

333. kubernetes & operate
service
supervision
liveness probe self-healing

334. kubernetes & operate
service
supervision
liveness probe
autoscaling
self-healing

335. kubernetes & operate
service
supervision
liveness probe
monitoring
influx + grafana
autoscaling
self-healing

336. kubernetes & operate
service
supervision
liveness probe
monitoring
influx + grafana
autoscaling
self-healing
logging
elastic + fluent + kibana

337. kubernetes
Мощный
фундамент

338. kubernetes
Мощный
фундамент
Большие
перспективы

339. kubernetes
Мощный
фундамент
Большие
перспективы
Интеграция
вместо велосипедов

340. kubernetes
Мощный
фундамент
Большие
перспективы
Простота
Интеграция
вместо велосипедов

341. kubernetes
Мощный
фундамент
Большие
перспективы
Невероятная
совместимость
Простота
Интеграция
вместо велосипедов

342. kubernetes
Мощный
фундамент
Большие
перспективы
Невероятная
совместимость
Простота
Интеграция
вместо велосипедов
Всеразмерность

343. … ведь она есть и работает!
#6: Используйте готовую платформу

344. #1: Используйте Docker

345. #1: Используйте Docker
#2: One image to rule them all

346. #1: Используйте Docker
#2: One image to rule them all
#3: Инфраструктура – это код

347. #1: Используйте Docker
#2: One image to rule them all
#3: Инфраструктура – это код
#4: Свяжите Git и Docker

348. #1: Используйте Docker
#2: One image to rule them all
#3: Инфраструктура – это код
#4: Свяжите Git и Docker
#5: Регламентируйте порядок выката

349. #1: Используйте Docker
#2: One image to rule them all
#3: Инфраструктура – это код
#4: Свяжите Git и Docker
#5: Регламентируйте порядок выката
#6: Используйте готовую платформу

350. Приглашаем в гости
на наш стенд В3
LINUX-КВЕСТ
Удивительный квест для самых
отважных сисадминов.
Записывайтесь прямо сейчас
и покажите свой опыт
в Linux-кунгфу.
1 июня, 12:30
Участникам потребуется ssh-клиент ;)

351. pam_docker
github.com/flant/pam_docker
Поддержите нас, поставьте ★
#1: Используйте Docker
#2: One image to rule them all
#3: Инфраструктура – это код
#4: Свяжите Git и Docker
#5: Регламентируйте порядок выката
#6: Используйте готовую платформу
Дмитрий Столяров
dmitry.stolyarov@flant.ru
flant.ru
Работа в Нижнем Новгороде
Пишите на hr@flant.ru
Лучшие практики
Continuous Delivery
с Docker

352. Continuous Delivery
git
build
test
release
operate
Gitlab
Kubernetes