Moscow Jenkins Meetup #1. Jenkins 2 и планы на будущее

Jenkins 2 и планы
на будущее
Moscow Jenkins Meetup
2 ноября 2016

2© 2016 CloudBees, Inc. All Rights Reserved.
Закончил СПбПУ, к.т.н.
CloudBees, Jenkins Developer
•CloudBees – один из основных
контрибьюторов Jenkins
•Занимаюсь Open-Source
•Занимаюсь CloudBees Jenkins Platform
Jenkins Project, Core Team
•Работаю с Hudson/Jenkins ~8 лет
•Автоматизация в Hardware/Embedded
•Занимаюсь ядром Jenkins
•Поддерживаю (?) плагины
> whoami
@oleg_nenashev
oleg-nenashev

Мой “Зал
позора”(c)

О чём доклад?
üО Jenkins
üО релизе Jenkins 2
üО дальнейших планах
4
Disclaimer:
• Данная презентация отражает личное мнение докладчика
• Личное мнение докладчика может не совпадать с
официальной позицией CloudBees или сообщества Jenkins

Jenkins – это
Система
Непрерывной Интеграции
Сервер/фрэймворк
Автоматизации

Система
Инфра-
структур
а
Доку-
мен-
тация
Инфра-
структур
а
Плагины Конфиги
Инфра-
структур
а
Шаб-
лоны
Система на
базе Jenkins Гибок и
расширяем
Минимален «из
коробки»
Требует настройки

7© 2016 CloudBees, Inc. All Rights Reserved.7
>1000
плагинов
Интеграция с
сотнями
инструментов
Управление
процессами
автоматизации
Автоматизация
любых задач
Code & Commit Build & Config Scan & Test Release Deploy

Кто такой Jenkins?
Сборка
Тестиро-
вание
Создание
пакетов
Развер-
тывание
Отчёты,
анали-тика
и другое
• Сервер автоматизации
• Continuous Integration
• Continuous Delivery
• DevOps
• …
• Веб-интерфейс
• Распределенная система
• >1000 плагинов
• Open-source (MIT)
https://jenkins.io

Популярность Jenkins
http://stats.jenkins-ci.org/jenkins-stats/
• 140,000 инсталляций
• 6 миллионов задач
• ~300 коммиттеров за
полгода
• ~2 новых плагина в
неделю
• ~50 релизов плагинов
в неделю

Jenkins Universe
* Исх. Автор: Kuiper oort (dumb version).jpg: NASADump version updated by
Manco Capac in order to have a better full image. No Credit required for this
current version.derivative work: Skab (talk), Chesnok (talk) - Kuiper oort (dumb
version).jpg, Общественное достояние,
https://commons.wikimedia.org/w/index.php?curid=8812483
Core Team Разработчики плагинов
Профес-
сиональные
админы
Пользователи
~25 ~300
~тысячи
~миллионы
• Число пользователей растет
быстрее числа разработчиков
• Размер Core Team почти не
изменился с 2011г.
• Не хватает ментейнеров
плагинов

Kohsuke: “Jenkins project – это базар”
• Самоорганизация
• Большое число участников
• Разные интересы и проекты
Сообщество Jenkins

Сообщество разработчиков
Jenkins board
Core Team
Security
Release/LTS
Events
INFRA Website
"Команды"
плагинов
IRC на FreeNode
• #jenkins, #jenkins-meeting,
#jenkins-community
Jenkins JIRA
• Ядро и плагины
• Компонент “_unsorted” – Если
непонятно
Рассылки
• …@googlegroups.com
• jenkinsci-dev, jenkinsci-cert
• jenkinsci-users

Итак, всё хорошо?

Jenkins 1.х. Что было не так?
CI уже не моден
•… must-have
Смена фокуса в ПО
•Continuous Delivery
•Continuous Deployment
•DevOps
•Everything as Code
Рой Buzzword’ов

Изменение экосистемы
•Публичные и приватные облака
•Docker, Docker, Docker, Docker, …
•Централизация систем автоматизации
•Требования к надежности
Конкурирующие сервисы
•Travis, Appveyor, GoCD, GitLab CI, …
•Configuration as Code
•Cloud-Native
•Проще для маленьких команд

L
Устаревший
веб-интерфейс
Сложность настройки
системы и задач
Неполная
документация
Интеграционные
проблемы
Было: Проект от хакеров для
хакеров (open-source)
Стало: не все хотят/могут
копаться в коде

Проблемы роста
Jenkins рос быстрее Dev-комьюнити

Масштабируемость ограничена
Агент 1
Агент 2
Агент N
. . .
• Мастер решает большую часть задач
• Удалённые задачи ВСЕГДА нагружают мастер
• Ввод-вывод на мастере
Горизонтальное
масштабирование
??? Gearman
CloudBees Jenkins Platform

Апгрейды…
Ø Обновление ядра
Ø Обновление плагина и рестарт
“Just works”?

Апгрейды…
Не “Just works”

Нестабильность ядра?
“Правильные термины”:
• Latest and Greatest => Weekly release
• LTS => Стабильный Релиз
• ??? => Long-Term Support (LTS)
▸ Не в Jenkins open-source (ресурсы)
▸ Вендоры: CloudBees Jenkins Platform

Ветки LTS (Long-Term Support)
выбираются каждые 12 недель и
поддерживаются в течение трёх
месяцев (бэкпортинг фиксов,
больше тестирования)
Еженедельные релизы с новыми
исправлениями и улучшениями.
Только автоматическое
тестирование, стабильность не
гарантирована.

>5 лет бинарной совместимости
• Плагины для Hudson 2 ещё работают!
• Для пользователей:
• Архитектурные проблемы
• Устаревший UI
• Интеграционные проблемы в плагинах
• Для разработчиков Jenkins:
• Высокая стоимость поддержки
• Порог входа

Jenkins 2
• Планирование – FOSDEM 2016
• Релиз 2.0 - в апреле 2016
• Long-Term Support (LTS) – июль 2016
• ~50% инсталляций обновились на Jenkins 2

Jenkins 2. Как это было?
Ожидание
Реальность
Почти сферический
В вакууме
Консервативный
Но всё-таки новый

Jenkins 2. Как это было?
Ожидание Реальность
“Cделать хорошо”
“Убрать все, что мешает”
Мега-релиз
Много контрибьюторов
Релиз 2.0 в короткий срок
(несколько месяцев)
Минимальные изменения
Сохранение совместимости
Итеративность
~10 человек + CloudBees
А ведь сделали J

Новый вебсайт (jenkins.io)
Security-опции по-умолчанию
Улучшения UI:
•Новый мастер установки/апгрейда
•Улучшение страниц конфигурации
Изменение набора плагинов
Jenkins Pipeline
•Configuration as Code для задач
Jenkins 2. Что внутри?
http://bit.ly/jenkins20

Jenkins защищен с момента запуска

Security по-умолчанию & DevOps
Многие тулы не были готовы…
Известные проблемы…
• chef-cookbooks/jenkins (Issue #466)
• puppet-jenkins (https://Issue #575 )
• python-jenkins
• …
Исправлены
• ansible-jenkins (не все реализации)
• Jenkinsci/docker (для стандартного образа)

Мастер установки Jenkins 2 [1/2]

Мастер установки Jenkins 2 [2/2]
При выборе
пункта – popup-
окно со списком
зависимостей

Страницы настроек. Вкладки
Вкладки
Старый
режим

Pipeline - это
ØGroovy DSL для описания задач
•Альтернативы – Job DSL, Jenkins Job Builder
ØТип задачи в Jenkins (Pipeline, Multi-branch Pipeline)
•Описание задач можно хранить в SCM - Jenkinsfile
•Автоматическое сознание задач для веток и pull-request’ов
ØЭкосистема для Automation-as-Code
•>20 Pipeline-плагинов (“ядро?”)
•Множество фич (UI, Стабильность)
•Интеграции // Run on a node having the “my_fpga” label
node("linux && ml509") {
git url:"http://github.com/myorg/myproject.git"
sh "make all"
} http://bit.ly/pipeline-tutorial

Основные фичи Pipeline
Groovy – все плюсы ООП
•Обработка ошибок
•Библиотеки (с @Grab из груви)
Нет привязки к отдельной машине
•Команда parallel() – не нужны связки джобов
•Множественные node() в одной задаче
Интерактивные шаги
Устойчивость к рестартам мастера и проблемам с сетью
UI: Pipeline Stage View, Blue Ocean

Подробнее о Pipeline?
Следующий доклад…
// Сегодня

Jenkins 2. Дальнейшие Планы
• Развитие экосистемы Pipeline
• UI/UX, BlueOcean
• Масштабирование/Надёжность
• Инфраструктура

• Новый JavaScript-фреймворк для создания UI в Jenkins
• Jenkins Design Language
• Jenkins JS Builder
• Node.js, React
• Интеграция в механизм плагинов
• Улучшение UI в ядре
• Доработка страниц навигации и настройки задач
• Оптимизация «тяжелых элементов» - очередь,
история сборок и пр.
• BlueOcean – попытка сделать новый UI
UI/UX

Blue Ocean
Новый Web UI для Jenkins
Фокус – Jenkins Pipeline
https://jenkins.io/projects/blueocean/

Масштабирование и надежность
Cloud-Native Jenkins
•В процессе обсуждения…
Pluggable Storage
•Использование внешних хранилищ данных
•Минимизация использования диска и сети
•External Logging – Logstash и Co
Улучшение механизма коммуникации с агентами
•Remoting 3 / JNLP4
•Диагностика агентов в случае отказов
•Возможность обновления Remoting без апдейта ядра

Было: “сапожник без сапог”
Партнерство с Azure
•https://jenkins.io/blog/2016/05/18/announcing-azure-partnership/
Планы:
•Релиз-flow без человеческого фактора
•Переезд на Azure – больше ресурсов
•Переезд с jenkins.ci.cloudbees.com
▸OSS-only сетап
Jenkins 2. Инфраструктура

Интеграция нового parent POM в плагины
•POM больше не привязан к версии ядра => можно
обновлять flow без ядра
•Статический анализ – хотя бы FindBugs
•PR-builder может патчить Parent POM
▸Bleeding Edge – тестирование
Другие фреймворки
•Acceptance Test Harness
•Plugin Compatibility фреймворков
Jenkins 2. Борьба за качество

Основные кандидаты:
• Механизм устаревания API
• Pluggable Storage - подключение внешних хранилищ
▸ Логи, Артефакты, конфиги, …
• Горизонтальное масштабирование
• Переработка remoting – переезд коммуникаций на
стандартную open-source шину
Stay tuned!
Архитектурные изменение Jenkins

1. Jenkins продолжает развиваться
2. Jenkins 2 – не просто маркетинговый релиз
3. Обновляться надо
• Гайды по апгрейду – на сайте
• Обновляться надо аккупатно
4. Стоит попробовать:
• Jenkins Pipeline / Multi-Branch Pipeline
• BlueOcean
Выводы

Software at the speed of ideas
THANK YOU!
www.cloudbees.com
Вопросы?
Offline: http://gitter.im/jenkinsci-ru

Moscow Jenkins Meetup #1. Jenkins 2 и планы на будущее

Recommended

Recommended

More Related Content

Featured

Featured (20)

Moscow Jenkins Meetup #1. Jenkins 2 и планы на будущее