SPb Jenkins Meetup #6. Тёмная сторона Jenkins. Стабилизируем Remoting

Тёмная сторона Jenkins.
Стабилизируем Remoting
Олег Ненашев
CloudBees, Inc.
St. Petersburg Jenkins Meetup
11 мая 2017

© 2017 CloudBees, Inc. All Rights Reserved. 2
Обо мне
@oleg_nenashev
oleg-nenashev

Oleg’s
“Hall of
Shame”(c)
• Jenkins Core
• Windows Service
Wrapper
• Плагины
• Remoting

• Распределенная система – ключ к успеху Hudson
• Remoting – движок под капотом Hudson/Jenkins
• “Свой велосипед”
Что такое Remoting?

Кто видел ТАКОЕ?

А ТАКОЕ?

Что делает?
• Исполняемый файл агентов (slave.jar)
• Протоколы работы с мастером
• Classloading
• Удаленные потоки ввода-вывода
• Мониторинг агентов

Олег и Remoting
• Боролся с Remoting в Intel/Sitronics
• Патчил Remoting в Synopsys, свой форк
• Стал ментейнером Remoting в CloudBees
• Поддерживаю Remoting в рабочее (и не
очень) время
• Поддержка/консалтинг

üКАК РАБОТАЕТ REMOTING?
üЧТО ДЕЛАТЬ, КОГДА ОН НЕ РАБОТАЕТ?
О чём доклад?

Disclaimer
• Презентация отражает личное мнение докладчика
• Личное мнение докладчика может не совпадать с позицией
сообщества Jenkins или компании CloudBees
• Презентация не является тренингом
• Обсуждение Remoting на афтерпати может содержать
ненормативную лексику

Как работает сборка в Jenkins?
Мастер АгентRPC вызовы
Вызов системной команды
RemoteInputStream/
RemoteOutputStream
Недостающие классы

Использование Remoting
• Мастер <=> Агенты
• 4 протокола
• Мастер ó CLI (Deprecated)
• https://jenkins.io/blog/2017/04/11/new-cli/
• Агент ó Maven в Maven Project Plugin
• Через Maven Interceptors
• CloudBees Jenkins Enterprise:
• Client master ó CloudBees Jenkins Operations Center

Протоколы Remoting
• JNLP1 – устаревший протокол
• JNLP2 – NIO, нет шифрования
• JNLP3 – нет NIO, шифрование, нестабилен
• JNLP4 – NIO, шифрование через TLS
• CLI1 – нет шифрования
• CLI2 – с шифрованием
• Ping – тестовый протокол

Настройка протоколов • До 2.19.1 – Через System Property
• После – Настройки безопасности

Рекомендованная конфигурация
• JNLP1 – устаревший протокол
• JNLP2 – NIO, нет шифрования
• JNLP3 – нет NIO, шифрование, нестабилен
• JNLP4 – NIO, шифрование через TLS
• CLI1 - нет шифрования
• CLI2 – с шифрованием
• Ping – тестовый протокол
2.32+
2.54+

JNLP-агент
JVM мастера JVM агента
HTTP/HTTPS
/tcpAgentListener
remoting.jarjenkins.war JNLP-протокол
• Docker: jenkinsci/jnlp-slave
• Swarm Plugin: собственный JAR

SSH агент Jenkins
JVM мастера JVM агента
SSH-Сервер
jenkins.war
JNLP-протокол
• SSH Slaves Plugin
• CloudBees NIO SSH Slaves Plugin
• Docker: jenkinsci/ssh-slave
SSH-connect
SSH
JRE/JDK
remoting.jar
Настройки
• Авто-обновление
Remoting с мастера

JNLP-агент + Windows Service
• Windows Agent Installer Module в ядре
• Бонус - Windows Agents Plugin
(установка через DCOM)
JVM мастера Агент
HTTP/HTTPS
/tcpAgentListener
JVM + slave.jar
jenkins.war
JNLP-протокол
HTTPS/HTTP
remoting.jar
WinSW
(jenkins-slave.exe)
jenkins-slave.exe
• Обновление Remoting
• Логгирование по-умолчанию
• Failover

ТОП-5 Проблем Remoting
Зависит от TCP
“Убегающие” процессы в
Windows
Нет авто-обновления Remoting
Логи не пишутся на диск по-
умолчанию
Приоритизация трафика

Проблемы: разрыв соединения
Разрыв TCP-
соединения
PingThread Мониторинг
агентов
• Использование диска
• Версия Remoting
Баг Remoting

Баги Remoting
• Плохая диагностика до Jenkins 2.37Общее
• Баги в управлении сессиями
• RejectedExecutionEx в ExecutorService убивает ВСЕ
соединения (.../remoting/pull/156 )
JNLP1/JNLP2
• Скорее не работает…
• Errata: .../remoting/blob/master/docs/protocols.md -
jnlp3-connect-errata
JNLP3
• Пока не замечено
• Jenkins 2.27+JNLP4

PingThread – что за зверь?

•Вызывает Ping с таймаутом в 4 минуты?
Remoting PingThread

•Что он делает?
•Вызывает Ping с таймаутом в 4 минуты?
Remoting PingThread

Ping Thread
Пустой RPC-запрос на агент
Пересылка запроса через сеть
Ожидание в очереди агента
Исполнение в ThreadPool
Доставка результата

•“Давайте отключим PingThread”
Famous Last Words

•Почему он может отвалиться?
TCP…

7 Кругов Виртуализации
https://www.slideshare.net/OlegNenashev/
spb-jenkins-meetup-5-jenkins-in-da-cloud
Какое-то железо
vSphere/AWS/…
ОС *nix
Docker
ОС *nix
JVM

vSphere/AWS/…
ОС *nix
Docker
ОС *nix
JVM
7 Кругов Виртуализации

vSphere/AWS/…
ОС *nix
Docker
ОС *nix
JVM
А
ТАК
?
vSphere/AWS/…
ОС *nix
Docker
ОС *nix
JVM
Какая-то сеть
(роутеры, VPN,
dial-up, proxy…)
TCP

Боремся с Tcp
TCP Retransmission timeout
• *nix: https://unix.stackexchange.com/questions/210367/changing-
the-tcp-rto-value-in-linux
• Windows: https://support.microsoft.com/en-us/help/170359/how-
to-modify-the-tcp-ip-maximum-retransmission-time-out
Конфигурация сети
• Внешний мониторинг
• Разделение management- и storage- сетей
• Мастер ó Агент – в отдельную сеть

Проблема
JENKINS-23271
• ”Слишком умный” Garbage Collector в Java 8
• RemoteInvocationHandler => command.start().join()
• Jenkins 2.35+

Проблема: Старый Remoting на агентах
• ОбновляютсяSSH агенты
• НЕ обновляются до Jenkins 2.50Windows Service
агенты
• НЕ обновляютсяJNLP-агенты
• Фиксы не доходят
• Нет новых протоколов (JNLP4)
• Хуже диагностика
• Возможные проблемы совместимости с мастером

Как проверить версию Remoting?
• System Information на страничке агента
• Version Column Plugin: https://plugins.jenkins.io/versioncolumn

Проблема
Windows Service Другое

Новый Windows Service Wrapper
• Jenkins 2.50+
• Для новых агентов
•Авто-обновление агентов
•Runaway Process Killer
• Для старых – нужна настройка
https://github.com/kohsuke/winsw/

Обновляем старые Windows-агенты
Обновили ядро или WinSW
Обновили slave.jar
Обновили jenkins-slave.xml
Руководство:
https://github.com/jenkinsci/windows-slave-installer-
module#upgrading-old-agents

jenkins-slave.xml
<service>
<id>@ID@</id>
<name>Jenkins agent (@ID@)</name>
<description>This service runs an agent for Jenkins automation server.</description>
<executable>@JAVA@</executable>
<arguments>-Xrs @VMARGS@ -jar "%BASE%slave.jar" @ARGS@</arguments>
<logmode>rotate</logmode>
<onfailure action="restart" />
<download from="JENKINS_URL/jnlpJars/slave.jar" to="%BASE%slave.jar"/>
<extensions>
<extension id="killOnStartup" enabled="true” className="winsw.Plugins.
RunawayProcessKiller.RunawayProcessKillerExtension">
<pidfile>%BASE%jenkins_agent.pid</pidfile>
<stopTimeout>5000</stopTimeout>
<stopParentFirst>false</stopParentFirst>
</extension>
</extensions>
</service>
https://github.com/jenkinsci/windows-slave-installer-module/…
/src/main/resources/org/jenkinsci/modules/windows_slave_inst
aller/jenkins-slave.xml

Итого…
Что делать?

А что делать-то?
• Для Windows – LTS next-2.46.x
Обновляться на
последний LTS c
JNLP4
• TRetransmission < TPing
• PingThread отключать не стоит
Смотреть таймауты
(TCP Retransmission
+ Ping)
• Ждать Remoting 3.8 с
конфигурируемым JUL
Настраивать
логгирование

Remoting. Планы…

Сейчас
• Новый релиз – 3.8
• .../remoting/blob/master/CHANGELOG.md#38
• Документация
•https://github.com/jenkinsci/remoting/
• Рабочие директории в Remoting (JENKINS-44108)
• Логгирование агентов по-умолчанию (JENKINS-39369)

Что дальше?

В будущем
• TCP-free Remoting?
• Автообновление агентов? (JENKINS-44099)
• Автообновление Remoting в ядре?

Итого
• Remoting – фактор риска в Jenkins
• Remoting не работает ”из коробки” на
больших инстансах
• Remoting можно стабилизировать
• Надо обновляться
• 75% проблем - инфраструктура

Спасибо!
Контакты:
E-mail: onenashev@cloudbees.com
GitHub: oleg-nenashev
Twitter: @oleg_nenashev

Software at the speed of ideas
THANK YOU!
www.cloudbees.com

SPb Jenkins Meetup #6. Тёмная сторона Jenkins. Стабилизируем Remoting

Recommended

Recommended

More Related Content

What's hot

What's hot (19)

Similar to SPb Jenkins Meetup #6. Тёмная сторона Jenkins. Стабилизируем Remoting

Similar to SPb Jenkins Meetup #6. Тёмная сторона Jenkins. Стабилизируем Remoting (20)

SPb Jenkins Meetup #6. Тёмная сторона Jenkins. Стабилизируем Remoting