Являюсь разработчиком и администратором баз данных и связанных подсистем в Авито уже на протяжении многих лет. Хочу поделиться опытом, полученным в ходе масштабного проекта по миграции Авито между дата-центрами: как мы осуществляли планирование, подготовку и непосредственно переезд с переключением площадки. Опишу общие особенности и специфику нашей миграции, "подводные камни" и неочевидные ограничения, с которыми приходилось справляться, в том числе, и в экстремальных условиях. Доклад будет интересен как DBA так и DevOps специалистам.

1. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
Опыт миграции между дата-
центрами
Сергей Бурладян Михаил Тюрин
sburladyan@avito.ru mtyurin@avito.ru
2016

2. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
2
Что нового вы узнаете?

3. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
3
●
законодательные инициативы точно затрагивают
непосредственно вашу техническую платформу

4. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
4
●
законодательные инициативы затрагивают техническую
платформу
●
переезд большого нагруженного кластера между датацентрами
по интернету возможен (за конечное время) !
●
и с небольшим даунтаймом

5. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
5
●
можно достаточно точно оценить необходимую пропускную
полосу при переезде
●
существуют ярко выраженные особенности шейпинга
выделенного интернет маршрута

6. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
6
●
при этом скорее всего вы будете вынуждены работать на новом
оборудование / окружении
●
существуют неожиданные особенности systemd
●
результаты некоторых нагрузочных тестов
●
закон Мура у кого-то всё еще может работать

7. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
7
Переезд «базы» — часть сложного процесса миграции всей
площадки:
●
приложение
●
картинки
●
индексы
●
другие базы
●
dwh
●
crons
●
…
30 SubTasks и 30 Dependent — 6 месяцев

8. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
8
Тестировали датацентр боем: отдаём
картинки из Москвы
> 50% трафика площадки

9. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
9
Подлежит ли откату процесс переезда?
Нет, очень сложно

10. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
10
Интуитивное решение о применении
репликации — правильно

11. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
11
Как перенести базы с минимальным downtime?
Репликация!
● физическая — streaming, WAL архив // x2
● логическая — londiste // x2
● rpc — pgq + xrpcd.py // x2

12. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
12
Оценка необходимой пропускной способности

13. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
13
Оценка необходимой пропускной способности
● 12 серверов WAL ~ 100 — 150 Mbit
● 3 сервера londiste + rpc < 50 Mbit
● с учётом возможного роста до двух раз (переезд — 6 месяцев)

14. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
14
Первый вариант
NFS через интернет слишком круто
Сейчас просто включим стриминг в
Москву и всё!

15. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
15
Оказывается
● Канал 2 Gbit
● Но на одну TCP сессию почему-то 2 Mbit
2 Gbit → 2 Mbit

16. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
16
Вариант два
● WAL архив (pbzip2):
send-wals.sh + rsync
archive_command и т. п.: https://pgconf.ru/2016/89927

17. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
17
Вариант три
● send-wals.sh + parallel-rsync.sh
send-wals.sh:
parallel-rsync.sh:

18. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
18
Новая среда и оборудование
Проблема нового Debian
● pgbench Debian 6 vs Debian 7: в 2-3 раза!
● === 8.2 (jessie) | 3.16.7-ckt11-1+deb8u6 | AMD Opteron(tm) Processor 6136
● $ pgbench -SNn -r -f test.sql -p 6432 -U postgres -c 10 -T $((5 * 60)) avito_test
● tps = 7528.535949 (excluding connections establishing)
● === 6.0.3 (squeeze) | 2.6.32-5-amd64 | AMD Opteron(tm) Processor 6136
● $ pgbench -SNn -r -f test.sql -p 6432 -U postgres -c 10 -T $((5 * 60)) avito_test
● tps = 9284.494020 (excluding connections establishing)
● Debian 6 быстрее Debian 8 на ~ 20%

19. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
19
Новая среда и оборудование
● === 6.0.3 (squeeze) | 2.6.32-5-amd64 | AMD Opteron(tm) Processor 6136
2399.891 MHz | 9.2.13-1.pgdg60+1
● tps = 8212.192504 (excluding connections establishing)
● === 8.2 (jessie) | 3.16.7-ckt20-1+deb8u2 | Intel(R) Xeon(R) CPU E5-2697 v3 @
2.60GHz | 9.2.14-1.pgdg80+1
● tps = 19067.844979 (excluding connections establishing)
● mbw

20. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
20
Особенности systemd
● /etc/systemd/logind.conf
RemoveIPC=no
https://www.postgresql.org/message-
id/20151214224729.2624.99840@wrigleys.postgresql.org
● KillMode=none
SendSIGKILL=no
https://bugzilla.suse.com/show_bug.cgi?id=906900
● sudo pg_ctlcluster 9.2 main stop -- -m f
sudo -u postgres pg_ctlcluster 9.2 main stop -m f

21. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
21
Закон Мура всё ещё работает
2015 2016

22. КОЛОНТИТУЛ:ТЕМАПРЕЗЕНТАЦИИ
Спасибо за внимание!