Talk for the DevOps Pro Moscow 2021: https://www.devopspro.ru/Sveta-Smirnova/ Производительность MySQL можно улучшить при помощи оптимизации запросов, настроек MySQL сервера и железа. Традиционно эти задачи распределялись между тремя ролями: Разработчик, Администратор баз данных и Системный Администратор. Теперь же все эти задачи решает DevOps, что непросто для одного человека. В этом докладе я расскажу об основных оптимизациях, которые решают большинство проблем производительности MySQL. Для иллюстраций я буду использовать реальные пользовательские истории и Percona Kubernetes Operator.

1. MySQL:
Производительность для DevOps

2. • Света Смирнова
• Инженер тех. поддержки MySQL
• Автор
• MySQL Troubleshooting
• JSON UDF функции
• FILTER clause для MySQL
• Докладчик
• Percona Live, OOW, Fosdem,
DevConf, HighLoad...
2 ©2021 Percona

3. •Введение
•Оборудование
•Конфигурация MySQL
Важные Переменные
•Отладка Запросов
Индексы
Конфигурация Оптимизатора
Содержание
3 ©2021 Percona

4. Введение

5. • Сервер баз данных
• С 25-ти летней историей
• Популярные forks
• Percona Server for MySQL
• MariaDB Server
• Поддержка репликации
Что такое
MySQL?
5 ©2021 Percona

6. Коннекторы: C, JDBC, ODBC, Python, ...
Пул Соединений: Авторизация, Кэши
Интерфейс SQL
Парсер
Оптимизатор
Кэши и Буфера:
Глобальные
Движка
Движки: InnoDB, MyRocks, ...
Файловая система: Данные,
Индексы, Журналы
Архитектура
MySQL
- mysqld
- Коннекторы
- Оптимизатор
- Буфера
- Движки
- Управление
6 ©2021 Percona

7. • Ваши собственные машины
• Облака
• Контейнеры (Kubernetes)
Где Работает
MySQL в 2021?
7 ©2021 Percona

8. Percona K8 Operator for PXC
MySQL Operator
Операторы
Kubernetes для
MySQL
8 ©2021 Percona

9. • 610+ настроек
• Несколько движков
• Репликация
• Асинхронная
• Синхронная
• Современный SQL
• Встроенная диагностика
• SQL standard
• Специфичная для MySQL
Прост ли
MySQL?
9 ©2021 Percona

10. Çàïðîñ
Êîíôèãóðàöèÿ
Æåëåçî
Что Влияет на
Скорость?
10 ©2021 Percona

11. Оборудование

12. • Ваши машины
• Опции операционной системы
Как
Настраивать?
12 ©2021 Percona

13. • Ваши машины
• Опции операционной системы
• Облака
• Консоль администратора
Как
Настраивать?
12 ©2021 Percona

14. • Ваши машины
• Опции операционной системы
• Облака
• Консоль администратора
• Percona Kubernetes Operator
cr.yaml
pxc.resources.requests.memory
pxc.resources.requests.cpu
pxc.resources.limits.memory
pxc.volumeSpec.resources.requests.storage
Как
Настраивать?
12 ©2021 Percona

15. • Память
• Диск
• CPU
• Сеть
Что
Настраивать?
13 ©2021 Percona

16. • Никакого swapping
• sysctl vm.swappiness=1
Конфигурация
Памяти
14 ©2021 Percona

17. • Никакого swapping
• sysctl vm.swappiness=1
• NUMA interleave
• Включить в BIOS
Конфигурация
Памяти
14 ©2021 Percona

18. • Никакого swapping
• sysctl vm.swappiness=1
• NUMA interleave
• Включить в BIOS
• Больше - лучше
Конфигурация
Памяти
14 ©2021 Percona

19. • Никакого swapping
• sysctl vm.swappiness=1
• NUMA interleave
• Включить в BIOS
• Больше - лучше
• Доступ к памяти быстрее диска
Конфигурация
Памяти
14 ©2021 Percona

20. • Никакого swapping
• sysctl vm.swappiness=1
• NUMA interleave
• Включить в BIOS
• Больше - лучше
• Доступ к памяти быстрее диска
• Часто используемые данные
должны быть в памяти
Конфигурация
Памяти
14 ©2021 Percona

21. Доступ к
памяти или к
диску?
15 ©2021 Percona

22. • У MySQL есть собственные
буферы для часто используемых
данных
Почему нельзя
использовать
Swap?
16 ©2021 Percona

23. • У MySQL есть собственные
буферы для часто используемых
данных
• OS может и не знать какие данные
потребуются MySQL
• OS может использовать
алгоритмы, неидеальные для
производительности MySQL
Почему нельзя
использовать
Swap?
16 ©2021 Percona

24. • У MySQL есть собственные
буферы для часто используемых
данных
• OS может и не знать какие данные
потребуются MySQL
• OS может использовать
алгоритмы, неидеальные для
производительности MySQL
• Никогда не используйте swap
для MySQL!
Почему нельзя
использовать
Swap?
16 ©2021 Percona

25. • Глобальные буферы
• Используют память на протяжении
всей жизни процесса
InnoDB Buffer Pool
Таблицы в Performance Schema
Как MySQL
Использует
Память
17 ©2021 Percona

26. • Глобальные буферы
• Сессионные
• Выделяются при открытии
соединения
• Освобождаются при закрытии
Connection и result buffers: с net_buffer_length
до max_allowed_packet
Как MySQL
Использует
Память
17 ©2021 Percona

27. • Глобальные буферы
• Сессионные
• Специфические для операций
• На время операции
• Может быть выделено несколько
join_buffer_size: для каждой пары таблиц в
JOIN
tmp_table_size: для каждой временной таблицы
Как MySQL
Использует
Память
17 ©2021 Percona

28. • Быстрее - лучше
• SSD
• NVMe
• Spinning disk
Диск
18 ©2021 Percona

29. • Быстрее - лучше
• SSD
• NVMe
• Spinning disk
• Поддержка параллельной записи
Диск
18 ©2021 Percona

30. • Быстрее - лучше
• SSD
• NVMe
• Spinning disk
• Поддержка параллельной записи
• Battery-backed cache
Диск
18 ©2021 Percona

31. • Таблицы
Как MySQL
Использует
Диск
19 ©2021 Percona

32. • Таблицы
• Журналы
• Бинарный
• Движка
InnoDB redo log
• Ошибок, general, audit, ...
Как MySQL
Использует
Диск
19 ©2021 Percona

33. • Таблицы
• Журналы
• Бинарный
• Движка
InnoDB redo log
• Ошибок, general, audit, ...
• Временные таблицы на диске
Как MySQL
Использует
Диск
19 ©2021 Percona

34. • Таблицы
• Журналы
• Бинарный
• Движка
InnoDB redo log
• Ошибок, general, audit, ...
• Временные таблицы на диске
• Вы можете использовать
разные диски
Как MySQL
Использует
Диск
19 ©2021 Percona

35. • IO scheduler
• [noop] or [deadline]
• sudo echo noop
/sys/block/DISK/queue/scheduler
or sudo echo deadline
/sys/block/DISK/queue/scheduler
Процессор
20 ©2021 Percona

36. • IO scheduler
• [noop] or [deadline]
• sudo echo noop
/sys/block/DISK/queue/scheduler
or sudo echo deadline
/sys/block/DISK/queue/scheduler
• CPU governor
• Set to performance
Процессор
20 ©2021 Percona

37. • IO scheduler
• [noop] or [deadline]
• sudo echo noop
/sys/block/DISK/queue/scheduler
or sudo echo deadline
/sys/block/DISK/queue/scheduler
• CPU governor
• Set to performance
• Больше ядер - лучше
Процессор
20 ©2021 Percona

38. • Один поток на соединение
• CPU используется только для
активных
Как MySQL
Использует
Процессор
21 ©2021 Percona

39. • Один поток на соединение
• CPU используется только для
активных
• Фоновая работа движка
Как MySQL
Использует
Процессор
21 ©2021 Percona

40. MySQL Ñåðâåð
Äâèæîê
Соединения и
Потоки
Движка
22 ©2021 Percona

41. ? = ядер?
Что
Происходит с
Потоками?
23 ©2021 Percona

42. ? = ядер?
Да Выполняются
Что
Происходит с
Потоками?
23 ©2021 Percona

43. ? = ядер?
Да Выполняются
Нет Ждут в очереди
Что
Происходит с
Потоками?
23 ©2021 Percona

44. ? = ядер?
Да Выполняются
Нет Ждут в очереди
? Поддерживает ли диск
параллельную запись?
Что
Происходит с
Потоками?
23 ©2021 Percona

45. ? = ядер?
Да Выполняются
Нет Ждут в очереди
? Поддерживает ли диск
параллельную запись?
Да Запись
Что
Происходит с
Потоками?
23 ©2021 Percona

46. ? = ядер?
Да Выполняются
Нет Ждут в очереди
? Поддерживает ли диск
параллельную запись?
Да Запись
Нет Ждут в очереди
Что
Происходит с
Потоками?
23 ©2021 Percona

47. • Быстрая
• Скорость линии
RTT
• Пропускная способность
• Стабильность
Для предотвращения пересылки пакетов TCP
Сеть
24 ©2021 Percona

48. • Быстрая
• По сети Internet
• Клиенты могу работать
• Асинхронная реплика будет
тормозить
• Синхронные кластеры работать не
будут
При использовании опций по умолчанию ноды
будут постоянно терять соединение
При увеличенных опциях ответы будут приходить
очень медленно
Сеть
24 ©2021 Percona

49. • Передача данных между клиентом
и сервером
• Обычный клиент
• Приложение
• Replication connection (IO) thread
• Передача данных между
синхронными нодами
Как MySQL
Использует
Сеть
25 ©2021 Percona

50. Конфигурация MySQL

51. • Опции сервера
• Компоненты
• Движки
InnoDB
• Расширения
• Сервер
Опции бинарного журнала
Оптимизатор
Что Может
Быть
Настроено?
27 ©2021 Percona

52. • Глобальные
• Параметры, необходимые для всех
процессов
Расположение файлов: datadir и т.д.
Совместно используемые буферы
Другое
• Сессии
• Параметры, специфические для
соединения
MySQL Option Tables
Системные
Переменные:
Что Меняют
28 ©2021 Percona

53. • SET [GLOBAL|PERSIST] var =
NEW_VALUE
Системные
Переменные:
Как Поменять
29 ©2021 Percona

54. • SET [GLOBAL|PERSIST] var =
NEW_VALUE
• Командная строка:
var=new_value
Системные
Переменные:
Как Поменять
29 ©2021 Percona

55. • SET [GLOBAL|PERSIST] var =
NEW_VALUE
• Командная строка:
var=new_value
• Конфигурационный файл
Default путь
• При помощи опции
defaults-file
[mysqld]
var=new_value
Системные
Переменные:
Как Поменять
29 ©2021 Percona

56. • Конфигурация PXC Operator
• In cr.yaml
spec:
secretsName: my-cluster-secrets
pxc:
...
configuration: |
[mysqld]
innodb_log_file_size=8G
Системные
Переменные:
Как Поменять
29 ©2021 Percona

57. • Конфигурация PXC Operator
• В ConfigMap
Создайте свой конфигурационный my.cnf
[mysqld]
innodb_log_file_size=8G
Системные
Переменные:
Как Поменять
29 ©2021 Percona

58. • Конфигурация PXC Operator
• В ConfigMap
Создайте свой конфигурационный my.cnf
[mysqld]
innodb_log_file_size=8G
Создайте ConfigMap: kubectl create configmap
cluster1-pxc from-file=my.cnf
Системные
Переменные:
Как Поменять
29 ©2021 Percona

59. • Конфигурация PXC Operator
• В ConfigMap
Создайте свой конфигурационный my.cnf
[mysqld]
innodb_log_file_size=8G
Создайте ConfigMap: kubectl create configmap
cluster1-pxc from-file=my.cnf
Перезагрузите PXC
Системные
Переменные:
Как Поменять
29 ©2021 Percona

60. • Глобальные и некоторые
сессионные
8.0 Пользователь с привилегией SUPER
8.0 + Пользователь с привилегией
SYSTEM_VARIABLES_ADMIN
Динамические
Переменные:
Кто Может
Менять
30 ©2021 Percona

61. • Глобальные и некоторые
сессионные
8.0 Пользователь с привилегией SUPER
8.0 + Пользователь с привилегией
SYSTEM_VARIABLES_ADMIN
• Сессионные
8.0 Кто угодно
8.0 + Ограниченные привилегии
SYSTEM_VARIABLES_ADMIN
SESSION_VARIABLES_ADMIN
8.0 + Все остальные: кто угодно
Динамические
Переменные:
Кто Может
Менять
30 ©2021 Percona

62. • Глобальные и некоторые
сессионные
8.0 Пользователь с привилегией SUPER
8.0 + Пользователь с привилегией
SYSTEM_VARIABLES_ADMIN
• Сессионные
8.0 Кто угодно
8.0 + Ограниченные привилегии
SYSTEM_VARIABLES_ADMIN
SESSION_VARIABLES_ADMIN
8.0 + Все остальные: кто угодно
• Ограничений нет!
Динамические
Переменные:
Кто Может
Менять
30 ©2021 Percona

63. • Контролирующие поведение
сервера
• При старте
• С маленьких значений, растут до
максимума
Буферы:
Когда
Выделяются
31 ©2021 Percona

64. • Контролирующие поведение
сервера
• При старте
• С маленьких значений, растут до
максимума
• Сессионные
• При открытии соединения
Буферы:
Когда
Выделяются
31 ©2021 Percona

65. • Контролирующие поведение
сервера
• При старте
• С маленьких значений, растут до
максимума
• Сессионные
• При открытии соединения
• Операции
• По мере надобности
• Могут выделяться неоднократно
Буферы:
Когда
Выделяются
31 ©2021 Percona

66. Конфигурация MySQL
Важные Переменные

67. • innodb_buffer_pool_size
• Активный набор данных
InnoDB
33 ©2021 Percona

68. • innodb_buffer_pool_size
• innodb_log_file_size
• Изменения за час
InnoDB
33 ©2021 Percona

69. • innodb_buffer_pool_size
• innodb_log_file_size
• Изменения за час
• Слишком маленький
InnoDB
33 ©2021 Percona

70. • innodb_buffer_pool_size
• innodb_log_file_size
• Изменения за час
• Достаточный
InnoDB
33 ©2021 Percona

71. • innodb_buffer_pool_size
• innodb_log_file_size
• innodb_io_capacity
• Значение по умолчанию не
подходит для быстрых дисков
• Количество IOPS, которое ваш диск
может использовать
• Не ставьте слишком высоким!
InnoDB
33 ©2021 Percona

72. • innodb_buffer_pool_size
• innodb_log_file_size
• innodb_io_capacity
• innodb_flush_method
• В большинстве случаеав: O_DIRECT
• Тестируйте на своей системе!
InnoDB
33 ©2021 Percona

73. • innodb_buffer_pool_size
• innodb_log_file_size
• innodb_io_capacity
• innodb_flush_method
• innodb_thread_concurrency
• 0 или количество ядер
InnoDB
33 ©2021 Percona

74. • Изменение може привести к
потере данных!
Синхронизация
34 ©2021 Percona

75. • Изменение може привести к
потере данных!
• innodb_flush_log_at_trx_commit
1: ACID, по умолчанию
Синхронизация
34 ©2021 Percona

76. • Изменение може привести к
потере данных!
• innodb_flush_log_at_trx_commit
1: ACID, по умолчанию
2: Журналы пишутся при каждом
commit, синхронизируются раз в
секунду
MySQL 8.0 может выполнить 1M INSERT-ов в
секунду
Используйте с PXC, Galera и InnoDB Кластерами
Синхронизация
34 ©2021 Percona

77. • Изменение може привести к
потере данных!
• innodb_flush_log_at_trx_commit
1: ACID, по умолчанию
2: Журналы пишутся при каждом
commit, синхронизируются раз в
секунду
0: Журналы пишутся и
синхронизируются раз в секунду
Синхронизация
34 ©2021 Percona

78. • Изменение може привести к
потере данных!
• innodb_flush_log_at_trx_commit
1: ACID, по умолчанию
2: Журналы пишутся при каждом
commit, синхронизируются раз в
секунду
0: Журналы пишутся и
синхронизируются раз в секунду
• Раз в секунду не
гарантировано при 0 и 2
DDL может спровоцировать более частое
Scheduling может отложить синхронизирование
Синхронизация
34 ©2021 Percona

79. • Изменение може привести к
потере данных!
• innodb_flush_log_at_trx_commit
• sync_binlog
0: Синхронизация осуществляется
операционной системой
1: При каждом commit, по
умолчанию
Транзакции не теряются
N: После N binary log group commit-ов
В случае OS крэша или отключения питания
несинхронизированные транзакции теряются
Синхронизация
34 ©2021 Percona

80. • table_open_cache
• Количество открытых таблиц для
всех соединений
• Увеличьте, если
Соединения в PROCESSLIST ждут открытия таблиц
Значение глобальной статусной переменной
Opened_tables больше Open_tables
Table Handlers
35 ©2021 Percona

81. • table_open_cache
• table_definition_cache
• Размер кэша определений таблиц
• Увеличьте, если
Значение Opened_table_definitions больше
Open_table_definitions
Table Handlers
35 ©2021 Percona

82. • table_open_cache
• table_definition_cache
• Увеличьте open files для
операционной системы при
необходимости
Table Handlers
35 ©2021 Percona

83. Отладка Запросов

84. • Вы коммуницируете с базой при
помощи запросов
• Даже через интерфейс NoSQL
• Это не запросы SQL, но запросы
Сердце
Приложения
37 ©2021 Percona

85. • Вы коммуницируете с базой при
помощи запросов
• Даже через интерфейс NoSQL
• Это не запросы SQL, но запросы
• Данные имеют значение
• 1,000,000,000 строк
или 1 строка
Сердце
Приложения
37 ©2021 Percona

86. Çàïðîñ
Ïóë Ñîåäèíåíèÿ:
Àóòåíòèôèêàöèÿ, Êýøè;
SQL èíòåðôåéñ; Ïàðñåð
Îïòèìèçàòîð
Òàáëè÷íûå äâèæêè
Îáîðóäîâàíèå
Как
Выполняется
Запрос
38 ©2021 Percona

87. Отладка Запросов
Индексы

88. d001
d003
d008
d009
d003******
d009******
d008******
d009******
d001******
d003******
d009******
d008******
d009******
d001******
d008******
d008******
Индексы в
MySQL
- B-Tree
Большинство
- LSM Tree
- Fractal Tree
- R-Tree Spatial
- Hash Memory SE
- Движка
40 ©2021 Percona

89. • WHERE the_column = a_value
• WHERE the_column
IN(value1, value2, value3)
• WHERE the_column LIKE 'value%'
• WHERE the_column LIKE ’%value’
Как MySQL
Использует
Индексы:
Условия
41 ©2021 Percona

90. • WHERE left_part = value1 AND
right_part = value2
• WHERE left_part = value1
OR right_part = value2
• WHERE right_part = value1
AND left_part = value2
• WHERE right_part = value1
OR left_part = value2
Как MySQL
Использует
Индексы:
Условия
41 ©2021 Percona

91. • table1 JOIN table2 ON
table1.column1 =
table2.column2
Как MySQL
Использует
Индексы:
Соединения
42 ©2021 Percona

92. • table1 JOIN table2 ON
table1.column1 =
table2.column2
• Same as
FROM table1, table2
WHERE table1.column1 =
table2.column2
Как MySQL
Использует
Индексы:
Соединения
42 ©2021 Percona

93. • GROUP BY the_column
• GROUP BY left_part, right_part
• GROUP BY right_part, left_part
• GROUP BY the_index,
another_index
Как MySQL
Использует
Индексы:
GROUP BY
43 ©2021 Percona

94. • ORDER BY the_column
• ORDER BY left_part, right_part
• ORDER BY right_part, left_part
• ORDER BY the_index,
another_index
Как MySQL
Использует
Индексы:
ORDER BY
44 ©2021 Percona

95. 5.7 ORDER BY left_part DESC,
right_part ASC
8.0 ORDER BY left_part DESC,
right_part ASC
• left_part должна быть descending
• right_part должна быть ascending
• the_index(left_part DESC,
right_part ASC)
Как MySQL
Использует
Индексы:
ORDER BY
44 ©2021 Percona

96. • Deterministic, встроенные
• Возвращают одинаковый результат
• WHERE the_column = FLOOR(123.45)
Как MySQL
Использует
Индексы:
Выражения
45 ©2021 Percona

97. • Deterministic, встроенные
• Возвращают одинаковый результат
• WHERE the_column = FLOOR(123.45)
• Non-deterministic
• Возвращают разный результат
• WHERE the_column = RAND() ∗ 100
Как MySQL
Использует
Индексы:
Выражения
45 ©2021 Percona

98. • Deterministic, встроенные
• Возвращают одинаковый результат
• WHERE the_column = FLOOR(123.45)
• Non-deterministic
• Возвращают разный результат
• WHERE the_column = RAND() ∗ 100
• Stored functions и UDFs
• Индексы не используются
MySQL: Use indexes on generated columns
MariaDB: Use indexes on generated columns
Как MySQL
Использует
Индексы:
Выражения
45 ©2021 Percona

99. Отладка Запросов
Конфигурация Оптимизатора

100. • Временные таблицы
• tmp_table_size
• max_heap_table_size
• default_tmp_storage_engine
Увеличьте
Размер для
Временных
Буферов
47 ©2021 Percona

101. • Временные таблицы
• tmp_table_size
• max_heap_table_size
• default_tmp_storage_engine
• Буферы для выполнения запросов
• join_buffer_size
JOIN, которые не используют индексы
Увеличьте
Размер для
Временных
Буферов
47 ©2021 Percona

102. • Временные таблицы
• tmp_table_size
• max_heap_table_size
• default_tmp_storage_engine
• Буферы для выполнения запросов
• join_buffer_size
• read_buffer_size
Кэширование индексов в ORDER BY
Bulk insert into partitions
Кэш результатов вложенных запросов
Увеличьте
Размер для
Временных
Буферов
47 ©2021 Percona

103. • Временные таблицы
• tmp_table_size
• max_heap_table_size
• default_tmp_storage_engine
• Буферы для выполнения запросов
• join_buffer_size
• read_buffer_size
• read_rnd_buffer_size
Оптимизация запросов multi-rane
Увеличьте
Размер для
Временных
Буферов
47 ©2021 Percona

104. • Временные таблицы
• tmp_table_size
• max_heap_table_size
• default_tmp_storage_engine
• Буферы для выполнения запросов
• join_buffer_size
• read_buffer_size
• read_rnd_buffer_size
• select_into_buffer_size
SELECT INTO OUTFILE
SELECT INTO DUMPFILE
Увеличьте
Размер для
Временных
Буферов
47 ©2021 Percona

105. • Временные таблицы
• tmp_table_size
• max_heap_table_size
• default_tmp_storage_engine
• Буферы для выполнения запросов
• join_buffer_size
• read_buffer_size
• read_rnd_buffer_size
• select_into_buffer_size
• sort_buffer_size
ORDER BY
GROUP BY
Увеличьте
Размер для
Временных
Буферов
47 ©2021 Percona

106. • Временные таблицы
• tmp_table_size
• max_heap_table_size
• default_tmp_storage_engine
• Буферы для выполнения запросов
• join_buffer_size
• read_buffer_size
• read_rnd_buffer_size
• select_into_buffer_size
• sort_buffer_size
• Изменяйте только локально!
Увеличьте
Размер для
Временных
Буферов
47 ©2021 Percona

107. • Оборудование
RAM: больше - лучше
Disk: SSD или NVMe
CPU: больше ядер, больше активных
клиентов
Net: самая быстрая
Выводы
48 ©2021 Percona

108. • Оборудование
• Конфигурация
• InnoDB
innodb_buffer_pool_size
innodb_log_file_size
innodb_thread_concurrency
innodb_io_capacity
innodb_flush_method
innodb_flush_log_at_trx_commit
• Сервер
sync_binlog
table_open_cache
table_definition_cache
Выводы
48 ©2021 Percona

109. • Оборудование
• Конфигурация
• Производительность Запросов
• Используйте индексы
• Настройте буферы оптимизатора
tmp_table_size
join_buffer_size
read_buffer_size
read_rnd_buffer_size
select_into_buffer_size
sort_buffer_size
Выводы
48 ©2021 Percona

110. Troubleshooting hardware resources
Troubleshooting configuration issues
MySQL Query Tuning for Dev[Op]s
Percona Monitoring and Management
Percona Kubernetes Operators
Дополнительная
Информация
49 ©2021 Percona

111. www.slideshare.net/SvetaSmirnova
twitter.com/svetsmirnova
github.com/svetasmirnova
Спасибо!
50 ©2021 Percona