Презентация с highload++ 2015 по архитектуре Apache HAWQ на русском языке

1. Архитектура
HAWQ
Грищенко
Алексей

2. Кто я?
Enterprise Architect @ Pivotal
• 7 лет в задачах обработки данных
• 5 лет с MPP-системами
• 4 года с Hadoop
• HAWQ - с первой beta
• Отвечаю за архитектуру всех внедрений HAWQ и
Greenplum в EMEA
• Spark contributor
• http://0x0fff.com

3. О чем расскажу?
• Что такое HAWQ

4. О чем расскажу?
• Что такое HAWQ
• Зачем он нужен

5. О чем расскажу?
• Что такое HAWQ
• Зачем он нужен
• Из каких компонент он состоит

6. О чем расскажу?
• Что такое HAWQ
• Зачем он нужен
• Из каких компонент он состоит
• Как он работает

7. О чем расскажу?
• Что такое HAWQ
• Зачем он нужен
• Из каких компонент он состоит
• Как он работает
• Пример выполнения запроса

8. О чем расскажу?
• Что такое HAWQ
• Зачем он нужен
• Из каких компонент он состоит
• Как он работает
• Пример выполнения запроса
• Альтернативные решения

9. Что такое
• Аналитический движок SQL-on-Hadoop

10. Что такое
• Аналитический движок SQL-on-Hadoop
• HAdoop With Queries

11. Что такое
• Аналитический движок SQL-on-Hadoop
• HAdoop With Queries
Postgres Greenplu
m
HAWQ
2005
Fork
Postgres 8.0.2

12. Что такое
• Аналитический движок SQL-on-Hadoop
• HAdoop With Queries
Postgres Greenplu
m
HAWQ
2005
Fork
Postgres 8.0.2
2009 Rebase
Postgres 8.2.15

13. Что такое
• Аналитический движок SQL-on-Hadoop
• HAdoop With Queries
Postgres Greenplu
m
HAWQ
2005
Fork
Postgres 8.0.2
2009 Rebase
Postgres 8.2.15
2011 Fork
GPDB 4.2.0.0

14. Что такое
• Аналитический движок SQL-on-Hadoop
• HAdoop With Queries
Postgres Greenplu
m
HAWQ
2005
Fork
Postgres 8.0.2
2009 Rebase
Postgres 8.2.15
2011 Fork
GPDB 4.2.0.0
2013
HAWQ 1.0.0.0

15. Что такое
• Аналитический движок SQL-on-Hadoop
• HAdoop With Queries
Postgres Greenplu
m
HAWQ
2005
Fork
Postgres 8.0.2
2009 Rebase
Postgres 8.2.15
2011 Fork
GPDB 4.2.0.0
2013
HAWQ 1.0.0.0
HAWQ 2.0.0.0
Open Source
2015

16. HAWQ – это …
• 1’500’000 строк кода C и C++

17. HAWQ – это …
• 1’500’000 строк кода C и C++
– Из которых 200’000 только в заголовочных
файлах

18. HAWQ – это …
• 1’500’000 строк кода C и C++
– Из которых 200’000 только в заголовочных
файлах
• 180’000 строк кода Python

19. HAWQ – это …
• 1’500’000 строк кода C и C++
– Из которых 200’000 только в заголовочных
файлах
• 180’000 строк кода Python
• 60’000 строк кода Java

20. HAWQ – это …
• 1’500’000 строк кода C и C++
– Из которых 200’000 только в заголовочных
файлах
• 180’000 строк кода Python
• 60’000 строк кода Java
• 23’000 строк Makefile’ов

21. HAWQ – это …
• 1’500’000 строк кода C и C++
– Из которых 200’000 только в заголовочных
файлах
• 180’000 строк кода Python
• 60’000 строк кода Java
• 23’000 строк Makefile’ов
• 7’000 строк shell-скриптов

22. HAWQ – это …
• 1’500’000 строк кода C и C++
– Из которых 200’000 только в заголовочных
файлах
• 180’000 строк кода Python
• 60’000 строк кода Java
• 23’000 строк Makefile’ов
• 7’000 строк shell-скриптов
• Более 50 корпоративных клиентов

23. HAWQ – это …
• 1’500’000 строк кода C и C++
– Из которых 200’000 только в заголовочных
файлах
• 180’000 строк кода Python
• 60’000 строк кода Java
• 23’000 строк Makefile’ов
• 7’000 строк shell-скриптов
• Более 50 корпоративных клиентов
– Из них более 10 в EMEA

24. Apache HAWQ
• Apache HAWQ (incubating) с 09’2015
– http://hawq.incubator.apache.org
– https://github.com/apache/incubator-hawq
• Что находится в Open Source
– Исходники версии HAWQ 2.0 альфа
– Релиз HAWQ 2.0 бэта до конца 2015 года
– Релиз HAWQ 2.0 GA в начале 2016
• Сообщество еще только зарождается –
присоединяйтесь!

25. Зачем он нужен?

26. Зачем он нужен?
• Универсальный SQL-интерфейс к данным
Hadoop для BI с ANSI SQL-92, -99, -2003

27. Зачем он нужен?
• Универсальный SQL-интерфейс к данным
Hadoop для BI с ANSI SQL-92, -99, -2003
– Пример из практики – запрос Cognos на 5000
строк с множеством оконных функций

28. Зачем он нужен?
• Универсальный SQL-интерфейс к данным
Hadoop для BI с ANSI SQL-92, -99, -2003
– Пример из практики – запрос Cognos на 5000
строк с множеством оконных функций
• Универсальный инструмент для ad hoc
аналитики

29. Зачем он нужен?
• Универсальный SQL-интерфейс к данным
Hadoop для BI с ANSI SQL-92, -99, -2003
– Пример из практики – запрос Cognos на 5000
строк с множеством оконных функций
• Универсальный инструмент для ad hoc
аналитики
– Пример из практики – распарсить URL,
выдернув из него имя хоста и протокол

30. Зачем он нужен?
• Универсальный SQL-интерфейс к данным
Hadoop для BI с ANSI SQL-92, -99, -2003
– Пример из практики – запрос Cognos на 5000
строк с множеством оконных функций
• Универсальный инструмент для ad hoc
аналитики
– Пример из практики – распарсить URL,
выдернув из него имя хоста и протокол
• Хорошая производительность

31. Зачем он нужен?
• Универсальный SQL-интерфейс к данным
Hadoop для BI с ANSI SQL-92, -99, -2003
– Пример из практики – запрос Cognos на 5000
строк с множеством оконных функций
• Универсальный инструмент для ad hoc
аналитики
– Пример из практики – распарсить URL,
выдернув из него имя хоста и протокол
• Хорошая производительность
– Сколько раз данные будут скинуты на HDD для
выполнения SQL-запроса в Hive?

32. Кластер с HAWQ
Сервер 1
SNameNode
Сервер 4
ZK JM
NameNode
Сервер 3
ZK JM
Сервер 2
ZK JM
Сервер 6
Datanode
Сервер N
Datanode
Сервер 5
Datanode
interconnect
…

33. Кластер с HAWQ
Сервер 1
SNameNode
Сервер 4
ZK JM
NameNode
Сервер 3
ZK JM
Сервер 2
ZK JM
Сервер 6
Datanode
Сервер N
Datanode
Сервер 5
Datanode
YARN NM YARN NM YARN NM
YARN RM
YARN App
Timeline
interconnect
…

34. Кластер с HAWQ
HAWQ Master
Сервер 1
SNameNode
Сервер 4
ZK JM
NameNode
Сервер 3
ZK JM
HAWQ
Standby
Сервер 2
ZK JM
HAWQ Segment
Сервер 6
Datanode
HAWQ Segment
Сервер N
Datanode
HAWQ Segment
Сервер 5
Datanode
YARN NM YARN NM YARN NM
YARN RM
YARN App
Timeline
interconnect
…

35. Мастер Сервера
Сервер 1
SNameNode
Сервер 4
ZK JM
NameNode
Сервер 3
ZK JM
Сервер 2
ZK JM
HAWQ Segment
Сервер 6
Datanode
HAWQ Segment
Сервер N
Datanode
HAWQ Segment
Сервер 5
Datanode
YARN NM YARN NM YARN NM
YARN RM
YARN App
Timeline
interconnect
…
HAWQ Master
HAWQ
Standby

36. Мастер Сервера
HAWQ Master
Парсер
запросов
Оптимизатор
запросов
Глобальный
менеджер
ресурсов
Менеджер
транзакций
Диспетчер
процессов
Каталог
метаданных
HAWQ Standby Master
Парсер
запросов
Оптимизатор
запросов
Глобальный
менеджер
ресурсов
Менеджер
транзакций
Диспетчер
процессов
Каталог
метаданных
WAL
репл.

37. HAWQ Master
HAWQ
Standby
Сегменты
Сервер 1
SNameNode
Сервер 4
ZK JM
NameNode
Сервер 3
ZK JM
Сервер 2
ZK JM
Сервер 6
Datanode
Сервер N
Datanode
Сервер 5
Datanode
YARN NM YARN NM YARN NM
YARN RM
YARN App
Timeline
interconnect
HAWQ Segment HAWQ SegmentHAWQ Segment …

38. Сегменты
HAWQ Segment
Движок выполнения
запросов
libhdfs3
Расширения PXF
HDFS Datanode
Локальная ФС
Директория для
временных данных
Логи
YARN Node Manager

39. Метаданные
• Структура аналогична структуре каталога
Postgres

40. Метаданные
• Структура аналогична структуре каталога
Postgres
• Статистика

41. Метаданные
• Структура аналогична структуре каталога
Postgres
• Статистика
– Количество записей и страниц в таблице

42. Метаданные
• Структура аналогична структуре каталога
Postgres
• Статистика
– Количество записей и страниц в таблице
– Наиболее частые значения для каждого
поля

43. Метаданные
• Структура аналогична структуре каталога
Postgres
• Статистика
– Количество записей и страниц в таблице
– Наиболее частые значения для каждого
поля
– Гистограмма для каждого числового поля

44. Метаданные
• Структура аналогична структуре каталога
Postgres
• Статистика
– Количество записей и страниц в таблице
– Наиболее частые значения для каждого
поля
– Гистограмма для каждого числового поля
– Количество уникальных значений в поле

45. Метаданные
• Структура аналогична структуре каталога
Postgres
• Статистика
– Количество записей и страниц в таблице
– Наиболее частые значения для каждого
поля
– Гистограмма для каждого числового поля
– Количество уникальных значений в поле
– Количество null значений в поле

46. Метаданные
• Структура аналогична структуре каталога
Postgres
• Статистика
– Количество записей и страниц в таблице
– Наиболее частые значения для каждого
поля
– Гистограмма для каждого числового поля
– Количество уникальных значений в поле
– Количество null значений в поле

47. Статистика
Без статистики
Join двух таблиц, сколько записей в результате?

48. Статистика
Без статистики
Join двух таблиц, сколько записей в результате?
 От 0 до бесконечности

49. Статистика
Без статистики
Количество строк
Join двух таблиц, сколько записей в результате?
 От 0 до бесконечности
Join двух таблиц по 1000 записей в каждой, сколько
записей в результате?

50. Статистика
Без статистики
Количество строк
Join двух таблиц, сколько записей в результате?
 От 0 до бесконечности
Join двух таблиц по 1000 записей в каждой, сколько
записей в результате?
 От 0 до 1’000’000

51. Статистика
Без статистики
Количество строк
Гистограммы и MCV
Join двух таблиц, сколько записей в результате?
 От 0 до бесконечности
Join двух таблиц по 1000 записей в каждой, сколько
записей в результате?
 От 0 до 1’000’000
Join двух таблиц по 1000 записей в каждой, с
известной кардинальностью, гистограммой
распределения, наиболее частыми значениями,
количеством null?

52. Статистика
Без статистики
Количество строк
Гистограммы и MCV
Join двух таблиц, сколько записей в результате?
 От 0 до бесконечности
Join двух таблиц по 1000 записей в каждой, сколько
записей в результате?
 От 0 до 1’000’000
Join двух таблиц по 1000 записей в каждой, с
известной кардинальностью, гистограммой
распределения, наиболее частыми значениями,
количеством null?
 ~ От 500 до 1’500

53. Метаданные
• Информация о структуре таблицы
ID Name Num Price
1 Яблоко 10 50
2 Груша 20 80
3 Банан 40 40
4 Апельсин 25 50
5 Киви 5 120
6 Арбуз 20 30
7 Дыня 40 100
8 Ананас 35 90

54. Метаданные
• Информация о структуре таблицы
– Поля распределения
ID Name Num Price
1 Яблоко 10 50
2 Груша 20 80
3 Банан 40 40
4 Апельсин 25 50
5 Киви 5 120
6 Арбуз 20 30
7 Дыня 40 100
8 Ананас 35 90
hash(ID
)

55. Метаданные
• Информация о структуре таблицы
– Поля распределения
– Количество hash bucket распределения
ID Name Num Price
1 Яблоко 10 50
2 Груша 20 80
3 Банан 40 40
4 Апельсин 25 50
5 Киви 5 120
6 Арбуз 20 30
7 Дыня 40 100
8 Ананас 35 90
hash(ID
)
ID Name Num Price
1 Яблоко 10 50
2 Груша 20 80
3 Банан 40 40
4 Апельсин 25 50
5 Киви 5 120
6 Арбуз 20 30
7 Дыня 40 100
8 Ананас 35 90

56. Метаданные
• Информация о структуре таблицы
– Поля распределения
– Количество hash bucket распределения
– Партиционирование (hash, list, range)
ID Name Num Price
1 Яблоко 10 50
2 Груша 20 80
3 Банан 40 40
4 Апельсин 25 50
5 Киви 5 120
6 Арбуз 20 30
7 Дыня 40 100
8 Ананас 35 90
hash(ID
)
ID Name Num Price
1 Яблоко 10 50
2 Груша 20 80
3 Банан 40 40
4 Апельсин 25 50
5 Киви 5 120
6 Арбуз 20 30
7 Дыня 40 100
8 Ананас 35 90

57. Метаданные
• Информация о структуре таблицы
– Поля распределения
– Количество hash bucket распределения
– Партиционирование (hash, list, range)
• Общие метаданные
– Пользователи и группы

58. Метаданные
• Информация о структуре таблицы
– Поля распределения
– Количество hash bucket распределения
– Партиционирование (hash, list, range)
• Общие метаданные
– Пользователи и группы
– Права доступа к объектам

59. Метаданные
• Информация о структуре таблицы
– Поля распределения
– Количество hash bucket распределения
– Партиционирование (hash, list, range)
• Общие метаданные
– Пользователи и группы
– Права доступа к объектам
• Хранимые процедуры
– PL/pgSQL, PL/Java, PL/Python, PL/Perl, PL/R

60. Оптимизатор Запросов
• Используется cost-based оптимизатор

61. Оптимизатор Запросов
• Используется cost-based оптимизатор
• Выбрать можно один из двух

62. Оптимизатор Запросов
• Используется cost-based оптимизатор
• Выбрать можно один из двух
– Planner – модифицированный оптимизатор
Postgres

63. Оптимизатор Запросов
• Используется cost-based оптимизатор
• Выбрать можно один из двух
– Planner – модифицированный оптимизатор
Postgres
– ORCA (Pivotal Query Optimizer) – разработан
специально для HAWQ

64. Оптимизатор Запросов
• Используется cost-based оптимизатор
• Выбрать можно один из двух
– Planner – модифицированный оптимизатор
Postgres
– ORCA (Pivotal Query Optimizer) – разработан
специально для HAWQ
• Хинты оптимизатора работают как в
Postgres

65. Оптимизатор Запросов
• Используется cost-based оптимизатор
• Выбрать можно один из двух
– Planner – модифицированный оптимизатор
Postgres
– ORCA (Pivotal Query Optimizer) – разработан
специально для HAWQ
• Хинты оптимизатора работают как в
Postgres
– Включить/отключить определенную операцию

66. Оптимизатор Запросов
• Используется cost-based оптимизатор
• Выбрать можно один из двух
– Planner – модифицированный оптимизатор
Postgres
– ORCA (Pivotal Query Optimizer) – разработан
специально для HAWQ
• Хинты оптимизатора работают как в
Postgres
– Включить/отключить определенную операцию
– Изменить веса базовых операций

67. Формат Хранения
Какой формат хранения данных является
наиболее оптимальным?

68. Формат Хранения
Какой формат хранения данных является
наиболее оптимальным?
 Зависит от того, что является для вас
критерием оптимальности

69. Формат Хранения
Какой формат хранения данных является
наиболее оптимальным?
 Зависит от того, что является для вас
критерием оптимальности
– Минимальное потребление ресурсов CPU

70. Формат Хранения
Какой формат хранения данных является
наиболее оптимальным?
 Зависит от того, что является для вас
критерием оптимальности
– Минимальное потребление ресурсов CPU
– Минимальный объем занимаемого дискового пр-
ва

71. Формат Хранения
Какой формат хранения данных является
наиболее оптимальным?
 Зависит от того, что является для вас
критерием оптимальности
– Минимальное потребление ресурсов CPU
– Минимальный объем занимаемого дискового пр-
ва
– Минимальное время извлечения записи по
ключу

72. Формат Хранения
Какой формат хранения данных является
наиболее оптимальным?
 Зависит от того, что является для вас
критерием оптимальности
– Минимальное потребление ресурсов CPU
– Минимальный объем занимаемого дискового пр-
ва
– Минимальное время извлечения записи по
ключу
– Минимальное время извлечения подмножества
столбцов таблицы

73. Формат Хранения
Какой формат хранения данных является
наиболее оптимальным?
 Зависит от того, что является для вас
критерием оптимальности
– Минимальное потребление ресурсов CPU
– Минимальный объем занимаемого дискового пр-
ва
– Минимальное время извлечения записи по
ключу
– Минимальное время извлечения подмножества
столбцов таблицы

74. Формат Хранения
• Построчное хранение
– «Обрезанный» формат postgres
• Без toast
• Без ctid, xmin, xmax, cmin, cmax

75. Формат Хранения
• Построчное хранение
– «Обрезанный» формат postgres
• Без toast
• Без ctid, xmin, xmax, cmin, cmax
– Сжатие
• Без сжатия
• Quicklz
• Zlib уровни 1 - 9

76. Формат Хранения
• Apache Parquet
– Поколоночное хранение блоков
последовательных строк (“row group”)

77. Формат Хранения
• Apache Parquet
– Поколоночное хранение блоков
последовательных строк (“row group”)
– Сжатие
• Без сжатия
• Snappy
• Gzip уровни 1 – 9

78. Формат Хранения
• Apache Parquet
– Поколоночное хранение блоков
последовательных строк (“row group”)
– Сжатие
• Без сжатия
• Snappy
• Gzip уровни 1 – 9
– Размер “row group” и страницы задается для
каждой таблицы отдельно

79. Разделение Ресурсов
• Два основных варианта

80. Разделение Ресурсов
• Два основных варианта
– Независимое разделение – HAWQ и YARN не
знают друг о друге

81. Разделение Ресурсов
• Два основных варианта
– Независимое разделение – HAWQ и YARN не
знают друг о друге
– YARN – HAWQ запрашивает выделение
ресурсов у менеджера ресурсов YARN

82. Разделение Ресурсов
• Два основных варианта
– Независимое разделение – HAWQ и YARN не
знают друг о друге
– YARN – HAWQ запрашивает выделение
ресурсов у менеджера ресурсов YARN
• Гибкая утилизация кластера
– Запрос может выполняться на части нод

83. Разделение Ресурсов
• Два основных варианта
– Независимое разделение – HAWQ и YARN не
знают друг о друге
– YARN – HAWQ запрашивает выделение
ресурсов у менеджера ресурсов YARN
• Гибкая утилизация кластера
– Запрос может выполняться на части нод
– Запрос может иметь несколько потоков
исполнения на каждой из нод

84. Разделение Ресурсов
• Два основных варианта
– Независимое разделение – HAWQ и YARN не
знают друг о друге
– YARN – HAWQ запрашивает выделение
ресурсов у менеджера ресурсов YARN
• Гибкая утилизация кластера
– Запрос может выполняться на части нод
– Запрос может иметь несколько потоков
исполнения на каждой из нод
– Желаемый параллелизм можно задать
вручную

85. Разделение Ресурсов
• Пулы ресурсов (Resource Queue) задают

86. Разделение Ресурсов
• Пулы ресурсов (Resource Queue) задают
– Количество параллельных запросов

87. Разделение Ресурсов
• Пулы ресурсов (Resource Queue) задают
– Количество параллельных запросов
– Приоритет на использование CPU

88. Разделение Ресурсов
• Пулы ресурсов (Resource Queue) задают
– Количество параллельных запросов
– Приоритет на использование CPU
– Лимит по памяти

89. Разделение Ресурсов
• Пулы ресурсов (Resource Queue) задают
– Количество параллельных запросов
– Приоритет на использование CPU
– Лимит по памяти
– Лимит по ядрам CPU

90. Разделение Ресурсов
• Пулы ресурсов (Resource Queue) задают
– Количество параллельных запросов
– Приоритет на использование CPU
– Лимит по памяти
– Лимит по ядрам CPU
– MIN/MAX потоков исполнения в целом по
системе

91. Разделение Ресурсов
• Пулы ресурсов (Resource Queue) задают
– Количество параллельных запросов
– Приоритет на использование CPU
– Лимит по памяти
– Лимит по ядрам CPU
– MIN/MAX потоков исполнения в целом по
системе
– MIN/MAX потоков исполнения на каждой ноде

92. Разделение Ресурсов
• Пулы ресурсов (Resource Queue) задают
– Количество параллельных запросов
– Приоритет на использование CPU
– Лимит по памяти
– Лимит по ядрам CPU
– MIN/MAX потоков исполнения в целом по
системе
– MIN/MAX потоков исполнения на каждой ноде
• Задаются для пользователя или группы

93. Внешние Данные
• PXF
– Фреймворк для доступа к внешним данным
– Легко расширяется, многие пишут свои
плагины
– Официальные плагины: CSV, SequenceFile,
Avro, Hive, HBase
– Open Source плагины: JSON, Accumulo,
Cassandra, JDBC, Redis, Pipe

94. Внешние Данные
• PXF
– Фреймворк для доступа к внешним данным
– Легко расширяется, многие пишут свои
плагины
– Официальные плагины: CSV, SequenceFile,
Avro, Hive, HBase
– Open Source плагины: JSON, Accumulo,
Cassandra, JDBC, Redis, Pipe
• HCatalog
– HAWQ видит таблицы из HCatalog как свои
внутренние таблицы

95. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RMДвижок
Ресурсы Подготовка Исполнение Результат ЗавершениеПлан

96. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Ресурсы Подготовка Исполнение Результат ЗавершениеПлан

97. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Ресурсы Подготовка Исполнение Результат ЗавершениеПлан

98. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Ресурсы Подготовка Исполнение Результат ЗавершениеПлан

99. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Ресурсы Подготовка Исполнение Результат ЗавершениеПлан

100. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
Ресурсы Подготовка Исполнение Результат ЗавершениеПлан

101. План
Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Подготовка Исполнение Результат ЗавершениеРесурсы

102. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Нужно 5 контейнеров
Каждый по 1 ядру
и 256 MB RAM
План Подготовка Исполнение Результат ЗавершениеРесурсы

103. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Нужно 5 контейнеров
Каждый по 1 ядру
и 256 MB RAM
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
План Подготовка Исполнение Результат ЗавершениеРесурсы

104. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Нужно 5 контейнеров
Каждый по 1 ядру
и 256 MB RAM
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
План Подготовка Исполнение Результат ЗавершениеРесурсы

105. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Нужно 5 контейнеров
Каждый по 1 ядру
и 256 MB RAM
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
План Подготовка Исполнение Результат ЗавершениеРесурсы

106. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
Нужно 5 контейнеров
Каждый по 1 ядру
и 256 MB RAM
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
QE QE QE QE QE
План Подготовка Исполнение Результат ЗавершениеРесурсы

107. Ресурсы
Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
План Исполнение Результат ЗавершениеПодготовка

108. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
РесурсыПлан Исполнение Результат ЗавершениеПодготовка

109. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
РесурсыПлан Исполнение Результат ЗавершениеПодготовка

110. Подготовка
Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
РесурсыПлан Результат ЗавершениеИсполнение

111. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
ПодготовкаРесурсыПлан Результат ЗавершениеИсполнение

112. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
ПодготовкаРесурсыПлан Результат ЗавершениеИсполнение

113. Исполнение
Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
ПодготовкаРесурсыПлан ЗавершениеРезультат

114. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
ИсполнениеПодготовкаРесурсыПлан ЗавершениеРезультат

115. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ScanBars
b
HashJoinb.name =s.bar
ScanSells
s
Filterb.city ='SanFrancisco'
Projects.beer, s.price
MotionGather
MotionRedist(b.name)
ИсполнениеПодготовкаРесурсыПлан ЗавершениеРезультат

116. Результат
Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
ИсполнениеПодготовкаРесурсыПлан Завершение

117. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
Освобождаем
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
РезультатИсполнениеПодготовкаРесурсыПлан Завершение

118. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
Ок
Освобождаем
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
РезультатИсполнениеПодготовкаРесурсыПлан Завершение

119. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
Ок
Освобождаем
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
РезультатИсполнениеПодготовкаРесурсыПлан Завершение

120. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
Ок
Освобождаем
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
РезультатИсполнениеПодготовкаРесурсыПлан Завершение

121. Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RM
QE
Движок
QE QE QE QE QE
Ок
Освобождаем
Сервер 1: 2 контейнера
Сервер 2: 1 контейнер
Сервер N: 2 контейнера
РезультатИсполнениеПодготовкаРесурсыПлан Завершение

122. Завершение
Жизненный Цикл Запроса
HAWQ Master
Метаданные
Менедж. тр-й
Парсер Опт. запросов
Диспетч. проц.
Менедж. рес-ов
NameNode
Сервер 1
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер 2
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
Сервер N
Локальная директория
HAWQ Segment
Движок
HDFS Datanode
YARN RMДвижок
РезультатИсполнениеПодготовкаРесурсыПлан

123. Скорость
• Данные не приземляются на диск без
необходимости

124. Скорость
• Данные не приземляются на диск без
необходимости
• Данные не буферизируются на сегментах
без необходимости

125. Скорость
• Данные не приземляются на диск без
необходимости
• Данные не буферизируются на сегментах
без необходимости
• Данные передаются между нодами по UDP

126. Скорость
• Данные не приземляются на диск без
необходимости
• Данные не буферизируются на сегментах
без необходимости
• Данные передаются между нодами по UDP
• Хороший стоимостной оптимизатор запросов

127. Скорость
• Данные не приземляются на диск без
необходимости
• Данные не буферизируются на сегментах
без необходимости
• Данные передаются между нодами по UDP
• Хороший стоимостной оптимизатор запросов
• Оптимальность кода на C++

128. Скорость
• Данные не приземляются на диск без
необходимости
• Данные не буферизируются на сегментах
без необходимости
• Данные передаются между нодами по UDP
• Хороший стоимостной оптимизатор запросов
• Оптимальность кода на C++
• Гибкая настройка параллелизма

129. Альтернативы
Hive SparkSQL Impala HAWQ
Оптимизатор

130. Альтернативы
Hive SparkSQL Impala HAWQ
Оптимизатор
ANSI SQL

131. Альтернативы
Hive SparkSQL Impala HAWQ
Оптимизатор
ANSI SQL
Встроенные языки

132. Альтернативы
Hive SparkSQL Impala HAWQ
Оптимизатор
ANSI SQL
Встроенные языки
Нагрузка на диски

133. Альтернативы
Hive SparkSQL Impala HAWQ
Оптимизатор
ANSI SQL
Встроенные языки
Нагрузка на диски
Параллелизм

134. Альтернативы
Hive SparkSQL Impala HAWQ
Оптимизатор
ANSI SQL
Встроенные языки
Нагрузка на диски
Параллелизм
Дистрибутивы

135. Альтернативы
Hive SparkSQL Impala HAWQ
Оптимизатор
ANSI SQL
Встроенные языки
Нагрузка на диски
Параллелизм
Дистрибутивы
Стабильность

136. Альтернативы
Hive SparkSQL Impala HAWQ
Оптимизатор
ANSI SQL
Встроенные языки
Нагрузка на диски
Параллелизм
Дистрибутивы
Стабильность
Сообщество

137. Задачи
• Интеграция с AWS и S3

138. Задачи
• Интеграция с AWS и S3
• Интеграция с Mesos

139. Задачи
• Интеграция с AWS и S3
• Интеграция с Mesos
• Улучшение интеграции с Ambari

140. Задачи
• Интеграция с AWS и S3
• Интеграция с Mesos
• Улучшение интеграции с Ambari
• Интеграция с дистрибутивами Cloudera,
MapR, IBM

141. Задачи
• Интеграция с AWS и S3
• Интеграция с Mesos
• Улучшение интеграции с Ambari
• Интеграция с дистрибутивами Cloudera,
MapR, IBM
• Сделать самый быстрый и удобный движок
SQL-on-Hadoop

142. Заключение
• Современный движок SQL-on-Hadoop
• Для анализа структурированных данных
• Объединяет в себе лучшие качества
альтернативных решений
• Новичок среди open source
• Community на стадии зарождения
Присоединяйтесь!

143. Вопросы
Apache HAWQ
http://hawq.incubator.apache.org
dev@hawq.incubator.apache.org
user@hawq.incubator.apache.org
Связь со мной: http://0x0fff.com