ProveIT Казань.

1. Техническая конференция
18 октября 2014 г., г. Казань
ETL как конструктор алгоритмов обработки данных
Иван Пестряков «БАРС Груп», г. Казань

2. Повторяемость кода
Импорт данных
Чтение из БД Чтение из Web-сервиса … Разбор XML Разбор JSON Разбор Excel … Формирование JSON Формирование Excel Формирование XML …. Запись в БД Формирование файла …
Экспорт данных
Конвертации
Трансформации
Пакетные операции

3. Цепочка обработки (Block, Pipeline)
Чтение файла
Разбор Excel
Фильтрация
Отправка в web- сервис
Оповещение оператора
•Повторное использование кода блоков
•Независимость от проектной области
•Совместимость блоков по входам/выходам
Запись в таблицу БД
Формирование JSON

4. Business Intelligence
Business Intelligence или BI бизнес-анализ, бизнес-аналитика.
Это инструменты, используемые для преобразования, хранения, анализа, моделирования, доставки и трассировки информации.
ETL методика и инструмент интеграции данных

5. Инструменты ETL
Extract
Transform
Load
SAS Data Integration Server IBM WebSphere DataStage SAP Data Integrator Informatica PowerCenter Oracle Data Integrator Pentaho JasperETL AlphaBI
процедуры извлечения записи из источников данных и подготовка их к процессу преобразования
преобразование структуры данных;
агрегирование данных;
сортировка/фильтрация;
очистка данных
создание новых данных;
перенос данных в структуру хранилища данных, добавление и обновление данных
•Пакетная обработка
•Репозитарий ETL-процессов
•Метаданные
•Циклические загрузки
•~50% трудозатрат по проекту

6. •Direct3D
•DirectShow
•ASP.NET
Конвейер
•Все принципы SOLID
•Логическая изоляция блоков
•Инкапсуляция
•Совместимость
Блок
Конвейер
•FIFO
•Передача управления
•Передача метаданных
•Контроль ошибок
•Хранимый объект

7. Типы данных
Поток Raw Data
Строка данных Row
Набор строк Row set

8. Входы/выходы блоков
Чтение файла с диска
Разбор файла Excel
Фильтр
Накопитель
Формирование JSON
Отправка потока в Web-сервис

9. Метаданные
•Некоторые блоки являются поставщиками метаданных
•Остальные блоки пробрасывают или изменяют метаданные
•Любой блок может запросить метаданные у конвейера
•Метаданные могут храниться внутри блоков
Код поля
Наименование
Тип данных
userLogin
Логин
String
userName
Имя
String
isActive
Активен
Boolean
registrationDate
Дата регистрации
DateTime

10. Необходимые блоки
•Чтение потока (файл, HTTP, FTP, Blob)
•Разбор потока (JSON, XML, SOAP, Excel, CSV)
•Чтение строки (SQL-запрос, 1С-запрос, генератор)
•Трансформации (join, фильтр, калькулятор, сортировка)
•Преобразования (накопитель, итератор, приведения типов)
•Сериализация (формирование JSON, XML, Excel, CSV)
•Операции с БД (вставка, удаление, вызов Stored procedure)
•Вывод потока (в файл, POST-запрос)

11. Реализация на C#
Step<I, O, M>
•Один блок = один класс С#
•Возможность расширения библиотеки блоков через IoC
•Нет зависимостей от бизнес-логики проекта
•Служебные классы – Pipeline, Logger, Storage
•Сериализованные ETL-процессы хранятся в MongoDB

12. Классы блоков
Step<I, O, M>
Input – набор входов Output – набор выходов Metadata – строка метаданных
[Step("Json", "Извлечение (Extract)")] public class JsonExtract : IStep, BaseStep<StreamStepData, RowStepData, MetaField>
public class StreamStepData { [StepConnectionAttribute(Name = "Поток")] public Stream Stream { get; set; } }

13. Интерфейс блока
public interface IStep<I, O, M> { void Execute(I inputData, IStep sender); StepMetadata<M> GetFields(PropertyInfo output = null); void InvokeAction(string actionName); }

14. Сериализация
•Все публичные свойства класса блока
•Набор блоков и связей
•Общие свойства конвейера
•Настройки планировщика запуска
•Всё в одном документе MongoDB

15. Конструктор ETL-процесса
•Настройка ETL-процессов без участия разработчика
•Разработчик сфокусирован на расширении функционала и библиотеки блоков, а не на прикладных задачах
•Накопление базы шаблонов – передача знаний
•Развитие архитектуры программной платформы, а не накопление прикладного кода

16. Web UI конструктора
•Визуальная настройка связей и блоков
•Автоматический редактор блока по public-свойствам класса
•Предпросмотр данных на любом шаге
•Используется аналитиками в своей повседневной деятельности

17. Аналоги
Microsoft TPL Dataflow Framework http://msdn.microsoft.com/en-us/library/hh228603(v=vs.110).aspx Rhino ETL https://github.com/ayende/rhino-etl Pentaho Kettle http://community.pentaho.com/projects/data-integration/

18. Техническая конференция 18 октября 2014 г., г. Казань
Спасибо за внимание
Иван Пестряков «БАРС Груп», г. Казань