2 sap v1_do_как big_data меняет бизнес

© 2013 SAP AG or an SAP affiliate company. All rights reserved. 1
Как BigData меняет бизнес
Вадим Табаков
Big Data & Technology, SAP 20.04.2015
Фото: http://sport.mail.ru/foto/218865/188116/

Как BigData меняет бизнес
Big Data & Technology, SAP 20.04.2015
Фото: http://sport.mail.ru/foto/218865/188116/
Как, BigData меняет бизнес?

© 2013 SAP AG. All rights reserved. 3
PhD в гаражном боксе

Доли секунды

Animus ex machina?
1. Анализировать все данные, а не довольствоваться их
частью или статистическими выборками
2. Иметь дело с неупорядоченными данными в ущерб
точности
3. Доверять корреляциям, а не гнаться за труднодостижимой
причинностью

Big Data – группа технологий и методов производительной обработки
динамически растущих объемов данных (структурированных и
неструктурированных) в распределенных информационных системах,
обеспечивающих организацию качественно новой полезной
информацией.
Big Data с точки зрения ИТ-компании

Инструменты для работы с Big Data
In-Memory СУБД1
2
4
СУБД с вертикальным хранением данных
MAP REDUCE и HADOOP
Data Mining и прогнозная аналитика3
5 Управление потоками событий
6 No SQL СУБД

SAP HANA Data Platform для Big Data
Consume
Store &
Process
Ingest

© 2014 SAP AG or an SAP affiliate company. All rights reserved. 9Public
программно-аппаратный комплекс, в основе которого лежит технология
хранения и обработки данных «In-memory»
HANA (High-performance ANalytics Appliance) –

Что такое SAP HANA
HANA (High-performance ANalytics Appliance) –
программно-аппаратный комплекс, в основе которого лежит технология
хранения и обработки данных «In-memory»
SAP HANA
OLTP BI (OLAP) ■ Данные хранятся и обрабатываются
непосредственно в оперативной памяти
■ «In-memory» позволяет избежать эффекта
задержек ввода/вывода
■ Строчное и колоночное хранение данных
позволяют оптимизировать выборку по запросу
■ Сжатие данных за счет хранения и обработки
только значимого содержимого
■ Поставляется как единый программно-
аппаратный комплекс

Диск VS Оперативная память
Доступ к оперативной памяти – 60 нс, скорость чтения 25 Гб/c
Доступ к диску – 10,000,000 нс, скорость чтения 0.07 Гб/с
3 606 км

SAP HANA
CPU
STORAGE
MEMORY
Compression
Partitioning
No Aggregate tables
(Dynamic Aggregation)
Solid State Flash HDD
64bit address space
1 TB in current servers
Dramatic decline in price/performance
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
L3
Cache
Multi-Core Architecture
8 CPU x 10 Cores per blade
Massive parallel scaling with many blades
Logging and Backup
OLTP+OLAP
in column Store

Вертикальное хранение данных
Order Country Product Sales
456 France corn 1000
457 Italy wheat 900
458 Italy corn 600
459 Spain rice 800
456 France corn 1000
457 Italy wheat 900
458 Italy corn 600
459 Spain rice 800
456
457
458
459
France
Italy
Italy
Spain
corn
wheat
corn
rice
1000
900
600
800
СУБД с построчным хранением
СУБД с вертикальным хранением
Single-scan aggregation:
SELECT Country, SUM(sales) FROM SalesOrders WHERE
Product=‘corn’ GROUP BY Country

Single-record access:
SELECT * FROM SalesOrders
WHERE Order = ‘457’

Backup and Recovery
Savepoint:
Save to disk
(data area)
1
COMMIT
Log file is saved to disk (log area)
2
Power failure
3
Time
Time
ABC

 Время формирования отчетов снизилось с 3
часов до 16 секунд
 Своевременная поставка необходимого
материала снизила число коллизий,
связанных с недостатком материалов на
складе
 Постоянное наличие нужного количества
материалов повышает эффективность 20000
скважин
 Экономия миллионов евро в год
Анализ материальных запасов

Анализ материальных запасов

 Анализ прибыльности сегментов с нужным уровнем детализации:
 корректное разнесение затрат на объекты
 потенциал увеличения прибыльности за счет аналитики
 Увеличение точности расчетов для обоснования тарифа позволит
получать субсидии в необходимом объеме
 Возможность корректного распределения затрат на статьи
бюджета (например, отделение затрат на ремонты от затрат на
перевозки)
 Распределение и анализ затрат на уровень балансовых единиц
 Избежание штрафов за несвоевременную сдачу отчетности
 Общее время распределения по видам деятельности и по
территориям в системе снизилось с 14,5 часов доя 23 минут
Распределение по видам деятельности

Прогнозная аналитика и персонификация
Разные
предложения
Разные
каналы
Предложение 2
Интернет
Готов к оттоку
Традиционные
Готова для
предложения 1
Социальные сети
Уже получила
предложение
и сказала
«нет».
Миллионы
клиентов
? В каждый
момент знаем
что делать с
каждым
клиентом и
каким образом
это с ним делать.

Лучше понять своих
клиентов!
SAP MAKES BIG DATA REAL

• “Новые бизнес-модели пока не могут возместить потерю
доходов традиционных СМИ”
• “Программное обеспечение обновляется быстрее, чем
устанавливается”
• “Крупных и надежных решений, способных заменить или
удержать рекламные деньги и читательскую плату, так и нет”
• “Серьезная журналистика не делается ради денег”
• “Нам ничего не известно о моральных стандартах тех, кто
размещает свои посты в Фейсбуке”
• “Интернет есть, а счастья денег нет”
Пример из медиа: а где же деньги счастье?

Allociné: Сайт база данных кинофильмов
• Повысить доходы от рекламы
• Повысить количество просмотров страниц
• Повысить добавленную стоимость
персональных рекомендаций по фильмам

Как это работает
Идентифицированный
пользователь Рекомендации по
поведению
схожих («связанных»)
пользователей
Персонализированные письма
Индивидуальные рекомендации по всей истории
просмотров
Не идентифицированный
пользователь
Запрос страницы с
фильмом
Рекомендации по
схожести фильмов
(similarity)

Микро-сегментация клиентов
2 клиента связаны если они :
• смотрят одинаковые фильмы
• или покупают в одних и тех же местах
• или посещают одинаковые страницы
Действия:
Связанные клиенты образуют «сообщества»
Предложить клиенту продукты, популярные в его «сообществе»
Bipartite Graph
Client 1 Product 1
Client 2
Client 3
Client 4
Product 2
Product 3
Product 4
Client 4
Client 1
Client 2
Client 3
2
1 1
Микросегменты
клиентов
2
Product 3
Product 2
Product 1
Product 4
1
Микросегменты
продуктов

В чем заключается конверсия
Dogs
Clint Eastwood Comedy
Clint Eastwood
Boxing
Veteran
Sylvester Stallone

Allociné: Сайт база данных кинофильмов
• Персонализация 220 миллионов страниц в месяц
• Рекомендации для неавторизованных
пользователей на основании «схожести»
фильмов
• Рекомендации для идентифицированных
пользователей на основании «схожести»
рейтингов
• Увеличение доходов от рекламы на 9% за счёт
повышения количества просмотров на визит

Продуктовая сегментация
• Среди связанных продуктов, можно выделить
устойчивые группы продуктов (фильмов,
пакетов), связанных между собой общими
потребителями
• Такие группы представляют собой типичные
«корзины», или модели поведения
покупателей.

Hadoop – проект фонда Apache Software Foundation, свободно
распространяемый набор утилит, библиотек и программный каркас для
разработки и выполнения распределённых программ, работающих на
кластерах из сотен и тысяч узлов.
HADOOP – кто это???

Интеграционная модель
SAP
HANA
Визуализация и
прогноз
Журналы Неструктурированные
данные
Загрузка данных
для
предобработки
Загрузка результатов в
SAP HANA
SAP IQ
(Data Services)
Федерация
запросов
Smart Query Access (Data Virtualization)
SAP IQ
Интеграция на уровне ETL
Data Services предоставляет прямой
доступ к Hadoop: SAP Data Services
генерируют и выполняют инструкции
HiveQL для запроса, выборки и загрузки
данных в таблицы Hive.
Анализ выполняется непосредственно в
HDFS как задания модели MapReduce
ETL непосредственно в SAP IQ
Прямой доступ к Hadoop
 Виртуальные таблицы (SAP HANA smart
data access)
 Интеграция с HCatalog
 Федерация запросов с SAP IQ
SAP BI доступ
 Доступ SAP BOBJ напрямую к Hadoop
HIVE через JDBC

Ценность Hadoop заключается в том, чтобы создать репрезентативную
выборку из гигантских объемов первичных данных и затем передать эту
выборку для оперативной обработки в SAP HANA (яркий пример – сборка генома)
Ценность Hadoop + SAP HANA

Требования
Повышение эффективности процесса принятия решений при диагностике и
лечении раковых заболеваний
Снижение временных и денежных затрат на исследования и разработку новых
лекарственных препаратов
Технические сложности
Существующая архитектура R и Hadoop не полностью удовлетворяет условиям
работы с Big Data
Медленная скорость обработки данных замедляет процесс сборки генома
Полученные преимущества
Снижение времени сравнения ДНК и повышение качества терапии
SAP HANA предоставляет повышение скорости корреляционного анализа
Фармацевтические компании получают возможность своевременно проводить
необходимые исследования и синтезировать новые препараты
Собрать геном

Функциональная архитектура
SAP HANA
Результаты исследований биоматериала
Сбор и предварительная обработка,
консолидация информации
Анализ полученных фрагментов и восстановление
последовательностей ДНК хромосом

Ускорение сборки генома в 216 раз

Требования
Повышение эффективности процесса принятия решений при диагностике и
лечении раковых заболеваний
Снижение временных и денежных затрат на исследования и разработку новых
лекарственных препаратов
Технические сложности
Существующая архитектура R и Hadoop не полностью удовлетворяет условиям
работы с Big Data
Медленная скорость обработки данных замедляет процесс сборки генома
Полученные преимущества
Снижение времени сравнения ДНК и повышение качества терапии
SAP HANA предоставляет повышение скорости корреляционного анализа
Фармацевтические компании получают возможность своевременно проводить
необходимые исследования и синтезировать новые препараты
Для справки

Управление потоками событий
SAP Event
Stream
Processor
Входные
потоки
Рыночная
аналитика
Записи о
транзакциях
Телеметрические
датчики
Средства
анализа/отчетности
Прикладные
системы
Средства
разработки
Эталонные
данные
SAP HANA,
SAP IQ
Инфопанели
Потоковый
вывод

Игра в материальном мире

В ходе игрового процесса генерируется более 5000
различных пользовательских событий в секунду,
составляющих объем порядка 0,5 Тб данных. Эти
события требуют мгновенной обработки, и для
поддержания атмосферы реального времени
используются преимущества технологий SAP HANA
и SAP Event Stream Processor.
Игра в материальном мире

World Cup in Brazil
SG Hoffenheim, футбольный клуб первого дивизиона Германии,
использует сбор и анализ данных в реальном масштабе времени:
изучаются пространственные перемещения игроков, чтобы сделать
тренировки эффективнее.
Футболисты экипируются датчиками, они же есть в мяче. Все сведения
поступают на вход аппаратно-программного комплекса SAP HANA.
Похожая система готовится для немецкой национальной сборной.
«Речь идет не о прогнозировании результатов, а о повышении
возможностей команды. Такая же картина рисуется в бизнесе, и связана она
с ростом эффективности на основе анализа данных: если вы обращаетесь
к интуиции, а не фактам, легко прийти к неверным выводам».
Джим Хагеман Снейбе, соисполнительный директор SAP

Мониторинг состояния паровых котлов
ESP
5.1 SP1
Oracle
Oracle
RS
(Replication
Server)
15.7.1
HANA 1.0
RA#1
15.7.1
RA#2
15.7.1
HP-UX
System: ECD
ORACLE 10.2.0.5
SLES 11SP2, x64
RAM 16GB, 4 CORE
SLES 11SP2, x64
RAM 8GB, 4 CORE
SLES 11SP1, x64
RAM 128GB, 32 CORE
Windows 2008, x64
RAM 16GB, 4 CORE
Windows 2008 x64
RAM 32GB, 8 CORE
HANA
output
adapter
SOI2
adapter
RS
adapter

Стратегия – это плановый документ, определяющий направление
«главного удара» в развитии организации и формирующий ее качественно
новое будущее состояние (в горизонте планирования 3-5 лет) относительно
ее роли и места в расстановке отраслевых сил и создания ее новой
рыночной стоимости.
Big Data как часть корпоративной стратегии

Градиент развития
2012
2013

Градиент развития
2014

Let’s Do IT
Менеджер по развитию направления Big Data&Technology SAP CIS
к.э.н.
+7 495 755 9800
+7 967 132 5871
vadim.tabakov@sap.com

1. Электронная торговая площадка
2. Анализ кредитоспособности
3. Управление рисками ликвидности
4. Brand Analytics
5. Расчет нормативов по достаточности капитала
6. Распознавание и идентификация по изображению
Финансовые организации

1. Управление сбытом
2. Поддержка систем горнотранспортного комплекса
3. Управление энергосбережением
4. Ремонты по состоянию (Predictive Maintanance)
5. Ситуационный центр
Металлургия и добывающая промышленность

1. Сбыт в рознице (АЗС)
2. Оценка экономической эффективности месторождения
3. Digital Oil Field – Монитор бурения
4. Оценка экономической эффективности инноваций
5. Ремонты по состоянию (Predictive Maintanance)
Нефтегазовая промышленность

1. Прогноз Социально-Экономического развития
2. Централизованное хранилище данных электронного бюджета
3. Система видео-контроля мигрантов
4. Ситуационный центр выявления угроз Национальной
безопасности
5. Выявление мошенничества в налоговой сфере
Государственный сектор

1. Прогнозирование спроса и планирование ассортимента
2. Поддержка мероприятий по продвижению товаров
3. Управление товарными запасами дистрибутора в реальном
времени
4. Оптимизация использования торговых площадей
Оптимизация использования торговых площадей
Предсезонное планирование
Розничная торговля

1. Слияние биллинговых систем
2. Хранилище данных с телекоммуникационной моделью
3. Управление лояльностью абонентов
4. Превентивная диагностика
Телекоммуникации

1. Электроэнергетическая система с интеллектуальной сетью
2. Мониторинг технического состоянии электронно-сетевого
оборудования
3. Оперативный мониторинг и прогнозирование
4. Поддержка системы управления режимами энергосистемы
Энергетика

1. Контроль дислокации и выполнения графиков
2. Планирование расписания грузоперевозок
3. Железнодорожный транспорт
Учёт расхода дизтоплива
Контроль/мониторинг состояния активов
Мониторинг поведения пассажиров
4. Авиа транспорт
Определение срока прибытия воздушного судна
Диагностика работы авиационных двигателей на лету
Мониторинг состояния покрытия ВПП
Транспорт

2 sap v1_do_как big_data меняет бизнес

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to 2 sap v1_do_как big_data меняет бизнес

Similar to 2 sap v1_do_как big_data меняет бизнес (20)

2 sap v1_do_как big_data меняет бизнес