SlideShare a Scribd company logo
1 of 9
R + Apache Spark.
Большие данные в облаках
Dmitry Petukhov
Microsoft MVP, ML/DS Preacher @ OpenWay
Storage
Resource
Management
ML Framework
Execution
Engine
Local OS
Local Disc
RRuntime
YetAnother
Runtime
ML packages
HDFS
YARN
MapReduce
Mahout
HDFS / S3
YARN /
Apache Mesos
Apache Spark
MLlib
HDFS / S3
YARN /
Apache Mesos
R on Spark
Apache Spark
Local PC Hybrid Model Cluster (on-premises/on-demand)
Low HighCost of deployment/ownership
Distributed
FS
Dark
Magic…
ML as a Service
R tools
Infrastructure for Data Scientists
ML packages
#msdevcon
Big Data + Cloud + Machine Learning
Долго, дорого, …
#msdevcon
Apache Spark + Microsoft Azure + R Server
Доступен как PaaS-сервис
Демонстрация
#msdevcon
Demo
Задача с реального хакатона…
Отзывы💖
Помогите нам стать лучше!
На вашу почту отправлена индивидуальная ссылка на электронную анкету. 2 ноября
в 23:30 незаполненная анкета превратится в тыкву.
Заполните анкету и подходите к стойке регистрации за приятным сюрпризом!
#msdevcon
Оставляйте отзывы в социальных сетях. Мы все читаем. Спасибо вам! 
© 2016 Microsoft Corporation. All rights reserved.
Data Science must win!
Задавайте вопросы
Сейчас или на email
Оставайтесь на связи
Хабр: @codezombie
Facebook: @code.zombi
Другие контакты на http://0xCode.in/about
#msdevcon

More Related Content

Similar to R + Apache Spark

Spark overview (18.06.2015)
Spark overview (18.06.2015)Spark overview (18.06.2015)
Spark overview (18.06.2015)bddmoscow
 
Слоны в облаках
Слоны в облакахСлоны в облаках
Слоны в облакахPavel Mezentsev
 
Сервисы Azure для научных исследований
Сервисы Azure для научных исследованийСервисы Azure для научных исследований
Сервисы Azure для научных исследованийMicrosoft
 
Sql Server Data Services
Sql Server Data ServicesSql Server Data Services
Sql Server Data ServicesMedia Gorod
 
Электронная коммерция: от Hadoop к Spark Scala
Электронная коммерция: от Hadoop к Spark ScalaЭлектронная коммерция: от Hadoop к Spark Scala
Электронная коммерция: от Hadoop к Spark ScalaRoman Zykov
 
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Alexandr Serbul "The Rust language for a high-load network service - a quick ...Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Alexandr Serbul "The Rust language for a high-load network service - a quick ...Fwdays
 
С.Лалов "Corona SDK для разработки кроссплатформенных приложений", DUMP-2014
С.Лалов "Corona SDK для разработки кроссплатформенных приложений", DUMP-2014С.Лалов "Corona SDK для разработки кроссплатформенных приложений", DUMP-2014
С.Лалов "Corona SDK для разработки кроссплатформенных приложений", DUMP-2014it-people
 
Переводим без интернета: как мы делали Яндекс.Перевод для iOS, Иван Москалёв
Переводим без интернета: как мы делали Яндекс.Перевод для iOS, Иван  МоскалёвПереводим без интернета: как мы делали Яндекс.Перевод для iOS, Иван  Москалёв
Переводим без интернета: как мы делали Яндекс.Перевод для iOS, Иван МоскалёвYandex
 
Middleware
MiddlewareMiddleware
Middlewaremegakott
 
20160330 Приложение с использованием данных с сервера (EMS)
20160330 Приложение с использованием данных с сервера (EMS) 20160330 Приложение с использованием данных с сервера (EMS)
20160330 Приложение с использованием данных с сервера (EMS) Andrew Sovtsov
 
Platypus platform ivbit
Platypus platform ivbitPlatypus platform ivbit
Platypus platform ivbitjskonst
 
Introductory Keynote at Hadoop Workshop by Ospcon (2014)
Introductory Keynote at Hadoop Workshop by Ospcon (2014)Introductory Keynote at Hadoop Workshop by Ospcon (2014)
Introductory Keynote at Hadoop Workshop by Ospcon (2014)Andrei Nikolaenko
 
Отказоустойчивые игры с облаком – как делают игры на много пользователей
Отказоустойчивые игры с облаком – как делают игры на много пользователейОтказоустойчивые игры с облаком – как делают игры на много пользователей
Отказоустойчивые игры с облаком – как делают игры на много пользователейMicrosoft
 
мифы о спарке
мифы о спарке мифы о спарке
мифы о спарке Evgeny Borisov
 

Similar to R + Apache Spark (20)

Spark overview (18.06.2015)
Spark overview (18.06.2015)Spark overview (18.06.2015)
Spark overview (18.06.2015)
 
Слоны в облаках
Слоны в облакахСлоны в облаках
Слоны в облаках
 
Introduction to R
Introduction to RIntroduction to R
Introduction to R
 
Сервисы Azure для научных исследований
Сервисы Azure для научных исследованийСервисы Azure для научных исследований
Сервисы Azure для научных исследований
 
Sql Server Data Services
Sql Server Data ServicesSql Server Data Services
Sql Server Data Services
 
В облаке AWS
В облаке AWSВ облаке AWS
В облаке AWS
 
Электронная коммерция: от Hadoop к Spark Scala
Электронная коммерция: от Hadoop к Spark ScalaЭлектронная коммерция: от Hadoop к Spark Scala
Электронная коммерция: от Hadoop к Spark Scala
 
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Alexandr Serbul "The Rust language for a high-load network service - a quick ...Alexandr Serbul "The Rust language for a high-load network service - a quick ...
Alexandr Serbul "The Rust language for a high-load network service - a quick ...
 
С.Лалов "Corona SDK для разработки кроссплатформенных приложений", DUMP-2014
С.Лалов "Corona SDK для разработки кроссплатформенных приложений", DUMP-2014С.Лалов "Corona SDK для разработки кроссплатформенных приложений", DUMP-2014
С.Лалов "Corona SDK для разработки кроссплатформенных приложений", DUMP-2014
 
Переводим без интернета: как мы делали Яндекс.Перевод для iOS, Иван Москалёв
Переводим без интернета: как мы делали Яндекс.Перевод для iOS, Иван  МоскалёвПереводим без интернета: как мы делали Яндекс.Перевод для iOS, Иван  Москалёв
Переводим без интернета: как мы делали Яндекс.Перевод для iOS, Иван Москалёв
 
Middleware
MiddlewareMiddleware
Middleware
 
4CIO.ppt
4CIO.ppt4CIO.ppt
4CIO.ppt
 
4CIO.ppt
4CIO.ppt4CIO.ppt
4CIO.ppt
 
20160330 Приложение с использованием данных с сервера (EMS)
20160330 Приложение с использованием данных с сервера (EMS) 20160330 Приложение с использованием данных с сервера (EMS)
20160330 Приложение с использованием данных с сервера (EMS)
 
Platypus platform ivbit
Platypus platform ivbitPlatypus platform ivbit
Platypus platform ivbit
 
Introductory Keynote at Hadoop Workshop by Ospcon (2014)
Introductory Keynote at Hadoop Workshop by Ospcon (2014)Introductory Keynote at Hadoop Workshop by Ospcon (2014)
Introductory Keynote at Hadoop Workshop by Ospcon (2014)
 
Apache Hadoop
Apache HadoopApache Hadoop
Apache Hadoop
 
Отказоустойчивые игры с облаком – как делают игры на много пользователей
Отказоустойчивые игры с облаком – как делают игры на много пользователейОтказоустойчивые игры с облаком – как делают игры на много пользователей
Отказоустойчивые игры с облаком – как делают игры на много пользователей
 
Sql azure и все, все, все...
Sql azure и все, все, все...Sql azure и все, все, все...
Sql azure и все, все, все...
 
мифы о спарке
мифы о спарке мифы о спарке
мифы о спарке
 

More from Dmitry Petukhov

Intelligent Banking: AI cases in Retail and Commercial Banking
Intelligent Banking: AI cases in Retail and Commercial BankingIntelligent Banking: AI cases in Retail and Commercial Banking
Intelligent Banking: AI cases in Retail and Commercial BankingDmitry Petukhov
 
IaaS, PaaS, and DevOps for Data Scientist
IaaS, PaaS, and DevOps for Data ScientistIaaS, PaaS, and DevOps for Data Scientist
IaaS, PaaS, and DevOps for Data ScientistDmitry Petukhov
 
Introduction to Deep Learning
Introduction to Deep LearningIntroduction to Deep Learning
Introduction to Deep LearningDmitry Petukhov
 
Introduction to Machine Learning
Introduction to Machine LearningIntroduction to Machine Learning
Introduction to Machine LearningDmitry Petukhov
 
Microsoft Machine Learning Server. Architecture View
Microsoft Machine Learning Server. Architecture ViewMicrosoft Machine Learning Server. Architecture View
Microsoft Machine Learning Server. Architecture ViewDmitry Petukhov
 
AI in IoT: Use Cases and Challenges
AI in IoT: Use Cases and ChallengesAI in IoT: Use Cases and Challenges
AI in IoT: Use Cases and ChallengesDmitry Petukhov
 
Machine Intelligence for Fraud Prediction
Machine Intelligence for Fraud PredictionMachine Intelligence for Fraud Prediction
Machine Intelligence for Fraud PredictionDmitry Petukhov
 
Machine Learning with Microsoft Azure
Machine Learning with Microsoft AzureMachine Learning with Microsoft Azure
Machine Learning with Microsoft AzureDmitry Petukhov
 
Democratizing Artificial Intelligence
Democratizing Artificial IntelligenceDemocratizing Artificial Intelligence
Democratizing Artificial IntelligenceDmitry Petukhov
 
Machine Learning in Microsoft Azure
Machine Learning in Microsoft AzureMachine Learning in Microsoft Azure
Machine Learning in Microsoft AzureDmitry Petukhov
 

More from Dmitry Petukhov (14)

Introduction to Auto ML
Introduction to Auto MLIntroduction to Auto ML
Introduction to Auto ML
 
Intelligent Banking: AI cases in Retail and Commercial Banking
Intelligent Banking: AI cases in Retail and Commercial BankingIntelligent Banking: AI cases in Retail and Commercial Banking
Intelligent Banking: AI cases in Retail and Commercial Banking
 
IaaS, PaaS, and DevOps for Data Scientist
IaaS, PaaS, and DevOps for Data ScientistIaaS, PaaS, and DevOps for Data Scientist
IaaS, PaaS, and DevOps for Data Scientist
 
Introduction to Deep Learning
Introduction to Deep LearningIntroduction to Deep Learning
Introduction to Deep Learning
 
Introduction to Machine Learning
Introduction to Machine LearningIntroduction to Machine Learning
Introduction to Machine Learning
 
Microsoft Machine Learning Server. Architecture View
Microsoft Machine Learning Server. Architecture ViewMicrosoft Machine Learning Server. Architecture View
Microsoft Machine Learning Server. Architecture View
 
AI in IoT: Use Cases and Challenges
AI in IoT: Use Cases and ChallengesAI in IoT: Use Cases and Challenges
AI in IoT: Use Cases and Challenges
 
Azure Machine Learning
Azure Machine LearningAzure Machine Learning
Azure Machine Learning
 
Machine Intelligence for Fraud Prediction
Machine Intelligence for Fraud PredictionMachine Intelligence for Fraud Prediction
Machine Intelligence for Fraud Prediction
 
Machine Learning with Microsoft Azure
Machine Learning with Microsoft AzureMachine Learning with Microsoft Azure
Machine Learning with Microsoft Azure
 
Democratizing Artificial Intelligence
Democratizing Artificial IntelligenceDemocratizing Artificial Intelligence
Democratizing Artificial Intelligence
 
AI for Retail Banking
AI for Retail BankingAI for Retail Banking
AI for Retail Banking
 
Microsoft Azure + R
Microsoft Azure + RMicrosoft Azure + R
Microsoft Azure + R
 
Machine Learning in Microsoft Azure
Machine Learning in Microsoft AzureMachine Learning in Microsoft Azure
Machine Learning in Microsoft Azure
 

R + Apache Spark

  • 1.
  • 2. R + Apache Spark. Большие данные в облаках Dmitry Petukhov Microsoft MVP, ML/DS Preacher @ OpenWay
  • 3. Storage Resource Management ML Framework Execution Engine Local OS Local Disc RRuntime YetAnother Runtime ML packages HDFS YARN MapReduce Mahout HDFS / S3 YARN / Apache Mesos Apache Spark MLlib HDFS / S3 YARN / Apache Mesos R on Spark Apache Spark Local PC Hybrid Model Cluster (on-premises/on-demand) Low HighCost of deployment/ownership Distributed FS Dark Magic… ML as a Service R tools Infrastructure for Data Scientists ML packages
  • 4. #msdevcon Big Data + Cloud + Machine Learning Долго, дорого, …
  • 5. #msdevcon Apache Spark + Microsoft Azure + R Server Доступен как PaaS-сервис
  • 7. Отзывы💖 Помогите нам стать лучше! На вашу почту отправлена индивидуальная ссылка на электронную анкету. 2 ноября в 23:30 незаполненная анкета превратится в тыкву. Заполните анкету и подходите к стойке регистрации за приятным сюрпризом! #msdevcon Оставляйте отзывы в социальных сетях. Мы все читаем. Спасибо вам! 
  • 8. © 2016 Microsoft Corporation. All rights reserved. Data Science must win!
  • 9. Задавайте вопросы Сейчас или на email Оставайтесь на связи Хабр: @codezombie Facebook: @code.zombi Другие контакты на http://0xCode.in/about #msdevcon