Submit Search
Upload
Deep Learning On Apache Spark
•
7 likes
•
1,876 views
Yuta Imai
Follow
GTC Japan 2016でプレゼンした、Spark上で動作するDeep Learningライブラリの選択肢と、Sparkで動かすとこのメリットなどをまとめたスライドです。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 17
Download now
Download to read offline
Recommended
Hadoop/Spark セルフサービス系の事例まとめ
Hadoop/Spark セルフサービス系の事例まとめ
Yuta Imai
IoTアプリケーションで利用するApache NiFi
IoTアプリケーションで利用するApache NiFi
Yuta Imai
OLAP options on Hadoop
OLAP options on Hadoop
Yuta Imai
Hadoop最新事情とHortonworks Data Platform
Hadoop最新事情とHortonworks Data Platform
Yuta Imai
Spark at Scale
Spark at Scale
Yuta Imai
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
DataWorks Summit/Hadoop Summit
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.
DataWorks Summit/Hadoop Summit
Yifeng spark-final-public
Yifeng spark-final-public
Yifeng Jiang
Recommended
Hadoop/Spark セルフサービス系の事例まとめ
Hadoop/Spark セルフサービス系の事例まとめ
Yuta Imai
IoTアプリケーションで利用するApache NiFi
IoTアプリケーションで利用するApache NiFi
Yuta Imai
OLAP options on Hadoop
OLAP options on Hadoop
Yuta Imai
Hadoop最新事情とHortonworks Data Platform
Hadoop最新事情とHortonworks Data Platform
Yuta Imai
Spark at Scale
Spark at Scale
Yuta Imai
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
DataWorks Summit/Hadoop Summit
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.
DataWorks Summit/Hadoop Summit
Yifeng spark-final-public
Yifeng spark-final-public
Yifeng Jiang
Yifeng hadoop-present-public
Yifeng hadoop-present-public
Yifeng Jiang
Apache Hiveの今とこれから - 2016
Apache Hiveの今とこれから - 2016
Yuta Imai
Apache ambari
Apache ambari
Yuta Imai
The truth about SQL and Data Warehousing on Hadoop
The truth about SQL and Data Warehousing on Hadoop
DataWorks Summit/Hadoop Summit
Apache Ambari Overview -- Hadoop for Everyone
Apache Ambari Overview -- Hadoop for Everyone
Yifeng Jiang
Data Science on Hadoop
Data Science on Hadoop
Yifeng Jiang
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Comparison of Transactional Libraries for HBase
Comparison of Transactional Libraries for HBase
DataWorks Summit/Hadoop Summit
Case Study: OLAP usability on Spark and Hadoop
Case Study: OLAP usability on Spark and Hadoop
DataWorks Summit/Hadoop Summit
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
DataWorks Summit
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
Apache NiFiで、楽して、つながる、広がる IoTプロジェクト
Apache NiFiで、楽して、つながる、広がる IoTプロジェクト
Koji Kawamura
最新事例から学ぶビッグデータの活用法 #ocif16 #hortonworks
最新事例から学ぶビッグデータの活用法 #ocif16 #hortonworks
Kimihiko Kitase
Apache Hadoop and YARN, current development status
Apache Hadoop and YARN, current development status
NTT DATA OSS Professional Services
Struggle against crossdomain data complexity in Recruit Group
Struggle against crossdomain data complexity in Recruit Group
DataWorks Summit/Hadoop Summit
HDP Security Overview
HDP Security Overview
Yifeng Jiang
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
DataWorks Summit/Hadoop Summit
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
Takuya UESHIN
Hive-sub-second-sql-on-hadoop-public
Hive-sub-second-sql-on-hadoop-public
Yifeng Jiang
Which Is Deeper - Comparison Of Deep Learning Frameworks On Spark
Which Is Deeper - Comparison Of Deep Learning Frameworks On Spark
Spark Summit
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Hiroaki Kudo
More Related Content
What's hot
Yifeng hadoop-present-public
Yifeng hadoop-present-public
Yifeng Jiang
Apache Hiveの今とこれから - 2016
Apache Hiveの今とこれから - 2016
Yuta Imai
Apache ambari
Apache ambari
Yuta Imai
The truth about SQL and Data Warehousing on Hadoop
The truth about SQL and Data Warehousing on Hadoop
DataWorks Summit/Hadoop Summit
Apache Ambari Overview -- Hadoop for Everyone
Apache Ambari Overview -- Hadoop for Everyone
Yifeng Jiang
Data Science on Hadoop
Data Science on Hadoop
Yifeng Jiang
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Comparison of Transactional Libraries for HBase
Comparison of Transactional Libraries for HBase
DataWorks Summit/Hadoop Summit
Case Study: OLAP usability on Spark and Hadoop
Case Study: OLAP usability on Spark and Hadoop
DataWorks Summit/Hadoop Summit
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
DataWorks Summit
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
Apache NiFiで、楽して、つながる、広がる IoTプロジェクト
Apache NiFiで、楽して、つながる、広がる IoTプロジェクト
Koji Kawamura
最新事例から学ぶビッグデータの活用法 #ocif16 #hortonworks
最新事例から学ぶビッグデータの活用法 #ocif16 #hortonworks
Kimihiko Kitase
Apache Hadoop and YARN, current development status
Apache Hadoop and YARN, current development status
NTT DATA OSS Professional Services
Struggle against crossdomain data complexity in Recruit Group
Struggle against crossdomain data complexity in Recruit Group
DataWorks Summit/Hadoop Summit
HDP Security Overview
HDP Security Overview
Yifeng Jiang
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
DataWorks Summit/Hadoop Summit
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
Takuya UESHIN
Hive-sub-second-sql-on-hadoop-public
Hive-sub-second-sql-on-hadoop-public
Yifeng Jiang
What's hot
(20)
Yifeng hadoop-present-public
Yifeng hadoop-present-public
Apache Hiveの今とこれから - 2016
Apache Hiveの今とこれから - 2016
Apache ambari
Apache ambari
The truth about SQL and Data Warehousing on Hadoop
The truth about SQL and Data Warehousing on Hadoop
Apache Ambari Overview -- Hadoop for Everyone
Apache Ambari Overview -- Hadoop for Everyone
Data Science on Hadoop
Data Science on Hadoop
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Comparison of Transactional Libraries for HBase
Comparison of Transactional Libraries for HBase
Case Study: OLAP usability on Spark and Hadoop
Case Study: OLAP usability on Spark and Hadoop
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
Apache NiFiで、楽して、つながる、広がる IoTプロジェクト
Apache NiFiで、楽して、つながる、広がる IoTプロジェクト
最新事例から学ぶビッグデータの活用法 #ocif16 #hortonworks
最新事例から学ぶビッグデータの活用法 #ocif16 #hortonworks
Apache Hadoop and YARN, current development status
Apache Hadoop and YARN, current development status
Struggle against crossdomain data complexity in Recruit Group
Struggle against crossdomain data complexity in Recruit Group
HDP Security Overview
HDP Security Overview
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
Use case and Live demo : Agile data integration from Legacy system to Hadoop ...
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
Hive-sub-second-sql-on-hadoop-public
Hive-sub-second-sql-on-hadoop-public
Viewers also liked
Which Is Deeper - Comparison Of Deep Learning Frameworks On Spark
Which Is Deeper - Comparison Of Deep Learning Frameworks On Spark
Spark Summit
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Hiroaki Kudo
Benchmark and Metrics
Benchmark and Metrics
Yuta Imai
Dynamic Resource Allocation in Apache Spark
Dynamic Resource Allocation in Apache Spark
Yuta Imai
HDP2.5 Updates
HDP2.5 Updates
Yuta Imai
TensorFrames: Google Tensorflow on Apache Spark
TensorFrames: Google Tensorflow on Apache Spark
Databricks
Deep learning on spark
Deep learning on spark
Satyendra Rana
Deep Learning基本理論とTensorFlow
Deep Learning基本理論とTensorFlow
Tadaichiro Nakano
Advanced Spark and TensorFlow Meetup May 26, 2016
Advanced Spark and TensorFlow Meetup May 26, 2016
Chris Fregly
Global Gaming On AWS
Global Gaming On AWS
Yuta Imai
Hadoop in adtech
Hadoop in adtech
Yuta Imai
Hadoop and Kerberos
Hadoop and Kerberos
Yuta Imai
Deep Learning - The Past, Present and Future of Artificial Intelligence
Deep Learning - The Past, Present and Future of Artificial Intelligence
Lukas Masuch
ストーリーテリング・アルゴリズムの論文紹介と擬似実装(word2vecの応用)
ストーリーテリング・アルゴリズムの論文紹介と擬似実装(word2vecの応用)
Tyee Z
続分かりやすいパターン認識 4章後半(4.7以降)
続分かりやすいパターン認識 4章後半(4.7以降)
Motoya Wakiyama
Hive - Apache hadoop Bigdata training by Desing Pathshala
Hive - Apache hadoop Bigdata training by Desing Pathshala
Desing Pathshala
Hadoop Summit Amsterdam 2014: Capacity Planning In Multi-tenant Hadoop Deploy...
Hadoop Summit Amsterdam 2014: Capacity Planning In Multi-tenant Hadoop Deploy...
Sumeet Singh
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
sleepy_yoshi
Repeat buyer prediction for e commerce, KDD2016
Repeat buyer prediction for e commerce, KDD2016
Motoya Wakiyama
Scaling Spark Workloads on YARN - Boulder/Denver July 2015
Scaling Spark Workloads on YARN - Boulder/Denver July 2015
Mac Moore
Viewers also liked
(20)
Which Is Deeper - Comparison Of Deep Learning Frameworks On Spark
Which Is Deeper - Comparison Of Deep Learning Frameworks On Spark
WebDB Forum 2016 gunosy
WebDB Forum 2016 gunosy
Benchmark and Metrics
Benchmark and Metrics
Dynamic Resource Allocation in Apache Spark
Dynamic Resource Allocation in Apache Spark
HDP2.5 Updates
HDP2.5 Updates
TensorFrames: Google Tensorflow on Apache Spark
TensorFrames: Google Tensorflow on Apache Spark
Deep learning on spark
Deep learning on spark
Deep Learning基本理論とTensorFlow
Deep Learning基本理論とTensorFlow
Advanced Spark and TensorFlow Meetup May 26, 2016
Advanced Spark and TensorFlow Meetup May 26, 2016
Global Gaming On AWS
Global Gaming On AWS
Hadoop in adtech
Hadoop in adtech
Hadoop and Kerberos
Hadoop and Kerberos
Deep Learning - The Past, Present and Future of Artificial Intelligence
Deep Learning - The Past, Present and Future of Artificial Intelligence
ストーリーテリング・アルゴリズムの論文紹介と擬似実装(word2vecの応用)
ストーリーテリング・アルゴリズムの論文紹介と擬似実装(word2vecの応用)
続分かりやすいパターン認識 4章後半(4.7以降)
続分かりやすいパターン認識 4章後半(4.7以降)
Hive - Apache hadoop Bigdata training by Desing Pathshala
Hive - Apache hadoop Bigdata training by Desing Pathshala
Hadoop Summit Amsterdam 2014: Capacity Planning In Multi-tenant Hadoop Deploy...
Hadoop Summit Amsterdam 2014: Capacity Planning In Multi-tenant Hadoop Deploy...
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
Repeat buyer prediction for e commerce, KDD2016
Repeat buyer prediction for e commerce, KDD2016
Scaling Spark Workloads on YARN - Boulder/Denver July 2015
Scaling Spark Workloads on YARN - Boulder/Denver July 2015
Similar to Deep Learning On Apache Spark
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
NTT DATA OSS Professional Services
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
NTT DATA OSS Professional Services
Apache spark 2.3 and beyond
Apache spark 2.3 and beyond
NTT DATA Technology & Innovation
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介(Open Source Conference 2020 Online/Kyoto ...
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介(Open Source Conference 2020 Online/Kyoto ...
NTT DATA Technology & Innovation
Survey of Apache Spark
Survey of Apache Spark
Mila, Université de Montréal
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
NTT DATA Technology & Innovation
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...
[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...
Insight Technology, Inc.
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
Koichiro Sasaki
Map server入門 - FOSS4G 2012 Hokkaido
Map server入門 - FOSS4G 2012 Hokkaido
Hideo Harada
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
NTT DATA Technology & Innovation
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
Smart data integration to hybrid data analysis infrastructure
Smart data integration to hybrid data analysis infrastructure
DataWorks Summit
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
Insight Technology, Inc.
OSC2012 Tokyo/Spring - Hadoop入門
OSC2012 Tokyo/Spring - Hadoop入門
Shinichi YAMASHITA
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題
Takeshi Yamamuro
Hadoop Compatible File Systems 2019 (db tech showcase 2019 Tokyo講演資料、2019/09/25)
Hadoop Compatible File Systems 2019 (db tech showcase 2019 Tokyo講演資料、2019/09/25)
NTT DATA Technology & Innovation
Apache Sparkやってみたところ
Apache Sparkやってみたところ
Tatsunori Nishikori
Similar to Deep Learning On Apache Spark
(20)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
Apache spark 2.3 and beyond
Apache spark 2.3 and beyond
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介(Open Source Conference 2020 Online/Kyoto ...
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介(Open Source Conference 2020 Online/Kyoto ...
Survey of Apache Spark
Survey of Apache Spark
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...
[db tech showcase Tokyo 2017] A32: Attunity Replicate + Kafka + Hadoop マルチデータ...
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
20160220 MSのビッグデータ分析基盤 - データマイニング+WEB@東京
Map server入門 - FOSS4G 2012 Hokkaido
Map server入門 - FOSS4G 2012 Hokkaido
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
Smart data integration to hybrid data analysis infrastructure
Smart data integration to hybrid data analysis infrastructure
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
[db tech showcase Tokyo 2018] #dbts2018 #E28 『Hadoop DataLakeにリアルタイムでデータをレプリケ...
OSC2012 Tokyo/Spring - Hadoop入門
OSC2012 Tokyo/Spring - Hadoop入門
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題
Hadoop Compatible File Systems 2019 (db tech showcase 2019 Tokyo講演資料、2019/09/25)
Hadoop Compatible File Systems 2019 (db tech showcase 2019 Tokyo講演資料、2019/09/25)
Apache Sparkやってみたところ
Apache Sparkやってみたところ
More from Yuta Imai
Node-RED on device to Apache NiFi on cloud, via SORACOM Canal, with no Internet
Node-RED on device to Apache NiFi on cloud, via SORACOM Canal, with no Internet
Yuta Imai
Spark Streaming + Amazon Kinesis
Spark Streaming + Amazon Kinesis
Yuta Imai
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
Amazon Machine Learning
Amazon Machine Learning
Yuta Imai
Digital marketing on AWS
Digital marketing on AWS
Yuta Imai
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
Yuta Imai
クラウドネイティブなアーキテクチャでサクサク解析
クラウドネイティブなアーキテクチャでサクサク解析
Yuta Imai
CloudFront経由でのCORS利用
CloudFront経由でのCORS利用
Yuta Imai
More from Yuta Imai
(8)
Node-RED on device to Apache NiFi on cloud, via SORACOM Canal, with no Internet
Node-RED on device to Apache NiFi on cloud, via SORACOM Canal, with no Internet
Spark Streaming + Amazon Kinesis
Spark Streaming + Amazon Kinesis
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Amazon Machine Learning
Amazon Machine Learning
Digital marketing on AWS
Digital marketing on AWS
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
クラウドネイティブなアーキテクチャでサクサク解析
クラウドネイティブなアーキテクチャでサクサク解析
CloudFront経由でのCORS利用
CloudFront経由でのCORS利用
Recently uploaded
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Recently uploaded
(8)
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Deep Learning On Apache Spark
1.
Deep Learning on Apache
Spark Yuta Imai Solutions Engineer, Hortonworks
2.
Apache Spark
3.
3 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Apache Spark Ã
RDDという分散データセットを処理の基本単位としたジェネリッ クな⼤規模データ処理のためのエンジン Ã プログラマフレンドリなAPIを提供しており⼈気が⾼い Ã Spark SQL, Spark Streaming, SparkML, GraphX, SparkR
4.
4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved sc.textFile("/some-hdfs-data") map map reduceByKey
collect textFile .flatMap(line=>line.split(" ")) .map(word=>(word, 1))) .reduceByKey(_ + _, 3) .collect() RDD[String] RDD[List[String]] RDD[(String, Int)] Array[(String, Int)] RDD[(String, Int)] すべてのデータ処理の基本単位となるRDD RDDに対する処理のつながりをDAGとして構築し・・・
5.
5 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Driver (e.g. Zeppelin) Executor
Executor Executor Job Task Task P PRDD Task P Task Task P P Task P Task Task P P Task P HDFS HDFS HDFS Worker Node 1 Worker Node 2 SparkはRDDに対する処理を分散実⾏する 構築されたDAGを分散実⾏する
6.
Deep Leaning &
Spark
7.
7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Deep Learningと分散処理 Ã
”Data Parallel”によるDeep Learningのモデルトレーニングの並列化 と、それによる処理時間の短縮 mini batch mini batch mini batch mini batch Model シリアルに 評価&モデル更新 mini batch mini batch mini batch mini batch Model Copy Model Copy Model Copy Model Copy Master 同⼀モデルのコ ピーによる評価の 並列化。結果を Masterでモデル更 新し、再度モデル を配布
8.
8 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Deep Learning
on Apache Spark Apache Spark上で動作するDeep Learningフレームワークの代表的な選択肢 Ã Deeplearning4j – Skymind社が開発を進めているオープンソースのプロジェク ト。商⽤サポートあり。 – その名のとおりJVMで動くことを前提に作られている。 – ND4jという多次元配列取扱の ライブラリも⼀緒に提供 citaHon: hJp://deeplearning4j.org/
9.
9 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Deep Learning
on Apache Spark Apache Spark上で動作するDeep Learningフレームワークの代表的な選択肢 Ã CaffeOnSpark – CaffeのSpark拡張 – Yahoo! Inc.によって主に開発が進められているオープン ソースプロジェクト。 – 既存のSparkのコード資産やワークフロー資産を強調。 citaHon: hJp://yahoohadoop.tumblr.com/post/139916563586/caffeonspark-open-sourced-for-distributed-deep
10.
10 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Deep Learning
on Apache Spark Apache Spark上で動作するDeep Learningフレームワークの代表的な選択肢 Ã H2O on Spark(Sparkling Water) – H2O社が開発しているオープンソースプロジェクト。商⽤サ ポートあり。 – DataFrameの実装あり – FFNNのみサポート(?) citaHon: hJps://github.com/h2oai/sparkling-water/blob/master/DEVEL.md
11.
11 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Deep Learning
on Apache Spark 他にも・・・ à SparkNet à TensorSpark à (Tensorflow)
12.
12 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Deep Learning
on Apache Spark 他にも・・・ à SparkNet à SparklingWarter à TensorSpark à (Tensorflow)
13.
Why Spark?(& Hortonworks)
14.
14 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Why Spark? Ã データストアとしてのHadoop – HDFSをデータストアとして利⽤可能 – 同じようにHiveからデータを取り出したデータをトレーニング に利⽤することも – SparkはHDFSやHive他、様々なデータストアを利⽤できるの で⼤規模なトレーニングデータの取り出しや、結果の保存など のワークフローの構築が容易
15.
15 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Why Spark? Ã YARNによるリソース管理 – Hadoopクラスタからのリソース払い出し/管理。 – リソースキューを活⽤することによりワークロード管理も。 – Node
Labelを利⽤することにより例えばGPUノードだけを割 り当てるといったことも可能に。 – もちろんリソースへのアクセスコントロールも。 1 ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° ° n SQL Hive Pig Script-based ETL Stream Processing Storm ML/DL Spark YARN RM App Master Monitoring UI Spark⽤にリソースを払い出し/管理
16.
16 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Why Spark? Ã Apache
Zeppelin – SparkのノートブックであるZeppelinを活⽤することでワーク フローの構築がしやすく。
17.
17 © Hortonworks Inc. 2011 – 2016. All Rights Reserved Deep Learning
on Apache Spark on Hortonworks Data Platform Hortonworks Data Platform 2.5 GOVERNANCE OPERATION S BATCH, INTERACTIVE & REAL-TIME DATA ACCESS YARN: Data OperaIng System (Cluster Resource Management) Map Reduce Apache Falcon Apache Sqoop Apache Flume Apache Ka^a Apache Hive Apache Pig Apache HBase Apache Accumulo Apache Solr Apache Spark Apache Storm 1 • • • • • • • • • • • • • • • • • • • • • • • HDFS (Hadoop Distributed File System) Apache Ambari Apache ZooKeeper Apache Oozie Deployment Choice Linux Windows On- premises Cloud Apache Atlas Cloudbreak SECURITY Apache Ranger Apache Knox Apache Atlas HDFS EncrypHon ISV Engines → 周辺部の⼿間はプラットフォームに任せ DLアプリケーションの開発にリソースを集中できる!
Download now