20180627 databricks ver1.1
•Download as PPTX, PDF•
2 likes•2,141 views
DLLAB Machine Learning Meetup Databricks
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 20180627 databricks ver1.1
Similar to 20180627 databricks ver1.1 (20)
More from Hirono Jumpei
More from Hirono Jumpei (20)
Recently uploaded
Recently uploaded (9)
20180627 databricks ver1.1
- 2. Spark Overview Demo • ETL • Structured Streaming • Machine Learning • Deep Learning
- 3. Bigdata システムのユースケース POS システム、EC サイト、IoT データ分析、CDR 分析、コールセンター データ、・・・ バッチ処理 ⇒ 限られ た時間で大量データ を 処理したい リアルタイム分析 ⇒ データの生成から遅延 時間を 最小限にして分析した い 蓄積された大量データを活用した アドバンストアナリティクスを実 施したい
- 4. システムの要件をクリアする ソリューション 並列分散処理を可能にする オープンソース分析エンジン Apache Spark の PaaS ソリューション
- 6. UC Berkeley で 2009 年に始まった研究プロジェクト 汎用的で高速なクラスター型コンピューティングシス テム Scala、Java、Python、R、SQL が利用可能 200以上の企業から 1,000人以上のディベロッパーの手 によって開発された
- 7. JVM JVM JVM JVM JVM © Databricks 2018 • 並列処理による高速化
- 8. • メモリを利用した高速化 MapReduce © Databricks 2018 Spark
- 9. RDD R D D DATAFRAME データをテーブル型に保持 オプティマイザーを用いてパフォーマンスを向上 Tungsten & Catalyst によるオプティマイズ 言語を問わず統一された API を提供 • RDD から DataFrames を中心 とした高レベル API にシフト • Spark Streaming Structured Streaming • spark.mllib spark.ml • Graph X Graph Frames
- 10. 1. SQL/Data Frame の分析 2. 論理プランの最適化 3. 物理プランの生成（コストベース） 4. コード生成 © Databricks 2018 SQL Query Data Frame Unresolved Logical Plan Logical Plan Optimized Logical Plan Selected Physical Plan RDDsPhysical Plans CostModel Catalog Analysis Logical Optimization Physical Planning Code Generation
- 12. DEMO
- 14. ETL Parquet ファ イルの読込み と 時間列の加工 SQL Data Warehouse Blob Storage
- 16. リアルタイム分析 ⇒ データの生成から遅延時間を最小限にした分析をし たい 加工・集計データ ストリームデー タ ストリーム処 理センサーデータ CDR、POS データなど 分析アプ リ ダッシュボード データリポジト リ
- 22. • Spark MLlib プリインストール済 • DataFrame ベースの API サポート • Tungsten や Catalyst による最適化 • 言語・ML アルゴリズムをとおして 統一された API を提供 • ML pipeline サポート • 複数の ML 処理を一つのパイプラインとして記述 • MMLSpark • マシンラーニング・モデルの構築に必要なデータ操作を効率化 • Cognitive Toolkit, TensorFlowOnSpark, BigDL などのライブラ リ/フレームワークを用いたディープラーニングモデル開発
- 25. Test Set Validation Set Validation Set Validation Set 全てのハイパーパラメタの組合せについて train Set を用いた学習を実行 評価メトリックは平均されて最善のパラメ タを決定する 最善のパラメタセットが決定したら、全ト レインセットを用いてモデルを学習する モデルの最終評価に使う
- 27. • Python ベースの ハイレベル API でディー プラーニングを簡潔に記述 • Spark Cluster を利用した大規模スコアリ ング（Batch/Streaming） • イメージデータのための転移学習、 ハイパーパラメタチューニングの支援 • ImageNet の学習済モデルを利用可能 Deep Learning Pipelines for Apache Spark Spark クラスタ上でハイパーパラメタ チューニング 転移学習への応用
- 28. Deep Learning Keras TensorFlow GPU libraries Distributed Deep Learning Distributed training with Horovod and Spark Distributed TensorFlow and Keras training with Horovod Distributed TensorFlow and Keras prediction XGBoost XGBoost4j Deep Learning に必要なライブラリがプリインストール済 GPU 搭載 VM によるクラスター構成可能
- 29. • Pre-trained ネットワークによ る特徴抽出 • Fine-tuning による転移学習 http://www.nlab.ci.i.u-tokyo.ac.jp/pdf/CNN_survey.pdf
- 32. • ETL 限られた時間で大量データを処理 • Structured Streaming データの生成から遅延時間を最小限にして分析 • Machine Learning 蓄積された大量データを活用したアドバンストアナリティク スが可能 • Deep Learning ディープラーニングへの応用を容易にする Deep Learning
Editor's Notes
- Apache Spark は、多くのマシンを1台のマシンとして扱うことができます。 Apache Spark クラスタの例を示しており、Executor ノードと通信するドライバノードが示されています。これらの Executor ノードには、実行エンジンとなるスロットがあります。 ドライバは、クエリを分析し、それらを最適化し、 どのように RDD に対して作業を並列化するかを決定する (例えば、どのようにファイルが分割され、どのパーティションを取得して実行するか) 各 Executor ノード上のタスクは、ファイルからデータを読み取り、1つまたは複数のスレッドを使用して、自分が担当しているパーティションを処理します。時にはお互いにデータをシャッフルするためにデータ送信を行います。
- MapReduce 処理ではイテレーションの間はディスクへの永続化が一般的 Spark ではイテレーションの間はメモリに保持することが一般的 これは処理が途中で失敗しても再実行できる RDD の性質に依存している
- RDD はパーティション化されたデータの集まり クラスタ間で分散されている 処理が失敗しても再実行ができる DataFrame は Spark 1.3 で導入された API 古くからの Spark ユーザーは RDD ベースの API を使っているらしい