Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Azure Databricksで始めるSpark 構築から活用までの第一歩

Azure Databricksで始めるSpark 構築から活用までの第一歩

  • Be the first to comment

Azure Databricksで始めるSpark 構築から活用までの第一歩

  1. 1. Azure Databricksで始めるSpark 構築から活用までの第一歩 株式会社PLAN-B テック&データラボ 技術統括 得上 竜一 システム開発部 システム開発ユニット リーダー 藤本 永一
  2. 2. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 [DEMO]Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
  3. 3. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 [DEMO]Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
  4. 4. ビッグデータ 分析 リアルタイム 分析 機械学習 リアルタイムな 共同作業 データの可視化 ワークフローの 構築 様々な データソース 数分で構築 これらを開発・運用するために この環境が Azure Databricksでできること
  5. 5. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 [DEMO]Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
  6. 6. Azureに最適化・統合されたDatabricks Azure Databricksとは
  7. 7. Azure Databricksとは Azureに最適化・統合されたDatabricks
  8. 8. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
  9. 9. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
  10. 10. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
  11. 11. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
  12. 12. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
  13. 13. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
  14. 14. 使える言語 Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク SQL
  15. 15. Azure Databricksとは Azureに最適化・統合されたDatabricks
  16. 16. WEBから利用可能 インフラの管理不要 スケールアップ・アウ トが無停止で可能 Notebookにより インタラクティブに 分析・開発可能 多彩なデータソース Clusters Spark Jobs Notebooks Data Databricksとは Apache SparkのPaaS
  17. 17. Azure Databricksとは Azureに最適化・統合されたDatabricks
  18. 18. Azure Databricksとは Azureに最適化・統合されたDatabricks
  19. 19. Azure Databricksとは Azureに最適化・統合されたDatabricks
  20. 20. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 [DEMO]Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
  21. 21. Workspace Azure Clusters Jobs Note books Users Data Azure Databricksの構成
  22. 22. Azure Databricksの構成 Workspace Azure Clusters Jobs Note books Users Data
  23. 23. Azure Databricksの構成 Workspace Azure Clusters Jobs Note books Users Data
  24. 24. Azure Databricksの構成 Workspace Azure Clusters Jobs Note books Users Data
  25. 25. Azure Databricksの構成 Workspace Azure Clusters Jobs Note books Users Data
  26. 26. Azure Databricksの構成 Workspace Azure Clusters Jobs Note books Users Data
  27. 27. Azure Databricksの構成 Workspace Azure Clusters Jobs Note books Users Data
  28. 28. Azure Databricksの使い始めまでの流れ Workspace, Cluster, Notebookの作成 Workspace Azure Clusters Jobs Note books Users Data
  29. 29. Azure Databricksの使い始めまでの流れ Workspaceの作成 Workspace Azure Clusters Jobs Note books Users Data
  30. 30. Azure Databricksの使い始めまでの流れ Workspaceの作成
  31. 31. Azure Databricksの使い始めまでの流れ Workspaceの作成
  32. 32. Azure Databricksの使い始めまでの流れ Workspaceの作成
  33. 33. Azure Databricksの使い始めまでの流れ Workspaceの作成
  34. 34. Azure Databricksの使い始めまでの流れ Clusterの作成 Workspace Azure Clusters Jobs Note books Users Data
  35. 35. Azure Databricksの使い始めまでの流れ Clusterの作成
  36. 36. Azure Databricksの使い始めまでの流れ Clusterの作成
  37. 37. Azure Databricksの使い始めまでの流れ Notebookの作成 Workspace Azure Clusters Jobs Note books Users Data
  38. 38. Azure Databricksの使い始めまでの流れ Notebookの作成
  39. 39. Azure Databricksの使い始めまでの流れ Notebookの作成
  40. 40. Azure Databricksの使い始めまでの流れ Workspace, Cluster, Notebookの作成 Workspace Azure Clusters Jobs Note books Users Data
  41. 41. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 [DEMO]Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
  42. 42. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 [DEMO]Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
  43. 43. ※2018/09 時点の情報 Azureのリージョン
  44. 44. ※2018/09 時点の情報 Azure Databricksの使えるリージョン
  45. 45. ※2018/09 時点の情報 Azure Databricksの使えるリージョン (2018年4Qリリース予定)
  46. 46. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 [DEMO]Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
  47. 47. インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ + = お支払い Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金
  48. 48. Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金 インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ + = お支払い
  49. 49. ※2018/09 時点の情報 Azure Databricksの価格 DBU料金はワークロードで違う DBU ※ 1 時間あたりの処理能力の単位 データ エンジニアリング ジョブ スケジューラ等によって実行される場合 自動起動のバッチ処理など データ分析 アドホック コマンドなどのインタラクティブな 機能がクラスターで実行される場合
  50. 50. ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
  51. 51. Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金 インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ + = お支払い
  52. 52. インスタンス VMの料金 DBUの料金 例)データサイエンティストが分析のためNotebookを利用 業務時間中(10:00〜18:00)のみ起動 月にD3インスタンスを4台×8時間×20営業日の場合 ※Standardレベル、データ分析ワークロード 35.40円 × 4台 × 160時間 = 22,656円/月 33.60円 × 4台 × 160時間 = 21,504円/月 44,160円/月 ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
  53. 53. インスタンス VMの料金 DBUの料金 例)日時のETL処理をジョブスケジューラによって定期実行 月にD3インスタンスを4台×2時間×30日の場合 ※Standardレベル、データ エンジニアリングワークロード 35.40円 × 4台 × 60時間 = 8,496円/月 16.80円 × 4台 × 60時間 = 4,032円/月 12,528円/月 ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
  54. 54. Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金 インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ + = お支払い
  55. 55. Azure Databricksの概要 Azure Databricksの構成 Azure Databricksのリージョン Azure Databricksの価格 Azure Databricksの使い始めまでの流れ Azure Databricksでできること Agenda
  56. 56. ビッグデータ 分析 リアルタイム 分析 機械学習 リアルタイムな 共同作業 データの可視化 ワークフローの 構築 様々な データソース 数分で構築 これらを開発・運用するために この環境が Azure Databricksでできること
  57. 57. Azure Databricksでできること Azure Databricksのはじめ方 • 10分でSparkのクラスター立ち上げることができる • 必要なときに必要なクラスタが立ち上がり、 バッチ処理をこなせる • Notebookで共同作業ができる 1. Workspaceを作る 2. Clusterを立ち上げる 3. Notebookを書く Key Takeaway お持ち帰りいただくもの
  58. 58. Azure Databricksで始めるSpark 構築から活用までの第一歩 株式会社PLAN-B テック&データラボ 技術統括 得上 竜一 システム開発部 システム開発ユニット リーダー 藤本 永一
  59. 59. Azure Databricksで始めるSpark 構築から活用までの第一歩 株式会社PLAN-B テック&データラボ 技術統括 得上 竜一 システム開発部 システム開発ユニット リーダー 藤本 永一

×