Azure Databricksで始めるSpark 構築から活用までの第一歩
•Download as PPTX, PDF•
1 like•499 views
Azure Databricksで始めるSpark 構築から活用までの第一歩
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Azure Databricksで始めるSpark 構築から活用までの第一歩
Similar to Azure Databricksで始めるSpark 構築から活用までの第一歩 (20)
More from Ryuichi Tokugami
More from Ryuichi Tokugami (20)
Recently uploaded
Recently uploaded (9)
Azure Databricksで始めるSpark 構築から活用までの第一歩
- 1. Azure Databricksで始めるSpark 構築から活用までの第一歩 株式会社PLAN-B テック＆データラボ 技術統括 得上 竜一 システム開発部 システム開発ユニット リーダー 藤本 永一
- 2. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 ［DEMO］Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
- 3. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 ［DEMO］Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
- 5. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 ［DEMO］Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
- 8. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
- 9. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
- 10. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
- 11. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
- 12. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
- 13. インメモリでの 高速処理 便利なコンポーネント が付属しているため あらゆるユースケース に対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク
- 14. 使える言語 Spark SQL Spark Core Spark Streaming MLlib GraphX Apache Sparkとは ビッグデータの並列分散処理フレームワーク SQL
- 16. WEBから利用可能 インフラの管理不要 スケールアップ・アウ トが無停止で可能 Notebookにより インタラクティブに 分析・開発可能 多彩なデータソース Clusters Spark Jobs Notebooks Data Databricksとは Apache SparkのPaaS
- 20. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 ［DEMO］Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
- 21. Workspace Azure Clusters Jobs Note books Users Data Azure Databricksの構成
- 28. Azure Databricksの使い始めまでの流れ Workspace, Cluster, Notebookの作成 Workspace Azure Clusters Jobs Note books Users Data
- 40. Azure Databricksの使い始めまでの流れ Workspace, Cluster, Notebookの作成 Workspace Azure Clusters Jobs Note books Users Data
- 41. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 ［DEMO］Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
- 43. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 ［DEMO］Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
- 47. Azure Databricksの概要 Azure Databricksの構成と使い始めるまでの流れ Azure Databricksのリージョン Azure Databricksの価格 ［DEMO］Azure DatabricksでのDeep Learning Azure Databricksでできること Agenda
- 48. インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ ＋ ＝ お支払い Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金
- 49. Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金 インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ ＋ ＝ お支払い
- 50. ※2018/09 時点の情報 Azure Databricksの価格 DBU料金はワークロードで違う DBU ※ 1 時間あたりの処理能力の単位 データ エンジニアリング ジョブ スケジューラ等によって実行される場合 自動起動のバッチ処理など データ分析 アドホック コマンドなどのインタラクティブな 機能がクラスターで実行される場合
- 52. Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金 インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ ＋ ＝ お支払い
- 53. インスタンス VMの料金 DBUの料金 例）データサイエンティストが分析のためNotebookを利用 業務時間中(10:00〜18:00)のみ起動 月にD3インスタンスを4台×8時間×20営業日の場合 ※Standardレベル、データ分析ワークロード 35.40円 × 4台 × 160時間 = 22,656円/月 33.60円 × 4台 × 160時間 = 21,504円/月 44,160円/月 ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
- 54. インスタンス VMの料金 DBUの料金 例）日時のETL処理をジョブスケジューラによって定期実行 月にD3インスタンスを4台×2時間×30日の場合 ※Standardレベル、データ エンジニアリングワークロード 35.40円 × 4台 × 60時間 = 8,496円/月 16.80円 × 4台 × 60時間 = 4,032円/月 12,528円/月 ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
- 55. Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金 インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ ＋ ＝ お支払い
- 56. Azure Databricksの概要 Azure Databricksの構成 Azure Databricksのリージョン Azure Databricksの価格 Azure Databricksの使い始めまでの流れ Azure Databricksでできること Agenda
- 58. Azure Databricksでできること Azure Databricksのはじめ方 • 10分でSparkのクラスター立ち上げることができる • 必要なときに必要なクラスタが立ち上がり、 バッチ処理をこなせる • Notebookで共同作業ができる 1. Workspaceを作る 2. Clusterを立ち上げる 3. Notebookを書く Key Takeaway お持ち帰りいただくもの
- 59. Azure Databricksで始めるSpark 構築から活用までの第一歩 株式会社PLAN-B テック＆データラボ 技術統括 得上 竜一 システム開発部 システム開発ユニット リーダー 藤本 永一
- 60. Azure Databricksで始めるSpark 構築から活用までの第一歩 株式会社PLAN-B テック＆データラボ 技術統括 得上 竜一 システム開発部 システム開発ユニット リーダー 藤本 永一
Editor's Notes
- Azure Databricksで始めるSpark構築から活用までの第一歩
- この流れで説明させていただきます
- まずは、AzureDatabricksで何ができるのかをご説明します。
- Azure Databricksは、主に ビッグデータ分析 リアルタイム分析 機械学習 などを行うことが可能です。 これらを開発や運用するために必要な環境も揃っています 複数人で同時に作業可能なノートブックがあります データを可視化し、それをダッシュボード化できます 定期的にデータを取り込み処理し、保存するようなflowを組んだり、定期実行する仕組みがあります Azureの各種データソースや一般的なDBなどに接続することができます やりたいことを実現する必要な環境が一式揃っているイメージです そして、この環境が数分で準備可能です！ 少し深掘りながら説明していきます。
- Azure Databricksの概要です
- Azure Databricksとは インフラ構築不要ですぐに使える、apache sparkベースの分析プラットフォームです 先ほど説明した「 - ビッグデータ分析 リアルタイム分析 機械学習 」をapacheSparkベースで開発していきます。 AzureDatabricksのベースとなっている、Databricks社のDatabricksというサービスをAzureに統合、最適化したサービスです。 ではまずは、いま出てきた「apache spark」「Databricks」について先に説明していきます。
- まずは、apache Sparkについてです
- Apache Sparkとは ビッグデータの並列分散処理フレームワークです ビッグデータの並列分散処理といえばHadoopも聞きますが、Hadoopと何が違うのでしょうか Sparkの特徴として - インメモリで処理を行うので高速であること - 便利なコンポーネントが付属しているのであらゆるユースケースに対応できること があります まず、インメモリで動作することですが HadoopもSparkも処理の途中でデータを頻繁に保存しますが、保存先が違います。 HadoopはHDFSと呼ばれるストレージに対して処理の中で読み書きを繰り返しますが、そこが速度に対するボトルネックとなりやすいです。 対して、Sparkはメモリ上で処理を行いますので、高速に動作するという特徴があります。 次に、便利なコンポーネントがあること ですが SparkCoreという共通基盤の上に4つのコンポーネントが乗っており、様々なユースケースに対応しています 図の左から説明します
- 1つ目がSparkSql&データフレームと呼ばれるものです Sparkで扱うDataを管理してくれます SQLかデータフレームというものを介して、Sparkの持っているデータにアクセスする機能を持っています メモ [Spark SQL & DataFrames | Apache Spark](https://spark.apache.org/sql/)
- 2つ目は、Spark Streamingです。 リアルタイムなデータ処理・分析のためのコンポーネントです KafkaやHDFS、Apache Flumeと統合されています
- 3つ目は、MLlibです マシンラーニングライブラリです。 分類、回帰、クラスタリングなどのアルゴリズム用のユーティリティ と 機械学習のワークフロー用のユーティリティが 含まれています
- 4つ目がgrafxです グラフ構造のデータを扱うためのコンポーネントです
- これらを使うことで、分散処理、リアルタイムデータ分析、機械学習、グラフ演算など様々なユースケースに対応できます また、これらを高度に分散処理してくれる素敵なフレームワークとなっています
- 最後に対応言語ですが Python R Java Scala SQL です これらで処理を記述していきます
- では、databricksについてです
- ## Databricks Databricksとは、 今説明した、Apache Sparkの製作者によって作られたDatabricksという会社が開発運営しているサービスです。 Databricksは、Apache Sparkのクラスタを自動で管理し、Sparkで使うためのノートブックなどを用意しており、 WEBベースでSparkを使うことをできるようにしたサービスです。 Sparkを運用していく上での不安は何でしょうか？ インフラ セキュリティ コスト は気になるところではないでしょうか 自前でSparkのクラスタを組み、日々運用するのは難しそう、人員がいない Dataやノートブックのセキュリティが心配 インフラ費用・保守費用が心配 それらをまるっと引き受けてくれるのがDatabricksです。 DatabricksはSparkのPaaSです インフラ周りを抽象化し、分析者開発者にそれらを気にせず作業に集中できる環境を提供してくれています 加えて、NootbookでWEB上での分析開発・そして共同作業を実現しています。 我々はインフラを気にすることなくSparkを使うことが出来ます。 Sparkのクラスタの構築も運用管理も必要がなくなります。 データエンジニアリングに集中できる素敵なサービスです。
- さて、apache SparkとDatabricksについて概要を掴んでいただけたかと思います では、Azure Databricksとは無印のDatabricksと何が違うのでしょうか？ Databricksだけでも非常に優秀なのですが、Azureに統合されていることで便利な点が大きく2つあります 1つ目が Azureの多彩なデータソースにアクセス可能なことです
- （Azureの多彩なデータソースにアクセス可能なことです） - Azure BLOBストレージ - Azure SQL Data Warehouse - Azure Data Lake store - Azure CosmosDB - Power BI などと統合されています 2つ目がAzure Active Directory と統合されていることでエンタープライズレベルのセキュリティを提供されていることです。 Azure Databricksのノートブック、クラスター、ジョブ、およびデータに対してきめ細かいユーザー権限を設定することが可能です
- まずは全体像を御覧いただきたいと思います azure databricksでの最上位の論理単位はワークスペースです。 この単位でDatabricksを管理していきます ワークスペースの中には クラスタ ジョブ Data ノートブック ユーザー が存在します それぞれどのような役割なのか説明していきます
- azure databricksでの最上位の論理単位はワークスペースです。 この単位でDatabricksを管理していきます ワークスペースの中には クラスタ ジョブ ノートブック ユーザー Data が存在します
- クラスタは、JOBの実行を実際に行うサーバ群を設定していきます。 設定と言っても、スペックと台数を選ぶ程度の簡単設定となっています。
- ジョブは、主にタスクとスケジュールからなります タスクは実際に実行する処理を指定します Databricks上で作成したノートブック、またはJavaやScaraで作ったJARを設定します スケジュールは設定タスクをいつ実行するかや定期実行の設定などをすることが出来あmす
- ノートブックは、 ノートブックは、PythonのジュピターノートブックのようなWEB上の簡易エディタでさくせいします。 PythonなどでSparkの処理を記述していきます
- ユーザーです。 AADと統合もされていますが、個別にAzureDatabricks専用のユーザーを作ることも可能です このユーザー単位でDataやノートブックを作成、共有、協働作業を行うことが可能です
- DataはDatabricks上で取り扱うDataを管理します アップロード・DBFS・他のデータソースを使うことが出来ます アップロードはCSVなどのファイルをアップロードすることが出来あmす DBFSとは、Databricksファイルシステムです、Databricks上の共有ディスクです 他のデータソースは、Azure BLOB ストレージや データレイクstore、また、エラスティックサーチやRedis、KafkaなどDataブリック外のデータソースへアクセスすることが出来あmす JDBCにも対応しているので、様々なデータソースに接続可能です
- 黄色い枠でかこんな部分の Workspaceの作成 Clusterの作成 ノーチブックの作成 を見ていきましょう ここまででインタラクティブにSparkを使う環境ができあがります Azureのアカウントは作成済みという前提で進めていきます。
- まずはWorkspaceを作成していきます
- 検索やすべてのサービスのフィルタ等に「databricks」と入れてDatabricsの画面に入って下さい 追加buttonからWorkspaceの追加が可能です ここで、 Workspace名を任意の名前 サブスクリプション リソースグループ リージョンを適切に Pricing Tire はStandardかプレミアムを選択可能です ADのロールベースのアクセス制御などが必要な場合はプレミアムを選択して下さい 入力し 作成を押すとWorkspaceの作成が開始されます Workspaceは複数作れますので プロダクトの違いや、開発環境本番環境で分けたいとき また、サブスクリプションを分けたいときなど用途に応じて作成して下さい。
- Workspaceの作成が完了すると Lunch Workspacebuttonが表示されます ここから、DatabricsのWorkspaceにログインします
- 通常は、Azureのユーザーで自動でログインされます
- これがDatabricsのWorkspaceです
- つぎにClusterを立ち上げて見ます
- 左メニューにClustersとありますので選択してください
- Clusters画面の Create Clusterボタンを押します New Cluster画面に入りますので設定をしていきます Cluster Nameは管理しやすい名前を Cluster モードは2種類あります 一つのClusterを共有して複数で使いたい場合high Concurrency(ハイ コンカレンシー)を シングルユーザーなど並列実行数を求めない場合はStandardを選択してください Databrics ランタイムバージョンを選択してください GPUが必要な場合ここでGPU対応のランタイムを選択する必要があります。 ※ ドライバーがmaster的なワーカーがワーカー的な ドライバータイプとワーカータイプは追加遺体VMを選択してください 通常同じものが入ります ワーカータイプの Enable autoscalingにチェックを入れるとオートスケーリングが有効になります Min から Max に指定した範囲で自動でスケーリングを行います また、 Auto Terminationにチェックを入れ時間を指定しておくと 設定した時間操作が行われなかった際に自動でClusterを落としてくれるので無駄に課金されることが少なくなります 設定項目の入力が終わりましたら CreateClusterbuttonを押して下さい
- 最後にノートブックを作成します
- Workspaceのトップ画面に戻って、new notebookリンクを押して下さい ノートブック名と言語を入力するダイアログが出ますので入力しCreateボタンを押して下さい
- ジュピターノートブック風の画面が出たかと思います ここは複数人で同時編集可能ですし 表示したGraphをダッシュボードに追加するなど、便利な機能が満載です この後のDemoでお見せいたします
- 使い始めるまでの流れということで Workspace、Cluster、ノートブックの作成までを行いました これでもうプログラミングを始めることが可能です
- Azureは現在、世界に54リージョン展開されています この中でAzure Databricksが利用可なのは次のリージョンです
- 赤い枠で囲んであります。 日本からですと、東アジアか東南アジアがもっとも近いリージョンですね
- 現在日本などでは使えないのですが 更に使えるリージョンは増加中です 2018年4Q中に 灰色の枠で囲んだ地域でも利用可能になる予定です。 日本リージョンでももうすぐ利用です。 メモ https://docs.microsoft.com/ja-jp/azure/virtual-machines/windows/sizes-gpu [リージョン別の Azure 製品 | Microsoft Azure](https://azure.microsoft.com/ja-jp/global-infrastructure/services/?products=virtual-machines,databricks®ions=japan-west,japan-east)
- やはりいくら掛かるのかは気になるところだと思います。 価格について説明します
- Azure Databricksでは通常のVMとは少し料金体系が違います DBUというモノが入りますのでご注意下さい。 基本的なお支払金額は VM（仮想マシン）の料金+DBUの料金＋ストレージ料金の合計金額となっています それぞれ、使った分だけ課金ですので、コストは最小限に押さえることが可能です
- DBUについて軽く説明しておきます
- DBUは Databricksの利用料金と考えて下さい ワークロード夜呼ばれる処理の実行方法の違いによって料金が違います。 また必要なDBU数はVMごとに設定されております。 VMごとのDBU数はこの後説明しますが先にワークロードについて説明します。 ワークロードは2種類あります Dataエンジニアリングとデータ分析です Dataエンジニアリングは ジョブスケジューラによって実行されるいわゆるバッチ処理として実行した場合の料金です データ分析はノートブック名からインタラクティブに処理を実行した際の料金です。
- では、必要なDBU数はVMごとに設定されているという点を見てみましょう DSｖ2シリーズの料金表を画面に出しています。 枠で囲った部分に注目して下さい インスタンsンスごとにDBU数とその料金が設定されています。 DS3 v2の場合は１時間あたり 0.75DBUですが DS5 v2の場合は1時間あたり 3DBUとなっております インスタンスの処理能力に応じて設定さています。 このDBUがコストに乗ってきますので覚えておいて下さい。
- ではいくつか例を見てみましょう 今回はインスタンスにかかる料金のみ例を出しています。
- いまご紹介した例のようなインスタンス料金にストレージにもお金がかかりますので 実際には想定されるデータ量などからストレージにかかる料金もお見積り下さい。
- 冒頭で説明しましたAzure Databricksでできることのイメージが少しでもみなさんと共有できて さぁ使ってみよう、やってみようという気持ちになっていただけたら幸いです！
- 【】 今日このウェビナーで私が伝えたかったことは もう踏み出せるよってことを教えてあげたい できること 10分でSparkのクラスター立ち上げることができる 必要なときに必要なクラスタが立ち上がり、バッチ処理をこなせる Notebookで共同作業できる やり方 3Step おかね
- 【おわり】
- ふぃｎ
- ふぃｎ
- 前半の最後の最後です 使い始めるまでの流れを見てみましょう
- 本ウェブセミナーでは、Databricksというのはどんなものか?Sparkとの関係は？ Databricksを使ったSpark環境の利用開始方法と、料金プランなど基本的なところから、DataBricksを利用したDeepLearningの実践方法までをお伝えします。
- これから具体的にお話していく前に、全体像を御覧いただきたいと思います azure databricksでの最上位の論理単位はxx その下に クラスタがあり クラスタの中にインスタンスあり、 datasetあり という、どこに何が含まれているのかを ツリーマップで 用語の説明と、論理的なつながり理解用
- ワークスペース - 論理的なデータブリックス - Spark クラスターズ - ノートブック - job - data - 複数ある理由 - 開発環境 - ガバナンス的に分けたい - ユーザーを分ける - アクティブディレクトリ単位 - 組織単位 - 製品別 - サブスクリプション - 財布を分けれる
- []でくくられているのはオブジェクトではなく、パラメータ的なやつ {}でくくられているのは別のオブジェクトへ参照
- それぞれ説明 - ユーザー - クラスター - インタラクティブ - ノートブックから - Job - コンフィグ - タイマー - ノートブック - data 他のソース 各関連
- Databricks社の話 Sparkとの関係性 一言でdatabricks 「すぐに使える、簡単、ズッ友sparkSpark」 → このコンテキストで 「お固めに」 メリット - インフラの知識ほぼ不要 - 構築までほぼ9分 AzureDatabricksとは インフラ構築不要ですぐに使える、apache sparkベースの分析プラットフォームです Databricks社のDatabricksというサービスをAzureに統合、最適化したサービスです。 では、いま出てきた「apache spark」「Databricks」について軽く説明していきます。 ## Apache Sparkとは ビッグデータの並列分散処理フレームワークです ビッグデータの並列分散処理といえばhadoopがメジャーですが、Sparkは最近事例も増えてきているイメージです、Hadoopと何が違うのでしょうか Sparkの特徴として インメモリで有ること 便利なコンポーネントが付属していること があります まず、インメモリで動作することですが HadoopはHDFSと呼ばれるストレージに対して処理の中で読み書きを繰り返しますが、そこが速度に対するボトルネックとなりやすいです。 対して、Sparkはメモリ上で処理を行いますので、高速に動作するという特徴があります。 次に、便利なコンポーネントがあること ですが SparkCoreという共通基盤の上に4つのコンポーネントが乗っており、様々なユースケースに対応しています 1つ目がSparkSql + データフレーム と呼ばれるものです Sparkで扱うDataを管理してくれます 2つ目は、ストリーミングです。 リアルタイムなデータ処理・分析のためのコンポーネントです KafkaやHDFS、Apache Flumeと統合されています 3つ目は、Mlibです マシンラーニングライブラリです。 分類、回帰、クラスタリングなど、一般的なアルゴリズム用のutilityで構成されています 4つ目がgrafxです Dataを可視化するためのコンポーネントです これらを使うことで、分散処理、リアルタイムデータ分析、機械学習、可視化など様々なユースケースに対応できます ## Databricks Databricksとは、 今説明した、ApacheSparkの製作者によって作られたDatabricksという会社が運営しています。 Databricksは、Apache Sparkのクラスタを自動で管理し、Sparkで使うためのノートブックなどを用意しており、 WEBベースでSparkを使うことをできるようにしたサービスです。 我々はインフラを気にすることなくSparkを使うことが出来ます。 Sparkのクラスタ管理は必要がなくなります、もちろんオートスケールにも対応しています、 統合 そしてAzureDatabricksとは このDatabricksをAzureに最適化・統合したサービスです。 通常のDatabricksに加え、Azureの各種サービスと深く統合してあります。
- ではAzure Databricksについて詳しく見ていきましょう ここでは、Azure Databricksがどのような構成で動いているかを確認していきましょう
- 【メモ】 サイト https://azure.microsoft.com/ja-jp/services/databricks/ https://docs.microsoft.com/ja-jp/azure/azure-databricks/ リージョン https://azure.microsoft.com/ja-jp/global-infrastructure/regions/ https://azure.microsoft.com/ja-jp/global-infrastructure/services/
- 実際気になるお金の話を少ししておきます Azure DatabricksはDBUという単位で課金されます VM料金 + DBUとなります DBUはインスタンスごとに定義されています 例えば DSv2 シリーズ の場合 DS3は Vcpu 4 に対して DBUは0.75となっています DS4は VCPU 8 に対して 1.5です 仮想マシンの処理能力によってそれぞれ定義されています 仮想マシン料金とDBU料金ともう一つ Azure Blobストレージの料金もかかります ＤBではDBFSというストレージにDataをためますがこれはAzure Blobストレージに保存することで、Clusterを落としても消えない仕組みなっています こちらにも当然お金がかかりますので注意しましょう 仮想マシンDS3の場合を見てみましょう なそ、スタンダードレベルのデータ分析ワークロードとします DS3の仮想マシンを4台 1日 3時間のバッチ処理を毎日するとします すると まずVM料金は 時間あたり 35.4円のため 35.4円*3時間*30日*4台 = 12744円/月 DBUは、0.75のため 44.8円 * 0.75DBU * 3時間 * 30日 * 4台 = 12096円/月 合計すると 24840円 となります +でストレージ料金もかかりますのでご注意下さい https://azure.microsoft.com/ja-jp/pricing/details/databricks/
- ここまでで全体像は見えてきたかと思います ここから実際にワークスペースを作成し、Sparkでの分析ができるまでの流れを説明していきます Azureからワークスペースの作成 ワークスペースで Clusterの作成 ノートブックの作成 Jobの作成 Dataのアップロード JOBの実行
- ではAzure Databricksについて詳しく見ていきましょう ここでは、Azure Databricksがどのような構成で動いているかを確認していきましょう
- 【準備】 - 3minクッキング 別ワークスペース（得上よう） - クラスター（時間がかかるので先に立てておく）
- まずは全体像を御覧いただきたいと思います azure databricksでの最上位の論理単位はワークスペースです。 この単位でDatabricksを管理していきます ワークスペースの中に クラスタ ジョブ Data ノートブック ユーザー が存在します クラスタは、JOBの実行を実際に行うサーバ群を設定していきます。 設定と言っても、スパックと台数を選ぶ程度の簡単設定となっています。 ジョブは、主にタスクとスケジュールからなります タスクは実際に実行する処理を指定します Databricks上で作成したノートブック、またはJavaやScaraで作ったJARを設定します DataはDatabricks上で取り扱うDataを管理します アップロード・DBFS・他のデータソースを使うことが出来ます アップロードはCSVなどのファイルをアップロードすることが出来あmす DBFSとは、Databricksファイルシステムです、Databricks上の共有ディスクです 他のデータソースは、Azure BLOB ストレージや データレイクstore、また、エラスティックサーチやRedis、KafkaなどDataブリック外のデータソースへアクセスすることが出来あmす JDBCにも対応しているので、様々なデータソースに接続可能です スケジュールは設定タスクをいつ実行するかや定期実行の設定などをすることが出来あmす これをClusterと紐つけます そして、ノートブックです、 ノートブックは、PythonのジュピターノートブックのようなWEB上の簡易エディタでさくせいします。 PythonでSparkの処理を記述していきます 最後にユーザーです。 AADと統合もされていますが、個別にAzureDatabricks専用のユーザーを作ることも可能です このユーザー単位でDataやノートブックを作成、共有、協働作業を行うことが可能です クラスタがあり クラスタの中にインスタンスあり、 datasetあり という、どこに何が含まれているのかを ツリーマップで 用語の説明と、論理的なつながり理解用
- https://info.microsoft.com/JA-SQLDB-WBNR-FY19-09Sep-14-WebinarSparktostartwithDatabricks-MCW0008293_01Registration-ForminBody.html?ls=Website&lsd=AzureWebsite
- 【準備】 - 3minクッキング 別ワークスペース（得上よう） - クラスター（時間がかかるので先に立てておく）
- 【準備】 - 3minクッキング 別ワークスペース（得上よう） - クラスター（時間がかかるので先に立てておく）
- 前半はこの流れで説明させていただきます
- ではまずは概要を説明いたします
- 続いて、Azure Databricksの構成要素について少し詳しく見ていきましょう
- では、Azure Databricksに対応しているリージョンについて見ていきましょう
- Azureは現在、世界に54リージョン展開されています この中でAzure Databricksが利用可なのは次のリージョンです
- Azure Databricksで機械学習を行いたい方は、Databricksが対応しているリージョン以外にバーチャルマシーンにGPUが乗ったものがあるかどうかも注意して下さい 世界地図の緑色で囲んだところがAzureDatabricksが使えかつGPUインスタンスが対応しているところです 機械学習用途でお考えの方は緑色の枠で囲ったリージョンである 〇〇、まるまる、丸々をご利用下さい。 メモ https://docs.microsoft.com/ja-jp/azure/virtual-machines/windows/sizes-gpu [リージョン別の Azure 製品 | Microsoft Azure](https://azure.microsoft.com/ja-jp/global-infrastructure/services/?products=virtual-machines,databricks®ions=japan-west,japan-east)
- 現在日本などでは使えないのですが 更に使えるリージョンは増加中です 2018年4Q中に 灰色の枠で囲んだ地域でも利用可能になる予定です。 日本リージョンでももうすぐ利用です。 メモ https://docs.microsoft.com/ja-jp/azure/virtual-machines/windows/sizes-gpu [リージョン別の Azure 製品 | Microsoft Azure](https://azure.microsoft.com/ja-jp/global-infrastructure/services/?products=virtual-machines,databricks®ions=japan-west,japan-east)
- ここにアジェンダ
- 前半の最後の最後です 使い始めるまでの流れを見てみましょう
- これで前半を終わります
- 全体像を御覧いただきたいと思います azure databricksでの最上位の論理単位はワークスペースです。 この単位でDatabricksを管理していきます ワークスペースの中に クラスタ ジョブ Data ノートブック ユーザー が存在します クラスタは、JOBの実行を実際に行うサーバ群を設定していきます。 設定と言っても、スパックと台数を選ぶ程度の簡単設定となっています。 ジョブは、主にタスクとスケジュールからなります タスクは実際に実行する処理を指定します Databricks上で作成したノートブック、またはJavaやScaraで作ったJARを設定します DataはDatabricks上で取り扱うDataを管理します アップロード・DBFS・他のデータソースを使うことが出来ます アップロードはCSVなどのファイルをアップロードすることが出来あmす DBFSとは、Databricksファイルシステムです、Databricks上の共有ディスクです 他のデータソースは、Azure BLOB ストレージや データレイクstore、また、エラスティックサーチやRedis、KafkaなどDataブリック外のデータソースへアクセスすることが出来あmす JDBCにも対応しているので、様々なデータソースに接続可能です スケジュールは設定タスクをいつ実行するかや定期実行の設定などをすることが出来あmす これをClusterと紐つけます そして、ノートブックです、 ノートブックは、PythonのジュピターノートブックのようなWEB上の簡易エディタでさくせいします。 PythonでSparkの処理を記述していきます 最後にユーザーです。 AADと統合もされていますが、個別にAzureDatabricks専用のユーザーを作ることも可能です このユーザー単位でDataやノートブックを作成、共有、協働作業を行うことが可能です クラスタがあり クラスタの中にインスタンスあり、 datasetあり という、どこに何が含まれているのかを ツリーマップで 用語の説明と、論理的なつながり理解用
- # --- メモ --- TDSP
- これらを構築するための基盤が数分で立ち上がります
- Cluster Mode Databricks Runtime Version Python Version Driver Type Worker Type Auto Termination Etc… Spark Config Environment Variables Tags Logging Init Scripts
- では、Sparkについてです
- では、databricksについてです
- では、Azure Databricksに対応しているリージョンについて見ていきましょう
- やはりいくら掛かるのかは気になるところだと思います。 価格について説明します
- ストレージは 注意）操作とデータ転送の料金は今回省きます
- 前半の最後の最後です 使い始めるまでの流れを見てみましょう
- これで前半を終わります
- 冒頭で説明しましたAzure Databricksでできることのイメージが少しでもみなさんと共有できて さぁ使ってみよう、やってみようという気持ちになっていただけたら幸いです！
- ここにアジェンダ
- 前半の最後の最後です 使い始めるまでの流れを見てみましょう
- 続いて実際に画面を操作しながらAzureDatabricksを使ったデモを行います。
- 前半はAzure Databricksの概要 後半は実際にDemoを行います 大枠を掴み、実際の操作を見ることで、使い始めるお手伝いができたらと思います。
- について