Azure Databricksで始めるSpark 構築から活用までの第一歩

No notes for slide

Azure Databricksで始めるSpark構築から活用までの第一歩

この流れで説明させていただきます

まずは、AzureDatabricksで何ができるのかをご説明します。

Azure Databricksは、主に
ビッグデータ分析
リアルタイム分析
機械学習
などを行うことが可能です。

これらを開発や運用するために必要な環境も揃っています
複数人で同時に作業可能なノートブックがあります
データを可視化し、それをダッシュボード化できます
定期的にデータを取り込み処理し、保存するようなflowを組んだり、定期実行する仕組みがあります
Azureの各種データソースや一般的なDBなどに接続することができます

やりたいことを実現する必要な環境が一式揃っているイメージです
そして、この環境が数分で準備可能です！

少し深掘りながら説明していきます。

Azure Databricksの概要です

Azure Databricksとは
インフラ構築不要ですぐに使える、apache sparkベースの分析プラットフォームです
先ほど説明した「
- ビッグデータ分析
リアルタイム分析
機械学習
」をapacheSparkベースで開発していきます。

AzureDatabricksのベースとなっている、Databricks社のDatabricksというサービスをAzureに統合、最適化したサービスです。

ではまずは、いま出てきた「apache spark」「Databricks」について先に説明していきます。

まずは、apache Sparkについてです

Apache Sparkとは
ビッグデータの並列分散処理フレームワークです
ビッグデータの並列分散処理といえばHadoopも聞きますが、Hadoopと何が違うのでしょうか
Sparkの特徴として
- インメモリで処理を行うので高速であること
- 便利なコンポーネントが付属しているのであらゆるユースケースに対応できること
があります

まず、インメモリで動作することですが
HadoopもSparkも処理の途中でデータを頻繁に保存しますが、保存先が違います。
HadoopはHDFSと呼ばれるストレージに対して処理の中で読み書きを繰り返しますが、そこが速度に対するボトルネックとなりやすいです。
対して、Sparkはメモリ上で処理を行いますので、高速に動作するという特徴があります。

次に、便利なコンポーネントがあること
ですが
SparkCoreという共通基盤の上に4つのコンポーネントが乗っており、様々なユースケースに対応しています
図の左から説明します

1つ目がSparkSql&データフレームと呼ばれるものです
　Sparkで扱うDataを管理してくれます
SQLかデータフレームというものを介して、Sparkの持っているデータにアクセスする機能を持っています

メモ
[Spark SQL & DataFrames | Apache Spark](https://spark.apache.org/sql/)

2つ目は、Spark Streamingです。
　リアルタイムなデータ処理・分析のためのコンポーネントです
　KafkaやHDFS、Apache Flumeと統合されています

3つ目は、MLlibです
マシンラーニングライブラリです。

分類、回帰、クラスタリングなどのアルゴリズム用のユーティリティ
と
機械学習のワークフロー用のユーティリティが
含まれています

4つ目がgrafxです
グラフ構造のデータを扱うためのコンポーネントです

これらを使うことで、分散処理、リアルタイムデータ分析、機械学習、グラフ演算など様々なユースケースに対応できます
また、これらを高度に分散処理してくれる素敵なフレームワークとなっています

最後に対応言語ですが
Python
R
Java
Scala
SQL
です
これらで処理を記述していきます

では、databricksについてです

## Databricks
Databricksとは、
今説明した、Apache Sparkの製作者によって作られたDatabricksという会社が開発運営しているサービスです。
Databricksは、Apache Sparkのクラスタを自動で管理し、Sparkで使うためのノートブックなどを用意しており、
WEBベースでSparkを使うことをできるようにしたサービスです。

Sparkを運用していく上での不安は何でしょうか？
インフラ
セキュリティ
コスト
は気になるところではないでしょうか

自前でSparkのクラスタを組み、日々運用するのは難しそう、人員がいない
Dataやノートブックのセキュリティが心配
インフラ費用・保守費用が心配
それらをまるっと引き受けてくれるのがDatabricksです。

DatabricksはSparkのPaaSです
インフラ周りを抽象化し、分析者開発者にそれらを気にせず作業に集中できる環境を提供してくれています
加えて、NootbookでWEB上での分析開発・そして共同作業を実現しています。

我々はインフラを気にすることなくSparkを使うことが出来ます。
Sparkのクラスタの構築も運用管理も必要がなくなります。
データエンジニアリングに集中できる素敵なサービスです。

さて、apache SparkとDatabricksについて概要を掴んでいただけたかと思います
では、Azure Databricksとは無印のDatabricksと何が違うのでしょうか？

Databricksだけでも非常に優秀なのですが、Azureに統合されていることで便利な点が大きく2つあります
1つ目が
　Azureの多彩なデータソースにアクセス可能なことです

（Azureの多彩なデータソースにアクセス可能なことです）
　- Azure BLOBストレージ
　- Azure SQL Data Warehouse
　- Azure Data Lake store
　- Azure CosmosDB
　- Power BI
などと統合されています

2つ目がAzure Active Directory と統合されていることでエンタープライズレベルのセキュリティを提供されていることです。
　Azure Databricksのノートブック、クラスター、ジョブ、およびデータに対してきめ細かいユーザー権限を設定することが可能です

まずは全体像を御覧いただきたいと思います

azure databricksでの最上位の論理単位はワークスペースです。
この単位でDatabricksを管理していきます

ワークスペースの中には
クラスタ
ジョブ
Data
ノートブック
ユーザー
が存在します

それぞれどのような役割なのか説明していきます

azure databricksでの最上位の論理単位はワークスペースです。
この単位でDatabricksを管理していきます

ワークスペースの中には
クラスタ
ジョブ
ノートブック
ユーザー
Data
が存在します

クラスタは、JOBの実行を実際に行うサーバ群を設定していきます。
設定と言っても、スペックと台数を選ぶ程度の簡単設定となっています。

ジョブは、主にタスクとスケジュールからなります

タスクは実際に実行する処理を指定します
Databricks上で作成したノートブック、またはJavaやScaraで作ったJARを設定します

スケジュールは設定タスクをいつ実行するかや定期実行の設定などをすることが出来あmす

ノートブックは、
ノートブックは、PythonのジュピターノートブックのようなWEB上の簡易エディタでさくせいします。
PythonなどでSparkの処理を記述していきます

ユーザーです。
AADと統合もされていますが、個別にAzureDatabricks専用のユーザーを作ることも可能です
このユーザー単位でDataやノートブックを作成、共有、協働作業を行うことが可能です

DataはDatabricks上で取り扱うDataを管理します
アップロード・DBFS・他のデータソースを使うことが出来ます
アップロードはCSVなどのファイルをアップロードすることが出来あmす
DBFSとは、Databricksファイルシステムです、Databricks上の共有ディスクです
他のデータソースは、Azure BLOB ストレージやデータレイクstore、また、エラスティックサーチやRedis、KafkaなどDataブリック外のデータソースへアクセスすることが出来あmす
JDBCにも対応しているので、様々なデータソースに接続可能です

黄色い枠でかこんな部分の
Workspaceの作成
Clusterの作成
ノーチブックの作成
を見ていきましょう

ここまででインタラクティブにSparkを使う環境ができあがります

Azureのアカウントは作成済みという前提で進めていきます。

まずはWorkspaceを作成していきます

検索やすべてのサービスのフィルタ等に「databricks」と入れてDatabricsの画面に入って下さい
追加buttonからWorkspaceの追加が可能です
ここで、
Workspace名を任意の名前
サブスクリプション
リソースグループ
リージョンを適切に
Pricing Tire はStandardかプレミアムを選択可能です
ADのロールベースのアクセス制御などが必要な場合はプレミアムを選択して下さい

入力し
作成を押すとWorkspaceの作成が開始されます

Workspaceは複数作れますので
プロダクトの違いや、開発環境本番環境で分けたいとき
また、サブスクリプションを分けたいときなど用途に応じて作成して下さい。

Workspaceの作成が完了すると
Lunch Workspacebuttonが表示されます
ここから、DatabricsのWorkspaceにログインします

通常は、Azureのユーザーで自動でログインされます

これがDatabricsのWorkspaceです

つぎにClusterを立ち上げて見ます

左メニューにClustersとありますので選択してください

Clusters画面の Create Clusterボタンを押します
New Cluster画面に入りますので設定をしていきます

Cluster Nameは管理しやすい名前を
Cluster モードは2種類あります
一つのClusterを共有して複数で使いたい場合high Concurrency(ハイコンカレンシー)を
シングルユーザーなど並列実行数を求めない場合はStandardを選択してください

Databrics ランタイムバージョンを選択してください
GPUが必要な場合ここでGPU対応のランタイムを選択する必要があります。

※ ドライバーがmaster的なワーカーがワーカー的な
ドライバータイプとワーカータイプは追加遺体VMを選択してください
通常同じものが入ります

ワーカータイプの
Enable autoscalingにチェックを入れるとオートスケーリングが有効になります
Min から Max に指定した範囲で自動でスケーリングを行います

また、 Auto Terminationにチェックを入れ時間を指定しておくと
設定した時間操作が行われなかった際に自動でClusterを落としてくれるので無駄に課金されることが少なくなります

設定項目の入力が終わりましたら
CreateClusterbuttonを押して下さい

最後にノートブックを作成します

Workspaceのトップ画面に戻って、new notebookリンクを押して下さい

ノートブック名と言語を入力するダイアログが出ますので入力しCreateボタンを押して下さい

ジュピターノートブック風の画面が出たかと思います
ここは複数人で同時編集可能ですし
表示したGraphをダッシュボードに追加するなど、便利な機能が満載です
この後のDemoでお見せいたします

使い始めるまでの流れということで
Workspace、Cluster、ノートブックの作成までを行いました
これでもうプログラミングを始めることが可能です

Azureは現在、世界に54リージョン展開されています
この中でAzure Databricksが利用可なのは次のリージョンです

赤い枠で囲んであります。

日本からですと、東アジアか東南アジアがもっとも近いリージョンですね

現在日本などでは使えないのですが
更に使えるリージョンは増加中です
2018年4Q中に
灰色の枠で囲んだ地域でも利用可能になる予定です。
日本リージョンでももうすぐ利用です。

メモ
https://docs.microsoft.com/ja-jp/azure/virtual-machines/windows/sizes-gpu
[リージョン別の Azure 製品 | Microsoft Azure](https://azure.microsoft.com/ja-jp/global-infrastructure/services/?products=virtual-machines,databricks&regions=japan-west,japan-east)

やはりいくら掛かるのかは気になるところだと思います。
価格について説明します

Azure Databricksでは通常のVMとは少し料金体系が違います
DBUというモノが入りますのでご注意下さい。

基本的なお支払金額は
VM（仮想マシン）の料金+DBUの料金＋ストレージ料金の合計金額となっています

それぞれ、使った分だけ課金ですので、コストは最小限に押さえることが可能です

DBUについて軽く説明しておきます

DBUは　Databricksの利用料金と考えて下さい
ワークロード夜呼ばれる処理の実行方法の違いによって料金が違います。

また必要なDBU数はVMごとに設定されております。

VMごとのDBU数はこの後説明しますが先にワークロードについて説明します。

ワークロードは2種類あります
Dataエンジニアリングとデータ分析です

Dataエンジニアリングは
ジョブスケジューラによって実行されるいわゆるバッチ処理として実行した場合の料金です

データ分析はノートブック名からインタラクティブに処理を実行した際の料金です。

では、必要なDBU数はVMごとに設定されているという点を見てみましょう
DSｖ2シリーズの料金表を画面に出しています。

枠で囲った部分に注目して下さい
インスタンsンスごとにDBU数とその料金が設定されています。

DS3　v2の場合は１時間あたり 0.75DBUですが
DS5　v2の場合は1時間あたり 3DBUとなっております

インスタンスの処理能力に応じて設定さています。

このDBUがコストに乗ってきますので覚えておいて下さい。

ではいくつか例を見てみましょう
今回はインスタンスにかかる料金のみ例を出しています。

いまご紹介した例のようなインスタンス料金にストレージにもお金がかかりますので
実際には想定されるデータ量などからストレージにかかる料金もお見積り下さい。

冒頭で説明しましたAzure Databricksでできることのイメージが少しでもみなさんと共有できて
さぁ使ってみよう、やってみようという気持ちになっていただけたら幸いです！

【】
今日このウェビナーで私が伝えたかったことは
もう踏み出せるよってことを教えてあげたい
　できること
　　10分でSparkのクラスター立ち上げることができる
　　必要なときに必要なクラスタが立ち上がり、バッチ処理をこなせる
　　Notebookで共同作業できる
　やり方
　　3Step
　おかね

【おわり】

ふぃｎ

前半の最後の最後です
使い始めるまでの流れを見てみましょう

本ウェブセミナーでは、Databricksというのはどんなものか?Sparkとの関係は？　Databricksを使ったSpark環境の利用開始方法と、料金プランなど基本的なところから、DataBricksを利用したDeepLearningの実践方法までをお伝えします。

これから具体的にお話していく前に、全体像を御覧いただきたいと思います

azure databricksでの最上位の論理単位はxx その下にクラスタがありクラスタの中にインスタンスあり、 datasetありという、どこに何が含まれているのかをツリーマップで用語の説明と、論理的なつながり理解用

ワークスペース
- 論理的なデータブリックス
　- Spark クラスターズ
　- ノートブック
　- job
　- data

- 複数ある理由
　- 開発環境
　　- ガバナンス的に分けたい
　　　- ユーザーを分ける
　- アクティブディレクトリ単位
　- 組織単位
　- 製品別
　- サブスクリプション
　　- 財布を分けれる

[]でくくられているのはオブジェクトではなく、パラメータ的なやつ
{}でくくられているのは別のオブジェクトへ参照

それぞれ説明
- ユーザー
- クラスター
　- インタラクティブ
　　- ノートブックから
- Job
　- コンフィグ
　- タイマー
- ノートブック
- data
　他のソース

各関連

Databricks社の話
Sparkとの関係性

一言でdatabricks
「すぐに使える、簡単、ズッ友sparkSpark」
→ このコンテキストで

「お固めに」

メリット
- インフラの知識ほぼ不要
- 構築までほぼ9分

AzureDatabricksとは
インフラ構築不要ですぐに使える、apache sparkベースの分析プラットフォームです

Databricks社のDatabricksというサービスをAzureに統合、最適化したサービスです。

では、いま出てきた「apache spark」「Databricks」について軽く説明していきます。

## Apache Sparkとは
ビッグデータの並列分散処理フレームワークです
ビッグデータの並列分散処理といえばhadoopがメジャーですが、Sparkは最近事例も増えてきているイメージです、Hadoopと何が違うのでしょうか
Sparkの特徴として
インメモリで有ること
便利なコンポーネントが付属していること
があります

まず、インメモリで動作することですが
HadoopはHDFSと呼ばれるストレージに対して処理の中で読み書きを繰り返しますが、そこが速度に対するボトルネックとなりやすいです。
対して、Sparkはメモリ上で処理を行いますので、高速に動作するという特徴があります。

次に、便利なコンポーネントがあること
ですが
SparkCoreという共通基盤の上に4つのコンポーネントが乗っており、様々なユースケースに対応しています

1つ目がSparkSql + データフレームと呼ばれるものです
　Sparkで扱うDataを管理してくれます

2つ目は、ストリーミングです。
　リアルタイムなデータ処理・分析のためのコンポーネントです
　KafkaやHDFS、Apache Flumeと統合されています

3つ目は、Mlibです
マシンラーニングライブラリです。
分類、回帰、クラスタリングなど、一般的なアルゴリズム用のutilityで構成されています

4つ目がgrafxです
Dataを可視化するためのコンポーネントです

これらを使うことで、分散処理、リアルタイムデータ分析、機械学習、可視化など様々なユースケースに対応できます

## Databricks
Databricksとは、
今説明した、ApacheSparkの製作者によって作られたDatabricksという会社が運営しています。
Databricksは、Apache Sparkのクラスタを自動で管理し、Sparkで使うためのノートブックなどを用意しており、
WEBベースでSparkを使うことをできるようにしたサービスです。
我々はインフラを気にすることなくSparkを使うことが出来ます。
Sparkのクラスタ管理は必要がなくなります、もちろんオートスケールにも対応しています、

統合
そしてAzureDatabricksとは
このDatabricksをAzureに最適化・統合したサービスです。
通常のDatabricksに加え、Azureの各種サービスと深く統合してあります。

ではAzure Databricksについて詳しく見ていきましょう
ここでは、Azure Databricksがどのような構成で動いているかを確認していきましょう

【メモ】
サイト
https://azure.microsoft.com/ja-jp/services/databricks/
https://docs.microsoft.com/ja-jp/azure/azure-databricks/
リージョン
https://azure.microsoft.com/ja-jp/global-infrastructure/regions/
https://azure.microsoft.com/ja-jp/global-infrastructure/services/

実際気になるお金の話を少ししておきます

Azure DatabricksはDBUという単位で課金されます

VM料金 + DBUとなります

DBUはインスタンスごとに定義されています

例えば
DSv2 シリーズ
の場合
DS3は Vcpu 4 に対して DBUは0.75となっています
DS4は VCPU 8 に対して 1.5です
仮想マシンの処理能力によってそれぞれ定義されています

仮想マシン料金とDBU料金ともう一つ
Azure Blobストレージの料金もかかります

ＤBではDBFSというストレージにDataをためますがこれはAzure Blobストレージに保存することで、Clusterを落としても消えない仕組みなっています
こちらにも当然お金がかかりますので注意しましょう

仮想マシンDS3の場合を見てみましょう
なそ、スタンダードレベルのデータ分析ワークロードとします

DS3の仮想マシンを4台
1日 3時間のバッチ処理を毎日するとします

すると
まずVM料金は時間あたり 35.4円のため
35.4円*3時間*30日*4台 = 12744円/月
DBUは、0.75のため
44.8円 * 0.75DBU * 3時間 * 30日 * 4台 = 12096円/月

合計すると
24840円となります
+でストレージ料金もかかりますのでご注意下さい

https://azure.microsoft.com/ja-jp/pricing/details/databricks/

ここまでで全体像は見えてきたかと思います
ここから実際にワークスペースを作成し、Sparkでの分析ができるまでの流れを説明していきます

Azureからワークスペースの作成

ワークスペースで
Clusterの作成
ノートブックの作成
Jobの作成
Dataのアップロード
JOBの実行

ではAzure Databricksについて詳しく見ていきましょう
ここでは、Azure Databricksがどのような構成で動いているかを確認していきましょう

【準備】
- 3minクッキング
　別ワークスペース（得上よう）
　- クラスター（時間がかかるので先に立てておく）

まずは全体像を御覧いただきたいと思います

azure databricksでの最上位の論理単位はワークスペースです。
この単位でDatabricksを管理していきます

ワークスペースの中に
クラスタ
ジョブ
Data
ノートブック
ユーザー
が存在します

クラスタは、JOBの実行を実際に行うサーバ群を設定していきます。
設定と言っても、スパックと台数を選ぶ程度の簡単設定となっています。

ジョブは、主にタスクとスケジュールからなります

タスクは実際に実行する処理を指定します
Databricks上で作成したノートブック、またはJavaやScaraで作ったJARを設定します

DataはDatabricks上で取り扱うDataを管理します
アップロード・DBFS・他のデータソースを使うことが出来ます
アップロードはCSVなどのファイルをアップロードすることが出来あmす
DBFSとは、Databricksファイルシステムです、Databricks上の共有ディスクです
他のデータソースは、Azure BLOB ストレージやデータレイクstore、また、エラスティックサーチやRedis、KafkaなどDataブリック外のデータソースへアクセスすることが出来あmす
JDBCにも対応しているので、様々なデータソースに接続可能です

スケジュールは設定タスクをいつ実行するかや定期実行の設定などをすることが出来あmす

これをClusterと紐つけます

そして、ノートブックです、
ノートブックは、PythonのジュピターノートブックのようなWEB上の簡易エディタでさくせいします。
PythonでSparkの処理を記述していきます

最後にユーザーです。
AADと統合もされていますが、個別にAzureDatabricks専用のユーザーを作ることも可能です
このユーザー単位でDataやノートブックを作成、共有、協働作業を行うことが可能です

クラスタがありクラスタの中にインスタンスあり、 datasetありという、どこに何が含まれているのかをツリーマップで用語の説明と、論理的なつながり理解用

https://info.microsoft.com/JA-SQLDB-WBNR-FY19-09Sep-14-WebinarSparktostartwithDatabricks-MCW0008293_01Registration-ForminBody.html?ls=Website&lsd=AzureWebsite

【準備】
- 3minクッキング
　別ワークスペース（得上よう）
　- クラスター（時間がかかるので先に立てておく）

前半はこの流れで説明させていただきます

ではまずは概要を説明いたします

続いて、Azure Databricksの構成要素について少し詳しく見ていきましょう

では、Azure Databricksに対応しているリージョンについて見ていきましょう

Azureは現在、世界に54リージョン展開されています
この中でAzure Databricksが利用可なのは次のリージョンです

Azure Databricksで機械学習を行いたい方は、Databricksが対応しているリージョン以外にバーチャルマシーンにGPUが乗ったものがあるかどうかも注意して下さい
世界地図の緑色で囲んだところがAzureDatabricksが使えかつGPUインスタンスが対応しているところです
機械学習用途でお考えの方は緑色の枠で囲ったリージョンである
〇〇、まるまる、丸々をご利用下さい。

メモ
https://docs.microsoft.com/ja-jp/azure/virtual-machines/windows/sizes-gpu
[リージョン別の Azure 製品 | Microsoft Azure](https://azure.microsoft.com/ja-jp/global-infrastructure/services/?products=virtual-machines,databricks&regions=japan-west,japan-east)

ここにアジェンダ

前半の最後の最後です
使い始めるまでの流れを見てみましょう

これで前半を終わります

全体像を御覧いただきたいと思います

azure databricksでの最上位の論理単位はワークスペースです。
この単位でDatabricksを管理していきます

ワークスペースの中に
クラスタ
ジョブ
Data
ノートブック
ユーザー
が存在します

クラスタは、JOBの実行を実際に行うサーバ群を設定していきます。
設定と言っても、スパックと台数を選ぶ程度の簡単設定となっています。

ジョブは、主にタスクとスケジュールからなります

タスクは実際に実行する処理を指定します
Databricks上で作成したノートブック、またはJavaやScaraで作ったJARを設定します

DataはDatabricks上で取り扱うDataを管理します
アップロード・DBFS・他のデータソースを使うことが出来ます
アップロードはCSVなどのファイルをアップロードすることが出来あmす
DBFSとは、Databricksファイルシステムです、Databricks上の共有ディスクです
他のデータソースは、Azure BLOB ストレージやデータレイクstore、また、エラスティックサーチやRedis、KafkaなどDataブリック外のデータソースへアクセスすることが出来あmす
JDBCにも対応しているので、様々なデータソースに接続可能です

スケジュールは設定タスクをいつ実行するかや定期実行の設定などをすることが出来あmす

これをClusterと紐つけます

そして、ノートブックです、
ノートブックは、PythonのジュピターノートブックのようなWEB上の簡易エディタでさくせいします。
PythonでSparkの処理を記述していきます

最後にユーザーです。
AADと統合もされていますが、個別にAzureDatabricks専用のユーザーを作ることも可能です
このユーザー単位でDataやノートブックを作成、共有、協働作業を行うことが可能です

クラスタがありクラスタの中にインスタンスあり、 datasetありという、どこに何が含まれているのかをツリーマップで用語の説明と、論理的なつながり理解用

# --- メモ ---
TDSP

これらを構築するための基盤が数分で立ち上がります

Cluster Mode

Databricks Runtime Version

Python Version
Driver TypeWorker TypeAuto Termination

Etc…
Spark Config
Environment Variables

Tags
Logging
Init Scripts

では、Sparkについてです

では、databricksについてです

では、Azure Databricksに対応しているリージョンについて見ていきましょう

やはりいくら掛かるのかは気になるところだと思います。
価格について説明します

ストレージは
注意）操作とデータ転送の料金は今回省きます

前半の最後の最後です
使い始めるまでの流れを見てみましょう

これで前半を終わります

ここにアジェンダ

前半の最後の最後です
使い始めるまでの流れを見てみましょう

続いて実際に画面を操作しながらAzureDatabricksを使ったデモを行います。

前半はAzure Databricksの概要
後半は実際にDemoを行います

大枠を掴み、実際の操作を見ることで、使い始めるお手伝いができたらと思います。

について