Submit Search
Upload
平成最後の1月ですし、Databricksでもやってみましょうか
•
1 like
•
1,438 views
Ryuichi Tokugami
Follow
平成最後の1月ですし、Databricksでもやってみましょうか #azuretechlove 2019年 01/23(水) Azure Tech Lab #1 ~よう知らんけど~
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 19
Download now
Download to read offline
Recommended
ビッグデータ処理データベースを分類し、2018/9時点で最新のプロダクトを紹介しています。
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~ (NTTデータ テクノロジーカンファレンス 2020 発表資料) 2020年10月16日(金) NTTデータ システム技術本部 デジタル技術部 梅森 直人 講演動画は、YouTubeチャンネル「NTT DATA Tech」にて公開中! https://www.youtube.com/watch?v=NDb9nORBT_A
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者: 関山 宜孝 (Amazon Web Services Japan) 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop/Spark コミュニティの直近の開発状況についても解説します。 http://hadoop.apache.jp/hcj2019-program/
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
第15回 MLOps 勉強会(Online)で使用したスライドです。MLOpsに便利なAWSサービスの紹介と事例をご紹介しています。
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
大規模データ活用向けストレージレイヤソフトのこれまでとこれから (NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05) NTTデータ システム技術本部 OSSプロフェッショナルサービス 吉田 耕陽, 福久 琢也
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference 2021 Online/Kyotoエディション - (Open Source Conference 2021 Online/Kyoto 発表資料) 2021年7月30日 株式会社NTTデータ 技術開発本部 先進コンピューティング技術センタ 猿田 浩輔
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
Apache Sparkの基本と最新バージョン3.2のアップデート (Open Source Conference 2021 Online/Fukuoka 発表資料) 2021年11月20日(土) NTTデータ 技術開発本部 猿田 浩輔
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
NTT DATA Technology & Innovation
(デブサミ 2016 講演資料) Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 土橋 昌 吉田 耕陽 イベントページ http://event.shoeisha.jp/devsumi/20160218/session/991/
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
Recommended
ビッグデータ処理データベースを分類し、2018/9時点で最新のプロダクトを紹介しています。
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~ (NTTデータ テクノロジーカンファレンス 2020 発表資料) 2020年10月16日(金) NTTデータ システム技術本部 デジタル技術部 梅森 直人 講演動画は、YouTubeチャンネル「NTT DATA Tech」にて公開中! https://www.youtube.com/watch?v=NDb9nORBT_A
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者: 関山 宜孝 (Amazon Web Services Japan) 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop/Spark コミュニティの直近の開発状況についても解説します。 http://hadoop.apache.jp/hcj2019-program/
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
第15回 MLOps 勉強会(Online)で使用したスライドです。MLOpsに便利なAWSサービスの紹介と事例をご紹介しています。
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
大規模データ活用向けストレージレイヤソフトのこれまでとこれから (NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05) NTTデータ システム技術本部 OSSプロフェッショナルサービス 吉田 耕陽, 福久 琢也
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference 2021 Online/Kyotoエディション - (Open Source Conference 2021 Online/Kyoto 発表資料) 2021年7月30日 株式会社NTTデータ 技術開発本部 先進コンピューティング技術センタ 猿田 浩輔
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
Apache Sparkの基本と最新バージョン3.2のアップデート (Open Source Conference 2021 Online/Fukuoka 発表資料) 2021年11月20日(土) NTTデータ 技術開発本部 猿田 浩輔
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
NTT DATA Technology & Innovation
(デブサミ 2016 講演資料) Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 土橋 昌 吉田 耕陽 イベントページ http://event.shoeisha.jp/devsumi/20160218/session/991/
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
2018年10月31日に開催されたNTTデータ テクノロジーカンファレンス2018での講演資料です。
Spark SQL - The internal -
Spark SQL - The internal -
NTT DATA OSS Professional Services
ポスト・ラムダアーキテクチャの切り札? Apache Hudi (NTTデータ テクノロジーカンファレンス 2020 発表資料) 2020年10月16日(金) NTT ソフトウェアイノベーションセンタ Zhai Hongjie 講演動画は、YouTubeチャンネル「NTT DATA Tech」にて公開中! https://www.youtube.com/watch?v=qMmJUjpff-8
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Apache Airflowとは、 「Python言語で定義したワークフローを、スケジュール・モニタリングするためのプラットフォーム」です。 この勉強会では、Apache Airflowの概要と特徴を紹介し。 Airflowをセットアップし簡単なワークフローを実行する方法を説明します。 ジョブの依存関係解決・再実行が行いやすいというAirflowの特徴が活かせる利用シーンとして、 レポーティングや機械学習での利用イメージについても紹介します。
Apache Airflow入門 (マーケティングデータ分析基盤技術勉強会)
Apache Airflow入門 (マーケティングデータ分析基盤技術勉強会)
Takeshi Mikami
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuokaエディション - (オープンソースカンファレンス2020 Online/Fukuoka講演資料) 2020/11/28 株式会社NTTデータ 技術開発本部 猿田 浩輔
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
NTT DATA Technology & Innovation
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法についてご紹介します。PythonとSparkにおけるJobの高速化に奮闘している方は必聴です。(当講演はSparkの基本を理解している方を対象としています。初めての方は、下記サイトのVideoを事前に視聴することをおすすめします。http://bit.ly/hkPySpark)
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Holden Karau
Presto Meetup 201706 の発表資料です. https://techplay.jp/event/621143
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
Amazon Web Services Japan
これまでのセッションではデータ分析サービスを紹介して来ましたが、今回は Cloud Pub/Sub、Cloud Dataflow を利用したストリーミングデータ処理基盤のアーキテクチャーと構築プロセスを解説します。
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
Google Cloud Platform - Japan
社内研修用に作ったもの 資料内にあるハンズオン https://github.com/tubone24/rr-weather-data-with-aws
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
db tech showcase Tokyo 2018の発表スライドです。以前にアップロードしている「Architecture and Performance」の内容をアップデートしています。
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Mineaki Motohashi
2016/07/15 db tech showcase Tokyo 2016での渡部の講演資料になります
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
【中級者向け】データ基盤の機能の考え方 https://sqlserver.connpass.com/event/210962/ 2021/07/24 登壇資料
Data platformdesign
Data platformdesign
Ryoma Nagata
Middleware Deep Talks (2019.5.23) @AWSLoft で発表したスライドです。
S3 整合性モデルと Hadoop/Spark の話
S3 整合性モデルと Hadoop/Spark の話
Noritaka Sekiyama
第16回 Hadoopソースコードリーディング(2014/05/29) 発表資料 『Apache Sparkのご紹介』(後半:技術トピック) NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 猿田 浩輔 (Kousuke Saruta) http://oss.nttdata.co.jp/ 前半はこちら → http://www.slideshare.net/hadoopxnttdata/apache-spark-spark
Apache Sparkのご紹介 (後半:技術トピック)
Apache Sparkのご紹介 (後半:技術トピック)
NTT DATA OSS Professional Services
Grafana LokiではじめるKubernetesロギングハンズオン (NTT Tech Conference #4 ハンズオン資料) 2020年1月31日 株式会社NTTデータ / NTT DATA Masahiko Utsunomiya
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
2017/03/07開催のイベント「Amazon Aurora事例祭り」での表題セッション資料です。
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
クラスター構成のベストプラクティス Databricks SQLとは
Databricksを初めて使う人に向けて.pptx
Databricksを初めて使う人に向けて.pptx
otato
アプリケーションの分割のアプローチ ●4つのアプローチ - ビジネスファンクション - 動詞/ユースケース - 名詞/リソース - 境界づけられたコンテキスト ● トランザクションの分割 - パイプライン化 (VETRO) - コーディネート (Saga) - 状態更新の非同期化 ( Event History - State Materialize - Domain Specific Query )
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
ビッグデータのリアルタイム処理技術勉強会 http://futureofdata.connpass.com/event/40077/ 発表資料
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
本セッションでは、「AWSを使ってサーバーレスなETL処理をしたいけど、どうやっていいか分からない?」といった方に向けて、AWS Glueと周辺サービスを利用した実装方法(コーディング、テスト、デプロイ、モニタリングなど)を紹介します。
AWS Glueを使った Serverless ETL の実装パターン
AWS Glueを使った Serverless ETL の実装パターン
seiichi arai
神戸Pythonの会での SQLAlchemy 入門ハンズオンの資料です。 座学パートの多いSQLAlchemy Primerよりもハンズオンに重点を置いて、日本語で書き直しました。
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門
泰 増田
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実現するカスタム AI ワークフロー ~データ準備からトレーニング、デプロイまで~ https://satonaoki.wordpress.com/2018/11/08/mstsjp18-azure-ml-databricks/
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実...
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実...
Naoki (Neo) SATO
前処理に欠かせない存在となっている Azure Synapse Analytics。実は推論実行の場の側面も持っています。Spark・SQL Pool(s)・機械学習連携に焦点を当ててご紹介します。
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
Daiyu Hatakeyama
More Related Content
What's hot
2018年10月31日に開催されたNTTデータ テクノロジーカンファレンス2018での講演資料です。
Spark SQL - The internal -
Spark SQL - The internal -
NTT DATA OSS Professional Services
ポスト・ラムダアーキテクチャの切り札? Apache Hudi (NTTデータ テクノロジーカンファレンス 2020 発表資料) 2020年10月16日(金) NTT ソフトウェアイノベーションセンタ Zhai Hongjie 講演動画は、YouTubeチャンネル「NTT DATA Tech」にて公開中! https://www.youtube.com/watch?v=qMmJUjpff-8
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Apache Airflowとは、 「Python言語で定義したワークフローを、スケジュール・モニタリングするためのプラットフォーム」です。 この勉強会では、Apache Airflowの概要と特徴を紹介し。 Airflowをセットアップし簡単なワークフローを実行する方法を説明します。 ジョブの依存関係解決・再実行が行いやすいというAirflowの特徴が活かせる利用シーンとして、 レポーティングや機械学習での利用イメージについても紹介します。
Apache Airflow入門 (マーケティングデータ分析基盤技術勉強会)
Apache Airflow入門 (マーケティングデータ分析基盤技術勉強会)
Takeshi Mikami
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuokaエディション - (オープンソースカンファレンス2020 Online/Fukuoka講演資料) 2020/11/28 株式会社NTTデータ 技術開発本部 猿田 浩輔
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
NTT DATA Technology & Innovation
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法についてご紹介します。PythonとSparkにおけるJobの高速化に奮闘している方は必聴です。(当講演はSparkの基本を理解している方を対象としています。初めての方は、下記サイトのVideoを事前に視聴することをおすすめします。http://bit.ly/hkPySpark)
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Holden Karau
Presto Meetup 201706 の発表資料です. https://techplay.jp/event/621143
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
Amazon Web Services Japan
これまでのセッションではデータ分析サービスを紹介して来ましたが、今回は Cloud Pub/Sub、Cloud Dataflow を利用したストリーミングデータ処理基盤のアーキテクチャーと構築プロセスを解説します。
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
Google Cloud Platform - Japan
社内研修用に作ったもの 資料内にあるハンズオン https://github.com/tubone24/rr-weather-data-with-aws
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
db tech showcase Tokyo 2018の発表スライドです。以前にアップロードしている「Architecture and Performance」の内容をアップデートしています。
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Mineaki Motohashi
2016/07/15 db tech showcase Tokyo 2016での渡部の講演資料になります
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
【中級者向け】データ基盤の機能の考え方 https://sqlserver.connpass.com/event/210962/ 2021/07/24 登壇資料
Data platformdesign
Data platformdesign
Ryoma Nagata
Middleware Deep Talks (2019.5.23) @AWSLoft で発表したスライドです。
S3 整合性モデルと Hadoop/Spark の話
S3 整合性モデルと Hadoop/Spark の話
Noritaka Sekiyama
第16回 Hadoopソースコードリーディング(2014/05/29) 発表資料 『Apache Sparkのご紹介』(後半:技術トピック) NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 猿田 浩輔 (Kousuke Saruta) http://oss.nttdata.co.jp/ 前半はこちら → http://www.slideshare.net/hadoopxnttdata/apache-spark-spark
Apache Sparkのご紹介 (後半:技術トピック)
Apache Sparkのご紹介 (後半:技術トピック)
NTT DATA OSS Professional Services
Grafana LokiではじめるKubernetesロギングハンズオン (NTT Tech Conference #4 ハンズオン資料) 2020年1月31日 株式会社NTTデータ / NTT DATA Masahiko Utsunomiya
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
NTT DATA Technology & Innovation
2017/03/07開催のイベント「Amazon Aurora事例祭り」での表題セッション資料です。
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
クラスター構成のベストプラクティス Databricks SQLとは
Databricksを初めて使う人に向けて.pptx
Databricksを初めて使う人に向けて.pptx
otato
アプリケーションの分割のアプローチ ●4つのアプローチ - ビジネスファンクション - 動詞/ユースケース - 名詞/リソース - 境界づけられたコンテキスト ● トランザクションの分割 - パイプライン化 (VETRO) - コーディネート (Saga) - 状態更新の非同期化 ( Event History - State Materialize - Domain Specific Query )
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
ビッグデータのリアルタイム処理技術勉強会 http://futureofdata.connpass.com/event/40077/ 発表資料
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
本セッションでは、「AWSを使ってサーバーレスなETL処理をしたいけど、どうやっていいか分からない?」といった方に向けて、AWS Glueと周辺サービスを利用した実装方法(コーディング、テスト、デプロイ、モニタリングなど)を紹介します。
AWS Glueを使った Serverless ETL の実装パターン
AWS Glueを使った Serverless ETL の実装パターン
seiichi arai
神戸Pythonの会での SQLAlchemy 入門ハンズオンの資料です。 座学パートの多いSQLAlchemy Primerよりもハンズオンに重点を置いて、日本語で書き直しました。
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門
泰 増田
What's hot
(20)
Spark SQL - The internal -
Spark SQL - The internal -
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Apache Airflow入門 (マーケティングデータ分析基盤技術勉強会)
Apache Airflow入門 (マーケティングデータ分析基盤技術勉強会)
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
大量のデータ処理や分析に使えるOSS Apache Spark入門 - Open Source Conference2020 Online/Fukuoka...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
AWSで作る分析基盤
AWSで作る分析基盤
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
Snowflake Architecture and Performance(db tech showcase Tokyo 2018)
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Data platformdesign
Data platformdesign
S3 整合性モデルと Hadoop/Spark の話
S3 整合性モデルと Hadoop/Spark の話
Apache Sparkのご紹介 (後半:技術トピック)
Apache Sparkのご紹介 (後半:技術トピック)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Databricksを初めて使う人に向けて.pptx
Databricksを初めて使う人に向けて.pptx
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
AWS Glueを使った Serverless ETL の実装パターン
AWS Glueを使った Serverless ETL の実装パターン
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門
Similar to 平成最後の1月ですし、Databricksでもやってみましょうか
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実現するカスタム AI ワークフロー ~データ準備からトレーニング、デプロイまで~ https://satonaoki.wordpress.com/2018/11/08/mstsjp18-azure-ml-databricks/
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実...
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実...
Naoki (Neo) SATO
前処理に欠かせない存在となっている Azure Synapse Analytics。実は推論実行の場の側面も持っています。Spark・SQL Pool(s)・機械学習連携に焦点を当ててご紹介します。
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
Daiyu Hatakeyama
Azure Synapse Analytics は、Azure SQL Data Warehouse を大きく進化させ、SQL pool と呼ばれるプロビジョニング型だけでなく、サーバーレスの SQL on-demand、オートスケール Spark の機能を提供する Spark pool、そして、Azure Data Factory や Power BI の機能も統合したシングルサービスとなります。 本セッションでは、技術的な観点で Azure Synapse Analytics の価値をご説明します。
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
日本マイクロソフト株式会社
DEEP LEARNING LAB「Ignite 2019 最新アップデート AI & BigData 」での登壇資料
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
Tusyoshi Matsuzaki
2018/4/3 Azure Antenna はじめての Azure Data Lake の資料 https://azure.connpass.com/event/82062/
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data Lake
Hideo Takagi
機械学習 / AI (Artificial Intelligence) の現状を知り、既存のデータの活用について考えるための題材です。最新のMicrosoft AI Platform をご紹介しています。
Microsoft AI セミナー - Microsoft AI Platform
Microsoft AI セミナー - Microsoft AI Platform
Daiyu Hatakeyama
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介 基本から最新バージョン3.0まで Open Source Conference 2020 Online/Kyoto 2020年8月28日 講演資料 https://event.ospn.jp/osc2020-online-kyoto/ 株式会社NTTデータ 技術開発本部 猿田 浩輔
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介(Open Source Conference 2020 Online/Kyoto ...
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介(Open Source Conference 2020 Online/Kyoto ...
NTT DATA Technology & Innovation
Slide in session on .NET Lab Oct 2021
Apache Spark on Azure
Apache Spark on Azure
Tusyoshi Matsuzaki
db analytics showcase Sapporo 2018
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Hideo Takagi
2018/06/27 DLLAB Meetup
Azure Databricks 概要
Azure Databricks 概要
Kazunori Okura
Microsoft Azure は機能が沢山あります。また機能を引き出すためのデータストアの仕方も合わせて考える必要があります。本セッションでは普段Azureを利用していない方とのハッカソンの経験をもとに、プロダクト機能からではなく、ユーザー側のニーズや想定されるワークロードから最適な Microsoft Azure のデータベースやストレージの選び方をご説明します。 ---- イベント情報: https://insight-tec.connpass.com/event/55971/ データ分析ブームにのった勉強会やセミナーは数多くありますが、真に理解できるよう、意味のある勉強会はごくわずか。本当に理解し使いこなすため、その一歩を踏み出すための勉強会、札幌にて開催します。 本イベントは、世界的に開催されているオープンソースGIS(地理情報システム)の祭典「FOSS4G Hokkaido 2017」と同時開催になります。本イベントへの申込みで、どちらのセッションにもご参加いただけます。 ※6月30日に予定されているFOSS4G Hokkaidoのハンズオン(体験型講習会)は有料となります。
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
Daisuke Masubuchi
Spark Summit 2014 の簡単な報告と最近の Apache Spark コミュニティーへの取り組みについて,2014-08 のリクルートテクノロジーズ アドバンストテクノロジーラボのラボ内の研究会で発表した資料です.
Spark Summit 2014 の報告と最近の取り組みについて
Spark Summit 2014 の報告と最近の取り組みについて
Recruit Technologies
▼発表内容はこちら。 Azure AI (Cognitive Services, Azure Machine Learning, Applied AI Service)アップデートに関して。 今回のUpdateにより、GPT-3をAzureで使える「Azure OpenAI Service」や、言語処理系サービスを統合し、新機能が追加された「Azure Cognitive Service for Language」等が発表されました。それらを中心にAzure Synapse AnalyticsとのAI/ML連携やその他の最新Updateも絡めて、最新情報をお伝えします! ▼イベントページはこちら https://dllab.connpass.com/event/232219/
講演資料「Azure AI Update Ignite Fall 2021を振り返ろう!」
講演資料「Azure AI Update Ignite Fall 2021を振り返ろう!」
Kohei Ogawa
Japan SQL Server Users Group - 第35回 SQL Server 2019勉強会 - Azure Synapese Analytics - SQL Pool 入門 のセッション資料です。 Spark の位置づけ。Synapse の中での入門編の使い方。そして、Synapse ならではの価値について触れてます。
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
Daiyu Hatakeyama
2017/12/15 Azure Antenna でご説明時に使用した資料(一部)です。
Azure Antenna AI 概要
Azure Antenna AI 概要
Miho Yamamoto
https://dev.classmethod.jp/cloud/aws/20191101-devio2019-effective-datalake/
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
2021年11月に実施されたマイクロソフト主催の開発者向け、グローバルイベント Microsoft Ignite が実施されました。 Azure AIや機械学習及び、Azure のデータ分析サービスは凄まじいスピードで進化を進めており、マイクロフトにおける同領域への注力領域が伝わってくるイベントになっておりました。Azure Cognitive Services, Azure Applied AI Service、Azure Machine Learning、Azure Synapse Analytics、どのプロダクトもよりデベロッパーフレンドリー、データサイエンティストフレンドリーなものになっており、お客様のデータを用いたビジネスの価値最大化に少しでも貢献できればと思います。 Azure Synapse Analytics アップデート: 統合的な分析環境として進化を続ける Azure Synapse Analytics、今回も大きな発表がいくつかありました!その最新情報についてお伝えします。 https://dllab.connpass.com/event/232219/
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Shohei Nagata
日本マイクロソフト株式会社 カスタマーサクセス事業本部 データ&クラウドAI アーキテクト統括本部 クラウドソリューションアーキテクト 武田 雅生 近年 DX が推進される中、企業の情報分析基盤に求められるビジネス期待値は高まっています。 どのお客様においても競合に負けじと情報分析基盤の導入・推進が進み、ビジネス状況の可視化から予測へと、「分析高度化」への投資が進んでいます。 しかし、企業内データ分析活動の高度化に伴い、複雑さは日々肥大化し、データがサイロ化するだけでなく、テクノロジーやスキルのサイロ化も進んでいます。 結果的に、データ横断分析の相乗効果を生み出せないという、分析高度化ならではの課題に直面されるお客様も多くいらっしゃいます。 本セッションでは、今のデータ分析・活用を担うエンジニア向けに、Azure Synapse の最新機能・デモをご紹介します。 分析高度化をスムーズに進めるための、ヒントが得られましたら幸いです。 【Microsoft Japan Digital Daysについて】 Microsoft Japan Digital Days は、お客様が競争力を高め、市場の変化に迅速に対応し、より多くのことを達成することを目的とした、日本マイクロソフトがお届けする最大級のデジタル イベントです。4 日間にわたる本イベントでは、一人一人の生産性や想像力を高め、クラウド時代の組織をデザインするモダンワークの最新事例や、変化の波をうまく乗り切り、企業の持続的な発展に必要なビジネスレジリエンス経営を支えるテクノロジの最新機能および、企業の競争優位性に欠かせないクラウド戦略のビジョンなどデジタル時代に必要な情報をお届けいたしました。(2021年10月11日~14日開催)
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
日本マイクロソフト株式会社
本日最初のdb tech showcaseセッションは16時20分から、話します。こちらはその抜粋Preview資料です。もしよければお手元にDLください #dbts2020 #DB ★ db tech showcaseへご登録お済みの方: https://bit.ly/2IoQKps ★ 未登録の方 https://bit.ly/3ljdXYt db tech showcase ONLINE 2020 イベントページ https://db-tech-showcase.com/dbts/2020/online #dbts2020 #gamestackjp 以下の内容をおはなしいたします。 第一部: PlayFab Insights ゲームの BaaS 「 PlayFab 」の分析機能 についてお話します 従来の分析機能が大幅にバージョンアップしました(新機能=PlayFab Insights) 内部には、Azure Data Explorer が使われています。機構をご紹介します 第二部: Azure Data Explorer Azure Data Explore についてさらにお話します この製品の生い立ち、過去の経緯、Microsoft社内での利用シナリオについてご紹介します
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Daisuke Masubuchi
Microsoft の AI Platform について特徴的な部分のみ取り上げます。Cognitive Services、SQL Server Machine Learning Service、Azure Machine Learning Services などです。
Microsoft AI Platform
Microsoft AI Platform
Daiyu Hatakeyama
Similar to 平成最後の1月ですし、Databricksでもやってみましょうか
(20)
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実...
[Microsoft Tech Summit 2018] Azure Machine Learning サービスと Azure Databricks で実...
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
2021/6/3 Deep Learning Lab - Azure Synapse Analytics Ignite & Build アップデートake
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data Lake
Microsoft AI セミナー - Microsoft AI Platform
Microsoft AI セミナー - Microsoft AI Platform
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介(Open Source Conference 2020 Online/Kyoto ...
大量のデータ処理や分析に使えるOSS Apache Sparkのご紹介(Open Source Conference 2020 Online/Kyoto ...
Apache Spark on Azure
Apache Spark on Azure
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Azure Databricks 概要
Azure Databricks 概要
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
やりたいことから考えるMicrosoft Azure 上の データストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで
Spark Summit 2014 の報告と最近の取り組みについて
Spark Summit 2014 の報告と最近の取り組みについて
講演資料「Azure AI Update Ignite Fall 2021を振り返ろう!」
講演資料「Azure AI Update Ignite Fall 2021を振り返ろう!」
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
Azure Antenna AI 概要
Azure Antenna AI 概要
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
Microsoft Ignite November 2021 最新アップデート - Azure Synapse Analytics
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
M06_DX を担うエンジニア向け Data & AI Analytics プラットフォームの最適解 ~ Azure Synapse 最新機能ご紹介 ~ ...
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
PPT Full version: 世界中のゲーム分析をしてきたPlayFabが大進化!一緒に裏側の最新データ探索の仕組みを覗いてみよう
Microsoft AI Platform
Microsoft AI Platform
More from Ryuichi Tokugami
2020/07/02 Deepl Learning Lab 自然言語処理ナイト Slideshareでは音声つきがアップロードできなかったため、 音声付きは https://1drv.ms/p/s!ApEwOwPQFthR4cQmVPpvvfKBtl4kOg こちらからダウンロードできます。
Attention is all you need!!! を入門する前に
Attention is all you need!!! を入門する前に
Ryuichi Tokugami
Azure Databricksで始めるSpark 構築から活用までの第一歩
Azure Databricksで始めるSpark 構築から活用までの第一歩
Azure Databricksで始めるSpark 構築から活用までの第一歩
Ryuichi Tokugami
日本人の言葉は不思議なもので、 ちょうど昼休みに入ったタイミングで人から「ラーメン」と話しかけられれば、「ラーメンを食べに行こう」という意味に捉えます。単語だけでインテント (意図、目的) を想像しているのです。 検索エンジンはいつも「ラーメン」のような単語で話しかけられます。何を返すのが良いのでしょう? ラーメン屋の情報なのか、ラーメンについての知識を得たいのか、それを機械に判断することができるのでしょうか? 機械にとっての "単語” に紐づくインテントを分析するにあたって、データをどのように扱い、どのように学習させるのかの取り組みについてお話しします。
de:code 2019 AI04 あなたがコルタナさんに「ラーメン」と尋ねたとき、それはコルタナさんに何を求めていますか?
de:code 2019 AI04 あなたがコルタナさんに「ラーメン」と尋ねたとき、それはコルタナさんに何を求めていますか?
Ryuichi Tokugami
meetup app tokyo@2 での発表資料 CNTK. Published by 得上 竜一. 1 View, 0 Likes on Docs.com. #cntk #Cognitive...
改めまして、Cognitive ToolKit です。
改めまして、Cognitive ToolKit です。
Ryuichi Tokugami
ソラコム Developers Conference ♯0の資料
Silk
Silk
Ryuichi Tokugami
最近ではどのアプリケーションにも使われている機械学習。やってみたいけどどこから始めてよいのかわからない。アルゴリズムは知っているけど、データ整理、アプリへの実装に時間がかかりモデル作成に集中できない。Azure MLを使えばどこまでできるか?開発者のために鍛え抜かれた新しい機械学習プラットフォームの威力を紹介します!
Azure MLで機械学習をやってみよう
Azure MLで機械学習をやってみよう
Ryuichi Tokugami
UserDataでEC2をより便利に (2013-07-25 Jawsug中央線 第0回)
UserDataでEC2をより便利に (2013-07-25 Jawsug中央線 第0回)
Ryuichi Tokugami
初めてのSimpleDB、
初めてのSimpleDB (2013-06-22 JAWS-UG 大阪 第8回 )
初めてのSimpleDB (2013-06-22 JAWS-UG 大阪 第8回 )
Ryuichi Tokugami
Elastic beanstalk AWS 初心者から 次の一歩へ (2013-04-27 JAWS-UG つくば 第1回 勉強会)
Elastic beanstalk AWS 初心者から 次の一歩へ (2013-04-27 JAWS-UG つくば 第1回 勉強会)
Ryuichi Tokugami
Autoscalingとか
Autoscalingとか
Ryuichi Tokugami
JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回 勉強会 )
JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回 勉強会 )
Ryuichi Tokugami
クラウドごった煮 AWS枠でお話ししたスライドです。
"restaurant démonstration" (2012-09-01 クラウドごった煮 第6回 AWS枠)
"restaurant démonstration" (2012-09-01 クラウドごった煮 第6回 AWS枠)
Ryuichi Tokugami
JAWS-UG 札幌 第7回 勉強会 AWSアップデートの資料 (代打:とくがみ)
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
Ryuichi Tokugami
JAWS-UG 福岡第6回
AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)
AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)
Ryuichi Tokugami
Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)
Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)
Ryuichi Tokugami
CloudSearchって、実は凄いデータベースなんじゃないかな
CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)
CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)
Ryuichi Tokugami
第5回クラウド女子会『プログラマブルなクラウドワークショップ』 のしりょう
Aws禅 (2012-05-13 JAWS-UG 子ども会)
Aws禅 (2012-05-13 JAWS-UG 子ども会)
Ryuichi Tokugami
Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)
Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)
Ryuichi Tokugami
サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)
サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)
Ryuichi Tokugami
Amazon S3の解説 冒頭で流した動画はこちらです。 http://www.youtube.com/watch?v=lPqolTjomw0
S3解説 - 第1回 ビギナー編 AWS User Group - Japan 東京勉強会
S3解説 - 第1回 ビギナー編 AWS User Group - Japan 東京勉強会
Ryuichi Tokugami
More from Ryuichi Tokugami
(20)
Attention is all you need!!! を入門する前に
Attention is all you need!!! を入門する前に
Azure Databricksで始めるSpark 構築から活用までの第一歩
Azure Databricksで始めるSpark 構築から活用までの第一歩
de:code 2019 AI04 あなたがコルタナさんに「ラーメン」と尋ねたとき、それはコルタナさんに何を求めていますか?
de:code 2019 AI04 あなたがコルタナさんに「ラーメン」と尋ねたとき、それはコルタナさんに何を求めていますか?
改めまして、Cognitive ToolKit です。
改めまして、Cognitive ToolKit です。
Silk
Silk
Azure MLで機械学習をやってみよう
Azure MLで機械学習をやってみよう
UserDataでEC2をより便利に (2013-07-25 Jawsug中央線 第0回)
UserDataでEC2をより便利に (2013-07-25 Jawsug中央線 第0回)
初めてのSimpleDB (2013-06-22 JAWS-UG 大阪 第8回 )
初めてのSimpleDB (2013-06-22 JAWS-UG 大阪 第8回 )
Elastic beanstalk AWS 初心者から 次の一歩へ (2013-04-27 JAWS-UG つくば 第1回 勉強会)
Elastic beanstalk AWS 初心者から 次の一歩へ (2013-04-27 JAWS-UG つくば 第1回 勉強会)
Autoscalingとか
Autoscalingとか
JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回 勉強会 )
JAWS-UG アップデート (2012-09-14 JAWS-UG 第13回 勉強会 )
"restaurant démonstration" (2012-09-01 クラウドごった煮 第6回 AWS枠)
"restaurant démonstration" (2012-09-01 クラウドごった煮 第6回 AWS枠)
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)
AWS上にサービスを作る (2012-06-22 JAWS-UG 福岡)
Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)
Talking about love for DynamoDB & SimpleDB (2012-06-05 CloudDB Night)
CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)
CloudSearch初披露 (2012-05-18 JAWS-UG 札幌 第6回 勉強会)
Aws禅 (2012-05-13 JAWS-UG 子ども会)
Aws禅 (2012-05-13 JAWS-UG 子ども会)
Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)
Counter Table Pattern & Temporary Table Pattern (2012-04-13 CDP Night)
サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)
サンタクラウド番外編 (2011-12-22 第11回 AWS User Group - Japan 東京勉強会)
S3解説 - 第1回 ビギナー編 AWS User Group - Japan 東京勉強会
S3解説 - 第1回 ビギナー編 AWS User Group - Japan 東京勉強会
平成最後の1月ですし、Databricksでもやってみましょうか
1.
平成最後の1月ですし、 databricksでも やってみましょうか Azure Tech Lab
#1 株式会社PLAN-B システム開発本部 テック&データラボ 技術統括 Microsoft MVP for AI 得上 竜一(@tottokug)
2.
Azureに最適化・統合されたspark環境 Azure Databricksとは
3.
インメモリでの 高速処理 便利なコンポーネントが 付属しているため あらゆるユースケースに 対応できる Spark SQL Spark Core Spark Streaming MLlib GraphX Apache
Sparkとは ビッグデータの並列分散処理フレームワーク
4.
WEBから利用可能 インフラの管理不要 スケールアップ・アウト が無停止で可能 Notebookにより インタラクティブに 分析・開発可能 多彩なデータソース Clusters Jobs Notebooks
Data Databricksとは Apache SparkのPaaS
5.
DEMO
6.
7.
クラスター立ち上げDEMO
8.
9.
テーブル作成DEMO
10.
11.
Notebook DEMO
12.
インスタンス ストレージ VMの 料金 DBUの 料金 BLOB ストレージの 料金 起動した分だけ 保存した分だけ 使った分だけ +
= お支払い Azure Databricksの価格 VM料金+ DBU料金 + ストレージ料金
13.
※2018/09 時点の情報 Azure Databricksの価格 DBU料金はワークロードで違う DBU ※
1 時間あたりの処理能力の単位 データ エンジニアリング ジョブ スケジューラ等によって実行される場合 自動起動のバッチ処理など データ分析 アドホック コマンドなどのインタラクティブな機 能がクラスターで実行される場合
14.
インスタンス VMの料金 DBUの料金 例)データサイエンティストが分析のためNotebookを利用 業務時間中(10:00〜18:00)のみ起動 月にD3インスタンスを4台×8時間×20営業日の場合 ※Standardレベル、データ分析ワークロード 35.40円 × 4台
× 160時間 = 22,656円/月 33.60円 × 4台 × 160時間 = 21,504円/月 44,160円/月 ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
15.
インスタンス VMの料金 DBUの料金 例)日時のETL処理をジョブスケジューラによって定期実行 月にD3インスタンスを4台×2時間×30日の場合 ※Standardレベル、データ エンジニアリングワークロード 35.40円 ×
4台 × 60時間 = 8,496円/月 16.80円 × 4台 × 60時間 = 4,032円/月 12,528円/月 ※2018/09 時点の情報 Azure Databricksの価格 インスタンス料金例
16.
詳細版はこちら //aka.ms/databricksjp
17.
Azure Machine Learning
Serviceとの連携
18.
Azure Machine Learning
サービスの概要
19.
Azureに最適化・統合されたspark環境 Azure Databricksとは
Download now