SlideShare a Scribd company logo
1 of 42
Download to read offline
© 2020, Amazon Web Services, Inc. or its Affiliates.
Noritaka Sekiyama
Sr. Big Data Architect, AWS Glue & Lake Formation
2020/11/20
AWS で Presto を
徹底的に使いこなすワザ
© 2020, Amazon Web Services, Inc. or its Affiliates.
⾃⼰紹介
関⼭ 宜孝
Sr. Big Data Architect
AWS Glue & Lake Formation
• GlueとLake Formationの
ユーザーに近い部分の開発を担当
• 5年間 AWS サポートにて技術⽀援を担当
• 2019年からプロダクト開発チームにジョイン
@moomindani moomindaniNoritakaS-AWS
Forum
© 2020, Amazon Web Services, Inc. or its Affiliates.
本セッションについて
• AWS x Presto
• Presto x Amazon EMR
• Presto x Amazon S3
• Presto x AWS Glue
• Presto x AWS Auto Scaling
• Presto on AWS の使い分け
AWS で Presto を徹底的に使いこなすワザを習得する
• Presto 視点で AWS の各種サービスを使いこなす⽅法
• Presto on AWS を⽬的に合わせて使い分ける⽅法
© 2020, Amazon Web Services, Inc. or its Affiliates.
AWS x Presto
Amazon EC2 Amazon EMR Amazon Athena
Amazon S3 AWS
Glue
PrestoDB 0.232
PrestoSQL 338
PrestoDB 0.172 or 0.217
データ メタデータ
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto x Amazon EMR
© 2020, Amazon Web Services, Inc. or its Affiliates.
EMR 6.1.0 にて Presto SQL をサポート
• 従来の PrestoDB に加え、新たに PrestoSQL を選択可能に
© 2020, Amazon Web Services, Inc. or its Affiliates.
EMR 6.1.0 における Presto の動作
EMR Master Node
Name Node
Presto
Coordinator
EMR Task Node
Presto Worker
Disk
EMR Core Node
Data
Node
Presto Worker
Disk
EMR Core Node
Data
Node
Presto Worker
EMR Cluster
EMR Task Node
Presto Worker
© 2020, Amazon Web Services, Inc. or its Affiliates.
EMR 6.1.0 における Presto の動作
Task
Core
Master
© 2020, Amazon Web Services, Inc. or its Affiliates.
EMR 6.1.0 における Presto の動作
$ presto-cli --catalog hive
presto> select * from system.runtime.nodes;
node_id | http_uri | node_version | coordinator | state
---------------------+---------------------------+--------------+-------------+--------
i-0cb86cde1bbe34782 | http://172.31.21.240:8889 | 338 | false | active
i-0f2f12645011b0715 | http://172.31.18.88:8889 | 338 | false | active
i-0de5119f5f5d15bf2 | http://172.31.27.4:8889 | 338 | true | active
i-0a71e27153a1d3102 | http://172.31.30.217:8889 | 338 | false | active
i-056355b68a53429df | http://172.31.24.68:8889 | 338 | false | active
(5 rows)
Query 20201110_081259_00008_4ut3q, FINISHED, 2 nodes
Splits: 17 total, 17 done (100.00%)
0.23 [5 rows, 266B] [21 rows/s, 1.12KB/s]
Master
Core
Task
© 2020, Amazon Web Services, Inc. or its Affiliates.
クエリの実⾏
• presto-cli
presto> select origin, count(*) as total_departures from flights.flights_crawledcsv
-> group by origin
-> order by total_departures DESC;
origin | total_departures
--------+------------------
ATL | 373197
ORD | 231723
DEN | 216520
LAX | 198062
DFW | 173121
SFO | 163608
PHX | 144239
LAS | 138875
IAH | 134806
MSP | 125699
DTW | 120951
SEA | 120923
MCO | 115478
EWR | 111412
© 2020, Amazon Web Services, Inc. or its Affiliates.
クエリの実⾏
• JDBC
• REST API
jdbc:presto://example.net:8080/hive/sales
$ curl -XPOST http://localhost:8889/v1/statement 
--data "SELECT 1” 
--header "X-Presto-User: hadoop" 
--header "X-Presto-Schema: default" 
--header "X-Presto-Time-Zone:UTC" 
--header "X-Presto-Catalog: hive"
© 2020, Amazon Web Services, Inc. or its Affiliates.
クエリの実⾏
• EMR Step
© 2020, Amazon Web Services, Inc. or its Affiliates.
クエリの実⾏
• EMR Step
© 2020, Amazon Web Services, Inc. or its Affiliates.
クエリの実⾏
• EMR Parallel Step with AWS Step Functions
{
"Comment": "EMR Step",
"StartAt": "Presto_Query_One",
"States": {
"Presto_Query_One": {
"Type": "Task",
"Resource": "arn:aws:states:::elasticmapreduce:addStep.sync",
"Parameters": {
"ClusterId.$": "$.ClusterId",
"Step": {
"Name": "The first query",
"ActionOnFailure": "CONTINUE",
"HadoopJarStep": {
"Jar": "command-runner.jar",
"Args": [
"presto-cli",
"--catalog",
"hive",
"--execute",
"SELECT 1"
]
}
}
},
"Next": "ParallelQuery",
"ResultPath": null
},
"ParallelQuery": {
"Type": "Parallel",
"End": true,
"Branches": [
{
"StartAt": "Presto_Query_Two",
"States": {
"Presto_Query_Two": {
"Type": "Task",
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto Server の追加
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto Server の追加
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto Server の追加
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto の設定変更
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto x Amazon S3
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto から Amazon S3 へのアクセス
• EMRFS
• EMR 5.12.0 以降および 6.1.0 以降はデフォルトで
Amazon S3 へのアクセスに EMRFS を利⽤
• 暗号化
• IAM ロールによるアクセス
• PrestoS3FileSystem
• OSS PrestoDB/Presto SQL, およびEMR 5.12.0 未満では
PrestoS3FileSystem を利⽤
• EMR 5.12.0 以降および 6.1.0 以降でも切り替え可能
• https://prestodb.io/docs/current/connector/hive.html#amazon-s3-configuration
• https://prestosql.io/docs/current/connector/hive-s3.html
© 2020, Amazon Web Services, Inc. or its Affiliates.
S3 SELECT Pushdown
• S3 SELECT
• S3 上のファイルにクエリする Amazon S3 の機能
© 2020, Amazon Web Services, Inc. or its Affiliates.
S3 SELECT Pushdown
• Presto における S3 SELECT Pushdown
• Presto から S3 へのデータ参照に S3 SELECT を使⽤し、
Projection operation (e.g. SELECT)と Predicate operation
(e.g. WHERE) を削減することで計算量を最適化
• ⾮圧縮, gzip, bzip2 の CSV ファイルをサポート
[
{
"classification": "presto-connector-hive",
"properties": {
"hive.s3select-pushdown.enabled": "true",
"hive.s3select-pushdown.max-connections": "500"
}
}
© 2020, Amazon Web Services, Inc. or its Affiliates.
S3 SELECT Pushdown
• 有効なシーン
• データセットの半分以上をフィルタアウトするクエリ
• Presto と Amazon S3 の間のネットワーク帯域が⼗分な環境
• Presto と S3 SELECT の両⽅でサポートしているデータタイプ
をもつカラムを使う場合
• Timestamp, Real, Double は S3 SELECT Pushdown ⾮対応
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto x AWS Glue
© 2020, Amazon Web Services, Inc. or its Affiliates.
Glue Data Catalog との連携
• Presto Hive Connector にて Hive メタストアサービスに加えて
Glue Data Catalog に対応
• メタストアを永続化したい場合
• 複数のクラスタ、サービス、アプリケーションなどでメタスト
アを共有したい場合
[
{
"Classification": "presto-connector-hive",
"Properties": {
"hive.metastore": "glue"
}
}
]
© 2020, Amazon Web Services, Inc. or its Affiliates.
Glue Data Catalog との連携
• 制限事項あり
• テーブル名のリネームには⾮対応
• Column statistics には⾮対応
• Hive Authorization には⾮対応
• https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-glue.html#emr-presto-
glue-knownissues
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto x AWS Auto Scaling
© 2020, Amazon Web Services, Inc. or its Affiliates.
Graceful Decommission
• Auto Scaling のスケーリング操作時に猶予期間を設定
• Presto がデコミッション中のノードに新しいタスクをスケ
ジューリングしないようにする
• Presto が削除対象のノードで実⾏中のタスクを完了できるよう
にする
[
{
"classification": "presto-config",
"properties": {
"graceful-shutdown-timeout": "1800s"
}
}
]
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
Presto on AWS の使い分け
Presto on EC2 Presto on EMR Athena
Presto ソフトウェア PrestoSQL or
PrestoDB
PrestoSQL or
PrestoDB
PrestoDB のみ
バージョン 任意 PrestoSQL 338
PrestoDB 0.232
PrestoDB 0.172 or 0.217
AWS マネジメントコンソー
ルからのクエリ
× ×
※Step で代替可能
◯
Presto UI / クエリプラン ◯ ◯ ×
クラスタプロビジョニング ⼿動 ⾃動 不要
クラスタ運⽤管理 必要 必要 不要
ノード数 任意 任意 設定不可
オートスケーリング △ ◯ -
コスト EC2 利⽤料 EC2 利⽤料
EMR 利⽤料
Athena クエリ利⽤料
設定カスタマイズ ◯ ◯ ×
主な利⽤シーン 任意のバージョンの組
み合わせが必要な場合
ノード数や設定などを⾃由に
カスタマイズしたい場合
他の Hadoop/Spark アプリ
ケーションと併⽤したい場合
サーバーレスでクエリしたい場合
ML Query, Partition Projection
などの Athena 固有機能を使いた
い場合
© 2020, Amazon Web Services, Inc. or its Affiliates.
おわりに
• AWS x Presto
• EMR
• S3
• Glue
• Auto Scaling
• Presto on AWS の使い分け
AWS で Presto を徹底的に使いこなすワザを習得する
• Presto 視点で AWS の各種サービスを使いこなす⽅法
• Presto on AWS を⽬的に合わせて使い分ける⽅法

More Related Content

What's hot

AWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティスAWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティスAmazon Web Services Japan
 
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design PatternAWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design PatternAmazon Web Services Japan
 
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較Yoshiyasu SAEKI
 
20190522 AWS Black Belt Online Seminar AWS Step Functions
20190522 AWS Black Belt Online Seminar AWS Step Functions20190522 AWS Black Belt Online Seminar AWS Step Functions
20190522 AWS Black Belt Online Seminar AWS Step FunctionsAmazon Web Services Japan
 
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)NTT DATA OSS Professional Services
 
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話Kentaro Yoshida
 
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティスAWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティスAkihiro Kuwano
 
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理Amazon Web Services Japan
 
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理Cloudera Japan
 
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しようCloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しようEiji KOMINAMI
 
20210526 AWS Expert Online マルチアカウント管理の基本
20210526 AWS Expert Online マルチアカウント管理の基本20210526 AWS Expert Online マルチアカウント管理の基本
20210526 AWS Expert Online マルチアカウント管理の基本Amazon Web Services Japan
 
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...NTT DATA Technology & Innovation
 
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身Amazon Web Services Japan
 
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance TuningDeep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance TuningTakuya UESHIN
 
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法Tetsutaro Watanabe
 
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続Amazon Web Services Japan
 

What's hot (20)

AWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティスAWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティス
 
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design PatternAWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
 
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
 
20190522 AWS Black Belt Online Seminar AWS Step Functions
20190522 AWS Black Belt Online Seminar AWS Step Functions20190522 AWS Black Belt Online Seminar AWS Step Functions
20190522 AWS Black Belt Online Seminar AWS Step Functions
 
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
 
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
 
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
 
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティスAWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
 
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
 
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
 
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しようCloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
 
20210526 AWS Expert Online マルチアカウント管理の基本
20210526 AWS Expert Online マルチアカウント管理の基本20210526 AWS Expert Online マルチアカウント管理の基本
20210526 AWS Expert Online マルチアカウント管理の基本
 
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
 
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajpAt least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
 
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
 
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance TuningDeep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
 
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
 
AWS Black Belt - AWS Glue
AWS Black Belt - AWS GlueAWS Black Belt - AWS Glue
AWS Black Belt - AWS Glue
 
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
 
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ  Amazon EMRAWS Black Belt Techシリーズ  Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
 

Similar to AWS で Presto を徹底的に使いこなすワザ

Modernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS GlueModernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS GlueNoritaka Sekiyama
 
[AWSマイスターシリーズ] AWS CloudFormation
[AWSマイスターシリーズ] AWS CloudFormation[AWSマイスターシリーズ] AWS CloudFormation
[AWSマイスターシリーズ] AWS CloudFormationAmazon Web Services Japan
 
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介Yukitaka Ohmura
 
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWSBest Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWSAmazon Web Services Japan
 
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container ServicesAmazon Web Services Japan
 
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep diveAmazon Web Services Japan
 
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~Serverworks Co.,Ltd.
 
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介Amazon Web Services Japan
 
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門Amazon Web Services Japan
 
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したことAmazon Web Services Japan
 
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)Amazon Web Services Japan
 
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL CompatibilityAmazon Web Services Japan
 
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報Amazon Web Services Japan
 
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...Amazon Web Services Japan
 
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...Amazon Web Services Japan
 
01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデートAmazon Web Services Japan
 
20200728 AWS Black Belt Online Seminar What's New in Serverless
20200728 AWS Black Belt Online Seminar What's New in Serverless20200728 AWS Black Belt Online Seminar What's New in Serverless
20200728 AWS Black Belt Online Seminar What's New in ServerlessAmazon Web Services Japan
 
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@EdgeAWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@EdgeAmazon Web Services Japan
 

Similar to AWS で Presto を徹底的に使いこなすワザ (20)

Modernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS GlueModernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS Glue
 
[AWSマイスターシリーズ] AWS CloudFormation
[AWSマイスターシリーズ] AWS CloudFormation[AWSマイスターシリーズ] AWS CloudFormation
[AWSマイスターシリーズ] AWS CloudFormation
 
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
 
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWSBest Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
 
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
 
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
 
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
 
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
 
Migration to AWS part2
Migration to AWS part2Migration to AWS part2
Migration to AWS part2
 
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
 
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
 
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
 
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
 
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
 
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
 
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
 
HPC on AWS 2020 Summer
HPC on AWS 2020 Summer HPC on AWS 2020 Summer
HPC on AWS 2020 Summer
 
01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート
 
20200728 AWS Black Belt Online Seminar What's New in Serverless
20200728 AWS Black Belt Online Seminar What's New in Serverless20200728 AWS Black Belt Online Seminar What's New in Serverless
20200728 AWS Black Belt Online Seminar What's New in Serverless
 
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@EdgeAWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
 

More from Noritaka Sekiyama

5分ではじめるApache Spark on AWS
5分ではじめるApache Spark on AWS5分ではじめるApache Spark on AWS
5分ではじめるApache Spark on AWSNoritaka Sekiyama
 
VPC Reachability Analyzer 使って人生が変わった話
VPC Reachability Analyzer 使って人生が変わった話VPC Reachability Analyzer 使って人生が変わった話
VPC Reachability Analyzer 使って人生が変わった話Noritaka Sekiyama
 
Sparkにプルリク投げてみた
Sparkにプルリク投げてみたSparkにプルリク投げてみた
Sparkにプルリク投げてみたNoritaka Sekiyama
 
Effective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターンEffective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターンNoritaka Sekiyama
 
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the CloudAmazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the CloudNoritaka Sekiyama
 
Introduction to New CloudWatch Agent
Introduction to New CloudWatch AgentIntroduction to New CloudWatch Agent
Introduction to New CloudWatch AgentNoritaka Sekiyama
 
Security Operations and Automation on AWS
Security Operations and Automation on AWSSecurity Operations and Automation on AWS
Security Operations and Automation on AWSNoritaka Sekiyama
 
運用視点でのAWSサポート利用Tips
運用視点でのAWSサポート利用Tips運用視点でのAWSサポート利用Tips
運用視点でのAWSサポート利用TipsNoritaka Sekiyama
 
基礎から学ぶ? EC2マルチキャスト
基礎から学ぶ? EC2マルチキャスト基礎から学ぶ? EC2マルチキャスト
基礎から学ぶ? EC2マルチキャストNoritaka Sekiyama
 
Floodlightってぶっちゃけどうなの?
Floodlightってぶっちゃけどうなの?Floodlightってぶっちゃけどうなの?
Floodlightってぶっちゃけどうなの?Noritaka Sekiyama
 

More from Noritaka Sekiyama (11)

5分ではじめるApache Spark on AWS
5分ではじめるApache Spark on AWS5分ではじめるApache Spark on AWS
5分ではじめるApache Spark on AWS
 
VPC Reachability Analyzer 使って人生が変わった話
VPC Reachability Analyzer 使って人生が変わった話VPC Reachability Analyzer 使って人生が変わった話
VPC Reachability Analyzer 使って人生が変わった話
 
Sparkにプルリク投げてみた
Sparkにプルリク投げてみたSparkにプルリク投げてみた
Sparkにプルリク投げてみた
 
Running Apache Spark on AWS
Running Apache Spark on AWSRunning Apache Spark on AWS
Running Apache Spark on AWS
 
Effective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターンEffective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターン
 
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the CloudAmazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
 
Introduction to New CloudWatch Agent
Introduction to New CloudWatch AgentIntroduction to New CloudWatch Agent
Introduction to New CloudWatch Agent
 
Security Operations and Automation on AWS
Security Operations and Automation on AWSSecurity Operations and Automation on AWS
Security Operations and Automation on AWS
 
運用視点でのAWSサポート利用Tips
運用視点でのAWSサポート利用Tips運用視点でのAWSサポート利用Tips
運用視点でのAWSサポート利用Tips
 
基礎から学ぶ? EC2マルチキャスト
基礎から学ぶ? EC2マルチキャスト基礎から学ぶ? EC2マルチキャスト
基礎から学ぶ? EC2マルチキャスト
 
Floodlightってぶっちゃけどうなの?
Floodlightってぶっちゃけどうなの?Floodlightってぶっちゃけどうなの?
Floodlightってぶっちゃけどうなの?
 

AWS で Presto を徹底的に使いこなすワザ

  • 1. © 2020, Amazon Web Services, Inc. or its Affiliates. Noritaka Sekiyama Sr. Big Data Architect, AWS Glue & Lake Formation 2020/11/20 AWS で Presto を 徹底的に使いこなすワザ
  • 2. © 2020, Amazon Web Services, Inc. or its Affiliates. ⾃⼰紹介 関⼭ 宜孝 Sr. Big Data Architect AWS Glue & Lake Formation • GlueとLake Formationの ユーザーに近い部分の開発を担当 • 5年間 AWS サポートにて技術⽀援を担当 • 2019年からプロダクト開発チームにジョイン @moomindani moomindaniNoritakaS-AWS Forum
  • 3. © 2020, Amazon Web Services, Inc. or its Affiliates. 本セッションについて • AWS x Presto • Presto x Amazon EMR • Presto x Amazon S3 • Presto x AWS Glue • Presto x AWS Auto Scaling • Presto on AWS の使い分け AWS で Presto を徹底的に使いこなすワザを習得する • Presto 視点で AWS の各種サービスを使いこなす⽅法 • Presto on AWS を⽬的に合わせて使い分ける⽅法
  • 4. © 2020, Amazon Web Services, Inc. or its Affiliates. AWS x Presto Amazon EC2 Amazon EMR Amazon Athena Amazon S3 AWS Glue PrestoDB 0.232 PrestoSQL 338 PrestoDB 0.172 or 0.217 データ メタデータ
  • 5. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto x Amazon EMR
  • 6. © 2020, Amazon Web Services, Inc. or its Affiliates. EMR 6.1.0 にて Presto SQL をサポート • 従来の PrestoDB に加え、新たに PrestoSQL を選択可能に
  • 7. © 2020, Amazon Web Services, Inc. or its Affiliates. EMR 6.1.0 における Presto の動作 EMR Master Node Name Node Presto Coordinator EMR Task Node Presto Worker Disk EMR Core Node Data Node Presto Worker Disk EMR Core Node Data Node Presto Worker EMR Cluster EMR Task Node Presto Worker
  • 8. © 2020, Amazon Web Services, Inc. or its Affiliates. EMR 6.1.0 における Presto の動作 Task Core Master
  • 9. © 2020, Amazon Web Services, Inc. or its Affiliates. EMR 6.1.0 における Presto の動作 $ presto-cli --catalog hive presto> select * from system.runtime.nodes; node_id | http_uri | node_version | coordinator | state ---------------------+---------------------------+--------------+-------------+-------- i-0cb86cde1bbe34782 | http://172.31.21.240:8889 | 338 | false | active i-0f2f12645011b0715 | http://172.31.18.88:8889 | 338 | false | active i-0de5119f5f5d15bf2 | http://172.31.27.4:8889 | 338 | true | active i-0a71e27153a1d3102 | http://172.31.30.217:8889 | 338 | false | active i-056355b68a53429df | http://172.31.24.68:8889 | 338 | false | active (5 rows) Query 20201110_081259_00008_4ut3q, FINISHED, 2 nodes Splits: 17 total, 17 done (100.00%) 0.23 [5 rows, 266B] [21 rows/s, 1.12KB/s] Master Core Task
  • 10. © 2020, Amazon Web Services, Inc. or its Affiliates. クエリの実⾏ • presto-cli presto> select origin, count(*) as total_departures from flights.flights_crawledcsv -> group by origin -> order by total_departures DESC; origin | total_departures --------+------------------ ATL | 373197 ORD | 231723 DEN | 216520 LAX | 198062 DFW | 173121 SFO | 163608 PHX | 144239 LAS | 138875 IAH | 134806 MSP | 125699 DTW | 120951 SEA | 120923 MCO | 115478 EWR | 111412
  • 11. © 2020, Amazon Web Services, Inc. or its Affiliates. クエリの実⾏ • JDBC • REST API jdbc:presto://example.net:8080/hive/sales $ curl -XPOST http://localhost:8889/v1/statement --data "SELECT 1” --header "X-Presto-User: hadoop" --header "X-Presto-Schema: default" --header "X-Presto-Time-Zone:UTC" --header "X-Presto-Catalog: hive"
  • 12. © 2020, Amazon Web Services, Inc. or its Affiliates. クエリの実⾏ • EMR Step
  • 13. © 2020, Amazon Web Services, Inc. or its Affiliates. クエリの実⾏ • EMR Step
  • 14. © 2020, Amazon Web Services, Inc. or its Affiliates. クエリの実⾏ • EMR Parallel Step with AWS Step Functions { "Comment": "EMR Step", "StartAt": "Presto_Query_One", "States": { "Presto_Query_One": { "Type": "Task", "Resource": "arn:aws:states:::elasticmapreduce:addStep.sync", "Parameters": { "ClusterId.$": "$.ClusterId", "Step": { "Name": "The first query", "ActionOnFailure": "CONTINUE", "HadoopJarStep": { "Jar": "command-runner.jar", "Args": [ "presto-cli", "--catalog", "hive", "--execute", "SELECT 1" ] } } }, "Next": "ParallelQuery", "ResultPath": null }, "ParallelQuery": { "Type": "Parallel", "End": true, "Branches": [ { "StartAt": "Presto_Query_Two", "States": { "Presto_Query_Two": { "Type": "Task",
  • 15. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto Server の追加
  • 16. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto Server の追加
  • 17. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto Server の追加
  • 18. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto の設定変更
  • 19. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto x Amazon S3
  • 20. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto から Amazon S3 へのアクセス • EMRFS • EMR 5.12.0 以降および 6.1.0 以降はデフォルトで Amazon S3 へのアクセスに EMRFS を利⽤ • 暗号化 • IAM ロールによるアクセス • PrestoS3FileSystem • OSS PrestoDB/Presto SQL, およびEMR 5.12.0 未満では PrestoS3FileSystem を利⽤ • EMR 5.12.0 以降および 6.1.0 以降でも切り替え可能 • https://prestodb.io/docs/current/connector/hive.html#amazon-s3-configuration • https://prestosql.io/docs/current/connector/hive-s3.html
  • 21. © 2020, Amazon Web Services, Inc. or its Affiliates. S3 SELECT Pushdown • S3 SELECT • S3 上のファイルにクエリする Amazon S3 の機能
  • 22. © 2020, Amazon Web Services, Inc. or its Affiliates. S3 SELECT Pushdown • Presto における S3 SELECT Pushdown • Presto から S3 へのデータ参照に S3 SELECT を使⽤し、 Projection operation (e.g. SELECT)と Predicate operation (e.g. WHERE) を削減することで計算量を最適化 • ⾮圧縮, gzip, bzip2 の CSV ファイルをサポート [ { "classification": "presto-connector-hive", "properties": { "hive.s3select-pushdown.enabled": "true", "hive.s3select-pushdown.max-connections": "500" } }
  • 23. © 2020, Amazon Web Services, Inc. or its Affiliates. S3 SELECT Pushdown • 有効なシーン • データセットの半分以上をフィルタアウトするクエリ • Presto と Amazon S3 の間のネットワーク帯域が⼗分な環境 • Presto と S3 SELECT の両⽅でサポートしているデータタイプ をもつカラムを使う場合 • Timestamp, Real, Double は S3 SELECT Pushdown ⾮対応
  • 24. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto x AWS Glue
  • 25. © 2020, Amazon Web Services, Inc. or its Affiliates. Glue Data Catalog との連携 • Presto Hive Connector にて Hive メタストアサービスに加えて Glue Data Catalog に対応 • メタストアを永続化したい場合 • 複数のクラスタ、サービス、アプリケーションなどでメタスト アを共有したい場合 [ { "Classification": "presto-connector-hive", "Properties": { "hive.metastore": "glue" } } ]
  • 26. © 2020, Amazon Web Services, Inc. or its Affiliates. Glue Data Catalog との連携 • 制限事項あり • テーブル名のリネームには⾮対応 • Column statistics には⾮対応 • Hive Authorization には⾮対応 • https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-glue.html#emr-presto- glue-knownissues
  • 27. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto x AWS Auto Scaling
  • 28. © 2020, Amazon Web Services, Inc. or its Affiliates. Graceful Decommission • Auto Scaling のスケーリング操作時に猶予期間を設定 • Presto がデコミッション中のノードに新しいタスクをスケ ジューリングしないようにする • Presto が削除対象のノードで実⾏中のタスクを完了できるよう にする [ { "classification": "presto-config", "properties": { "graceful-shutdown-timeout": "1800s" } } ]
  • 29. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け
  • 30. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 31. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 32. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 33. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 34. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 35. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 36. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 37. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 38. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 39. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 40. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 41. © 2020, Amazon Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
  • 42. © 2020, Amazon Web Services, Inc. or its Affiliates. おわりに • AWS x Presto • EMR • S3 • Glue • Auto Scaling • Presto on AWS の使い分け AWS で Presto を徹底的に使いこなすワザを習得する • Presto 視点で AWS の各種サービスを使いこなす⽅法 • Presto on AWS を⽬的に合わせて使い分ける⽅法