Submit Search
Upload
AWS で Presto を徹底的に使いこなすワザ
•
1 like
•
1,341 views
Noritaka Sekiyama
Follow
2020/11/20 に開催された Presto Conference Tokyo 2020 (Online) の登壇資料です。
Read less
Read more
Software
Report
Share
Report
Share
1 of 42
Download Now
Download to read offline
Recommended
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
S3 整合性モデルと Hadoop/Spark の話
S3 整合性モデルと Hadoop/Spark の話
Noritaka Sekiyama
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Web Services Japan
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
Amazon Web Services Japan
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
Amazon Web Services Japan
20191023 AWS Black Belt Online Seminar Amazon EMR
20191023 AWS Black Belt Online Seminar Amazon EMR
Amazon Web Services Japan
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
Trainocate Japan, Ltd.
More Related Content
What's hot
AWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティス
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
Yoshiyasu SAEKI
20190522 AWS Black Belt Online Seminar AWS Step Functions
20190522 AWS Black Belt Online Seminar AWS Step Functions
Amazon Web Services Japan
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
Kentaro Yoshida
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
Amazon Web Services Japan
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Cloudera Japan
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
Eiji KOMINAMI
20210526 AWS Expert Online マルチアカウント管理の基本
20210526 AWS Expert Online マルチアカウント管理の基本
Amazon Web Services Japan
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
NTT DATA Technology & Innovation
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Web Services Japan
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
Takuya UESHIN
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
Tetsutaro Watanabe
AWS Black Belt - AWS Glue
AWS Black Belt - AWS Glue
Amazon Web Services Japan
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
Amazon Web Services Japan
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
Amazon Web Services Japan
What's hot
(20)
AWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティス
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
KafkaとAWS Kinesisの比較
KafkaとAWS Kinesisの比較
20190522 AWS Black Belt Online Seminar AWS Step Functions
20190522 AWS Black Belt Online Seminar AWS Step Functions
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
爆速クエリエンジン”Presto”を使いたくなる話
爆速クエリエンジン”Presto”を使いたくなる話
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
20210526 AWS Expert Online マルチアカウント管理の基本
20210526 AWS Expert Online マルチアカウント管理の基本
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
Apache Sparkの基本と最新バージョン3.2のアップデート(Open Source Conference 2021 Online/Fukuoka ...
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Amazon Aurora - Auroraの止まらない進化とその中身
Amazon Aurora - Auroraの止まらない進化とその中身
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
MongoDBが遅いときの切り分け方法
MongoDBが遅いときの切り分け方法
AWS Black Belt - AWS Glue
AWS Black Belt - AWS Glue
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
20200219 AWS Black Belt Online Seminar オンプレミスとAWS間の冗長化接続
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
Similar to AWS で Presto を徹底的に使いこなすワザ
Modernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS Glue
Noritaka Sekiyama
[AWSマイスターシリーズ] AWS CloudFormation
[AWSマイスターシリーズ] AWS CloudFormation
Amazon Web Services Japan
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
Yukitaka Ohmura
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
Amazon Web Services Japan
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
Amazon Web Services Japan
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
Amazon Web Services Japan
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
Serverworks Co.,Ltd.
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
Amazon Web Services Japan
Migration to AWS part2
Migration to AWS part2
Kameda Harunobu
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
Amazon Web Services Japan
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
Amazon Web Services Japan
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
Amazon Web Services Japan
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
Amazon Web Services Japan
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
Amazon Web Services Japan
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
Amazon Web Services Japan
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
Amazon Web Services Japan
HPC on AWS 2020 Summer
HPC on AWS 2020 Summer
Daisuke Miyamoto
01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート
Amazon Web Services Japan
20200728 AWS Black Belt Online Seminar What's New in Serverless
20200728 AWS Black Belt Online Seminar What's New in Serverless
Amazon Web Services Japan
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
Amazon Web Services Japan
Similar to AWS で Presto を徹底的に使いこなすワザ
(20)
Modernizing Big Data Workload Using Amazon EMR & AWS Glue
Modernizing Big Data Workload Using Amazon EMR & AWS Glue
[AWSマイスターシリーズ] AWS CloudFormation
[AWSマイスターシリーズ] AWS CloudFormation
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
(AWS DevOps祭り 2018) AWS Management Toolsサービスアプデートのご紹介
Best Practices for Running PostgreSQL on AWS
Best Practices for Running PostgreSQL on AWS
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep dive
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
サーバーワークス re:invent_2016~新サービス・アップデート紹介~
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
iot@Loft#14-LT4-AI /機械学習に活用できる AWSのエッジソリューションのご紹介
Migration to AWS part2
Migration to AWS part2
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
20180613 AWS Black Belt Online Seminar AWS Cloud9 入門
20220409 AWS BLEA 開発にあたって検討したこと
20220409 AWS BLEA 開発にあたって検討したこと
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
[MANABIYA] 20180323 Amazon Aurora with PostgreSQL Compatibility
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
HPC on AWS 2020 Summer
HPC on AWS 2020 Summer
01_2021年上半期 AWS IoT サービスアップデート
01_2021年上半期 AWS IoT サービスアップデート
20200728 AWS Black Belt Online Seminar What's New in Serverless
20200728 AWS Black Belt Online Seminar What's New in Serverless
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
AWS BlackBelt Online Seminar 2017 Amazon CloudFront + AWS Lambda@Edge
More from Noritaka Sekiyama
5分ではじめるApache Spark on AWS
5分ではじめるApache Spark on AWS
Noritaka Sekiyama
VPC Reachability Analyzer 使って人生が変わった話
VPC Reachability Analyzer 使って人生が変わった話
Noritaka Sekiyama
Sparkにプルリク投げてみた
Sparkにプルリク投げてみた
Noritaka Sekiyama
Running Apache Spark on AWS
Running Apache Spark on AWS
Noritaka Sekiyama
Effective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターン
Noritaka Sekiyama
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
Noritaka Sekiyama
Introduction to New CloudWatch Agent
Introduction to New CloudWatch Agent
Noritaka Sekiyama
Security Operations and Automation on AWS
Security Operations and Automation on AWS
Noritaka Sekiyama
運用視点でのAWSサポート利用Tips
運用視点でのAWSサポート利用Tips
Noritaka Sekiyama
基礎から学ぶ? EC2マルチキャスト
基礎から学ぶ? EC2マルチキャスト
Noritaka Sekiyama
Floodlightってぶっちゃけどうなの?
Floodlightってぶっちゃけどうなの?
Noritaka Sekiyama
More from Noritaka Sekiyama
(11)
5分ではじめるApache Spark on AWS
5分ではじめるApache Spark on AWS
VPC Reachability Analyzer 使って人生が変わった話
VPC Reachability Analyzer 使って人生が変わった話
Sparkにプルリク投げてみた
Sparkにプルリク投げてみた
Running Apache Spark on AWS
Running Apache Spark on AWS
Effective Data Lakes - ユースケースとデザインパターン
Effective Data Lakes - ユースケースとデザインパターン
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
Amazon S3 Best Practice and Tuning for Hadoop/Spark in the Cloud
Introduction to New CloudWatch Agent
Introduction to New CloudWatch Agent
Security Operations and Automation on AWS
Security Operations and Automation on AWS
運用視点でのAWSサポート利用Tips
運用視点でのAWSサポート利用Tips
基礎から学ぶ? EC2マルチキャスト
基礎から学ぶ? EC2マルチキャスト
Floodlightってぶっちゃけどうなの?
Floodlightってぶっちゃけどうなの?
AWS で Presto を徹底的に使いこなすワザ
1.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Noritaka Sekiyama Sr. Big Data Architect, AWS Glue & Lake Formation 2020/11/20 AWS で Presto を 徹底的に使いこなすワザ
2.
© 2020, Amazon
Web Services, Inc. or its Affiliates. ⾃⼰紹介 関⼭ 宜孝 Sr. Big Data Architect AWS Glue & Lake Formation • GlueとLake Formationの ユーザーに近い部分の開発を担当 • 5年間 AWS サポートにて技術⽀援を担当 • 2019年からプロダクト開発チームにジョイン @moomindani moomindaniNoritakaS-AWS Forum
3.
© 2020, Amazon
Web Services, Inc. or its Affiliates. 本セッションについて • AWS x Presto • Presto x Amazon EMR • Presto x Amazon S3 • Presto x AWS Glue • Presto x AWS Auto Scaling • Presto on AWS の使い分け AWS で Presto を徹底的に使いこなすワザを習得する • Presto 視点で AWS の各種サービスを使いこなす⽅法 • Presto on AWS を⽬的に合わせて使い分ける⽅法
4.
© 2020, Amazon
Web Services, Inc. or its Affiliates. AWS x Presto Amazon EC2 Amazon EMR Amazon Athena Amazon S3 AWS Glue PrestoDB 0.232 PrestoSQL 338 PrestoDB 0.172 or 0.217 データ メタデータ
5.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto x Amazon EMR
6.
© 2020, Amazon
Web Services, Inc. or its Affiliates. EMR 6.1.0 にて Presto SQL をサポート • 従来の PrestoDB に加え、新たに PrestoSQL を選択可能に
7.
© 2020, Amazon
Web Services, Inc. or its Affiliates. EMR 6.1.0 における Presto の動作 EMR Master Node Name Node Presto Coordinator EMR Task Node Presto Worker Disk EMR Core Node Data Node Presto Worker Disk EMR Core Node Data Node Presto Worker EMR Cluster EMR Task Node Presto Worker
8.
© 2020, Amazon
Web Services, Inc. or its Affiliates. EMR 6.1.0 における Presto の動作 Task Core Master
9.
© 2020, Amazon
Web Services, Inc. or its Affiliates. EMR 6.1.0 における Presto の動作 $ presto-cli --catalog hive presto> select * from system.runtime.nodes; node_id | http_uri | node_version | coordinator | state ---------------------+---------------------------+--------------+-------------+-------- i-0cb86cde1bbe34782 | http://172.31.21.240:8889 | 338 | false | active i-0f2f12645011b0715 | http://172.31.18.88:8889 | 338 | false | active i-0de5119f5f5d15bf2 | http://172.31.27.4:8889 | 338 | true | active i-0a71e27153a1d3102 | http://172.31.30.217:8889 | 338 | false | active i-056355b68a53429df | http://172.31.24.68:8889 | 338 | false | active (5 rows) Query 20201110_081259_00008_4ut3q, FINISHED, 2 nodes Splits: 17 total, 17 done (100.00%) 0.23 [5 rows, 266B] [21 rows/s, 1.12KB/s] Master Core Task
10.
© 2020, Amazon
Web Services, Inc. or its Affiliates. クエリの実⾏ • presto-cli presto> select origin, count(*) as total_departures from flights.flights_crawledcsv -> group by origin -> order by total_departures DESC; origin | total_departures --------+------------------ ATL | 373197 ORD | 231723 DEN | 216520 LAX | 198062 DFW | 173121 SFO | 163608 PHX | 144239 LAS | 138875 IAH | 134806 MSP | 125699 DTW | 120951 SEA | 120923 MCO | 115478 EWR | 111412
11.
© 2020, Amazon
Web Services, Inc. or its Affiliates. クエリの実⾏ • JDBC • REST API jdbc:presto://example.net:8080/hive/sales $ curl -XPOST http://localhost:8889/v1/statement --data "SELECT 1” --header "X-Presto-User: hadoop" --header "X-Presto-Schema: default" --header "X-Presto-Time-Zone:UTC" --header "X-Presto-Catalog: hive"
12.
© 2020, Amazon
Web Services, Inc. or its Affiliates. クエリの実⾏ • EMR Step
13.
© 2020, Amazon
Web Services, Inc. or its Affiliates. クエリの実⾏ • EMR Step
14.
© 2020, Amazon
Web Services, Inc. or its Affiliates. クエリの実⾏ • EMR Parallel Step with AWS Step Functions { "Comment": "EMR Step", "StartAt": "Presto_Query_One", "States": { "Presto_Query_One": { "Type": "Task", "Resource": "arn:aws:states:::elasticmapreduce:addStep.sync", "Parameters": { "ClusterId.$": "$.ClusterId", "Step": { "Name": "The first query", "ActionOnFailure": "CONTINUE", "HadoopJarStep": { "Jar": "command-runner.jar", "Args": [ "presto-cli", "--catalog", "hive", "--execute", "SELECT 1" ] } } }, "Next": "ParallelQuery", "ResultPath": null }, "ParallelQuery": { "Type": "Parallel", "End": true, "Branches": [ { "StartAt": "Presto_Query_Two", "States": { "Presto_Query_Two": { "Type": "Task",
15.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto Server の追加
16.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto Server の追加
17.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto Server の追加
18.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto の設定変更
19.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto x Amazon S3
20.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto から Amazon S3 へのアクセス • EMRFS • EMR 5.12.0 以降および 6.1.0 以降はデフォルトで Amazon S3 へのアクセスに EMRFS を利⽤ • 暗号化 • IAM ロールによるアクセス • PrestoS3FileSystem • OSS PrestoDB/Presto SQL, およびEMR 5.12.0 未満では PrestoS3FileSystem を利⽤ • EMR 5.12.0 以降および 6.1.0 以降でも切り替え可能 • https://prestodb.io/docs/current/connector/hive.html#amazon-s3-configuration • https://prestosql.io/docs/current/connector/hive-s3.html
21.
© 2020, Amazon
Web Services, Inc. or its Affiliates. S3 SELECT Pushdown • S3 SELECT • S3 上のファイルにクエリする Amazon S3 の機能
22.
© 2020, Amazon
Web Services, Inc. or its Affiliates. S3 SELECT Pushdown • Presto における S3 SELECT Pushdown • Presto から S3 へのデータ参照に S3 SELECT を使⽤し、 Projection operation (e.g. SELECT)と Predicate operation (e.g. WHERE) を削減することで計算量を最適化 • ⾮圧縮, gzip, bzip2 の CSV ファイルをサポート [ { "classification": "presto-connector-hive", "properties": { "hive.s3select-pushdown.enabled": "true", "hive.s3select-pushdown.max-connections": "500" } }
23.
© 2020, Amazon
Web Services, Inc. or its Affiliates. S3 SELECT Pushdown • 有効なシーン • データセットの半分以上をフィルタアウトするクエリ • Presto と Amazon S3 の間のネットワーク帯域が⼗分な環境 • Presto と S3 SELECT の両⽅でサポートしているデータタイプ をもつカラムを使う場合 • Timestamp, Real, Double は S3 SELECT Pushdown ⾮対応
24.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto x AWS Glue
25.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Glue Data Catalog との連携 • Presto Hive Connector にて Hive メタストアサービスに加えて Glue Data Catalog に対応 • メタストアを永続化したい場合 • 複数のクラスタ、サービス、アプリケーションなどでメタスト アを共有したい場合 [ { "Classification": "presto-connector-hive", "Properties": { "hive.metastore": "glue" } } ]
26.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Glue Data Catalog との連携 • 制限事項あり • テーブル名のリネームには⾮対応 • Column statistics には⾮対応 • Hive Authorization には⾮対応 • https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-presto-glue.html#emr-presto- glue-knownissues
27.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto x AWS Auto Scaling
28.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Graceful Decommission • Auto Scaling のスケーリング操作時に猶予期間を設定 • Presto がデコミッション中のノードに新しいタスクをスケ ジューリングしないようにする • Presto が削除対象のノードで実⾏中のタスクを完了できるよう にする [ { "classification": "presto-config", "properties": { "graceful-shutdown-timeout": "1800s" } } ]
29.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け
30.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
31.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
32.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
33.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
34.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
35.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
36.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
37.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
38.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
39.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
40.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
41.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Presto on AWS の使い分け Presto on EC2 Presto on EMR Athena Presto ソフトウェア PrestoSQL or PrestoDB PrestoSQL or PrestoDB PrestoDB のみ バージョン 任意 PrestoSQL 338 PrestoDB 0.232 PrestoDB 0.172 or 0.217 AWS マネジメントコンソー ルからのクエリ × × ※Step で代替可能 ◯ Presto UI / クエリプラン ◯ ◯ × クラスタプロビジョニング ⼿動 ⾃動 不要 クラスタ運⽤管理 必要 必要 不要 ノード数 任意 任意 設定不可 オートスケーリング △ ◯ - コスト EC2 利⽤料 EC2 利⽤料 EMR 利⽤料 Athena クエリ利⽤料 設定カスタマイズ ◯ ◯ × 主な利⽤シーン 任意のバージョンの組 み合わせが必要な場合 ノード数や設定などを⾃由に カスタマイズしたい場合 他の Hadoop/Spark アプリ ケーションと併⽤したい場合 サーバーレスでクエリしたい場合 ML Query, Partition Projection などの Athena 固有機能を使いた い場合
42.
© 2020, Amazon
Web Services, Inc. or its Affiliates. おわりに • AWS x Presto • EMR • S3 • Glue • Auto Scaling • Presto on AWS の使い分け AWS で Presto を徹底的に使いこなすワザを習得する • Presto 視点で AWS の各種サービスを使いこなす⽅法 • Presto on AWS を⽬的に合わせて使い分ける⽅法
Download Now