2019/10/01にAWS Innovate Online Conference 2019で発表したセッション「Effective Data Lakes - ユースケースとデザインパターン」のスライド資料です。

1. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Effective Data Lakes
ユースケースとデザインパターン
アマゾン ウェブ サービス ジャパン
ビッグデータアーキテクト
関⼭ 宜孝
Twitter ハッシュタグ #AWSInnovate

2. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
⾃⼰紹介
関⼭ 宜孝
Big Data Architect
AWS Glue and Lake Formation
• 約 5年間 AWS サポートにて技術⽀援を担当
• 2019.8 からプロダクトチームにジョイン
• AWS でデータレイクを構築するための
アーティファクトの実装や
アーキテクティングの⽀援を担当

3. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
本セッションの狙い
AWS 上にデータレイクを構築するための
デザインパターンについて
ユースケースをもとに学ぶ

4. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
アジェンダ
• データレイクが必要な理由
• データレイクのコンセプト
• よくある質問とチャレンジ
• データレイクデザインパターン
• データレイクセキュリティ

5. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

6. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データ
5年毎
我々が考える以上に
データは増えている
15
年間
使⽤期間
データプラットフォームに
求められるもの
1,000
倍
拡張性
>10倍
成⻑率

7. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データにアクセスす
る⼈々も増えている
分析対象のデータに
対する要件も増えて
いる
データ
サイエンティスト
分析
ビジネスユーザー
アプリケーション
セキュア リアルタイム
柔軟性 拡張性

8. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
A data lake is a centralized repository that allows
you to store all your structured and unstructured
data at any scale
データレイクは、規模にかかわらず
すべての構造化データと⾮構造化データを保存できる
⼀元化されたリポジトリです

9. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
なぜデータレイクが必要か
データレイクが提供するもの:
構造化、半構造化、⾮構造化データの取り扱い
ペタバイト、エクサバイトにわたる拡張性
様々な分析および機械学習ツールとの連携
データの移動を伴わずにデータを処理
低コストなデータの保存と分析
OLTP ERP CRM LOB
データウェアハウス
ビジネスイン
テリジェンス
データレイク
100110000100101011100
101010111001010100001
011111011010
0011110010110010110
0100011000010
デバイス Web センサーソーシャ
ル
カタログ
機械
学習
データウェア
ハウスクエリ
ビッグデー
タ処理
インタラク
ティブ
リアルタイム

10. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS Glue
Amazon Kinesis
Data Analytics
Amazon
QuickSight
Amazon
EMR
AWS におけるデータレイク
データ⼊⼒
分析・機械学習
中央ストレージ
AWS Glue
Amazon
Elasticsearch
Service
AWS Lake
Formation
AWS Snowball AWS DMS AWS DataSync
Amazon Kinesis
Data Streams
Amazon Kinesis
Data Firehose
Amazon
Redshift
Amazon
Athena
Amazon
SageMaker
Amazon
Forecast
Amazon S3
AWS Deep
Learning AMIs
AWS IAM AWS KMS AWS Lake
Formation
Amazon
CloudWatch
AWS
CloudTrail
カタログ 管理
セキュリティ

11. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データレイクのコア
データレイク
コンピュート
レイヤー
データ &
メタデータ
AWS Glue
Data Catalog
Amazon
Redshift
Spectrum
AWS Lake
Formation
AWS Glue
ETL Job
Amazon
EMR
Amazon
Athena
Amazon
S3

12. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データレイクに必要な要素
• すべてのデータをひとつの場所に
• 構造化/半構造化/⾮構造化/⽣データに対応
• ⾼速なデータ⼊⼒と活⽤に対応
• スキーマ・オン・リード
• 低コストストレージ向けに設計
• ストレージとコンピュートを分離
• データの保護とセキュリティ

13. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

14. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Tier 2
S3 データレイク
(分析)
Tier 1
S3 データレイク
(⽣データ)
複数層データレイクとデータウェアハウス
データウェア
ハウス

15. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
⽣データの信頼できる唯⼀の情報源
(SSOT: Single source of truth)
最⼩限のデータ変換
定期的に S3 IA や S3 Glacier に移動Amazon S3
Tier 1 データレイク︓⽣データ

16. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
カラムナフォーマット(Parquet/ORC)を使⽤
パーティションにあわせて配置
時系列でより⼤きなパーティションに集約
分析に最適化Amazon S3
Tier 2 データレイク︓分析

17. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
構造化されたスキーマによる⾼速な処理
ダッシュボードとレポートの提供
きめ細かいアクセス制御
内部/外部テーブルの JOIN に対応
S3 データレイクへのライフサイクルバック
Amazon
Redshift
データウェアハウス

18. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

19. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
よくある質問
• データレイクへのストリーミング⼊⼒はできますか︖
• データレイクは分析⽤データベースレプリカをリプレイス可能ですか︖
• データレイクの中のデータの更新や削除はどのようにできますか︖
• データレイクの中のデータをどのように構成すればよいですか︖

20. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
よくある質問
• データレイクのデータをもとに機械学習のトレーニングをするには︖
• データレイクの中でデータ保護ルールを施⾏するには︖
• どのような認証・認可の選択肢がありますか︖

21. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

22. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ログ/クリックストリーム/IoT センサーデータの分析
アプリケーション S3 データレイク
Kinesis Data
Firehose
Amazon
Athena
Amazon
Redshift
潜在的な問題︓
1. ⾮常に多数の⼩さいファイル
2. 必ずしも分析に最適化されていない
Amazon
EMR
Amazon
SageMaker

23. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ログ/クリックストリーム/IoT センサーデータの分析
Tier 2
S3 データレイク
(分析)
Kinesis Data
Firehose
Tier 1
S3 データレイク
(⽣データ)
AWS Glue
ETL Job
解決策︓
Hourly で Parquet/ORC
に変換しコンパクション
アプリケーション
Amazon
Athena
Amazon
Redshift
Amazon
EMR
Amazon
SageMaker

24. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データベースレプリカのリプレイス
S3 データレイクAWS DMS
潜在的な問題︓
UPDATE/DELETE が新規のレコードを⽣成する
データベース
Amazon
Athena
Amazon
Redshift
Amazon
EMR
Amazon
SageMaker

25. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Tier 2
S3 データレイク
(分析)
Tier 1
S3 データレイク
(⽣データ)
解決策︓
データベースの最新のレコードの
ビューを表現するVIEW を作成する
データベースレプリカのリプレイス
AWS DMS
潜在的な問題:
VIEW のレコードのグルーピングの
計算コストが⾼い
データベース
AWS Glue
ETL Job
Amazon
Athena
Amazon
Redshift
Amazon
EMR
Amazon
SageMaker

26. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Tier 2
データレイク
(分析)
Tier 1
データレイク
(⽣データ)
解決策︓
データベースの当時の
レコードのビューを表現する
⽇次のスナップショットを作成する
データベースレプリカのリプレイス
AWS DMSデータベース
AWS Glue
ETL Job
スナップ
ショット
(分析)
AWS Glue
ETL Job
Amazon
Athena
Amazon
Redshift
Amazon
EMR
Amazon
SageMaker

27. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習︓バッチトレーニングパイプライン
Tier 2
S3 データレイク
(分析)
Tier 1
S3 データレイク
(⽣データ)
AWS Glue
ETL Job
SageMaker
バッチトレーニング
S3 モデル
アーティファクト
SageMaker
Endpoints
AWS Glue
ETL Job
AWS Glue
ETL Job
Data
Preparation
Training
Step
Model
Deployment

28. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習︓ストリーミングデータの予測
Tier 2
S3 データレイク
(分析)
Kinesis Data
Firehose
Amazon
Athena
Presto/Spark
on EMR
Amazon
Redshift
Tier 1
S3 データレイク
(⽣データ)
AWS Glue
ETL Job
アプリケーション
SageMaker
Endpoints
Lambda
潜在的な問題:
Tier 1 の⽣データにおけるデータ
変換は最⼩限にとどめたい

29. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習︓ストリーミングデータの予測
Tier 2
S3 データレイク
(分析)
Kinesis Data
Firehose
Amazon
Athena
Presto/Spark
on EMR
Amazon
Redshift
Tier 1
S3 データレイク
(⽣データ)
AWS Glue
ETL Job
アプリケーション
SageMaker
Endpoints

30. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ゲーム系の分析/ML ユースケース
Tier 2
S3 データレイク
(分析)
Tier 1
S3 データレイク
(⽣データ)
AWS Glue
ETL Job
Amazon
Athena
Amazon
Redshift
Amazon
SageMaker
Kinesis Data
Firehose
ゲームA
ゲームZ
Kinesis Data
Firehose
ゲームタイトルのログデータを集約することで
全タイトルを横断した分析が可能に
Amazon
QuickSight

31. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データレイク設計の原則
• データ⼊⼒のロケーションと頻度
• データ⼊⼒のデータソースのロケーションを決定
• データの⼊⼒頻度と⽅式を決定
• データパーティショニング
• よく使⽤されるフィルターをもとに、データのパーティションキーを決定
• パーティションプルーニングが有効化され、クエリパフォーマンスが向上
• ファイルサイズ
• 最適なファイルサイズを選択
• 推奨︓パーティションごとに 256MB〜1GB の Parquet/ORC ファイルを配置

32. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データレイク設計の原則
• コンパクション
• スケジュールベースでデータを推奨ファイルサイズにコンパクション
• 例︓Houly のファイルが⼩さい場合、⽇次で Daily パーティションに集約
• 変わりやすいデータ (Mutable data) を扱うユースケース
• Redshift や HBase を使⽤し、データが静的になったあとで S3 にオフロード
• パーティションごとに差分ファイルを⽣成し、AWS Glue や Spark on EMR で
スケジュールベースでコンパクション

33. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
パーティションカラムの選び⽅
• 最適なファイルサイズを⽬指す (256 MB〜1GB)
• 典型的なクエリのスキャン範囲を特定する (3か⽉、1年、5年など)
• クエリフィルターを把握し、GROUP BY カラムとパーティションカラ
ムを合わせる

34. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
パーティションカラムの選び⽅︓例
4.3M partitions

35. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
パーティションカラムの選び⽅︓例
device/ hour
• バケッティング︓デバイス、50 バケット
50
480 MB
24 GB
5*365
= 1825 partitions

36. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データレイクの最適化
• バケット化データ
• より⾼いパフォーマンスを実現するために、各パーティションにおいて⾼い
カーディナリティをもつキーでデータをバケット化
• Presto/Athena や Hive, Spark にて、対象キーのフィルタの性能向上に有効
df.write.bucketBy(numBuckets,”col1”).parquet(…)

37. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データレイクの最適化
• データの順番
• より⾼いパフォーマンスを実現するために、各パーティションにおいてセカン
ダリキーでソートする
• 各エンジンが要求されたデータを取得する際にファイルの⼀部をスキップする
ため、性能向上に有効
df.repartition(100).sortWithinPartitions([‘order_id’]
,ascending=True).parquet(…)

38. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データレイクの最適化
• ブルームフィルタ
• 空間効率の⾼い確率的なデータ構造
• 要素が集合のメンバーであるかどうかをチェックするのに使⽤される
CREATE TABLE
STORED AS ORC
TBLPROPERTIES('orc.bloom.filter.columns’=‘ORDER_ID')

39. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

40. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
セキュリティとガバナンスの検討課題
• 認証
• データとメタデータの認可
• 保管時/転送時のデータの暗号化
• 監査と監視
• ⼀元管理

41. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
データストレージのセキュリティ
• 複数チーム環境におけるデータへのアクセスコントロール
• Coarse Grained Authorization (CGA): 粗い粒度の認可
• Fine Grained Authorization (FGA): 細かい粒度の認可
• リソースのセキュア化とアクセスの分離
• S3 バケット/オブジェクト
• EMR クラスタ
• Redshift クラスタ
• データアセットの暗号化

42. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
メタデータのセキュリティ
• 中央データカタログの作成と管理
• 複数チーム環境におけるメタデータへのアクセスコントロール
• メタデータの暗号化

43. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
• S3 上のデータの準備をより簡単に
• Blueprint を使って既存データを登録したり、新規データを簡単にロード可能
• 複数のサービスにわたるデータアクセスをセキュアに
• SQL スタイルのパーミッションでシンプルに管理可能
• Glue, Athena, Redshift Spectrum, Spark on EMR (ベータ) に対応
AWS Lake Formation セキュアなデータレイクを数⽇で構築
クイックに
データレイクを構築
アクセスを
セキュアに管理
共有と
コラボレーション

44. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Lake Formation のパーミッション
• データアクセスを GRANT/REVOKE の
SQL スタイルでコントロール
• バケットやオブジェクトではなく、
テーブルやカラムのパーミッションを設定
• 特定のユーザーに付与されたパーミッショ
ンを簡単に確認

45. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Lake Formation のセキュリティモデル
Amazon S3
データレイクストレージ
Data
Catalog
アクセス
コントロール
Lake Formation
2. ユーザーがいずれかの
サービスからアクセス
3. 各サービスが
ユーザークレデンシャルを
Lake Formation に送信
4. Lake Formation が
データアクセスを許可した
⼀時クレデンシャルを返却
1. Lake Formation でユーザー
のパーミッションを設定
Admin
Amazon
EMR
Amazon
Redshift
Amazon
Athena
AWS Glue
User

46. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.

47. © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
本セッションのまとめ
• データレイクを構築する上でのコンセプトとチャレンジ
• データレイクのユースケースとデザインパターン
• データレイクセキュリティの検討課題と AWS Lake Formation

48. Thank you!
© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.