re:Port2016大阪での発表資料です

1. re:Invent 2016報告
AWS Athenaを使ってみて
フェンリル株式会社
岩瀬 高博
Copyright © 2016 Fenrir Inc. All Right Reserved. 1

2. 自己紹介
• 岩瀬 高博（いわせ たかひろ）
@okuyamaoo
• フェンリル株式会社 所属
ウェブ共同開発部 マネージャー
経歴
・オープンソース開発(分散KVS、CEP等）
https://github.com/okuyamaoo
・EC向け検索エンジンサービス開発・運用
・独立行政法人 情報通信研究機構 特別研究員
・人工知能学会等での学会登壇や、全国大会オーガナイザ等…
Copyright © 2016 Fenrir Inc. All Right Reserved. 2
車に乗るのも好きです

3. 今日のお題
• re:Inventで発表された新サービスAthena
• 実際に使ってみる
• まとめ
Copyright © 2016 Fenrir Inc. All Right Reserved. 3

4. Copyright © 2016 Fenrir Inc. All Right Reserved. 4
re:Inventで発表された新サービスAthena

5. Amazon Athenaって?
Copyright © 2016 Fenrir Inc. All Right Reserved. 5
• Serverless Interactive Query Service
• S3上のJSONやCSVなどのフォーマットに一貫性がある
ファイルにSQLでのクエリが実行可能
• RDSやRedshiftのようなインスタンスの存在が不要
S3だけで利用可能
• Prestoベースの分散SQLエンジンで構成されている
クエリを実行すると並列化され処理される
• ダッシュボードにコンソールもあるので即試せる
Amazon Athena
re:Inventで分析系のサービスで発表

6. Copyright © 2016 Fenrir Inc. All Right Reserved. 6
Athenaを使ってみる

7. Athenaを使ってみる①
Copyright © 2016 Fenrir Inc. All Right Reserved. 7
・ダッシュボードからサービス選択(分析にカテゴライズ)
・現在はバージニアとオレゴンでのみ利用可能

8. Athenaを使ってみる②
Copyright © 2016 Fenrir Inc. All Right Reserved. 8
・S３に事前にログファイルをアップロード
今回はアクセスログをアップロード(区切りはカンマ)
・この際権限は特に気にする必要なし
S3

9. Athenaを使ってみる③
Copyright © 2016 Fenrir Inc. All Right Reserved. 9
・Catalog Managerでデータベースを作成
いきなりSQLが流せるわけではない。
・左メニューの+Add tableから

10. Athenaを使ってみる④
Copyright © 2016 Fenrir Inc. All Right Reserved. 10
・Catalog Managerでデータベースを作成と同時に作成するテーブル名と
S3のロケーションを指定
・S3のロケーションは”s3://<バケット名>/<データファイルのフォルダ名>/”

11. Athenaを使ってみる⑤
Copyright © 2016 Fenrir Inc. All Right Reserved. 11
・S3のフォルダ配下のファイルのフォーマット指定
ここではCSVを指定
・指定しているフォーマットとS3のファイルがアンマッチでもエラーは出ない

12. Athenaを使ってみる⑥
Copyright © 2016 Fenrir Inc. All Right Reserved. 12
・次にカラムを追加
カラム名と型を指定
・指定しているカラムとS3のファイルがアンマッチでもエラーは出ない

13. Athenaを使ってみる⑦
Copyright © 2016 Fenrir Inc. All Right Reserved. 13
・最後にパーティション指定
・パーティションはデータファイルの特定のカラムをキーとしてデータを分割

14. Athenaを使ってみる⑧
Copyright © 2016 Fenrir Inc. All Right Reserved. 14
・[Create table] ボタンでQuery Editorに移動
・Catalog Managerでの指定がクエリ化されて登場
・[Run Query]ボタンで実行

15. Athenaを使ってみる⑨
Copyright © 2016 Fenrir Inc. All Right Reserved. 15
・指定が間違えているとエラーが表示される
この例ではバケット名を間違えています

16. Athenaを使ってみる⑩
Copyright © 2016 Fenrir Inc. All Right Reserved. 16
・成功すればResults欄にsuccessfulが出て終了
・データファイルとカラム定義が異なってもエラーは出ない

17. Copyright © 2016 Fenrir Inc. All Right Reserved. 17
・テーブルに対してSELECTクエリを発行

18. Copyright © 2016 Fenrir Inc. All Right Reserved. 18
・一般的な関数、Where句も指定可能
limit、count、and、like等

19. Copyright © 2016 Fenrir Inc. All Right Reserved. 19
・JOINも可能
ここではアクセスログのIPアドレスとIPアドレスのマスターとなる
ファイルをJOIN結合

20. Copyright © 2016 Fenrir Inc. All Right Reserved. 20
・insert into <table_name> values(…) 句はエラー
・テーブル定義でカラム指定を間違えた場合はクエリ時にエラーメッセージ
・insert into <table_name> select * … 句は特に動き無し データも増えな
い

21. Athenaを使ってみる(性能確認)
Copyright © 2016 Fenrir Inc. All Right Reserved. 21
・10万行のログファイルを順次アップロードし都度クエリを実行し性能を検証
・クエリは
>SELECT〜FROM〜WHERE
>SELECT〜FROM JOIN〜WHERE〜 ORDER BY
S3
10万行(約9MB)のログファイル

22. Athenaを使ってみる(性能確認)
Copyright © 2016 Fenrir Inc. All Right Reserved. 22
クエリ①
SELECT
COUNT(*) AS cnt
FROM
testaccesslogsv1
WHERE
col9 = '401';
クエリ②
SELECT
t1.col1,
t2.hostname1
FROM
testaccesslogsv1 t1 LEFT OUTER
JOIN addressmster t2
ON t1.col1 = t2.ipaddress
WHERE
t1.col9 = '401'
ORDER BY t1.col1 DESC
LIMIT10

23. Athenaを使ってみる(性能確認)
Copyright © 2016 Fenrir Inc. All Right Reserved. 23
ログ行数 SELECTクエリ
(単純)
SELECTクエリ
(結合＋ソート有りSELECT)
10万(約9MB) 4.96seconds (未計測)
20万(約18MB) 5.16seconds (未計測)
50万(約45MB) 5.37seconds 5.39seconds
100万(約90MB) 5.27seconds 5.14seconds
200万(約180MB) 6.11seconds 6.82seconds
500万(約450MB) 6.96seconds 6.95seconds
・10万〜100万程度(10MB〜100MB)程度のデータ規模では性能は一定
200万行程度から多少の性能劣化、ただし500万件では指数関数的な劣化無し
・JOINでの性能劣化が見られない
・連続実行していると稀に性能にばらつきが見られた。ただし概ね安定している
・もっと大きなデータで試してみたい

24. まとめ
• 思った以上に簡単に使える
ただデータフォーマットは一定である必要が
あるので事前設計は必須
• 利用用途としてはベース性能から分析の
バックエンドが本命か
ただ意外に5〜6秒は悪くないので他も検討したい
JDBC接続も！
• 現在のログファイルを S3へ保存し必要時は
取り出して処理と比べた場合、作業効率化は
素晴らしい！！
Copyright © 2016 Fenrir Inc. All Right Reserved. 24

25. Copyright © 2016 Fenrir Inc. All Right Reserved. 25
Thank you!