Amazon s3へのデータ転送における課題とその対処法を一挙紹介

1. Amazon S3へのデータ転送における
課題とその対処法を⼀挙紹介
2017.08.25 クラスメソッド株式会社
AWS事業部 にしざわ

2. ⾃⼰紹介 2
⻄澤 徹訓
• クラスメソッド株式会社
• AWS事業部
• アーキテクトグループ所属
• 2015年8⽉⼊社
• インフラ、エンプラ寄り
• 最近は若者育成に⼒を⼊れて
います

3. 好きなAWSサービス 3
特集カテゴリー ブログ登場回数
AWS-CLI 23
EC2 22
RDS 17
S3 15
Directory Service 11
Windows 11
Database Migration Service 9
IAM 8

4. クラスメソッドとは︖ 4
AWSとビッグデータと
スマホアプリとブログの
会社です。

5. クラスメソッドとは（今⽇の趣旨と合ってます︖） 5
•Web系?
•B to C ではなく B to B
•Webサービスは提供していない
•社⾵はWeb系企業寄りかも

6. クラスメソッドとは（今⽇の趣旨と合ってます︖︖） 6
•ベンチャー︖
•ベンチャーってわけでもない
•新しい技術は好き
•Alexaなんかもやってます

7. クラスメソッドとは（今⽇の趣旨と合ってます︖︖︖） 7
•AWS利⽤事例?
•AWS利⽤事例ならいくらでも︕

8. 本題 8
S3へのデータ転送で
困ったことはないですか︖

9. Central StorageとしてのS3 9

10. 分析するにしても 10
まずはS3にデータを
持っていかないといけない

11. 今⽇のテーマ 11
S3への転送パターンを
可能な限り紹介します

12. S3へのデータ転送︓ケース１ 12
【ケース１】
たくさんのファイルを
まとめてS3に転送したい

13. • とにかくAWS CLIが便利︕︕︕
• 直感的なコマンド(ls/cp/mv/rm)
• syncで同期
• 分割アップロードや並列数も設定可能
S3へのデータ転送︓ケース１への対処 13
http://docs.aws.amazon.com/cli/latest/reference/s3/index.html

14. AWS CLIのS３オプション 14
• s3オプション
• max_concurrent_requests
• max_queue_size
• multipart_threshold
• multipart_chunksize
http://docs.aws.amazon.com/cli/latest/topic/s3-config.html

15. S3へのデータ転送︓ケース２ 15
【ケース２】
海外リージョンにあるS3バケットに
ファイルを転送したい

16. • S3 Transfer Acceleration
• 地理的に近いエッジロケーションを経由して
からアップロードが可能
S3へのデータ転送︓ケース２への対処① 16
http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/transfer-acceleration.html

17. • クロスリージョンレプリケーション
• 近くのS3バケットに配置してレプリケーショ
ンするという⽅法もあり
S3へのデータ転送︓ケース２への対処② 17
http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/crr.html

18. S3へのデータ転送︓ケース３ 18
【ケース３】
転送スループットを上げたい

19. • udp転送ツールを検討
• オーバヘッドが無いudpで
• Tsunami UDP
• CloudDat（旧ExpeDat）
S3へのデータ転送︓ケース３への対処 19
http://aws.typepad.com/sajp/2015/03/expedat.html

20. S3へのデータ転送︓ケース４ 20
【ケース４】
閉域網からファイル転送したい

21. • S３エンドポイントを利⽤
• VPC内のEC2を経由する
S3へのデータ転送︓ケース４への対処 21

22. S3へのデータ転送︓ケース５ 22
【ケース５】
クライアント側で使える
プロトコルが限定されている

23. • EC2で受けて何とかする
• FTP/SFTPなど要件に合わせてEC2を⽤意
• lsyncdやFileGatewayで同期
S3へのデータ転送︓ケース５への対処 23

24. S3へのデータ転送︓ケース６ 24
【ケース６】
EBSは使いたくない

25. • FUSE
• s3fs-use、goofysがハマるケースも
• 使い⽅には要注意
S3へのデータ転送︓ケース６への対処 25

26. ついに来ました︕ 26

27. 最後に 27
•情報発信/情報交換することで、AWS
好きが増え、元気になるエンジニアが
少しでも増えていったら嬉しいです。
•ありがとうございました︕︕︕