2015/02/07 JAWS-UG関西 Special Kinesisの紹介資料

1. Amazon Kinesis
2015.02.07

2. #jawsug で色々tweetしてもらえると
喜びます

3. 金春利幸（Toshiyuki Konparu）
R3 institute Ltd.
Manager, Solution Architect
JAWS-UG Osaka Core Member
Work
Community
Official kintone Evangelist
Social
Facebook: t.konparu
Twitter: t_konparu
JOIN US!

4. R3 instituteのご紹介
2000年創業のシステムによる問題解決会社
2012年からAWSのパートナー
2014年からサイボウズ(kintone)のパートナー
業務設計 仕様検討 設計 開発 教育 運用
すべてをワンストップで提供
http://www.r3it.com/
アールスリー 検索

5. Amazon Kinesis
リアルタイムデータストリーム処理

6. リアルタイムに
不規則に
発生するデータを
漏らすことなく
スマートに処理するための仕組み

7. リアルタイム分析の悩ましい点
• データを受け取るための適切なリソースのサイジング
を行うのは難しい
• 安全にデータを保管するのは難しい
• 受けたデータを適切な速度で処理するのはサイジング
が難しい
• かといって、ピーク性能に合わせるとコストがかかる
どんどんリアルタイムでやってくるデータに対して

8. Kinesisの基本概念
K
Kinesis App
RDS
DaynamoDB
S3
Lambda
Redshift
Endpoint
Shard
Shard
Shard
Shard
Shard
Kinesis

9. Shard
Shard
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body1
2
3
4
Shardの能力
Write 1MB/sec(1000write/sec)
Read 2MB/sec(5read/sec)
50KB256bytes
ストリーム全体でユニークな
SequenceNumberが振られる
Shard内のデータは
24時間で削除される
どのShardにデータが入る
かはPartitionKeyで決まる

10. Shardのサイジング
• Kinesisに利用では、Shardを何個用意するかが重要
• Shardは適切な数を用意しないとデータを受け付けてくれない
• 事前にデータ量が予測できる場合は必要Shard数が計算できる
number_of_shards
= max (incoming_write_bandwidth_in_KB/1000,
outgoing_read_bandwidth_in_KB/2000)
• データ量が予測できない場合は、CloudWatchを使って入力デー
タの速度を監視してShardを動的に追加するようにする

11. Kinesisでのデータの流れ方

12. Kinesisでのデータの流れ方
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws もっと安くなるとうれしい
#aws Workspacesにもっとスペックを
#aws AWS太っ腹

13. Kinesisでのデータの流れ方

14. Kinesisでのデータの流れ方
Amazon Kinesis
Shard
Shard

15. Kinesisでのデータの流れ方
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws もっと安くなるとうれしい
#aws Workspacesにもっとスペックを
#aws AWS太っ腹

16. Kinesisでのデータの流れ方
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws もっと安くなるとうれしい
#aws Workspacesにもっとスペックを
#aws AWS太っ腹

17. Kinesisでのデータの流れ方
Amazon Kinesis
Shard
Shard
K
Kinesis App
Lambda
GetNextRecord
GetNextRecord
①
②
③
④
⑤
⑥

18. Kinesisでのデータの流れ方
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws もっと安くなるとうれしい
#aws Workspacesにもっとスペックを
#aws AWS太っ腹
K
Kinesis App
Lambda
GetNextRecord
GetNextRecord
①
②
③
④
⑤
⑥

19. Kinesis Client Library(KCL)
• APIを直接使わなくても簡単に使える
• データを処理するWorkerの生成
• 各Shardに対してWorkerがちゃんとつくように制御
• Shard増減時のWorkerの増減
• 処理中にWorkerが死んだときの再処理制御
• AutoScaling時にWorkerとShardの割当を自動的に調整
（現在はJava版とPython版があります）

20. Kinesis Connector Library
• Kinesis Streamから必要なデータ変換をしてS3, DaynamoDB, EMR,
Elasticsearch, Redshiftへデータを格納するライブラリ
• 変換部分の記述に集中できる
• Kinesis log4j Appenderも公開されているので、Webサイトのログ
をKinesisに流してEMRで分析なんてのも簡単にできます
• Amazon Kinesis Storm SpoutでApache Stormにデータを流すことも
できます

21. IoTとKinesis
IoTが普及すればするほど無数の端末
から発生するリアルタイムデータをス
ムーズに処理する仕組みが必要となる

22. IoTとKinesis
IoTが普及すればするほど無数の端末
から発生するリアルタイムデータをス
ムーズに処理する仕組みが必要となる

23. AWSがないと…
FTPサーバのサイジングや
スケールは難しいのでパンクする
FTPサーバ DBサーバ

24. Kinesisないとき
スケールはできるがデー
タを確実に受け付け安
全に保存する仕組みを
作らないといけない
ELB
EC2

25. Kinesisあるとき
データはKinesis
が確実に受け付け
て保管してくれる
あとは順次処理す
ればいいだけ
K
K
K

26. Kinesisを使ったフルマネージドIoT
Kinesis

27. Kinesisを使ったフルマネージドIoT
Kinesis Lambda

28. Kinesisを使ったフルマネージドIoT
Kinesis Lambda DynamoDB

29. Kinesisを使ったフルマネージドIoT
Kinesis Lambda DynamoDB ELB
EC2

30. Kinesisの料金
• Shard1つあたり $0.0195/h
• 1,000,000PUTあたり $0.043

31. まとめ
• IoTとクラウドは極めて相性がいい
• Kinesisを始めとしたAWSのフルマネージドサービス
を組み合わせることでインフラの維持を気にせずに
IoTインフラを構築することができる
• あとはAWSに某M⃝に負けないような機械学習の
サービスが来れば万全（個人的期待）

32. Save The Date!
3月22日 新宿でJAWS-UGの全国イベントがあります。
私、実行委員長なので来てください。お願いします。

33. JAWS DAYS 2015 Road Trip
3月21日(土)大阪から東京まで無料のバスが出ます
（行きだけ。帰りは自費で）
大阪 名古屋 東京

34. Thank you