分散システムのツアー #3 - Apache Kafka

1. Apache Kafka
分散システムのツアー #3
Chris
2014/10/15
#m3dev
https://github.com/m3dev/distrib-systems-tour

2. Kafka
● PubSubメッセージ・キュー
● LinkedIn発
● 売り
○ パフォーマンス
○ スケーラビリティ
○ 永続性
○ 柔軟な配布モデル：コンシューマ・グループ
● Scala実装、多言語のクライアント

3. アーキテクチャ
Producer Producer Producer Producer
Kafka cluster
Broker Broker Broker
Consumer Group 1 Consumer Group 2
Consumer Consumer Consumer Consumer
ZooKeeper
HDD HDD HDD

4. コンシューマ・グループ
● 全てのメッセージを全てのconsumer group（の
consumerのいずれか）に配布する
● 例）
○ メッセージ 1, 2, 3, 4
○ コンシューマグループ A, B
○ Aにコンシューマ２台：A1, A2
○ Bにコンシューマ２台：B1, B2
Group A Group B
A1 A2 B1 B2
① ③ ② ④ ③ ④ ① ②

5. コンシューマ・グループ
● スペシャルケース
○ 全てのコンシューマが同じグループに所属
■ 普通のキュー
○ コンシューマはそれぞれ別グループ
■ 普通のPub-Sub

6. （とある consumer group の中の話です）
パーティション
● トピックを複数の partition に分ける
● Producer が message ⇔ partition の振り分け
を決める
● Kafka broker が partition ⇔ consumer の振り
分けを決める
● 制限：Consumer数 ≦ Partition数
Producer
Producer
Partition 1
Partition 2
Consumer
Partition 3
Consumer

7. 永続性
● Brokerはメッセージをファイルに書き込む
● Consumerがメッセージを消費しても、一定期間
brokerに残る
● Consumerが自身の経過を管理するので、巻き
戻して再読み込みができる

8. パフォーマンス
$ brew install kafka
$ cd /usr/local/opt/kafka
$ bin/start-zookeeper-server.sh libexec/config/zookeeper.properties &
$ bin/kafka-server-start.sh libexec/config/server.properties &
$ bin/kafka-topics.sh --create --zookeeper localhost:2181
--replication-factor 1 --partitions 1
--topic test
$ bin/kafka-producer-perf-test.sh --broker-list localhost:9092
--topics test --messages 1000000
結果：49,568 messages/sec
(Late 2011 MBP, 100 byte msgs)

9. スケーラビリティ
LinkedIn社で１千億メッセージ／日！
https://twitter.com/jaykreps/status/479749975853641729

10. 使い所：リアルタイム通知

11. 使い所：レポーティング

12. 使い所：多目的イベント活用

13. ハンズオン！
OSX: brew install kafka
or, AWS上に稼働中のKafka を使う
192.168.51.119:9092
https://github.com/m3dev/distrib-systems-tour