Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904

Apache Pulsarの近況 & meetup
北京の参加報告
ヤフー株式会社システム統括本部
酒井宏⾏
栗原望
2019/09/04

Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2
Apache Pulsarの近況

⾃⼰紹介
酒井宏⾏
経歴︓
- 2007/04 新卒⼊社
- 2007/06 Yahoo! JAPAN ID全般(ID登録、登録情報、ID連携など)
- 2015/07 ヤフオクのBEシステム
- 2016/10 「Apache Pulsar」を使った社内向けメッセージングプラットフォーム
最近︓
- ⼦育て
- スポーツ観戦

Apache Pulsar
Yahoo! Inc.（現︓Verizon Media）で開発されたPub-Subメッセージングプラットフォーム
• 特徴
• ⾼速
• スケーラブル
• デュラブル
• マルチテナント
• ジオレプリケーション

Apache Pulsar
Producer Consumer
Broker 1 Broker 2 Broker 3
Bookie
1
Local ZK
Bookie
2
Bookie
3
Pulsar Cluster
Configuration
Store
(Global ZK)
■3つのコンポーネント
• Broker - serving node
• Bookie – storage node
• Zookeeper – store metadata and configu
ration
• 各コンポーネントを独⽴してスケール可能

Apache Pulsar
• Users
• Verizon media (Yahoo! Inc.)
• Comcast
• Streamlio
• Tencent
• Zhaopin
• China Mobile
• Yahoo! JAPAN
• etc
http://pulsar.apache.org/

Apache Pulsar
• Releases (計37回)
• 2016/09 v1.14 (OSSとして公開)
• 2018/05 v2.0
• 2018/10 v2.2 (TLP昇格後の初リリース)
• 2019/07 v2.4
• Github
• stars: 4,046
• Commits: 3,712
• Contributors: 156

Star数の推移
☆2019/08 4,000件突破

Contributor数の推移

Apache Pulsar
• Conferences
• 2018/09 ApacheCon North America (2talks)
• 12 Apache Pulsar Meetup 上海
• 12 KubeCon North America (booth)
• 2019/03 Apache Pulsar × Apache Flink Meetup 杭州
• 05 KubeCon Europe (booth)
• 06 KubeCon China (booth)
• 06 Apache Pulsar Meetup Palo alto
• 08 Apache Pulsar Meetup 北京
• 09 ApacheCon North America (5talks)
• 11 KubeCon North America (CFP提出済)
• And more

新機能

Pulsar-2.0、2.1
• Pulsar Functions
• Schema registry
• Topic compaction
• 2.0
• Release: 2018/05
• Pull requests: 423件
• 2.1
• Release: 2018/08
• Pull requests: 378件
• Pulsar IO – connector framework
• Tired Storage
• Go client(Based on C++ client library)

Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
Pulsar Functions
• V2.0からサポート
• ⼊⼒トピックからデータを受け取り、何らかの処理を⾏って出⼒トピックに書き込む
• ちょっとした前処理やイベント処理を⼿軽に実現できる
Source SinkProducerConsumer
Pulsar Function Worker
F(x)
def process(input):
return input + ’!’
exclamation.py
hoge hoge!
13

Pulsar-2.2 ~
• V2.2
• Pulsar SQL
• Dead Letter Topic
• V2.3
• Authentication plugin(token based)
• Releases
• 2018/10 v2.2
• 2019/02 v2.3
• 2019/07 v2.4
• V2.4
• Key_shared
• Replicated subscriptions
• Negative ack
• Authentication plugin(SASL)
• 開発中
• Pure Go client
• Node.js client
• Pulsar Manager

Pulsar SQL
presto> select * from my_topic;
• Pulsar Connector for Presto
• SQLクエリでメッセージ取得可能

Dead Letter Topic
• 指定回数処理できなかったメッセージをdead letter topicに移動
consumer =pulsarClient.newConsumer(Schema.BYTES)
.topic(“persistent://my-tenant/my-ns/default-topic”)
.ackTimeout(10, TimeUnit.SECONDS)
.subscriptionName(“sub1”)
.deadLetterPolicy(DeadLetterPolicy.builder()
.maxRedeliverCount(3)
.deadLetterTopic("persistent://my-tenant/my-ns/dead-letter-topic")
.build())
.subscribe();

Authentication plugins(token based, SASL)
• それぞれV2.2、v2.4からサポート
• Client – Broker間の認証⽤プラグイン
• ２つの認証プラグインが追加
• 今までは実質TLSクライアント認証のプラグインのみ

Key_shared
• 4つ⽬のsubscription type(既存︓exclusive、shared、failover)
• メッセージの順序を(指定したkey単位で)維持しつつ、複数consumerで
処理可能
.topic(“persistent://my-tenant/my-ns/default-topic”)
.subscriptionName(“sub1”)
.subscriptionType(SubscriptionType.Key_Shared)
.subscribe();

Key_shared

Replicated Subscriptions
• クラスタ間でsubscriptionの購読位置(cursor)を同期
• Consumerがクラスタをスムーズに切り替え可能
.topic(“persistent://my-tenant/my-ns/topic-1”)
.subscriptionName(“Sub-A”)
.replicateSubscriptionState(true)
.subscribe();

topic-1
重複が発⽣
22
データセンターA
Consumer
データセンターB
12
1
1 432
V2.3以前
4 123
Sub-A Sub-ASub-A
メッセージを消費したので
cursorが移動
topic-1
同期されない

topic-1
23
データセンターA
Consumer
データセンターB
12
3
1 432
V2.4以降
4 123
Sub-A Sub-ASub-A
メッセージを消費したので
cursorが移動
Sub-A
他クラスタと同期
topic-1
前クラスタでの購読位置
から購読開始

Negative ack
• Negative ackされたメッセージは再送される
• 受信メッセージの処理に失敗した場合に利⽤
try {
Message msg = consumer.receive();
// Do something
} catch (Exception e) {
// Failed to process message
consumer.negativeAcknowledge(msg);
}

Clients
Pulsar • Java
• C++
• Python
• Go
• Node.js
• WebSocket
Kafka • Java
• And more (third-pirty)
• Pulsarは「WebSocket APIで複数⾔語をカバー」から、
「各⾔語のライブラリを充実」に
• Kafkaはサードパーティ製のクライアントが豊富

Pure Go client
• 開発中
• https://github.com/apache/pulsar-client-go
• Not based on the C++ client library
• Go 1.11+
• 2019/03 initial commit
• １年前にC++ client baseのlibraryをリリース

Node.js client
• 開発中
• https://github.com/apache/pulsar-client-node
• Based on C++ client library
• Node 10+
• 2019/03 initial commit
// Create a client
const client = new Pulsar.Client({
serviceUrl: 'pulsar://localhost:6650',
});
// Create a producer
const producer = await client.createProducer({
topic: 'persistent://public/default/my-topic',
});
// Send a message
await producer.send({ data: Buffer.from('Hello World!') });

Pulsar Manager
• 開発中
• Vue.js + Java
• Web UIからテナントなどの作成、stats閲覧、各種設定が可能

Pulsar Manager

まとめ
31
まとめ
n Apache Pulsar
› 機能追加など活発に開発が⾏われている
› カンファレンスへの開催 / 参加も活発
› 順調にstar数、contributor数も推移
n ドキュメント、お問い合わせ
› ドキュメント : https://pulsar.apache.org
› Slack : https://apache-pulsar.slack.com
› メール : users@pulsar.apache.org

Pulsar Meetup 北京の参加報告

⾃⼰紹介
栗原望
経歴︓
2012/04 ヤフー株式会社に新卒⼊社
2012/10 ユーザーの属性情報に関連する社内向けプラットフォームの開発
2015/07 ヤフオクのBEシステム再構築
2016/10 「Pulsar」を使った社内向けメッセージングプラットフォームの開発
2017/06~ 「Pulsar」のコミッター
趣味:
ぷよぷよ
ボードゲームいろいろ

Pulsar Meetup 北京 (2019/08/17)
• https://www.huodongxing.com/event/1502359221000
• 参加者: 50名くらい
34

Meetups in China
35

Users in China
36
• 中国ではMQを使っている企業が多い
• eコマースが発達し、流れるトランザクションの量が膨⼤
• 以前はRabbitMQを使っているところが多かった
• 最近はより⾼いスケーラビリティを求めてKafkaやPulsarが使われている

KoP (Kafka on Pulsar)
• https://github.com/apache/pulsar/wiki/PIP-42%3A-KoP---Kafka-on-Pulsar
• Pulsarの上にKafka Protocol Handlerを載せた
• Kafka Clientが直接Pulsarに接続できるように
37

Zhaopin in Pulsar community
• Pulsarメンバーは2⼈(!)
• PulsarをEvent処理に使っている: https://www.slideshare.net/hustlmsp/how-
zhaopin-built-its-event-center-using-apache-pulsar
• 1⽇あたり平均数百億メッセージ
• Key_Sharedサブスクリプションなどで貢献
38

Apache Pulsar at Tencent TEG: use cases and
best practices
• Tencentでの利⽤例
• 課⾦周りでPulsarを使っている: ⼀貫性、可⽤性、ストレージ容量、レイテンシ
• 8 clusters, 600+ topics
39

まとめ
中国のPulsarコミュニティは予想よりかなり⼤きかった
• Tencentなど⼤企業もPulsarを使っている
• Contributorも数名来ていた
Kafkaは中国でも強い
• Kafkaユーザーに簡単に移⾏してもらうためのKoP(Kafka on Pulsar)
(料理が美味しかった︕)
40

Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904

Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904

Similar to Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904 (20)

Recently uploaded

Recently uploaded (9)

Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904