OpenWhiskのMQをKafkaからPulsarに変えてみた件 @PulsarMeetupJapan_20190904

Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
ヤフー株式会社テクノロジーグループシステム統括本部クラウドプラット
フォーム本部技術3部藤社陽実
OpenWhiskのMQをKafkaからPulsarに
変えてみた件
2019年9⽉4⽇

2
⾃⼰紹介
名前:藤社陽実
2017/7以前:ゲーム会社〜
SIerを経験
2017/7〜︓ヤフー株式会社に
⼊社 FaaSを扱う部署に配属

アジェンダ
3
• Apache OpenWhiskとは
• KafkaからPulsarに変えてみた件
• 変えてみた結果どうだった︖

Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.
Apache OpenWhiskとは

Apache OpenWhiskとは
5
• 分散型サーバレスクラウドプラットフォーム
• イベントドリブン型のプログラミングサービス
• 任意の⾔語でFunctionを書くことができる
• https://github.com/apache/openwhisk/

Apache OpenWhiskの構成
6
Apache OpenWhiskの構成を説明します。
Controller・・・イベントの受信
Invoker・・・処理の実⾏
転載元:https://github.com/apache/openwhisk/

Apache OpenWhiskの構成
7
Controller・・・イベントの受信
Invoker・・・処理の実⾏
変えてみたのは
ここ
転載元:https://github.com/apache/openwhisk/

KafkaからPulsarに変えてみた件

前提について
9
• 社内ではPulsarを中央管理しているチームがいる
• MQに対する知⾒があまりない

課題について
10
• Kafkaの管理が⼤変だった
• 開発業務に集中したい

参考にした資料
11
• 「Pulsar adaptor for Apache Kafka」を元に進めていく
• https://pulsar.apache.org/docs/en/adaptors-kafka

参考にした項⽬
12
• Using the Pulsar Kafka compatibility
wrapper
• Producer example
• Compatibility matrix
• Pulsar client properties
• Pulsar producer properties

調べてみた
13
• 簡単に差し替えはできないか︖
Ø Pulsar-client-kafkaをビルドの依存に追加するだけ
でPulsarに差し替えられそうだった

調べてみた
14
• Openwhiskで呼ばれているメソッドで⾮サポートのもの
がないか︖
OpenWhiskで使っているメソッド Supported
void subscribe(Collection<String> topics) Yes
void wakeup() No
void close() Yes
OpenWhiskで使っているメソッド Supported
Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) Yes
void close() Yes
Producer
Consumer

調べてみた
15
• Produceする時のパラメータで差し替えが必要なのか︖
Ø URLをトピック名に差し替える

調べてみた
16
• 挙動の差異はないか︖
Ø Pulsarはトピックを⾃動で作成する
Ø namespaceごとに設定を⾏うためトピックごとに
指定して作成することがない

調べてみた
17
• 設定に差異があったりしないか︖
Ø Kafkaのオプションは⼀部不要なものもあったが無視
されるので問題はなし
Ø pulsar-client-kafkaで必要なオプションはなかった
Producer/Consumer Config property Supported
Producer request.timeout.ms Ignored
metadata.max.age.ms Ignored
Consumer session.timeout.ms Ignored
heartbeat.interval.ms Ignored
enable.auto.commit Yes
auto.offset.reset Yes
max.poll.interval.ms Ignored
fetch.max.wait.ms Ignored

試した結果
18
• ビルドの依存にpulsar-client-kafkaを追加する
• KafkaのURLをトピック名に差し替える
• wakeupを呼ぶのをやめる
• コード内でトピックの⽣成をやめる
• Pulsarのオプションの追加は不要だった
実際に軽微な修正で移⾏ができた。

変えてみた結果どうだった︖

変えてみた結果どうだった︖
20
• KafkaからPulsarに簡単に変更ができた
• Pulsarに切り替えてもKafkaと遜⾊はなかった
補⾜
• ScalaやJavaを使っていればKafkaから別なMQへの乗り
換えはAdaptorを実装すれば簡単にできる
• ⾃分たちが管理しているコンポーネントが減って運⽤が
楽になった

ご清聴ありがとうございました

OpenWhiskのMQをKafkaからPulsarに変えてみた件 @PulsarMeetupJapan_20190904

Recommended

Recommended

More Related Content

Featured

Featured (20)