More Related Content
Similar to サイボウズのサービスを支えるログ基盤 (20)
サイボウズのサービスを支えるログ基盤
- 13. 新ログ基盤の要件
① at least once
ログを取りこぼすことなく集める
② 信頼性
どこかで障害が発生しても、全体の転送が止まらない
③ ログを活用できる
ログを活用できるサービスを容易に導入できる
- 20. At least once | Kafkaへのログ転送
初めはFluentdでKafkaへ転送してたが、
at least onceを満たすことが難しいと判明
転送エージェントをGoで実装
状態はatomicに更新
ローテート後もしばらく監視
- 21. At least once | Kafkaからの転送
HiveやHBaseへの経路は冗長構成
HDFS上のファイル操作もatomicに更新する必
要がある