Submit Search
Upload
Kapacitorでネットワークにおけるリアルタイムイベント検出
•
Download as PPTX, PDF
•
0 likes
•
2,440 views
T
tetsusat
Follow
ネットワークプログラマビリティ勉強会#16 https://network-programmability.connpass.com/event/88418/
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 12
Download now
Recommended
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
Hadoopエコシステムのデータストア振り返り
Hadoopエコシステムのデータストア振り返り
NTT DATA OSS Professional Services
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
Koichiro Matsuoka
Recommended
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
Hadoopエコシステムのデータストア振り返り
Hadoopエコシステムのデータストア振り返り
NTT DATA OSS Professional Services
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
Koichiro Matsuoka
Cassandraのしくみ データの読み書き編
Cassandraのしくみ データの読み書き編
Yuki Morishita
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
rsyncのちょっとイイ話
rsyncのちょっとイイ話
Kazuhiro Oinuma
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Linux女子部 systemd徹底入門
Linux女子部 systemd徹底入門
Etsuji Nakai
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!
Tetsutaro Watanabe
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Akihiro Kuwano
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
Yahoo!デベロッパーネットワーク
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Yoshiki Nakagawa
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
NTT DATA Technology & Innovation
脱RESTful API設計の提案
脱RESTful API設計の提案
樽八 仲川
Kibanaでsysstatを可視化する
Kibanaでsysstatを可視化する
Kensuke Maeda
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
Hibino Hisashi
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Cloudera Japan
機械学習の定番プラットフォームSparkの紹介
機械学習の定番プラットフォームSparkの紹介
Cloudera Japan
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
NTT DATA Technology & Innovation
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
SPAのルーティングの話
SPAのルーティングの話
ushiboy
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
Data platformdesign
Data platformdesign
Ryoma Nagata
More Related Content
What's hot
Cassandraのしくみ データの読み書き編
Cassandraのしくみ データの読み書き編
Yuki Morishita
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
rsyncのちょっとイイ話
rsyncのちょっとイイ話
Kazuhiro Oinuma
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
Linux女子部 systemd徹底入門
Linux女子部 systemd徹底入門
Etsuji Nakai
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!
Tetsutaro Watanabe
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
Akihiro Kuwano
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
Yahoo!デベロッパーネットワーク
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Yoshiki Nakagawa
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
NTT DATA Technology & Innovation
脱RESTful API設計の提案
脱RESTful API設計の提案
樽八 仲川
Kibanaでsysstatを可視化する
Kibanaでsysstatを可視化する
Kensuke Maeda
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
Hibino Hisashi
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Cloudera Japan
機械学習の定番プラットフォームSparkの紹介
機械学習の定番プラットフォームSparkの紹介
Cloudera Japan
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
NTT DATA Technology & Innovation
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
SPAのルーティングの話
SPAのルーティングの話
ushiboy
What's hot
(20)
Cassandraのしくみ データの読み書き編
Cassandraのしくみ データの読み書き編
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
rsyncのちょっとイイ話
rsyncのちょっとイイ話
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
Linux女子部 systemd徹底入門
Linux女子部 systemd徹底入門
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
初心者向けMongoDBのキホン!
初心者向けMongoDBのキホン!
インフラエンジニアのためのcassandra入門
インフラエンジニアのためのcassandra入門
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
マルチテナントのアプリケーション実装〜実践編〜
マルチテナントのアプリケーション実装〜実践編〜
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
Apache Bigtopによるオープンなビッグデータ処理基盤の構築(オープンデベロッパーズカンファレンス 2021 Online 発表資料)
脱RESTful API設計の提案
脱RESTful API設計の提案
Kibanaでsysstatを可視化する
Kibanaでsysstatを可視化する
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNとマルチテナントにおけるリソース管理
機械学習の定番プラットフォームSparkの紹介
機械学習の定番プラットフォームSparkの紹介
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
SPAのルーティングの話
SPAのルーティングの話
Similar to Kapacitorでネットワークにおけるリアルタイムイベント検出
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
Data platformdesign
Data platformdesign
Ryoma Nagata
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
Tusyoshi Matsuzaki
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
Insight Technology, Inc.
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
Insight Technology, Inc.
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data Lake
Hideo Takagi
トレジャーデータ株式会社について(for all Data_Enthusiast!!)
トレジャーデータ株式会社について(for all Data_Enthusiast!!)
Takahiro Inoue
20071204
20071204
小野 修司
IoT時代におけるストリームデータ処理と急成長の Apache Flink
IoT時代におけるストリームデータ処理と急成長の Apache Flink
Takanori Suzuki
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
Sotaro Kimura
20120405 setsunaセミナー
20120405 setsunaセミナー
Takahiro Iwase
トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9
Treasure Data, Inc.
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
griddb
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
Datastax Enterpriseをはじめよう
Datastax Enterpriseをはじめよう
Yuki Morishita
Pydata Amazon Kinesisのご紹介
Pydata Amazon Kinesisのご紹介
Amazon Web Services Japan
Pydata Amazon Kinesisのご紹介
Pydata Amazon Kinesisのご紹介
Toshiaki Enami
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
datastaxjp
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
de:code 2017
Similar to Kapacitorでネットワークにおけるリアルタイムイベント検出
(20)
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Data platformdesign
Data platformdesign
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[C23] 「今」を分析するストリームデータ処理技術とその可能性 by Takahiro Yokoyama
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data Lake
トレジャーデータ株式会社について(for all Data_Enthusiast!!)
トレジャーデータ株式会社について(for all Data_Enthusiast!!)
20071204
20071204
IoT時代におけるストリームデータ処理と急成長の Apache Flink
IoT時代におけるストリームデータ処理と急成長の Apache Flink
利用者主体で行う分析のための分析基盤
利用者主体で行う分析のための分析基盤
20120405 setsunaセミナー
20120405 setsunaセミナー
トレジャーデータ新サービス発表 2013/12/9
トレジャーデータ新サービス発表 2013/12/9
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
もうSQLとNoSQLを選ぶ必要はない!? ~両者を備えたスケールアウトデータベースGridDB~
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Datastax Enterpriseをはじめよう
Datastax Enterpriseをはじめよう
Pydata Amazon Kinesisのご紹介
Pydata Amazon Kinesisのご紹介
Pydata Amazon Kinesisのご紹介
Pydata Amazon Kinesisのご紹介
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
[db tech showcase Tokyo 2015] E35: Web, IoT, モバイル時代のデータベース、Apache Cassandraを学ぼう
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
Kapacitorでネットワークにおけるリアルタイムイベント検出
1.
Kapacitorでネットワークにおける リアルタイムイベント検出 Tetsuhiro Sato
2.
TICKスタック • 時系列データを蓄積、分析、 および動作させるための サービスと機能を提供する オープンソース時系列プ ラットフォーム
3.
Kapacitor • アラートの作成、ETLジョブの実行、異常の検出を容易にする オープンソースのデータ処理フレームワーク • ストリーミングデータとバッチデータの両方を処理 •
独自DSLであるTICKscriptでタスクを定義 • HipChat、OpsGenie、Alerta、Sensu、PagerDuty、Slackなどと統 合 • ユーザー定義関数によりTICKscriptの機能を拡張可能
4.
TICKscript • ノード • データ処理ユニット •
データをバッチまたはストリームとして受 け取り、 • データを変更したり、 • データを格納したり、 • 条件に基づいてアクションをトリガー • チェーンメソッド(|) • 次のノードに該当するData Point(s)を渡す • プロパティメソッド(.) • ノードのプロパティにアクセス dbrp "telegraf"."autogen" stream |from() .measurement('cpu') |alert() .warn(lambda: "usage_idle" < 20) .crit(lambda: "usage_idle" < 10) .message('Hey, check your CPU') .slack()
5.
ストリーム vs. バッチ batch |query('SELECT
mean(usage_idle) FROM "telegraf"."autogen"."cpu"') .period(5m) .every(5m) .groupBy(*) |alert() .crit(lambda: "mean" < 70) .log('/tmp/batch_alerts.log') stream |from() .measurement('cpu') |alert() .crit(lambda: int("usage_idle") < 70) .log('/tmp/alerts.log') ストリーム バッチ • InfluxDBのサポートするラインプロトコ ル形式でデータを受信 • メモリにウィンドウ期間のデータをバッ ファ • 短い間隔で小規模なデータ処理向き • より早いイベント検出 • InfluxDBへクエリー • より少ないメモリで動作 • 長めの間隔で大規模なデータ処理向き
6.
プリプロセスETL vs. ポストプロセスETL プリプロセス
ETL ポストプロセス ETL Telegraf InfluxDBKapacitor InfluxDBKapacitor
7.
プリプロセスETLの例 … [[outputs.influxdb]] urls = ["http://127.0.0.1:8086","http://127.0.0.1:9092"] database
= “telegraf" retention_policy = "autogen" [[inputs.ping]] urls = ["www.google.com","www.cisco.com"] count = 5 dbrp "telegraf"."autogen" stream |from() .measurement('ping') .groupBy('url') |window() .period(5m) .every(5m) |percentile('maximum_response_ms', 95.0) |eval(lambda: "percentile") .as('maximum_response_ms_95th_percentile') |influxDBOut() .database('kapacitor_augmented') .retentionPolicy('autogen') Telegrafの設定 TICKscriptの例
8.
プリプロセスETLの例(つづき) > select host,maximum_response_ms,url
from ping limit 5 name: ping time host maximum_response_ms url ---- ---- ------------------- --- 1528358574000000000 vagrant 162.695 www.google.com 1528358594000000000 vagrant 231.922 www.cisco.com 1528358594000000000 vagrant 290.83 www.google.com 1528358604000000000 vagrant 152.834 www.cisco.com 1528358604000000000 vagrant 156.293 www.google.com > select * from ping limit 5 name: ping time host maximum_response_ms_95th_percentile url ---- ---- ----------------------------------- --- 1528358244000000000 vagrant 228.432 www.cisco.com 1528358244000000000 vagrant 231.754 www.google.com 1528358544000000000 vagrant 246.63 www.cisco.com 1528358544000000000 vagrant 253.66 www.google.com 1528358844000000000 vagrant 231.922 www.cisco.com Telegrafからの 入力 InfluxDBへ の出力 maximum_response_ms の95パーセンタイル を算出
9.
デモ Pipeline * InfluxDB Kapacitor Grafana *
Cisco Telemetry のためのコレクタ シナリオ: CPU使用率が閾値を超えると、Slackに通知
10.
(参考)Kapacitorサービスの設定 ... [slack] enabled = true url
= "https://hooks.slack.com/services/T00000000/B00000000/XXXXXXXXXXXXXXXXXXXXXXXX" channel = "#demo" username = "" icon-emoji = "" global = false state-changes-only = false ssl-ca = "" ssl-cert = "" ssl-key = "" insecure-skip-verify = false ...
11.
(参考)TICKscript dbrp "telemetry"."autogen" stream | from() .measurement('Cisco-IOS-XR-wdsysmon-fd-oper:system-monitoring/cpu-utilization') .where(lambda:
"node-name" == '0/RP0/CPU0') | alert() .info(lambda: "total-cpu-one-minute" > 5) .warn(lambda: "total-cpu-one-minute" > 10) .crit(lambda: "total-cpu-one-minute" > 15) .stateChangesOnly() .message('{{ .Level }}: CPU utilization is {{ index .Fields "total-cpu-one-minute" }}%') .log('/tmp/alerts.log') .slack()
12.
おいまい
Editor's Notes
https://www.influxdata.com/blog/tick-script-templates/
Download now