Some tips for Datadog's Outlier & anomaly detection tips

1. Outlier Anomaly Regression
考えるエンジニアに向けた Supper Tool !!
https://docs.google.com/presentation/d/1618BFJIXMmWT6outIEGQ37aDH8pgqVC7f6t4kJDftBs/edit?usp=sharing

2. アルゴリズムを使った監視
(Anomaly Detection)についての技術セッション

3. Datadog Advent Calender 2016
http://qiita.com/advent-calend
ar/2016/datadog

4. 忙しい人には！
Outlier == 空間(領域)軸 (region, AZ, group)
Anomaly == 時間軸 (周期性)
Anomaly x Outlier == 時間x領域軸
Regression == ノイズ除去&ベースシフト

5. http://matome.naver.jp/odai/2137623317577517601

6. https://www.youtube.com/watch?v=0MZDdpB2qgQ

7. 1. 正しい問い
2. 素早い検証
今後求められるめられる機能！

8. 5*5*5=125
監視環境のマッピング
監視環境を作る、ツールを知る=5
自分インフラを知る=5
考える&サイクルを回す=5

9. ここからが、本題！

10. "It can be challenging to manually configure alerts for metrics which
change throughout the day, week, or year. Anomaly detection
helps us respond to issues more quickly, while avoiding needlessly
paging our engineers."

11. “seamless/ grubhub , the restaurant ordering/delivery app because their
business is very cyclical (aka, everyone gets home from work and orders
from 5-8pm) tracking orders with anomaly detection is the best for them
because they always expect a spike M-F 5-8pm (in each
timezone in the states)”

12. 何を話す?
● 機能の概要
● 利用の勘所
● 注意点

13. Algorisimic
Detection
空間軸
メトリクス値軸
時間軸

14. Anomaly Detection Outlier Detection
● 全体の動向を把握したい！
● 空間軸で見ることに弱い！
● 周期性
"q": "avg:system.load.1{*}"
● 個別の動向を把握したい！
● 時間軸の概念に弱い！
● 同一素材との比較
"q": "avg:system.load.1{*} by {host}"
● カスタムメトリクス/Workメトリクスが多い
注文が少ないのだけど、どこか変じゃない?
● メトリクス全般に見かける
ホストが落ちている?
[注] アラートの場合、先ずは閾値か change rate値での検知はできないかを検討する。

15. Anomaly
Detection
空間軸
メトリクス値軸
時間軸

26. ● 直ちに使い始めることができる
● 安定している、または、レベルの変化が
非常に遅いメトリクス向け

27. ● 2~3週間分のデータが必要
● ベースレベルシフトへの抵抗性が強い
● 長時間のシフトを明確に認識

29. ● 1~2週間分のデータが必要
● メトリクストレンドを強くフォロー

33. ● 2~3週間分のデータが必要
● 多種のアルゴリズムを組み合わせる
● 周期パターンが安定しない場合

40. Outlier
Detection
空間軸
メトリクス値軸
時間軸

45. ● http://cdn.oreillystatic.com/en/assets/1/event/154/Detecting%20outliers%20and%20anomalies%20in%20real-time%20at%20Datadog%20Presentati
on.pdf
● https://www.youtube.com/watch?v=mG4ZpEhRKHA

47. Linear
Regression
● 手軽にノイズ削除しトレンドを把握したい！
● ベースレベルの変化を把握したい！
● 単純なので、挙動が理解しやすい！
まだ、存在価値はある!

48. Datadog Advent Calender 2016
http://qiita.com/advent-calendar/
2016/datadog