More Related Content
Similar to Mackerel Anomaly Detection at PyCon mini Osaka (20)
Mackerel Anomaly Detection at PyCon mini Osaka
- 27. 疎構造学習に基づく異常検知
• 異常検知を行なうだけでなく、どの変数がおかしいか教えて欲しい
– 例: サーバーAが異常、だけではなくCPUの使用率が通常と異なるまで教えて!
• 変数間の関係をガウス分布に基づく対マルコフグラフで学習。得られた精
度行列と条件付き確率を用いて、異常度が計算できる
• R実装は存在(Pythonはまだない!) hCps://github.com/hoxo-m/sGMRFmix
27
変数iの異常度 = - log p(xi | x-i, D)
cpu
memory
disk
interface
filesystem
疎構造学習を使うと変数
毎に異常度を計算できる
ガウス分布を仮定すると条件付き
対数尤度も容易に計算できる。
混合分布を用いることで多峰性が
存在する場合でも対応できる
[ICDM2016]
cpu
memory
disk
interface
filesystem
ホストが異常か分かるが、ど
のメトリックが異常かは未知
混合ガウス分布 疎構造学習
- 31. 即時性 計算時間 メモリ量 多峰性 チューニン
グが容易
変化検知 説明性
ホテリングの
T2法
○ ○ ○ × ○ × ×
混合ガウス
分布
○ △ ○ ○ ○ × ×
近傍法 △ △ × ○ △ ○ ×
特異
スペクトル変換
× × △ × △ ○ ×
疎構造学習 ○ × △ ○ △ ○ ○
異常検知の手法とMackerelでの要件
31
- 44. 参考文献
• “異常検知と変化検知” 井手剛,杉山将,講談社,2015
• “入門 機械学習による異常検知 ── Rによる実践ガイド
──” 井手剛, コロナ社, 2015
• [ICDM2016]“Sparse Gaussian Markov Random Field
Mixtures for Anomaly Detecon”
– Tsuyoshi Ide, Ankush Khandelwal, Jayant Kalagnanam,
Proceedings of the 2016 IEEE Internaonal Conference on Data
Mining (ICDM 16, December 13-15, 2016, Barcelona, Spain), pp.
955-960.
44