SensuとPagerDutyを連携したお話
•
0 likes•1,505 views
2015/10/02 nifty様セミナールームにて開催された sensu Deep Talks #2でお話した内容です。
Recommended
Recommended
More Related Content
What's hot
What's hot (14)
Similar to SensuとPagerDutyを連携したお話
Similar to SensuとPagerDutyを連携したお話 (20)
More from 晋也 古渡
More from 晋也 古渡 (18)
SensuとPagerDutyを連携したお話
- 1. sensu Deep Talks #2 sensuとPagerDutyを連携した話 古渡 晋也(@f_prg) 2015.10.02
- 7. 企業規模別 cloudpack利用比率 36% 27 37% % 中小企業 中堅企業 大企業
- 10. 今日のお話 ☁ sensuの経緯 ☁ cloudpackでのsensu ☁ PagerDuty運用のはじまり ☁ PagerDutyトラブル ☁ PagerDutyへの対策（改造） ☁ まとめ
- 11. 自己紹介 ☁ 名前：古渡 晋也(フルワタ シンヤ) ☁ お仕事：cloudpackエンジニア ☁ Twitter: @f_prg ☁ そのほか：JAWSUG さいたま支部コアメ ンバー
- 12. sensuの経緯
- 13. ☁ http://www.ryuzee.com/contents/blog/ 6843 で知りました。なんか、かっくいい。 ☁ 前職ではZabbixが嫌いだった。ていうか Zabbixじゃなくその運用がダメすぎたから。 • google spread sheetで行をコピペして記入してた ら反映したと連絡をする。◯◯すぎる。
- 14. ☁ アイレット株式会社cloudpackに入る。 2014.06(ほんとは05からお手伝い^ ^) ☁ なんか、sensuで監視してた。 面白そう ^ ^ /
- 16. ☁ Chef ☁ git(github.comのプライベートリポジトリを活 用) ☁ Berksfile たまたま、個人でChef触ってたからあまり勉 強するようなことはなかった。
- 19. つまり、sensuサーバが死ぬと ☁ お客様にも影響がでるようになってしまった。 • confの記述をミスると止まる。 • handlerのjson記述ミスで止まる。 現在、sensuサーバ２台構成なので まあなんとかしのいでます。
- 20. PagerDuty運用のはじまり
- 22. PagerDutyトラブル
- 23. なんかSlackでメッセがきた。 ☁ なんか届いてない。 (心の声)◯◯◯◯◯◯◯◯◯ ☁ PagerDuty画面をみると確かにおかしい。 届いてはいるが、別のサービスに届いた。 プロジェクトAのアラートが プロジェクトZに届いている。 ☁ 新しい設定すると、プロジェクトQに届く。
- 28. どうもmultiple設定でなかった。 ☁ つまり、シングル構成の設定では混ざってしまう。 sensuサーバでは、/etc/sensu/handlers/*.json をメモリ上に展開し、 プロジェクトA のシングル構成の設定を "pagerduty": { "api_key": "AAAAAAAAAAAAAAAAA" } のデータ定義を、さらにプロジェクトBの設定で "pagerduty": { "api_key": "BBBBBBBBBBBBBBBBBBBB" } にさらに上書きしていた。
- 30. sensu_check "check_resource_ram" do command "check-ram.rb -w 20 -c 10" standalone true handlers node.sensu.default_handlers + [“slack"] + [“pagerduty-project-a”] interval node.sensu.default_check_interval additional (occurrences: 3, pager_team: “pd_www”) end sensu_checkに設定いれるのだが、 これだと全ての設定が、手入力ミスしてしま いそうだった。つまり忘れたら、飛ばない。 飛ばない理由を探すのに時間がかかりそう。
- 31. 改造ポイント ☁ すべてのsensu_checkアラートは、PagerDutyに飛ば す。 ☁ PagerDutyハンドラは、defaultハンドラーで設定す る。 ☁ pager_teamパラメータは、sensu_checkで指定しな い。 →自動的にsensuサーバに送るようにする ☁ sensuサーバの設定は、今の形を変えないようにする。
- 32. 改造① default.sensu.default_handlers = node.sensu.default_handlers + ["slack"] + [“pagerduty-project-a"] default.sensu.default_check_interval = 300 default.sensu.pager_team = "pagerduty-project-a" ☁ chefのattribute/default.rbで下記のよう にしてます。共通設定で指定をしてます。
- 34. sensu_client node.sensu.client_name do : 省略 : customer_name: node.customer_name, customer_description: node.customer_description, project_name: node.project_name, project_description: node.project_description, pager_team: node.sensu.pager_team, ) end
- 35. 改造①の結果(chefを実行すると) ☁ 監視対象のサーバで下記となります。 /etc/sensu/conf.d/clinent.json { "client": { : 省略 : "project_name": "", "project_description": "プロジェクト情報n<<割愛>>", "pager_team":“pagerduty-project-a“ } }
- 37. { "pagerduty": { "pagerduty-project-a": { "api_key": "AAAAAAAAAAAAAAA" } }, "handlers": { "pagerduty-project-a": { "type": "pipe", "command": "pagerduty.rb", "severities": [ "critical", "unknown" ] } } }
- 38. 改造②の結果 ☁ APIキーの混在がなくなる。 ^ o ^/
- 40. if @event['check']['pager_team'] api_key = settings[config[:json_config]][@event['check']['pager_team']]['api_key'] elsif @event['client']['pager_team'] api_key = settings[config[:json_config]][@event['client']['pager_team']]['api_key'] else api_key = settings[config[:json_config]]['api_key'] end
- 43. if @event['check']['pager_team'] api_key = settings[config[:json_config]][@event['check']['pager_team']]['api_key'] elsif @event['client']['pager_team'] api_key = settings[config[:json_config]][@event['client']['pager_team']]['api_key'] else api_key = settings[config[:json_config]]['api_key'] end
- 46. { "pagerduty": { "api_key": "EEEEEEEEEEEEEEEEEE" }, "handlers": { "sensu-server-config-error": { "type": "pipe", "command": "pagerduty.rb", "severities": [ "critical", "unknown" ] } } }