JAWS-UG中央線第5回勉強会 CloudwatchをGrafana+Graphiteで見るようにしたら幸せになった件

1. C L O U D WAT C H を
G R A FA N A + G R A P H I T E で
見 る よ う に し た ら
幸 せ に な っ た 件
2 0 1 5 / 0 4 / 0 3 J AW S - U G 中 央 線 第 5 回 勉 強 会

2. か い し ゃ い ん
せ い べ つ ： お と こ
レ ベ ル ： 2 7
H P 3 0 / 1 2 0
M P 3 / 1 5
自 己 紹 介
2 0 1 4 / 5 N O W
株 式 会 社 ： S Y S T E M O P E R ATO R
な ま え ： 西 村 遊
つ い っ た ー ：@gacharion
Applibot
好 き な AW S サ ー ビ ス ： Auto Scaling Cloud Watch

4. S Y S T E M O P E R AT O R
• サービスインフラ設計/構築/監視/運用/構成管理
• 基本的に全アプリを見ている
• ○○担当とかはない
• 現在2名

5. 今日のお話
幸せ？

6. Cloudwatchを
Grafanaで見れるようにしたら
働きやすくなった

7. なぜCloudWatchだけではいけなかったか
Grafana/Graphiteとは？
Grafana+Graphiteで実現した幸せ
まとめ
目 次

8. なぜCloudWatchだけでは
いけなかった幸せが足りなかったのか

9. CloudWatch + SNS
Management Consoleへ
ログインして
CloudWatch
CloudWatchに閾値設定して
SNSでメール送信設定

10. CloudWatch + SNS
Management Consoleへ
ログインして
CloudWatch
CloudWatchに閾値設定して
SNSでメール送信設定

11. CloudWatch + SNS
Management Consoleへ
ログインして
CloudWatch
CloudWatchに閾値設定して
SNSでメール送信設定
閾値設定：自動化必須
メール ：見ない見落とす
ログイン：面倒
値の保持：2週間

12. アカウント一つを
常時見るような環境なら
まだいいけど

13. たくさん

14. ブラウザ足りない…

15. ブラウザ足りない…
でも常に見るわけじゃないし
閾値設定：自動化OK
メール ：ちゃんと見る
ログイン：やったる
としても

16. 見たい時の状況
障害
あの時の負荷って…

17. ログインして
毎回サービス毎に選んで見るのつらい

18. この画面いくのに

19. 1. ログイン
2. サービス(RDS)選択
3. インスタンス選択
4. Show Monitoring

20. A lot of accounts
すぐ見たいのにやきもき
別のアカウントの見てたり
サービス毎に切り替えが必要
たまに表示がおかしい(これはブラウザのせい)
あっ…2週間前までのしかないっす…

21. つ ら い

22. 一通り監視構成を整えた

25. Grafana + Graphite

26. Grafana ??

28. Javascript + HTML + CSS(1系)
機能豊富なdashboardとグラフエディター
バックエンドとして
Graphite / InfluxDB / OpenTSDB
を選択可能
dashboard情報はElasticsearch or SQLite
version1.9で1系の開発は終わり2.0が開発中。
現在β版（2015/3/30）

29. dashboard

30. Graphite ??

31. Graphite
- Scalable Realtime Graphing -

32. Python
Sensu + Graphiteという事例が結構有名
http://techblog.yahoo.co.jp/operation/2014-sensu-and-graphite/
構成
carbon
ネットワーク経由でのメトリック受信・ストレージへの書き込み
whisper
ファイル形式の時系列データベース
graphite-web

33. Githubから

34. Grafana + Graphite

36. dashboard情報
データ更新
データファイル

37. これを

38. こう見れるようにする

39. Grafana+Graphite
で実現した幸せ

40. 値の投げ入れが自由
アカウント/サービス同時にデータ閲覧
２週間以上残しておける
Time rangeが自由自在
DevOpsな雰囲気

41. DEMO

42. 値の投げ入れが自由

43. TAG= DB.account01.test.random
VALUE=`expr $RANDOM % 100`
UTIME=`date +%s`
SERVER_IP= graphiteサーバのIP
echo ${TAG} ${VALUE} ${UTIME} ¦nc ${SERVER_IP} 2003
graphiteサーバの2003ポート（default）に対して
TAG 値 Unixtime の順で送ればOK

44. この部分

45. アカウント/サービス同時に
データ閲覧

46. dashboard
項目説明 CloudFront
ELB
RDS

47. ２週間以上残しておける

48. [cloudwatch]
pattern = ^cloudwatch.
retentions = 60s:365d
グラフ作成時に指定できる（carbon）
/etc/carbon/storage-schemas.conf

49. Time rangeが自由自在

50. DevOpsな雰囲気

51. Dev
負荷どうですかね？
どうかしました？
Ops
イベント開始したんですけど
CloudWatchで見れますよ
どうやって見るんでしたっけ
(笑)
見ます

52. 本音

53. Dev
イベント始まったから負荷見といてね。
いっぱいアクセス来ると思うのでよろしく。
CloudWatch?どうみればいいんだっけ？
アラート飛んできてないし問題ないだろ。
（見てみる）…やっぱり問題ないな。
CloudWatchのIAM渡してるから
それで見といてくれればいいのに。
Ops
※フィクションです。
会社内でどうこうとか知りません。

54. なぜこんなことに
サーバー負荷はsysopが見るものという認識
sysopしか見れないと思われている
それはなぜか？

55. CloudWatch + SNS
Management Consoleへ
ログインして
CloudWatch
CloudWatchに閾値設定して
SNSでメール送信設定

56. この画面いくのに

57. 1. ログイン
2. サービス(RDS)選択
3. インスタンス選択
4. Show Monitoring
こんなやらないといけないから

58. なぜこんなことに
普段から見る自分たちでも手間と思う事
それを専門じゃない人にやってもらうというのは傲慢
見てくださいを、いかに見てもらえるようにするか
必要な情報を必要な人が手間無く見れるように

59. dashboard
項目説明 CloudFront
ELB
RDS

60. Dev
負荷どうですかね？
こちらをご覧ください
Ops
布教活動
なにこれ
こーであーでこれがここまで
行くとやばいです
リンクこちらです

61. DEMO
説明
リンク貼っておきますね
自由に触っていいですよ

62. Dev
こういうの見れると
うれしいんですよね
何処見たらいいですかね？
Ops
問い合わせ内容が変化してくる
このDBのこの値なんだけど
見れるよう調整しますね

63. Dev
負荷というものへの意識UP
→改善の意識UP
サービス内部の理解
→サービスへの愛UP
Ops
同じ情報の共有 = 意識の統一
Win - Win

64. まとめ

65. Cloudwatchを
Grafanaで見れるようにしたら
全体で負荷を意識する習慣が
少しづつできてきて、サービスの改善
につながるようになった

66. 問題の共有 = 可視化
お互いの手間を考える
見やすい = 正義
幸せ

67. もうすぐ2.0でるし
みんなでgrafana触って
情報交換しよう

68. 一緒に働いてくれる方大募集中！！
エンジニア・企画問わず
興味のある方はご連絡ください

69. 御 清 聴
あ り が と う ご ざ い ま し た