Muninではじめる実践★リソース監視　-俺のサーバがこんなに重いはずがない、を乗り切るために-

Muninで始める実践★リソース監視
俺のサバがこんなに重いはずがない、を乗り切るために
- 俺のサーバがこんなに重いはずがない、を乗り切るために -

Practical Resource Monitoring with Munin
I Think Munin Is Truly Wonderful

Munin User G oup Japa http://munin.jp/
u Use Group Japan ttp // u jp/
Masahito Zembutsu @zembutsu
Sep 8, 2012 , オープンソースカンファレンス 2012 Tokyo/Fall

今日のテーマ
TODAY’S RECEIPE

Muninを使って
インフラ運用現場の負担が減れば
それはとっても、うれしいなって。

＼ /
＼丶 i. | / ./ ／

私は誰？
＼ヽ i. .| / / ／
＼ヽ i | / / ／
＼
-‐
Zembutsu M
Z b t Masahito
hit ー
_＿わたしです --
• 前佛雅人 @zembutsu 二／￣＼＝二
￣. | ＾o＾ | ￣
-‐ ＼＿／ ‐-
– Solutions Engineer ( 萌えるSE )
／
• インフラエンジニア的な仕事メイン / ヽ＼
• 技術者に安心と休息を提供するサービス追求(運用/監視/自動化)
／
丶＼
／ / / | i, 丶＼
– オープンソース系・クラウド系コミュニティ活動／ / / | i, 丶＼
• http://pocketstudio.jp/log3/

– 主な職歴
• 2000年 4月∼ リモート一次対応サポート部隊。 ISP サポート
• 2008年 5月∼ 社内ネットワーク保守・通常運用
• 2010年11月∼ 一次＆二次エスカレーション対応
• 2012年 7月∼ とあるデタセタ内
年月とあるデータセンタ内での運用・開発・対応等々
運用開発対応等々

を捌く
Ops的、何か
Ops的何か
DevOps!

―Don't forget. always, somewhere,
someone is fighting for you.
―As long as you remember her
As her.
you are not alone.
Operation

運用
忘れないで、いつもどこかで誰かがあなたの為に戦っている。
彼女を覚えている限り、あなたは一人じゃない。
彼女を覚え限りあなたは人じな
（出典：魔法少女まどかマギカ最終話「わたしの、最高の友達」）

Monitoring

監視

※こんな職場のイメージです
This Photo is under creative commons license by torkildr
http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/

A HUMAN WORK

ホスティングサービス業務
サーバの形、心の形。見知らぬ、仕様書。光、そして影。
クラウド、来日。変わる業界。まごころを、お客様へ。
DECISIVE BATTLE

障害対応
鳴り止まない電話。静止したデータセンタの中で。
優先度の選択を。電源停止に至る病、そして。
営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。
You can advance.

次世代ニーズに向けた挑戦
特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。

サーバ管理者ならば、
サバ管理者ならば
一度は思った事があるはず…。
度は思った事があるはず。
たぶん…。

こんな
ore no server ga konna ni omoi hazu ga nai

はずない

で解決できなイカ？

セミナーを通して共有したいこと。
• リソース監視を運用フローに組み込むことで、
サーバの運用や障害対応の負担を減らせたら、
サバ運や障害対応負担を減らせたら
それは、とっても嬉しいなって（＾ω＾）

• みんな定時帰りを目指そうぜ!! ←
定時指ぜ

セミナーを通して共有したいこと。
1. Muninとは何か？

2. Muninのアーキテクチャ

3. できる！Munin

4. 実践、トラブルシュート！

5. わたしの最高の運用支援ツール(まとめ)

個人的な想い。。。
①リソース監視という、武器を手に入れよう。
Wille zur Macht

②運用効率の、劇的な改善を目指そう。

『みんなで幸せになろうよ』
みんなで幸せになろうよ。
(出典：後藤喜一警視庁警備部特科車両二課第二小隊長,機動警察パトレイバー)

日本Muninユーザ会
日本M i ユザ会
ABOUT MUNIN USER GROUP JAPAN

Munin.jp
• Munin User Group Japan
– http://munin.jp/
• Wiki
iki
– http://munin.jp/wiki/
• Demo
– http://demo.munin.jp/
• メーリングリスト
– http://munin.jp/mailing-list/

#
Muninとは何か？
WHAT IS MUNIN?
■□□□□

敢えて言おう、
リソース監視ツールであると。
Munin is a networked resource monitoring tool.

サーバ管理者の憂鬱
サバ管理者の憂鬱
The Melancholy of Server Administrators
y

気づいた時には始まっていたという話
• アラートで検出できないケースが急増
– SNS向けサービス提供事業者様
– 閾値を超えた時には、時既におそし

• 迅速な対応へのニーズ
– 1分あたりの損失が、ケタ違い

ちょっと重いので調べてください^^
• 明確な障害原因が特定しにくい

• もうちょっと、頑張らないとだね
– なんていう、精神論は現場が消費するだけ。

一昔前の構成

BIND

このあたりを抑えておけば、おｋ

こんなの絶対おかしいよ!!

BIND

サーバ台数が増えたり、管理対象が増えているので、現場負担が増えつつある。
また、障害発生時は、特定に時間がかかる要因の一つではないでしょうか。

どうしてこうなった…
• 障害対応のありかたが変わった

コンソールからの開放
コンソルからの開放
Ace Console: Fires of Liberation

障害発生時に大切な事
• 原因切り分けが最優先
"われわれが行動するばあいには気づくことが先決条件
われわれが行動するばあいには、気づくことが先決条件
である。技術があれば、何でも解決できるわけではない。
技術以前に気づくということが必要になる。日本にはいくら
も技術屋はいるがなかなか解決出来ない。気づかないか
らだ。"
本田宗一郎(2008) 『ざっくばらん』 PHP 研究所 10pp.

そんな装備(ツール)で大丈夫か？
• 大丈夫だ、問題ない。
– ps
p
– top
– vmstat
– iostat
– free
– sar (
(sysstat)
t t)

障害対応のありかたが変わった
かつていま (present day present time, hahaha!!)
• 1台や数台構成 • 複数台が前提
• Apache, Sendmail, Perl • 従来境
従来環境
• PostgreSQL, MySQL +nginx,Tomcat,ruby,PHP,Py
• たまにアプライアンスあり thon,memcached,Key-Value
Store,Hadoop,Cassandra,M
St H d C d M
• スケールしない ongoDB…etc(仲間が増える
• スペックアップで解決するよポポポポーン♪)
• スペックアップで解決しない
事が多い

リソース可視化がMuninの本質
リソス可視化がM i の本質
VISIALIZATION

MRTGは衰退しました。
MRTGは衰退しました
MRTG Has Declined
我々は一人の英雄を失った。これは敗北を意味するのか？否！始まりなのだ！
クラウド連合に比べ我がXeonの国力は３０分の１以下である。にも関わらず今日まで戦い抜いてこられたのは何故か！諸君！我がXeonの戦争目的が正しいからだ！
一握りのエリートが宇宙にまで膨れ上がったクラウド連合を支配して５０余年、宇宙に住む我々が自由を要求して、何度連邦に踏みにじられたかを思い起こすがいい。Xeon
公国の掲げる、人類一人一人の自由のための戦いを、神が見捨てる訳は無い。
私の弟、諸君らが愛してくれたMRTGは死んだ、何故だ！
私の弟諸君らが愛してくれたMRTGは死んだ何故だ！
戦いはやや落着いた。諸君らはこの戦争を対岸の火と見過ごしているのではないのか？しかし、それは重大な過ちである。クラウド連合は聖なる唯一の地球を汚して生き残ろうと
している。我々はその愚かしさをクラウド連合のエリート共に教えねばならんのだ。MRTG、諸君らの甘い考えを目覚めさせるために、死んだ！戦いはこれからである。
我々の軍備はますます復興しつつある。クラウド連合軍とてこのままではあるまい。諸君の父も兄も、連邦の無思慮な抵抗の前に死んでいったのだ。この悲しみも怒りも忘れては
ならない！それをMRTGは死を以って我々に示してくれたのだ！我々は今、この怒りを結集し、連邦軍に叩きつけて初めて真の勝利を得ることが出来る。この勝利こそ、戦死
者全てへの最大の慰めとなる。国民よ立て！悲しみを怒りに変えて、立てよ国民！Xeonは諸君等の力を欲しているのだ。ジーク・Xeon！！

リソース監視系の比較

http://www.munin-monitoring.org/
http://www munin-monitoring org/ http://oss.oetiker.ch/rrdtool/
htt // tik h/ dt l/ http://oss.oetiker.ch/mrtg/
htt // tik h/ t /
私、樹になります！

http://www.zabbix.com/

http://ganglia.info/
http://www.cacti.net/ http://www.nagios.org/

リソース監視系の比較

http://www munin-monitoring org/
http://www.munin-monitoring.org/ http://oss.oetiker.ch/rrdtool/
htt // tik h/ dt l/ htt //
http://oss.oetiker.ch/mrtg/
tik h/ t /
snmpd

http://www.zabbix.com/

http://ganglia.info/
http://www.cacti.net/ http://www.nagios.org/
C

主要ツール(リソース系)の比較表
ツール種別データの管理設定方法管理画面(WebUI) 通知機能

Munin リソース監視 RRDTool CUI △ (参照のみ) △
Cacti リソース監視 RRDToolとMySQL CUI/GUI ○ ○
ズッ友だよ…

MRTG リソース監視
監視独自形式 CUI △ (参照のみ)
参 ×
Zabbix 統合監視 MySQLやPostgreSQL等 GUI ○ ○
Nagios 統合監視 MySQLかPostgreSQL CUI/GUI ○ ○
特定のツールが優れているかどうかではなく、用途に応じた使い分け・共存が可能なのです。

で、Muninって何なのさ？
で M i て何なのさ？
The Munin We Saw That Day
y

Munin
シャキン( ω
シャキーン(`･ω･´)
)

• http://munin-monitoring.org/
– リソース監視ツール
• トレンドの変化を解析できる
• 何が性能を殺しているのか？が分かる
– プラグアンドプレイな設計
• 標準で、多くのグラフを表示できる
Munin is a networked resource monitoring tool that can help analyze resource trends and
g p y
"what just happened to kill our performance?" problems. It is designed to be very plug and
play. A default installation provides a lot of graphs with almost no work.

開発者サイト
本家プロジェクト github
• http://munin-monitoring.org/ • https://github.com/munin-monitoring

ドキュメント・trac・FAQ・Wiki 開発リポジトリ・ツール・plugins

開発状況
• 体制
– コミュニティが開発およびサポート
• Github
– https://github.com/munin-monitoring
• メーリングリスト
– https://lists.sourceforge.net/lists/listinfo/munin-users
• IRC
– irc://irc.oftc.net/#munin

• ライセンス
– GNU Public License version2
– 商用サポートなし・商用ライセンスもなし
商用サポートやライセンスの違いが戦力の決定的差ではないと言うことを(ry

開発史
• 2002年開発スタート
– LRRD という開発名称
• 2004年 Munin 1.0 リリ
年 i リリース
– 開発途上、munin-eye を munin-node へ呼称変更
– 長い時間をかけ、日々の改良
• 2009年 Munin 1.4 リリース
– 1.x 系で比較的広まっているバージョン
• 2012年5月30日
– 2年の開発期間を経て Munin 2.0 (stable) リリース

日本語の情報は…
• まだ集まっていません！
• これから作っていきましょう！
– まずはWikiへ
• http://munin.jp/wiki/

M i ？
Munin？
The secret of Munin

Fugin Munin
“thought” “memory”

思考記憶
This Photo is under creative commons license
http://en.wikipedia.org/wiki/File:Odin hrafnar.jpg

munin-eye さんの心境 ( 現munin-node さん談）

ここまでの、まとめ
• Munin はオープンソースのリソース監視ツール

• コンソールからの開放をもたらす(効率アップ)

• シンプル＆パワフルな設計思想
memory
• Muninは記憶を司る

24時間365日の運用支援から、障害対応のお供にも。

#
Muninの構造
ARCHITECTURE OF MUNIN
■■□□□

Muninの、すごく単純な構造
M i のすごく単純な構造
Architecture of Munin

ユーザ視点

サーバ上のHTML&グラフを参照します。
ただそれだけの、シンプルなもの。

クライアント・サーバ・モデル
クライアントサバモデル
client server model

もう少し詳しくみてみましょう。

これが、先ほどのデータです。

これが本体(Muninマスタ)の構成です。
これが本体(M i マスタ)の構成です
Crondによって、データ取得・閾値チェック・
HTML&グラフ生成のプログラムを、逐次実行します。

これは、エージェントである
munin-nodeです。

データ取得は、munin-updateが、
デタ取得は munin updateが
TCP Port 4949 を通して、munin-
nodeと通信します。

munin-nodeでプラグインを呼
び出します。プラグインが、
様々なデータを取得します。

RRDtoolに格納されたデタ(.rrd)を元に、
RRDtoolに格納されたデータ(.rrd)を元に、
を元に、
グラフやHTMLを生成します。
これが、5分に1回実行されます。設定変
更により、1分など任意指定も可です。

以上が、Muninの基本構造です。

Muninの構成
master ( サーバ ) munin-node ( エージェント )
• Perl Libs • Perl Libs
– Munin::Common
i – Munin::Common
i
• munin-cron • munin-node
– munin-update – config: munin-node.conf
– munin-limits – Plugins
– munin-html • Tools
– munin-graph – munin-node-configure
• config: munin.conf
fi i f – munin-cron

データ収集の基本
• munin-node が、プラグイン単位で収集
– Port 4949(TCP) に対するアクセス
– Munin プロトコル
• LIST
• CONFIG

(T T)4949
(T_T)4949
• FETCH
• VERSION
• QUIT

データ格納、グラフ生成はRRDtool
• データは rrd 形式 (round robin database)
– /var/lib/munin/<ホスト名>/プラグイン名.rrd
-rw-r--r-- 1 munin munin 50612 10月 18
rw r r 2010 localhost-cpu-idle-d.rrd
localhost cpu idle d.rrd
-rw-r--r-- 1 munin munin 50612 10月 18 2010 localhost-cpu-iowait-d.rrd
-rw-r--r-- 1 munin munin 50612 10月 18 2010 localhost-cpu-irq-d.rrd
-rw-r--r-- 1 munin munin 50612 10月 18 2010 localhost-cpu-nice-d.rrd
-rw-r--r-- 1 munin munin 50612 10月 18 2010 localhost-cpu-softirq-d.rrd
-rw-r--r-- 1 munin munin 50612 10月 18 2010 localhost-cpu-steal-d.rrd
-rw-r--r-- 1 munin munin 50612 10月 18
rw r r 2010 localhost-cpu-system-d.rrd
localhost cpu system d rrd
-rw-r--r-- 1 munin munin 50612 10月 18 2010 localhost-cpu-user-d.rrd

• RRDファイルは、１つにつき約50KByte
– 1プラグインあたり 200KB∼必要
– munin-nodeあたり、デフォルトで150∼250個前後
(合計8∼15MB程度)

Muninが持つ、様々なプラグイン
• システムリソース
– CPU、メモリ、Load Average、ディスク関連
g
• ネットワーク
– トラフィック、SNMP、HTTP 読み込み時間
• ミドルウェア・アプリケーション
– Apache, Nginx, Sendmail, Postfix, MySQL,
PostgreSQL, M
P t SQL MongoDB, memcached, PHP etc
DB h d PHP… t

例: Load Average取得プラグイン
• /etc/munin/plugins/load
– 5分間平均のデータを取得
– シンボリックリンク
• 実体は /usr/share/munin/plugin/load
– シルスクリプト
シェルスクリプト
echo -n "load.value "
cut -f2 -d' ' < /proc/loadavg
/p / g
load .value 3.22

グラフ生成は、プラグイン単位
グラフ生成はプラグイン単位
Architecture of Munin

#
できる！Munin
PRACTICAL MUNIN
■■■□□

Muninセットアップ！
M i セトアプ！
Setting up.
g p

動作環境
• 基本 Perl5 が動作する環境
• OS
– Linux
• Source code ( version 2.0.6 )
• Binary Package
– Red Hat Enterprise Linux 系 ( EPEL )
– Debian
– openSUSE
– MacOS X
– Windows

大まかな流れ
• パッケージのセットアップ
• 設定ファイル( u
設定ファイル(munin.conf)の書き換え
.co )の書き換え
• munin-nodeの設定
• 動作確認

Red Hat Enterprise Linux系
• EPEL*1(testingリポジトリ)パッケージ or ソース
• 手順
– 1. EPELを有効に
– 2. yum install munin
– 3. 設定ファイル munin.conf 調整
– 4. munin-node(エージェント)の起動設定
– 5 動作確認
5.
*1 Extra Packages for Enterprise Linux(EPEL) https://fedoraproject.org/wiki/EPEL

Debian / Ubuntu
• パッケージ(Debian PTSではtesting) or ソース
• 手順
– 1. apt-getでPerlライブラリをセットアップ
– 2. バイナリかソースを組み込み
– 3. 設定ファイル munin.conf 調整
– 4. munin-node(エージェント)の起動設定
– 5 動作確認
5.

設定ファイルの基本知識
設定フイルの基本知識
How to configure
g

設定ファイル
Muninマスタ munin-node
• /etc/munin/munin.conf • /etc/munin/munin-node.conf
– 対象ノド指定
対象ノードの指定 – アクセス制限
ク制限
– 動作モード • IPアドレス
• グラフ・HTMLの動的/静的生成 • CIDR
– 各種パス指定 – ホスト名
– ポート番号
• Default: TCP 4949 (T_T)
– プラグインのオプション指定

[munin.conf] 対象ノード指定
[GroupName;node1.pocketstudio.net]
address 127 0 0 1
127.0.0.1
use_node_name yes

[munin-node.conf] アクセス制限
• allow ^127¥.0¥.0¥.1$
– ※正規表現。

• cidr_allow 192.0.2.0/24
– ※正規表現ではない。

• 設定変更後は munin-node の再起動を！
i d 再起動を

プラグインの基本知識
How to use plugins
p g

プラグイン設置の基本
• プラグイン実体 (シェルスクリプト中心)
– /usr/share/munin/plugins/
p g
• /etc/munin/plugins にシンボリックリンク作成
• 必要に応じて munin-node.conf 調整
• munin-node restart ←重要
• グラフ描画をチェック

プラグインのデバッグ
• /usr/sbin/munin-run <プラグイン名>
– --debug オプションを付与すると、更に細かい
g
– munin-node の再起動をしなくとも、同じ挙動

• コマンドラインツール
– muninwalk & muninget (perl script)
https://github.com/zembutsu/muninwalk
h // i h b / b / i lk

基本プラグインの追加設定
How to setup plugins
pp g

Apache
• シンボリック・リンク
# ln -s /usr/share/munin/plugins/apache_* /etc/munin/plugins/

• munin node conf
munin-node.conf
[apache_*]
env.url http://127.0.0.1:%d/server-status?auto
env.ports 80

• httpd.conf
ExtendedStatus On

<Location /server-status>
SetHandler server status
server-status
Order deny,allow
Deny from all
Allow from 127.0.0.1
</Location>

MySQL
# ln -s /usr/share/munin/plugins/mysql_* /etc/munin/plugins/

• munin node conf
munin-node.conf
[mysql*]
env.mysqlopts -u root -pPASSWORD
env.mysqladmn /usr/bin/mysqladmin

BIND
# ln -s /usr/share/munin/plugins/bind9_rndc /etc/munin/plugins/

• munin node conf
munin-node.conf
[bind9_rndc]
env.rndc /usr/sbin/rndc
env.querystats /var/named/chroot/var/named/data/named_stats.txt
user root

• named.conf
statistics-file "/var/named/data/named_stats.txt";

あなたの知らないプラグイン
Plugins catalog
g g

AWS利用料金表示プラグインを作ってみました

電力会社の供給状況や、

電力使用率など、数値化できるものであれば、
何でも簡単にグラフ化できます。

プラグインを自作する
How to make plugins
p g

httpingプラグインを作ってみた
• http://www.vanheusden.com/httping/

• httping は、HTTPサーバの応答時間を ping コマンドのよ
うに計測できるツール。
• オプションで –S (大文字)を付与すると、サーバ接続時間
と、応答時間を分けて取得できるのが便利。
$ httping -S http://210.239.46.254/
PING 210.239.46.254:80 (http://210.239.46.254/):
connected to 210.239.46.254:80 (380 bytes), seq=0 time=0.10+0.69=0.79 ms
connected to 210.239.46.254:80 (380 bytes) seq=1 time=0.08+0.47=0.55 ms
210 239 46 254:80 bytes), time=0 08+0 47=0 55
Got signal 2
--- http://210.239.46.254/ ping statistics ---
4 connects, 4 ok, 0.00% failed

Plugin: httping_
#!/bin/sh
#
# Plugin to monitor HTTP response (httping)

#%# family=auto
#%# capabilities=autoconf

URL=${URL:-"http://localhost/"}
COUNT=${COUNT:-"5"}
httping bin=$(which httping)
httping_bin=$(which
これがプラグインの実体です
これがプラグインの実体です。
if [ "$1" = "autoconf" ]; then
echo yes
Config部分と、実際にデータを取得する部分
fi
exit 0
グラフの定義を定義するだけです。割とシンプルなシェル
if [ "$1" = "config" ] ; then
スクリプトで行けます。PerlやrubyやPHPで
echo "graph_args -r --lower-limit 0 ";
echo "graph_title http response $URL";
も構いません。
echo "graph_category httping";
echo "graph_info httping response time: $URL";
echo 'graph_vlabel msec'

echo "connect.label connect time"
echo "connect.draw AREA"
echo "connect.type GAUGE"
echo "processing label processing time"
processing.label time
echo "processing.draw STACK"
echo "processing.type GAUGE"
exit 「xxx.Value ***」の形式で出力
fi

# format for httpiing 1.5.3 http://www.vanheusden.com/httping/
$httping_bin -c $COUNT -G -S $URL | tr '+|=' ' ' | awk '{connect+=$9; processing+=$10} END{print "connect.value",connect/'$COUNT'"¥n""processing.value",processing/'$COUNT'}'

Config: httping_
• /etc/munin/plugin-conf.d/httping
[httping_localhost]
env.URL h // k di j /
http://pocketstudio.jp/
env.COUNT 5

[httping_blog]
env.URL
env URL http://pocketstudio.jp/log3/
http://pocketstudio jp/log3/
env.COUNT 5

[httping_node1]
env.URL
env URL http://node1.pocketstudio.net/
http://node1 pocketstudio net/
env.COUNT 5

• # ln -s /usr/share/munin/plugins/httping_ /etc/munin/plugins/httping_localhost

httping demo
• http://demo.munin.jp/munin2/httping-day.html

#
実践！トラブルシュート
THE DAY OF TROUBLESHOOTERS
■■■■□

俺のサーバが
こんなに重いはずが無い
ore no server ga konnani omoi hazu ga nai
g g

あきらめたら試合終了ですよ。
• 原因切り分け時の注意点
– ハードウェア or ソフトウェア or ネットワーク
– どこで問題が起こっているか、迅速に判断する。
※この対応速度こそが、サービスの肝

ここで実機を使った検証を。
• http://demo.munin.jp/
– このデモ環境で問題になっている所を、
実際に確認してみます。
– 調査時は、サーバに一切ログインしません(ｷﾘｯ

こんなの絶対おかしいよ！
This Just Can't Be Right
g

実録：不正アクセス。
• 気づいた時には始まっていた(ryを地でゆく事案

• 状況
– 1. postmaster宛のエラーメールが届き始める
– 2. 死活監視系のアラートは一切無し
活監視系無
– 3. まずは Munin でリソース異常をチェック
– 4. CMSによる不正アクセスの特定（リソース異常時
CMSによる不正アクセスの特定（リソス異常時
前後のログを洗い、対象URLやスクリプトを把握）
– 以上の動作を、短時間でスムーズに行えた。

Sendmailのキュー数が急上昇一方、LoadAverageは普通

トラフィックが不自然な時間帯発見 MySQLのクエリも急増している

この状況から、CMSに対する攻撃を推測しはじめます。変動のあった時刻の
この状況から CMSに対する攻撃を推測しはじめます変動のあた時刻の
Apacheのログを調査することで、特定URLに対する不正アクセスを特定、
直ちに対処できました。
もしMuninがなければ、気がつくことや、原因特定に時間がかかったと思います。

#
わたしの、最高の運用支援ツール

MY VERY BEST MONITORING TOOL
■■■■■

Munin 2.0
M i 2 0 の新機能
I think that Munin is truly wonderful
y

2.0の新機能はとっても嬉しいなって
• UI刷新
– Zooming機能
g
• 非同期 I/O をサポート
– 大規模環境を考慮
• Native SSH 機能
– セキュア & SSH 経由取得 (port 22)
• 非同期 proxy 機能
– munin-nodeを介さずデータ取得

[RemoteNetwork;backend-DB]
addressssh://210.239.46.254/opt/munin/lib/munin-async-client --spooldir /var/opt/munin/spool/192.168.0.230 –spoolfetch
use_node_name yes

もう障害対応も怖くない
I'm Not Afraid of Anything Anymore
y g y

Muninが変えた、障害対応の流れ
• ツールにたよらない場合
– 各種ログの調査、コマンド実行(sysstat等)
– 人の手が掛かり時間もかかる致命的
人の手が掛かり、時間もかかる←致命的

• Munin があれば…
u があれば
– サーバにログインしなくとも、状況把握
– 視覚的に比較できるので、異常値検出が用意
– 迅速な対応が可能
• 障害対応の Plan-Do-Check-Action (PDCA)
• グラフを見た瞬間「この障害対応のエンディングが見えたッ！」

とあるホスティングの場合
• Muninはマジで仕事に欠かせません。
– とにかく入れる
– 片っ端から入れる
– 無駄に入れる

障害対応PDCA

円環の理
の予感！！

/ヽ /ヽ
/ ヽ / ヽ
＿＿＿＿＿＿ / ヽ＿＿/ ヽ

Plan
| ＿＿＿＿／ :::::::::::::::＼
障害状況の把握 ||
||
/／
| ● ●
＼ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 || | （__人__丿 .....:::::::::::::::::::/
/つ_,∧
/ ∧ 〈（ﾟﾟ）
ﾟдﾟ） | |＿＿＿＿ヽ .....:::::::::::::::::::::::<
└＿＿＿／￣￣ :::::::::::::::::::::::::|
|（ﾟдﾟ）ヽ ⊂ニ) まじっすか！
|＼ | :::::::::::::::::::::::|
＼＼＼＿＿＿ ::::::::::::::::::::::::|
ヽ__と/￣￣￣/ |
￣＼/＿＿＿/

障害対応PDCA

円環の理
の予感！！

/ヽ /ヽ
/ ヽ / ヽ
＿＿＿＿＿＿ / ヽ＿＿/ ヽ

Plan
| ＿＿＿＿／ :::::::::::::::＼
||
/／
| ● ●
＼ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 || | （__人__丿 .....:::::::::::::::::::/
/つ_,∧
/ ∧ 〈（ﾟﾟ）
ﾟдﾟ） | |＿＿＿＿ヽ .....:::::::::::::::::::::::<
└＿＿＿／￣￣ :::::::::::::::::::::::::|
|（ﾟдﾟ）ヽ ⊂ニ) まじっすか！
|＼ | :::::::::::::::::::::::|
＼＼＼＿＿＿ ::::::::::::::::::::::::|
ヽ__と/￣￣￣/ | 障害個所推測
￣＼/＿＿＿/

障害対応PDCA Do
円環の理＿＿＿ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣
実行

の予感！！ / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、
| ||＿＿|| ＜丿 | どこが障害ポイントなんだ？
|￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿
ﾉ）
| | ( ./ /
ﾉ)ノ,(ノi
( (ノし
┐) ∧,∧ ﾉ
..|( ( ....:::::::) (
|( :::::::)
￣⊂/￣￣7 ) ヽ lヽ,,lヽ
（/ 川口 /ﾉ ( ）やめて！
￣TT￣と、ﾞi

/ヽ /ヽ
/ ヽ / ヽ
＿＿＿＿＿＿ / ヽ＿＿/ ヽ

Plan
| ＿＿＿＿／ :::::::::::::::＼
||
/／
| ● ●
＼ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 || | （__人__丿 .....:::::::::::::::::::/
/つ_,∧
/ ∧ 〈（ﾟﾟ）
ﾟдﾟ） | |＿＿＿＿ヽ .....:::::::::::::::::::::::<
└＿＿＿／￣￣ :::::::::::::::::::::::::|
|（ﾟдﾟ）ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::|
＼＼＼＿＿＿ ::::::::::::::::::::::::|
ヽ__と/￣￣￣/ | 障害個所推測
￣＼/＿＿＿/

障害対応PDCA Do
円環の理＿＿＿ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣
実行

の予感！！ / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、
| ||＿＿|| ＜丿 | どこが障害ポイントなんだ？
,. --‘’‘’‘“”¨¨¨ヽ |￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿
ﾉ）
(.＿＿_,,,... -ｧァﾌ|あ…ありのまま今 Munin で見た事を話すぜ！ | ( ./
| /
|i i| }! }} /／| ﾉ)ノ,(ノi
|l､{ j} /,,ｨ//｜『おれはfontentの鯖でnginxを確認していたと ( (ノし
i|:!ヾ､_ﾉ／ u {:}//ﾍ思ったらいつのまにかバックエンドのMySQLをみてた』
|ﾘ u' } ,ﾉ _,!V,ﾊ | ┐) ∧,∧ ﾉ
／´fト {ﾙ{ ィ'ｅﾗ
／ fト､_{ﾙ{,ィｅﾗ , ﾀ人な…
な何を言ってるのかわからねーと思うが
わからねと思うが ..|( ( ....:::::::) (
|( :::::::)
/' ヾ|宀| {´,)⌒`/ |<ヽﾄiゝおれも何をされたのかわからなかった…
￣⊂/￣￣7 ) ヽ lヽ,,lヽ
,ﾞ／ )ヽ iLﾚ u' | | ヾｌﾄﾊ〉
|／_／ﾊ !ニ⊇ '／:} V:::::ヽ
/／二二二7'T'' ／u' __ /:::::::/｀ヽ
/'´r -―一ｧ-ﾞＴ´ '"´ ／::::／-- ＼
頭がどうにかなりそうだった…

ioDriveだとか超スピードだとか
Check （/ 川口 /ﾉ
￣TT￣
( ）やめて！
と、ﾞi
/ // 广¨´ /' ／:::::／´￣｀ヽ ⌒ヽ
ﾉ ' / ノ:::::`ー-､___／:::::／/ ヽ }
そんなチャチなもんじゃあ断じてねえ評価
_／｀丶 /::::::::::::::::::::::::::￣`ー-{:::... ｲもっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認

/ヽ /ヽ
/ ヽ / ヽ
＿＿＿＿＿＿ / ヽ＿＿/ ヽ

Plan
| ＿＿＿＿／ :::::::::::::::＼
||
/／
| ● ●
＼ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 || | （__人__丿 .....:::::::::::::::::::/
/つ_,∧
/ ∧ 〈（ﾟﾟ）
ﾟдﾟ） | |＿＿＿＿ヽ .....:::::::::::::::::::::::<
└＿＿＿／￣￣ :::::::::::::::::::::::::|
＼ｷﾀｰ／ |（ﾟдﾟ）ヽ ⊂ニ) まじっすか！ |＼ | :::::::::::::::::::::::|
＼＼＼＿＿＿ ::::::::::::::::::::::::|
∧＿∧ ￣||ヽ、ヽ__と/￣￣￣/ | 障害個所推測
（） ||＿| ￣＼/＿＿＿/
（＿＿つ三_ |
（三ｶﾀｶﾀ
/＿＿ヽ） || || ｶﾀｶﾀ
障害対応PDCA Do
＿||＿J || || 円環の理＿＿＿ｸﾙｯ… ／￣￣￣￣￣￣￣￣￣￣￣
実行

の予感！！ / ||￣￣|| ＜⌒ヽ )) ＜ >>Munin はてさて、

Action ,. --‘’‘’‘“”¨¨¨ヽ
(.＿＿_,,,... -ｧァﾌ|
| ||＿＿|| ＜丿

あ…ありのまま今 Munin で見た事を話すぜ！ | ( ./
| /
| どこが障害ポイントなんだ？
|￣￣＼三⊂/￣￣￣/ , ＼＿＿＿＿＿＿＿＿＿＿＿
ﾉ）
改善 |i i| }! }} /／| ﾉ)ノ,(ノi
|l､{ j} /,,ｨ//｜『おれはfontentの鯖でnginxを確認していたと ( (ノし
i|:!ヾ､_ﾉ／ u {:}//ﾍ思ったらいつのまにかバックエンドのMySQLをみてた』
|ﾘ u' } ,ﾉ _,!V,ﾊ | ┐) ∧,∧ ﾉ
ド実行
コマンド実行／´fト {ﾙ{ ィ'ｅﾗ
／ fト､_{ﾙ{,ィｅﾗ , ﾀ人な…
な何を言ってるのかわからねーと思うが
わからねと思うが ..|( ( ....:::::::) (
|( :::::::)
/' ヾ|宀| {´,)⌒`/ |<ヽﾄiゝおれも何をされたのかわからなかった…
￣⊂/￣￣7 ) ヽ lヽ,,lヽ
,ﾞ／ )ヽ iLﾚ u' | | ヾｌﾄﾊ〉
|／_／ﾊ !ニ⊇ '／:} V:::::ヽ
/／二二二7'T'' ／u' __ /:::::::/｀ヽ
/'´r -―一ｧ-ﾞＴ´ '"´ ／::::／-- ＼
頭がどうにかなりそうだった…

ioDriveだとか超スピードだとか
Check （/ 川口 /ﾉ
￣TT￣
( ）やめて！
と、ﾞi
/ // 广¨´ /' ／:::::／´￣｀ヽ ⌒ヽ
ﾉ ' / ノ:::::`ー-､___／:::::／/ ヽ }
そんなチャチなもんじゃあ断じてねえ評価
_／｀丶 /::::::::::::::::::::::::::￣`ー-{:::... ｲもっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認

24時間365日の運用支援から、
時間日運用支援ら、
緊急障害対応のお供まで。
運用を支えるMunin−。
運用を支えるM i
The O l Thi
Th Only Thing I Have Left To Guide Me
H L ft T G id M

Muninまとめ (今北産業)
・Munin はリソース推移変化をグラフで見る、
視覚による「気づき」に特化した監視ツル。
視覚による「気づき」に特化した監視ツール

・シンプルな構成、豊富なプラグイン。
シンプルな構成、豊富なプラグイン。

・短時間に PDCA を回す必要があるシステムに
短時間に
最適である。

結論
Muninはリソース推移監視に
特化した手軽なツルである。
特化した手軽なツールである。
この短期間でここまでトラブルシュートの精度が上げられる機動力。

まったく、Muninは最高だぜ!!
まったく Muninは最高だぜ!!
わたしの最高の運用支援ツル。
わたしの最高の運用支援ツール。
※最後は個人の感想です。
MUNINにありがとう。MRTGにさようなら。

僕からのお願い。
• もし、今日セッションでMuninが気になったら
まずは、試してみませんか？
まずは試しみませんか

• きっと、そこには、
きと、そには、
まだ誰も知らない運用のありかた（未来）が
あるのかもしれません。
あるのかもしれません

Questions?
• もう少しkwsk訊きたい所はありますか？
／￣＼
| |
＼＿／
|
／￣￣＼
／＼／＼
／ ⌒ ⌒ ＼よくぞ訊いてくれた
| （__人__） | 褒美としてオプーナを買う権利をやる
＼｀ ⌒´ ／ ☆
/ヽ､--ー､＿＿,-‐´ ＼─／
／ > ヽ▼●▼<＼ ||ｰ､
/ ヽ､＼ i |｡| |/ ヽ (ニ､｀ヽ
.l ヽ l |｡| | ｒ-､y ｀ﾆﾉ＼
l | |ー─ | ￣ l ｀~ヽ＿ノ＿＿＿_
／
／￣￣￣￣ヽ-'ヽ--' ／オプナ／|
' ' オプーナ
.|￣￣￣￣￣￣|／| |￣￣￣￣￣￣|／| ＿＿＿＿＿＿
／￣オプーナ／| ￣|__」／_オプーナ／|￣|__,」＿＿_ ／|
|￣￣￣￣￣|／オプーナ￣／￣￣￣￣|／オプーナ／| ／ .|
|￣￣￣￣￣|￣￣￣￣￣|／l￣￣￣￣|￣￣￣￣￣|／ | ／
|￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣|

References
• Munin
– http://munin-monitoring.jp/

• M i U G J
Munin User Group Japan
– http://munin.jp/
– http://munin.jp/wiki/

• Website
– Waiting for Munin 2.0 ‒ Introduction ‒ Personal Workflow Blog
• http://blog.pwkf.org/post/2010/06/Waiting-for-Munin-2.0-Introduction

– /tags/2 0 0/ChangeLog ‒ Munin ‒ Trac
/tags/2.0.0/ChangeLog
• http://munin-monitoring.org/browser/tags/2.0.0/ChangeLog

Muninではじめる実践★リソース監視　-俺のサーバがこんなに重いはずがない、を乗り切るために-

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Muninではじめる実践★リソース監視　-俺のサーバがこんなに重いはずがない、を乗り切るために-

Similar to Muninではじめる実践★リソース監視　-俺のサーバがこんなに重いはずがない、を乗り切るために- (20)

More from Masahito Zembutsu

More from Masahito Zembutsu (20)