More Related Content Similar to 今日から業務で使える17の運用系Linuxツール、そして円環の理 (20) More from Masahito Zembutsu (20) 今日から業務で使える17の運用系Linuxツール、そして円環の理1. 新人エンジニアに贈る
今日から業務で使える
17 の 運用系Linuxツール
えんかん ことわり
そして、円環の理
Finale and Another Starting Point with useful tools
Masahito Zembutsu @zembutsu
Apr 13, 2013 qpstudy 2013.04 #qpstudy
2. このスライドは… 祝!! QP3周年
おめでとうございます!!
• 概要
– “qpstudy 2013.04”の @zembutsu LT 発表資料です
『qpstudy3周年記念LT大会 〜新人さん、業界にようこそ!〜 with ビール』
http://www.zusaar.com/event/613004
• 共有したかった事
– 2013年、這い寄る混沌・ガラケーは衰退しました
• 基本コマンドの連携は必須
• 時系列リソース監視が鍵
• 仲間達と協力する心も大切
4. ―Don't forget. always, somewhere,
someone is fighting for you.
―As long as you remember her.
Operation
you are not alone.
運用
忘れないで、いつもどこかで誰かがあなたの為に戦っている。
彼女を覚えている限り、あなたは一人じゃない。
(出典:魔法少女まどかマギカ最終話「わたしの、最高の友達」)
Monitoring
監視
5. こんな職場のイメージです。
去年からデータセンタの中で働いてます。
This Photo is under creative commons license by torkildr
http://www.flickr.com/photos/torkildr/3462606643/sizes/l/in/photostream/
6. A HUMAN WORK
ホスティングサービス業務
サーバの形、心の形。見知らぬ、仕様書。光、そして影。
クラウド、来日。変わる業界。まごころを、お客様へ。
DECISIVE BATTLE
障害対応
鳴り止まない電話。静止したデータセンタの中で。
優先度の選択を。電源停止に至る病、そして。
仕事も色々…
営業、侵入。客先訪問、魂の座。嘘と沈黙。涙。
You can advance.
次世代ニーズに向けた挑戦
特科サポート部隊、誕生。奇跡の価値は。せめて人間らしく。
8. • ping / traceroute / mtr 運用現場(自分)が使う、コマンド実行履歴。
• diskstat / iostat $ history | awk {'print $1 '} | sort | uniq -c | sort -r
• vmstat
• dstat / top
• sar
• netstat
• httping
• wget ( 2getと打ち間違え ) or curl
• nslookup / dig
• nc
• nmap
• smartctl
• tcpdump
各コマンドの意味は、Google先生にお訊ねください ←
9. ツール
2
4つの鍵と連携して強化
/4
ドッキング 出力200%
COLLABORATION WITH ARTS
10. 1つ1つのコマンドを強化
個々のコマンドで出来る事には、限界があります。
• sort しかし、これらのコマンドを組み合わせる事で、
自分が欲しいデータを簡単に入手できるのです。
• uniq
• awk
• watch
各コマンドの意味は、Google先生に(ry
18. ガ
ラ
FEATURE PHONE HAS DECLINED
ケ
ー
這い寄る
は
衰
退
混沌
し
CRAWLING CHAOS
ま
し
た
19. スマートフォンは生活の一部
• 普及率 6% (2011Q1)→20%(2012Q1)
– うち、 77% 毎日スマートフォンを使う
– 常に 78% がスマートフォンを携帯
出典:Out Mobile Planet: 日本 モバイル ユーザーの実態 2012年5月, Google, Inc.
http://services.google.com/fh/files/blogs/our_mobile_planet_japan_ja.pdf
調査は一昨年のものです。この時点で既にスマートフォン普及の兆しが
出始めてきていました。変化は確実に忍び寄っていたのです。
21. 進撃のスマートフォン
各社さんのIR情報
の中で、具体的か
つ参考になりそう
な企業さんの情報
を引用させていた
だきました。
ちなみに、私は利
害関係ありません。
出典:サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36
http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
22. 進撃のスマートフォン
スマートフォンが
経済に与える影響
は既に無視できな
くなっています。
肌感覚で「みんな
スマートフォン
使ってるな~」と
思っていましたが、
改めて数字で見る
と「やっぱり」と
思いつつ、普及の
速さには驚かざる
を得ません。
出典:サイバーエージェント株式会社 2013年9月期 第1四半期決算説明会資料 p.7, p.36
http://pdf.cyberagent.co.jp/C4751/qzIz/jrHk/F0pI.pdf
24. 最後に残った道しるべ
4 /4
The Only Thing I Have Left Go Guide Me
26. リソース監視の必要性
• スマートフォンの普及
– ますます生活に密着するインターネット
– 僅かな障害も、大きな機会損失になり得る時代
• 時系列「変化」を簡単に把握するために
– 過去の経緯を記録・参照
– グラフを通した人間の認識能力
• 「なんとなく重い」「もしかして障害?」を視覚化
– 客観的データの確保
• 属人性の排除
28. ----total-cpu-usage---- -dsk/total- -net/total- ---paging-- ---system--
usr sys idl wai hiq siq| read writ| recv send| in out | int csw
6 1 90 2 0 1| 18k 22k| 0 0 |1915B 1554B| 243 187
0 0 96 1 0 3| 0 112k|8752B 8221B| 0 0 |1054 174
0 0 97 1 0 2| 0 128k| 0 0 | 0 0 |1033 81
コマンド実行結果は、
瞬間(点)におけるリソース値
一次元から二次元へ
X軸 … 時間
Y軸 … リソース値
29. 時系列リソース監視
• Munin http://munin-monitoring.org/ http://munin.jp/
• Zabbix http://www.zabbix.com/jp/
• Nagios http://www.nagios.org/
• Ganglia http://ganglia.sourceforge.net/
• Cacti http://www.cacti.net/
• MRTG http://oss.oetiker.ch/mrtg/
私、樹になります!
30. 個人的にはMuninがお勧め
• すぐ使える
– RHEL/CentOS ( EPEL レポジトリ使用 )
1. yum install munin
2. htpasswd /etc/munin/munin-htpasswd Admin
3. service munin-node start
4. http://<HOSTNAME>/munin/ にアクセス、5分待つ
• 単純&強力な設計思想
• 一覧性に優れている http://demo.munin.jp/
33. Muninが変えた、障害対応の流れ
• ツールにたよらない場合
– 各種ログの調査、コマンド実行(sysstat等)
– 人の手が掛かり、時間もかかる←致命的
• Munin があれば…
– サーバにログインしなくとも、状況把握
– 視覚的に比較できるので、異常値検出が用意
– 迅速な対応が可能
• 障害対応の Plan-Do-Check-Action (PDCA)
• グラフを見た瞬間「この障害対応のエンディングが見えたッ!」
37. /ヽ /ヽ
/ ヽ / ヽ
______ / ヽ__/ ヽ
Plan
| ____ / :::::::::::::::\
障害状況の把握 ||
||
//
| ● ●
\ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 || | (__人__丿 .....:::::::::::::::::::/
/つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::<
└___/ ̄ ̄ :::::::::::::::::::::::::|
|( ゚д゚) ヽ ⊂ニ) まじっすか!
|\ | :::::::::::::::::::::::|
\ \ \___ ::::::::::::::::::::::::|
ヽ__と/ ̄ ̄ ̄/ |
 ̄\/___/
障害対応PDCA
円環の理
の予感!!
38. /ヽ /ヽ
/ ヽ / ヽ
______ / ヽ__/ ヽ
Plan
| ____ / :::::::::::::::\
障害状況の把握 ||
||
//
| ● ●
\ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 || | (__人__丿 .....:::::::::::::::::::/
/つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::<
└___/ ̄ ̄ :::::::::::::::::::::::::|
|( ゚д゚) ヽ ⊂ニ) まじっすか!
|\ | :::::::::::::::::::::::|
\ \ \___ ::::::::::::::::::::::::|
ヽ__と/ ̄ ̄ ̄/ | 障害個所推測
 ̄\/___/
障害対応PDCA Do
円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
実行
の予感!! / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、
| ||__|| < 丿 | どこが障害ポイントなんだ?
| ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________
ノ)
| | ( ./ /
ノ)ノ,(ノi
( (ノし
┐) ∧,∧ ノ
..|( ( ....:::::::) (
 ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ
(/ 川口 /ノ ( ) やめて!
 ̄TT ̄ と、 ゙i
39. /ヽ /ヽ
/ ヽ / ヽ
______ / ヽ__/ ヽ
Plan
| ____ / :::::::::::::::\
障害状況の把握 ||
||
//
| ● ●
\ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 || | (__人__丿 .....:::::::::::::::::::/
/つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::<
└___/ ̄ ̄ :::::::::::::::::::::::::|
|( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::|
\ \ \___ ::::::::::::::::::::::::|
ヽ__と/ ̄ ̄ ̄/ | 障害個所推測
 ̄\/___/
障害対応PDCA Do
円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
実行
の予感!! / || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、
| ||__|| < 丿 | どこが障害ポイントなんだ?
,. -‐‘’‘’‘“”¨¨¨ヽ | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________
ノ)
(.___,,,... -ァァフ| あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./
| /
|i i| }! }} //| ノ)ノ,(ノi
|l、{ j} /,,ィ//| 『おれはfontentの鯖でnginxを確認していたと ( (ノし
i|:!ヾ、_ノ/ u {:}//ヘ 思ったらいつのまにかバックエンドのMySQLをみてた』
|リ u' } ,ノ _,!V,ハ | ┐) ∧,∧ ノ
/´fト、_{ル{,ィ'eラ , タ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) (
/' ヾ|宀| {´,)⌒`/ |<ヽトiゝ
Check
おれも何をされたのかわからなかった…
,゙ / )ヽ iLレ u' | | ヾlトハ〉  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ
|/_/ ハ !ニ⊇ '/:} V:::::ヽ 頭がどうにかなりそうだった… (/ 川口 /ノ ( ) やめて!
// 二二二7'T'' /u' __ /:::::::/`ヽ
/'´r -―一ァ‐゙T´ '"´ /::::/-‐ \ ioDriveだとか超スピードだとか  ̄TT ̄ と、 ゙i
/ // 广¨´ /' /:::::/´ ̄`ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価
ノ ' / ノ:::::`ー-、___/:::::// ヽ }
_/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::... イ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
40. /ヽ /ヽ
/ ヽ / ヽ
______ / ヽ__/ ヽ
Plan
| ____ / :::::::::::::::\
障害状況の把握 ||
||
//
| ● ●
\ :::::::::::::::|
::::::::::::::| 何このアラート・・・
/つ_∧ || .| :::::::::::::|
計画 || | (__人__丿 .....:::::::::::::::::::/
/つ_,∧ 〈( ゚д゚) | |____ ヽ .....:::::::::::::::::::::::<
└___/ ̄ ̄ :::::::::::::::::::::::::|
\キター/ |( ゚д゚) ヽ ⊂ニ) まじっすか! |\ | :::::::::::::::::::::::|
\ \ \___ ::::::::::::::::::::::::|
∧_∧  ̄||ヽ、 ヽ__と/ ̄ ̄ ̄/ | 障害個所推測
( ) ||_|  ̄\/___/
(__ つ三_ | カタカタ
/__ヽ) || || カタカタ
障害対応PDCA Do
_||_J || || 円環の理 ___ クルッ… / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
実行
の予感!!
Action
/ || ̄ ̄|| <⌒ヽ )) < >>Munin はてさて、
| ||__|| < 丿 | どこが障害ポイントなんだ?
,. -‐‘’‘’‘“”¨¨¨ヽ | ̄ ̄\三⊂/ ̄ ̄ ̄/ , \___________
ノ)
(.___,,,... -ァァフ| あ…ありのまま 今 Munin で見た事を話すぜ! | ( ./
| /
改善 |i i| }! }} //| ノ)ノ,(ノi
|l、{ j} /,,ィ//| 『おれはfontentの鯖でnginxを確認していたと ( (ノし
i|:!ヾ、_ノ/ u {:}//ヘ 思ったらいつのまにかバックエンドのMySQLをみてた』
|リ u' } ,ノ _,!V,ハ | ┐) ∧,∧ ノ
コマンド実行 /´fト、_{ル{,ィ'eラ , タ人 な… 何を言ってるのか わからねーと思うが ..|( ( ....:::::::) (
/' ヾ|宀| {´,)⌒`/ |<ヽトiゝ
Check
おれも何をされたのかわからなかった…
,゙ / )ヽ iLレ u' | | ヾlトハ〉  ̄⊂/ ̄ ̄7 ) ヽ lヽ,,lヽ
|/_/ ハ !ニ⊇ '/:} V:::::ヽ 頭がどうにかなりそうだった… (/ 川口 /ノ ( ) やめて!
// 二二二7'T'' /u' __ /:::::::/`ヽ
/'´r -―一ァ‐゙T´ '"´ /::::/-‐ \ ioDriveだとか超スピードだとか  ̄TT ̄ と、 ゙i
/ // 广¨´ /' /:::::/´ ̄`ヽ ⌒ヽ そんなチャチなもんじゃあ 断じてねえ 評価
ノ ' / ノ:::::`ー-、___/:::::// ヽ }
_/`丶 /:::::::::::::::::::::::::: ̄`ー-{:::... イ もっと恐ろしいものの片鱗を味わったぜ… グラフやサービス状況確認
41. 重要な事なので、
もう一度書きます。
一次元から二次元へ
○○は俺の嫁
今期のアニメが(ry
二次が好きですが、こんな事を言っているより、
@zembutsu 自身の婚期を気にした方がいいと思います。
誰か助けて下さい ←
43. 偉い博士も仰ってます。
他の方の発表にもあり
ましたが、重要!!
一色 健次郎 博士
Isshiki Kenjiro, Ph.D.
「他と関わりを持たぬ孤独のものは、自ずとその限界が定まってしまう。
じゃが、他者と惹かれ合い影響し合うとき、その限界が限界では無くなる。
また1から研究のやりなおしじゃ」
出典:「ビビッドレッド・オペレーション」第12話
This Photo is under creative commons license by superchango
http://www.flickr.com/photos/superchango/4376866953/