アラート対応自動化を組み込んでみた
•
3 likes•8,610 views
［2017/08/31に開催した「IIJ Technical NIGHT Vol.3」の講演資料です］ IIJ自身のシステム運用で培われたアラート対応のノウハウは社外のシステムにも活用できるはず。そんな考えからIIJでは、システム監視機能を提供する「IIJ統合運用管理サービス」にアラート対応の自動化処理を追加することにしました。自動化機能がどのように監視サービスに統合されるのかを紹介します。 講演者：柳井 浩平（サービス基盤本部 サービス運用企画部 M&Oサービス開発課）
Recommended
More Related Content
What's hot
What's hot (20)
Similar to アラート対応自動化を組み込んでみた
Similar to アラート対応自動化を組み込んでみた (20)
More from IIJ
More from IIJ (20)
アラート対応自動化を組み込んでみた
- 1. アラート対応自動化を組み込んでみた 講 演 者 ： 柳 井 浩 平 （ サ ー ビ ス 基 盤 本 部 サ ー ビ ス 運 用 企 画 部 M & O サ ー ビ ス 開 発 課 ）
- 2. 31
- 4. 自動化が解決するメリット
- 5. 34 使わない手順書のための労力 プロセスを自動復旧 【tomcat再起動】 プロセス数確認 → 起動実行 tomcatのプロセスが落ちたら プロセスを自動起動したい！ 1. 運用対象ノードXのtomcatプロセス異常を検知 2. アラート通知メールをお客様に送信 3. 自動オペレーション（コマンド）実行 ① tomcatのプロセス数を取得 ② プロセス数が1であれば、処理なし ③ プロセス数が0であれば、tomcat再起動コマンドを実行し、戻り値を設定 ④ プロセス数が0、1以外であれば、戻り値2を設定 ⑤ 戻り値を返して終了 4. 実行結果メールをお客様に送信 5. チケットに起票 タイムチャート【tomcat再起動】
- 6. 35 使わない手順書のための労力 アプリケーションログを抜き出す 【ログ確認】 エラーログの前後20行を取得 監視アラートだけでは アプリケーションの挙動がわからない！ 1. 運用対象ノードZのアプリケーションログで異常を検知 2. アラート通知メールをお客様に送信 3. 自動オペレーション（コマンド）実行 ① ログに出力されたエラーの前後20行を取得 ② 戻り値を返して終了 4. 実行結果メールをお客様に送信 5. チケットに起票 タイムチャート【ログ確認】
- 11. APPENDIX
- 13. 42 サービス機能：統合管理ポータルとチケット管理 チケット管理機能もある統合WEBポータルを標準提供 UOMポータル システムの運用担当者向け情報、お客様の管理 対象サービス に関する情報、及びコントロール パネルの操作を集約した、IIJ統合運用管理サー ビスのポータルサイト https://uom.iijgio.jp/UOMポータル URL UOMポータル 監視サービス、ジョブ管理サービス、インシデントAPIで検知・発生したアラート、メール取り込みオプションで指定したメールが アラート中継システムを経由し、インシデント管理機能へ自動登録。対応状況をお客様自身で管理可能。 チケット管理画面 チケット管理標準機能 UOMポータルの主要機能 • ダッシュボード • チケット管理 • アラート情報 • ノード状態 • ファイル保管 • 監視コントロールパネル • 運用コントロールパネル • ジョブコントロールパネル 機能 概要 チケットの登録・作成・確認 インシデント管理機能へ自動登録。3ヶ月分の情報をチケット で確認可能 チケットの担当者割り当て・ ステータス変更・関連付け 対応する担当者を割り当て、対応状況を変更、関連のある複 数チケットをまとめができます。 チケットの検索・編集・削除 チケットの検索、情報の追加・修正、削除ができます。 チケットの対応履歴 「インシデント」、「リクエスト」、「タスク」に関する対 応経緯を追加・修正できます チケット管理
- 14. 43 サービス主要機能：監視サービス マルチクラウドに対応可能な監視システムをSaaS提供 ■オプション SNMP Trap オプション: SNMP Trap監視 標準監視 簡易監視 ・Ping監視 ・Port監視（TCP） ・EZURL監視 ・URL階層監視 ・プロセス監視 ・Winサービス監視 ・Logキーワード監視 ・Winイベントログ監視 ・CPU/メモリ/Disk監視 ・トラフィック監視 ・ESXi監視 など ＜提供監視機能＞ ・Ping監視 ・Port監視（TCP） ・EZURL監視 ・URL階層監視 ※10ポイント単位 ＜提供監視機能＞ ※30ポイント単位 監視 アラート通知 ・メール ・電話 監視レポート参照 監視設定 監視 ポイント制課金 オンプレミス 監視システム ユーザ/Sler 管理画面 一元管理と 充実したレポート ユーザセルフ 監視設定 マルチクラウド 監視機能を提供する 監視管理画面 とアラート検知時の メール通知/ 自動電話通知 を標準提供 充実したレポート機能と監視アラートの一元管理により、 システム運用の見える化を実現 標準監視と簡易監視の2タイプの監視メニューを ポイント 制課金でコスト効率 良く利用可能 ※ ポイント制課金とは、監視設定を項目ごとにポイントを利用し、そのポイント数に 応じて料金が決定する仕組みです。 エージェントレス 監視 SaaS提供のエージェントレス監視により、IIJのクラウドサービス（IIJ GIO）だけでなく、オンプレミス環境やその他 クラウド含めたマルチクラウド環境などあらゆる対象を監視可能
- 16. 45 サービス主要機能：ジョブ管理サービス 小規模～大規模まで利用できるジョブ管理もSaaS提供 専用ジョブ管理共用ジョブ管理 中～大規模のジョブ管理向け小規模・スモールスタート ＜対象エージェント台数＞ ・1台～10台 ジョブ実行 アラートメール レポート参照 ジョブ設定 ジョブ管理のシステムをSaaS型で提供するため、1台か らでも 早期導入が可能 ※ ジョブ管理は「標準監視」と「標準運用」を契約しているノードが対象です。 充実した ジョブコントロールパネル により、ジョブのモ ニタリングやオペレーション、レポーティングが可能 スモールスタート 可能な共用ジョブ管理と 大規模システ ム にも対応した専用ジョブ管理メニューを提供 ＜対象エージェント台数＞ ・10台～無制限 JOB管理 マネージャ 共用 専用 ジョブ実行 ジョブコントロールパネル ジョブコントロールパネル ジョブネット スケジュール アラート通知 ■ 主な機能 ジョブ管理サーバをSaaS型で提供し、対象サーバへエージェントを入れるだけで、ジョブ管理を実装可能 オンプレミス マルチクラウド ユーザ/Sler 管理画面 エージェント エージェント エージェント エージェントエージェント
- 17. 46 システム接続イメージ Azure IaaS・AWS向けのプライベート接続 PBB プライベート バックボーン インターネットVPNリンク インターネット回線を介したVPN接続 個別リンク さまざまなネットワーク構成に対応 Azure IaaS AWS インターネット インターネット VPNリンク インターネット VPNリンク IIJ統合運用管理サービス Azure VPN Gateway Amazon Virtual Private Cloud Azure IaaS AWS PBB プライベート バックボーン IIJ統合運用管理サービス Azure Express Route Amazon Direct Connect IIJクラウド エクスチェンジサービス for Microsoft Azure IIJクラウド エクスチェンジサービス for AWS NATルータ (個別構築) NATルータ (個別構築) インターネットVPNリンクの対向ルータとなる Azure VPN Gateway や Amazon VPC の設定はお客様で実施 • Azure VPN Gateway、Amazon VPC向けのプロファイル （設定値）を提供し、VPN接続を容易にします。 監視のためのNATアドレスは1リンクあたり14個まで • 複数契約（最大3契約）することでNATアドレスを増加可 能です。 お客様システムにて 閉域接続（Azure Express Route や Amazon Direct Connectを利用）している場合は、その経 路を利用して運用管理が可能です。 • 監視用のNATルータは、独自に準備が必要です。上記の構成で は、IIJ GIOにNAT用の仮想ルータをSIで導入いただく想定で す。 プロファイル
- 18. 47 パートナー様への展開 パートナー様ブランドによる再販（OEM） IIJ パートナー様 エンドユーザ OEM販売 IIJ統合運用管理サービス OEM版 の特別機能 メニュー制御 メール送信元制御 ドメイン変更 アナウンス管理 ロゴ差し替え 顧客チケット管理 サブスクリプション管理 アカウント管理 契約/請求管理 OEM専用環境 ※順次リリース予定