第25回 Tokyo Jazug Night の資料です。

1. Azure Monitor を使った運用監
視コトハジメ
JAZUG Tokyo Night 2020 01
よしのつばさ

2. はじめに
本セッションは、2020年01月31日時点での情報に基づきます。
情報の日付に注意しましょう。

3. 資料について
今回の資料は、SlideShareに後ほど公開します。
使用したソースコードに関しても、後ほど公開予定です。

4. 自己紹介
吉野翼(よしのつばさ)
Microsoft MVP for Microsoft Azure (2016 ~)
Compony : シグマコンサルティング株式会社
Work : Webサービス開発、インフラ
Like : Azure, .NET, Kinect
Twitter : https://twitter.com/papeMK2
Facebook : https://www.facebook.com/papeMK2
Blog : https://papemk2.hateblo.jp/

5. アジェンダ
Azure Monitor の概要
Log Analytics を使ってみる
Azure Monitor + Log Analytics で監視の仕組みを構築する

6. 今回扱う範囲
Azure Monitor Alert
Azure Monitor Log
Log Analytics
※ Azure Monitor は、範囲が広いので今回は、この範囲です
※OMS(Operation Management Suite) がブランド廃止、Azure Monitor へ統合されました。

7. Azure Monitor のモニタリング領域
インフラストラクチャ アプリケーション ネットワーク

8. Azure Monitor
統一されたモニタリング データ駆動分析 ワークフローの統合
機械学習に基づいた高度な診断と分析全てのメトリック、ログ、及び
その他監視メトリック用の共
通プラットフォーム
人気のあるDevOpsツールなどと統合
されたリッチなエコシステムの提供

9. Azure Monitor で出来ること
Azure 内のログ管理
Azure 内のメトリック管理
Azure のログ分析
Azure のログ可視化
ログ、メトリックからアラートの発行

12. Application
Operation System
Custom Sources
Azure Resource
Azure Subscriptions
Azure Tenant
Application Insights
診断用拡張 + エージェント
Windows + Linux
複数言語対応のSDK
Azureから送信される
ログとメトリック
その他

13. Azure Monitor のデータソース
Azure Tenant Azure Active Directory
Azure Subscriptions
Security Center
Service Health
Resource Manager
Azure Resources
Network Security Groups
Storage Accounts
Virtual Machines
Operating System
Windows Pref Counters
Linux syslog
Application
Application logs
User telemetry

14. Azure Monitor の収集するデータ
Application : 自分が書いたコードのパフォーマンスと機能に関連するデータ
Operation System : アプリケーションが実行されているOSに関するデータ。Azure、そ
の他クラウド、オンプレが該当
Azure Resource : Azure のリソース操作データ
Azure Subscription : サブスクリプションの操作・管理に関するデータ及びAzure自体の
正常性及び操作に関するデータ
Azure Tenant : AADなどのテナントレベルの操作データ
Custom Sources : Azure Monitor のData Collect API に送られたデータ

15. Azure の送信するシグナル
メトリック ログ アラート
種類ごとに異なるプロパティで構成されて
いるデータ
アプリケーションログ、サーバログなど多岐
に渡る
イベント、トレース情報等の利用統計情報
は、組み合わせて分析しやすいようにパ
フォーマンスデータとセットに格納される
Log Analyticsのクエリによる分析やクエリの
結果を使用してその後の処理を行うことが
可能
特定時点におけるシステムを表す何らか
の指標
リアルタイムに近い形でデータを収集で
きる
メトリックデータを用いてその後の処理
(アラートルールの作成)などが可能
各メトリック、ログを定期的に評価し、
条件がtrue の場合に発生する
アラートが発生すると、指定したアク
ショングループに対してアラートを送
信する

16. 重大な状況へ対応するために
メトリック、ログデータに基づいたアクションを実
行する
メトリックに基づくアラートルールは、ほぼリアル
タイムなアラートを提供
ログに基づくアラートルールは、複数のデータ
ソースに跨った複雑なアラートを提供
Azure Monitor の収集したメトリックに基づき、リ
ソースのサイズを調整する機能を提供
負荷の増減によりインスタンスサイズ・量の自動
調整を行うことで、リソースを最適化可能
アラート
オートスケール

17. Log Analytics を使ってみよう

18. Log Analytics のクエリ
requests
| where timestamp >= ago(1d) and resultCode != 200
| project timestamp , resultCode , user_Id , client_Type , client_Browser
• Http リクエストを取得する(From句)
• タイムスタンプが1日以内で、レスポンスコードが200以外(Where句)
• タイムスタンプ、レスポンスコード、ユーザに割り振られたId、クライアント種別、ブラウザを取得する(Select句)

19. Log Analytics のクエリ
requests
| summarize count() by url
| take 10
| render piechart
• summarize 結果を特定の値でサマる
• take 上位 x 件を取得する
• render 指定した形式でビジュアライズする (piechart だと、円グラフ)

20. Log Analytics のクエリ
union withsource = SourceApp app("AzureMonitorHub").exceptions,
app("jazug-demo2").exceptions
| summarize count() by type
| render columnchart
• union で複数のデータソースを合わせる
• Type でサマる
• render 指定した形式でビジュアライズする (columnchart だと棒グラフ)

21. Log Analytics のクエリ
KQL(Kusto query language) を使用する
SQL ライクなクエリ言語
Azureポータルの統一されたUI でクエリの入力、可視化、分析
が可能
クエリ結果をダッシュボードに貼り付けることも可能

22. デモ

23. 監視の仕組みを構築する

24. 監視の仕組みを構築する
1. App Insights でアプリケーションログを収集
2. Log Analytics でエラー分析用のクエリを書く
3. Azure Monitor Alert にてLog Analytics のクエリで アラート
ルールを作る
4. 各メトリック用のアラートルールを作る
5. 各アラートのWebhook を受け取るコードを書く
• メトリクス、ログアラートでペイロードが異なるので分ける方が吉
• Function App or Logic App がおすすめ
6. 配信したいツールに通知を送る

25. 構成図
アプリケーション
Logs
Metrics
インフラ
ログアラート
メトリクスアラート

26. アラートの受け取り方
Http Trigger が含まれているFunction App を指定する
(Http Trigger が無いと設定できない)
HttpRequest のリクエストBody にjson が含まれてリク
エストが送られてくる
Logic App よりもリッチな通知を行いたい場合向け(よ
りプログラマブルな処理が行いやすい)
When a HTTP request is received を含む Logic App を
指定する(Http リクエストが受けられないと設定でき
ない)
Request Body JSON Schema を予め埋めておく
簡易アラート向け

27. その他のアラートの受け取り口
Azure Automation Runbook
Email Azure Resource Manager Role
特定のロールを持っているユーザにメールを送る
Email
指定したメールアドレス
SMS
指定した電話番号
Push
Azure app へのプッシュ(Azure アカウントのメールアドレスを指定する)
Voice
指定した電話番号へ音声メッセージ

28. その他のアラートの受け取り口
ITSM
ServiceNow
System Center Service Manager
Provance
Cherwell
Secure Webhook
AAD で保護された Webhook エンドポイントを指定する
Webhook
Webhook エンドポイント を指定する

29. アラートの受け取り方(Function App)
[FunctionName("LogAnalyticsAlert")]
public async Task<IActionResult> Run(
[HttpTrigger(AuthorizationLevel.Function, "get", "post", Route = null)]
HttpRequestMessage req,
ILogger log)
{
var body = await req.Content.ReadAsStringAsync();
/*
* User own code
*/
return new OkObjectResult("Success");
}

30. 注意
各サービスのWebHookは、それぞれペイロードがガラッと変
わるのでそれぞれ作りましょう
簡易通知ならLogic App がおすすめ
フロントエンドの監視は、ログが多くなりがちなので不要なロ
グは、極力削るようにしましょう

31. まとめ
Azure Monitor を使用すれば、簡単で柔軟にサービス監視が行
えます
これらの機能を覚えておくと、運用監視がぐっと楽になるので
是非触ってみましょう
Logic App や Function App などを活用するとよりリッチな監
視体制が築けるのでオススメです

32. 参考資料
https://docs.microsoft.com/ja-jp/azure/azure-monitor/
https://azure.microsoft.com/ru-ru/blog/new-full-stack-
monitoring-capabilities-in-azure-monitor/
https://github.com/MicrosoftDocs/azure-docs/issues/27590

33. ソースコード
https://gist.github.com/papeMK2/e43a7ae1b0280011d976a4b6
e067842c

35. 時間が余ったとき用

36. Azure Service Health
Azure のインシデント情報を通知 Azure の計画メンテナンス情報を通知

37. Azure Service Health
Azure のインシデントと計画メンテナンスについて通知を行う
システム変更に伴う影響なども通知される
直近だとTLS 1.2 以前のサポート終了など
これらの情報をプッシュ型で受けることによりAzure に起因するダウン
タイムを減らす対応を行いやすくする
Azure のサブスクリプション、使用しているサービスなどからパーソナ
ライズした情報を入手可能
インシデントに関するレポートを取得可能

38. https://japan.cnet.com/article/35148383/

39. アラートの例
Microsoft database containing Customer Support data was accessible from the internet
Microsoft has corrected an issue identified by a third-party security researcher where a
database containing a subset of information related to customer support interactions
was accessible to the internet between the dates of 5 Dec 2019 and 31 Dec 2019.
This issue was specific to an internal database used for support case analytics and does
not represent an exposure of our commercial cloud services. Once identified, Microsoft
mitigated the issue, and our security team’s investigation found no indication of
malicious use of the database records.
Our analysis of the support information indicates that specific personal or organizational
identifiable information related to your support case was potentially visible.

40. アラートの例(ざっくり訳)
Microsoft の持つカスタマーサポート情報を含んだデータベースが
インターネットに露出していた
2019/12/5 ~ 2019/12/31 の間、該当のデータベースがインターネッ
トに露出しており、第三者のセキュリティ研究者から報告された
これは、Azure のサービス自体に影響する問題ではありません。ま
たデータベースが使用された痕跡は、発見されませんでした
分析では、個人または、組織とサポートケースを紐づける情報が潜
在的に表示されていた可能性があります。