Ignite The Tour Osaka での登壇資料。「最新の運用プラクティスによる信頼性の向上」というラーニングパスの2番目、「OPS20：インシデントに対応する」です。

1. Osaka

3. Resources
aka.ms/OPS20repo
aka.ms/OPS20
aka.ms/mymsignitethetour

4. Me
Name: 平林 拓将（ひらりん）
Awards: Microsoft MVP for Microsoft Azure (2019 - 2021)
Work: Asahi Kasei Amidas Corp. Trainer / Architect
• 若手社員向けの研修企画・運営・講師
• 社内システムの企画・開発・運用
Twitter: https://twitter.com/himarin269
Like：

5. T.T.R.
/restore/remediate

6. 2019 State of DevOps
Elite/high
1時間以内

7. Elite/high
1時間以内
Medium
1日以内
2019 State of DevOps

8. Elite/high
1時間以内
Medium Low
1日以内 1週間から1か月
2019 State of DevOps

9. Elite performers
2019 State of DevOps
208 倍
本番環境へのデプロイがインシデントからの回復が
2,604 倍

10. ディッカーソン
信頼性の階層
Foundations

11. UX
開発
容量/スケール
テスト/リリース
障害からの学習
インシデント対応
監視

12. インシデントに対応する

13. サービスの中断
恐れられ、回避されるもの
主観的
予定外の作業投資
インシデントとは
Service disruptions
Feared/avoided
Subjective
Unplanned workinvestments

14. インシデントはシステムの "鼓動"
Incidents are the pulse of your systems

15. インシデント
ライフサイクル
検知
Detection
対応
Response
修復
Remediation
分析
Analysis
準備
Readiness

16. Tailwind Traders の課題
増えていく混乱に対して追跡・対応の方法がない
すべてが場当たり的で反動的である
情報と状態が見つけにくい
解決までの時間はとても遅く、悪化している
問題とミスが繰り返される
Increased disruptions and no method to track and respond
Everything is ad-hoc and reactionary
Information and status is difficult to find
Time to resolution is terrible and getting worse
Reoccurrence of problems and mistakes

17. 体制
役割
ローテーション
Foundations
インシデント対応
Rosters
Roles
Rotations

18. 体制
役割
ローテーション
Rosters
Roles
Rotations

19. 体制
役割
ローテーション
Rosters
Roles
Rotations

20. 体制
役割
ローテーション
シフト計画
エンジニアは定期的なローテーションを組み
常に誰かがオンコール（連絡可能）な状態
タイプ
• 24 x 7
• Follow-the-Sun (FTS) ローテーション
• カスタム (特に週末)
Rosters
Roles
Rotations

21. aka.ms/OPS20 #MSIgniteTheTour
Respond with urgency, rather than react
Key takeaway
反応するのではなく、緊急感をもって対応する

22. Incident tracking
インシデントトラッキング

23. Unique channel for
communications
コミュニケーション・ブリッジ
インシデントの話題に限定
ユニークなチャネル

24. Logic Apps による
コードレスな自動化
企業や組織の中でアプリ、データ、
システム、サービスを統合することで
タスク、ビジネス プロセス、ワークフ
ローのスケジュール設定、自動化、
調整を行う
対応の改善
issue の作成と追跡
会話スペースの作成
オンコールなエンジニアを見つける

25. Microsoft Teams
Azure Storage
Logic App コネクター
issue の作成と追跡
会話スペースの作成
オンコールなエンジニアを見つける
Azure Boards

26. Azure Storage
Azure Boards
Microsoft Teams
issue の作成 対応者のアサイン
詳細の更新

27. Microsoft Teams
Azure Boards
Azure Storage
オンコールなエンジニアを
見つける

28. Azure Boards
Microsoft Teams
Azure Storage
チャネルの作成 詳細の送信
プライマリ・レスポンダーへの DM

29. Creating an incident response plan
インシデント対応計画の作成

30. aka.ms/OPS20 #MSIgniteTheTour
Prioritize for clear communication
Key takeaway
クリアなコミュニケーションを優先する

31. インシデント
ライフサイクル
修復
Remediation
分析
Analysis
準備
Readiness
検知
Detection
対応
Response

32. 規範的なチェックリストではない
コンテキストとガイダンス

33. 利害関係者に対するアップデート

34. 修復の改善
Troubleshooting
guides
ChatOps
コンテキストとガイダンス
利害関係者に対するアップデート

35. ChatOps
tools + chat

36. ChatOps
コラボレーション
Collaboration
ドメイン知識の共有
Sharing of domain knowledge
可視化と気づき
Visibility and awareness
学習
Learning
共感
Empathy

37. ChatOps
Microsoft Teams
Webhook の送信

38. ChatOps
Microsoft Teams
Node.js
Azure Function

39. 静的 HTML
Azure Storage
ChatOps
Microsoft Teams
Azure Function

40. Troubleshooting guides and status page
トラブルシューティングガイドと
ステータスページ

42. Remediation of shopping cart
ショッピングカートの修復

43. aka.ms/OPS20 #MSIgniteTheTour
情報とリソースにアクセスしやすくする
Key takeaway
Make information and resources accessible

44. 反応するのではなく、
緊急感をもって対応
する
クリアなコミュニ
ケーションを優先す
る
情報とリソースに
アクセスしやすく
する

45. /Docs alert
aka.ms/OPS20LogicApps

46. /MS Learn alert
Complete interactive learning
exercises, watch videos, and
practice and apply your new skills.
aka.ms/OPS20MSLearnCollection

47. Resources
aka.ms/OPS20repo
aka.ms/OPS20
aka.ms/mymsignitethetour