インシデント管理
インシデント管理は、劣化したサービスを、安全な範囲でできるだけ速く復旧させるものであり、それを機能させるアジャイルの習慣は、プレッシャーの下での明確な役割と、各インシデントを変更に変える責めないレビューです。
なぜ重要なのか
インシデントは、サービスが評価される瞬間です。ユーザーは何か月もの良好な可用性を覚えておらず、障害と、それがどう扱われたかを覚えています。誰が何をするか、どう連絡するか、いつ助けを呼ぶかを事前に決めているチームは、場当たり的に対処するチームより速くサービスを復旧し、間違いも少なくなります。
作ったものを運用するアジャイルチームは、インシデントを非公式に扱うことがよくあります。これは、インシデントが大きい、複数のチームにまたがる、または夜間に起きるまでは機能します。そうなると、役割と記録の欠如が現れます。エンジニアが技術的な問題に群がり、誰も顧客に伝えず、二人が矛盾する変更を行います。インシデント管理という ITSM のプラクティスは、サイト信頼性エンジニアリングのプラクティスと合わせて、それを防ぐ実証済みの方法を提供します。
インシデント管理に関する Wikipedia の記事は、緊急対応からコンピューターセキュリティまで、いくつかの分野を扱っています。ITサービスマネジメントについては、目的は合意されたサービスレベルの範囲内で、できるだけ速く通常のサービスを復旧することだと述べ、ITIL 2011 を引いてインシデントを IT サービスの計画外の中断または品質の低下と定義し、アラートのノイズ、長い問題解決、障害予測の難しさという三つの課題を挙げています。詳細については、このトピックは、Google の『Site Reliability Engineering』の二つの章に大きく頼っています。それらは、ある大組織の実践から、インシデントコマンドのアプローチと責めないポストモーテムを説明しています。それらの章は、一つのよく文書化されたアプローチとして扱い、唯一のものとは考えないでください。
中核となる概念
インシデントとは何か
ITSM の用語でのインシデントは、サービスの計画外の中断、またはその品質の低下です。ITSM の記事は「潜在的な」中断も含めています。インシデントは、根本的な原因である問題や、定型の依頼であるサービス要求とは同じではありません(トピック 3.3 — 問題管理 とトピック 3.6 — サービス要求管理 を参照)。三つを分けておくのは、それぞれが異なる目的、すなわちサービスの復旧、原因の除去、定型の需要の履行のために管理されるからです。
目標: サービスを復旧し、証拠を保全する
インシデント管理の第一の目的は、サービスを復旧することです。インシデントの管理に関する SRE の章は、第二の目的を加えています。後で根本原因を見つけるために必要な証拠を保全することです。その章自身のベストプラクティスは、この精神で、サービスの復旧と証拠の保全を優先するよう述べています。原因の修正は、後の問題管理で行われることがあります。
管理されていないインシデントがうまくいかない理由
アンドリュー・ストリブルヒルが書いた SRE の章は、停止が全面的な障害にまで拡大するオンコールエンジニアの長い例を使っています。管理されていないインシデントの三つの危険を挙げています。
- 技術的な問題への鋭い集中。 修正に没頭するエンジニアは、緩和策と全体像を見失います。
- 貧弱なコミュニケーション。 誰も他の人が何をしているか知らず、ステークホルダーは情報を得られないままです。
- フリーランス行動。 土壇場のデプロイのような調整されない変更は、状況を悪化させます。
プレッシャーの下での役割
その章は、緊急対応から生まれたインシデントコマンドシステムに基づいてアプローチを組み立てています(インシデント管理に関する Wikipedia の記事もそれに言及しています)。主な考え方は次のとおりです。
| 役割 | 行うこと |
|---|---|
| インシデントコマンダー | 高レベルの状態を把握し、対応を構造化し、障害を取り除き、まだ委譲されていない役割をすべて担う |
| オペレーションリード | 問題にツールを適用する。インシデント中にシステムを変更するのは、運用チームだけ |
| コミュニケーションリード | 対応の対外的な顔。定期的な更新を発行し、インシデントの文書を最新に保つ |
| プランニングリード | バグの起票、引き継ぎの手配、変更を元に戻せるよう通常からの乖離の追跡など、より長期的な問題を扱う |
章は、この原則を責任の再帰的な分離と呼んでいます。明確な役割は、人々が同僚を疑う必要がないので自律性を与え、過負荷の人はより多くの人員を求めて仕事の一部を委譲します。コマンダー間の引き継ぎは、明示的で、承認されます。
生きたインシデント文書
章は、コマンダーの最も重要な義務は、インシデントの状態の生きた文書を保つことであり、理想的には複数の人が同時に編集できるものだと述べています。雑然としていてもかまいませんが、有用であり続けなければならず、重要な情報を上の近くに置き、後の分析のために保存されます。共有のチャンネルや物理的な部屋が、指揮所として機能します。
インシデントを宣言するとき
章は、悪化する問題の数時間後ではなく、早くインシデントを宣言することを勧めています。修正に第二のチームを関与させる必要がある場合、障害が顧客に見える場合、集中的な分析の一時間後も解決しない場合には、事象をインシデントとして扱うことを提案しています。これらは、ある組織の経験則です。自分たちのしきい値は、自分たちのサービスとユーザーを反映すべきです。
優先度と重大度
このガイドのために読んだ出典は、優先度や重大度のレベルを定義しておらず、Wikipedia の記事も何も述べていません。実際には、チームはユーザーへの影響と必要の緊急性からレベルを定義し、各レベルで誰を呼ぶかを事前に決めます。体系は例とともに短く保ち、過去のインシデントに適用して確かめます。
コミュニケーション
コミュニケーションには二つの聴衆がいます。対応者は、状態と誰が何をしているかを知る必要があります。ステークホルダーとユーザーは、何が影響を受けているか、何が行われているか、次の更新をいつ期待できるかを知る必要があります。SRE の章のコミュニケーションリードは、第二の聴衆に仕え、第一の聴衆のためにログを保ちます。対外的な障害には、危機におけるコミュニケーションの計画が有用です(以下の危機コミュニケーションのスキルを参照)。
責めないポストモーテム
ポストモーテムの文化に関する SRE の章は、学びの半分を示しています。ポストモーテムは、インシデント、その影響、緩和策、根本原因、フォローアップのアクションを記録します。その目標は、インシデントを文書化し、すべての寄与した根本原因を理解し、効果的な予防アクションを実施することです。責めないものであり、個人やチームを責めずに寄与原因を特定し、全員が「善意を持ち、持っていた情報に基づいて正しいことをした」と仮定します。章の言葉では、「人を『直す』ことはできないが、システムとプロセスは直せる」です。
章は、ポストモーテムの引き金を事前に定義することを提案しています。しきい値を超えるユーザーに見えるダウンタイム、データの損失、ロールバックのようなオンコールの介入、しきい値を超える解決時間、監視の失敗などです。また、「レビューされないポストモーテムは、存在しなかったのと同じ」と述べ、定期的なレビューセッションと共有のリポジトリを勧めています。月次のニュースレター、読書会、過去のインシデントを再現する「Wheel of Misfortune」など、文化を築く活動も説明しています。
重大インシデント
多くの ITSM のプラクティスは、重大インシデントを、通常より正式な対応を必要とするものと定義しています。ここで読んだ出典は定義していないので、自分の言葉で行ってください。たとえば、多くのユーザーや重要なサービスに影響し、チームをまたぐ調整された対応を必要とするインシデントです。重要なのは、何が変わるか、すなわち誰が指揮し、誰が呼ばれ、更新がどのくらいの頻度で出るかを、事前に人々が知っていることです。
インシデントと継続的デリバリー
インシデントは、しばしば最近の変更から生じます。アジャイルチームは、頻繁にリリースし、フィードバックループが短いため、そこから学ぶのに適した位置にいます。学びには経路が必要です。ポストモーテムのアクションはオーナーと期日付きでバックログに入り、繰り返すインシデントは問題管理に回ります。その経路がなければ、インシデント対応は修理の日課になります。
ベストプラクティス
- 何がインシデントかを事前に決める。 例とともに短い定義を書き、宣言のハードルを下げます。SRE の章の経験則は、第二のチームが必要なとき、顧客が問題を見られるとき、一時間の分析で解決しないときには、早く宣言することです。
- 例とともに、少数の重大度レベルを定義する。 ユーザーへの影響に基づき、各レベルで誰が呼ばれるかを述べます。体系を過去のインシデントで試して調整します。
- 各インシデントの最初に役割を割り当てる。 インシデントコマンダー、オペレーションリード、コミュニケーションリードの名前を挙げます。小さなチームでは一人が複数の役割を担うことがあります。その場合は声に出して言います。
- 修正と調整を分ける。 システムを変更する人々が、質問に答える人であってはいけません。コマンダーが調整し、コミュニケーションリードが知らせます。
- 生きた記録を保つ。 タイムスタンプ、判断、行った変更を記した一つの共有ドキュメントまたはチャンネルを使います。引き継ぎを支え、ポストモーテムに素材を与えます。
- 承認された変更のみを許す。 SRE の章は、インシデント中にシステムを変更するのは運用チームだけにすべきだと述べています。誰が何を変更してよいかを述べ、他の人にはコマンダーに話すよう求めます。
- スケジュールに沿ってコミュニケーションする。 各重大度の更新間隔を合意し、新しいことがなくても守ります。沈黙は不安と重複した質問を生みます。
- 明示的に引き継ぐ。 コマンダーや対応者が交代するときは、声に出して言い、相手に承認してもらいます。不明確な引き継ぎは文脈を失います。
- 練習する。 小さな事象や演習でインシデントプロセスを実行し、深刻な障害の前に役割が身近になるようにします。役割を人々に順に経験させます。
- 引き金に該当したら、責めないポストモーテムを行う。 関わった人々と書き、寄与原因とシステムの修正に焦点を当て、広く共有します(以下のポストモーテムのスキルを参照)。
- アクションをバックログ項目にする。 各フォローアップにオーナーと期日を与え、定期的な会議で見直します。レビューされないポストモーテムは、変化を生みません。
- 証拠を問題管理に渡す。 繰り返すインシデントを問題レコードに結びつけ、原因が修理されるだけでなく取り除かれるようにします(トピック 3.3 — 問題管理 を参照)。
チームで話し合うための質問
インシデントの最初の十分間に私たちは何をし、誰が決めるのか。
直近の重大なインシデントを分単位でたどります。誰が主導し、誰が連絡し、誰が何を変更したかを記します。役割が合意されたのではなく、想定されていたと分かるチームは多いです。ファシリテーターは、普段のリードが不在だったらどうなっていたかを尋ねられます。続けて、次回に役割をどう割り当てるかを合意します。
何をインシデントと呼び、いつ待つのか。
宣言が遅れた事象の例を集めます。人々を止めたものは何か、他の人を煩わせたくない、不確実性、責められる恐れのいずれかを尋ねます。SRE の章の引き金と比べます。しきい値と、大げさにせずにインシデントを宣言する方法を合意します。
障害の間、ユーザーは何が起きているかをどうやって知り、どのくらいの頻度で知るのか。
直近の障害を、ユーザーの側から見ます。誰が伝えたか、何を伝えられたか、空白がどれくらい続いたかを尋ねます。長い沈黙の後に短いメモが届く、ということが多いです。誰がコミュニケーションを所有し、最初のメッセージが何を言うべきかを問います。テンプレートと更新のリズムを合意します。
前回のポストモーテムは何を変え、それをどうやって知るのか。
アクション、オーナー、状況を尋ねます。何も完了していなければ、理由を問います。オーナーがいない、時間がない、価値が不明確のいずれかです。ポストモーテムがチームの外の誰かに読まれているかを調べます。未完了のアクションを見直す定期的なセッションを合意します。
人々は、自分が間違えたことを言っても安全だと感じているか。
この問いは、責めないことを試します。ポストモーテムで自分の間違いについて書くとしたらどう感じるかを述べてもらいます。結果への恐れと、責めが起きた例に耳を傾けます。率直さを要求してはいけません。それを安全にするために、チームとリーダーが何をする必要があるかを尋ねます。目に見える一歩を選びます。
どう練習していて、最後にいつしたか。
チームが演習や模擬インシデントを行ったか、そこから何を学んだかを尋ねます。一度もなければ、過去のインシデントを一時間で再現するなど、小さな始め方を話し合います。SRE の章は、定型の変更や災害復旧の演習でプロセスを練習することに触れています。次の四半期に一つ計画します。
実践例: アジャイルITILの事例
地域の電力会社の顧客ポータルでは、世帯が停電を報告し、請求書を見られます。11 人のチームがそれを構築・運用しており、オンコールの当番表は 4 人です。嵐の間、報告のトラフィックが急増し、ポータルは遅くなり、やがて障害を起こします。オンコールのエンジニアがデータベースの再起動を試み、二人目のエンジニアが同時に設定の修正をデプロイし、三人目が以前のリリースをロールバックします。ポータルは三時間後に復旧し、何も知らされていなかったコールセンターは、何千件もの怒りの電話に対応しました。
ポストモーテムで、チームは SRE の章の三つの危険を見ます。全員が技術的な修正に集中し、誰も連絡せず、変更が衝突しました。一ページのインシデントプロセスを書きます。誰でもインシデントを宣言でき、第二のチームの関与、顧客から見えること、一時間進展がないことのいずれかがあれば、宣言しなければなりません。オンコールのエンジニアがオペレーションリードになり、当番表がより広いチームからインシデントコマンダーとコミュニケーションリードを指名します。本番を変更するのはオペレーションリードだけです。コミュニケーションリードは 30 分ごとにコールセンターとコントロールルームに更新を送ります。共有チャンネルに生きたログを置きます。
次の嵐でもポータルは再び遅くなりますが、十分以内にインシデントが宣言され、コールセンターへの更新が続くなか、70 分でサービスが復旧します。課題も残ります。コマンダーの当番表は休日に空きがあり、チームはショートメッセージのプロバイダーという依存先に、エスカレーションの連絡先がないことに気づきます。ポストモーテムは、オーナー付きの二つのアクションを生みます。フォールバックで当番表を完成させること、プロバイダーとエスカレーションの経路を合意することです。チームは、新しい当番メンバーのために、嵐のインシデントの再現を予定します。
4つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは多くのインシデントを引き起こし、また直します。オンコールの当番表に加わるか、直接支援を提供し、ポストモーテムのアクションをバックログ項目として扱います。問題を検出して元に戻す手段を、リリースに組み込みます。役割に慣れるよう、演習に参加します。
サービスチームと運用チーム
運用チームがプロセスを所有します。短く、練習されたものに保ち、人々に行動する権限を与え、他の人が使える記録を保ちます。学んだことをデリバリーチームと共有し、教訓を問題管理と計画に反映させます。
リーダーシップとガバナンス
リーダーは文化を決めます。ポストモーテムを求めて読み、問題を報告する人を称え、責める相手を探すことを拒みます。練習とアクションの完了のための時間を守ります。誰が資金を使え、または最高レベルの対応を発動できるかを決めます。
顧客とユーザー
顧客とユーザーは、タイムリーで誠実な更新と、問題を報告する明確な方法を必要とします。障害の間、何を期待でき、どう知らされるかをプロバイダーに尋ねてください。ポストモーテムが共有されたら、プロバイダーが何を変えるかを読み取ってください。
よくある失敗パターン
- 役割がない。 全員が技術的な修正に取り組み、誰も調整も連絡もしません。代わりに、毎回インシデントコマンダー、オペレーションリード、コミュニケーションリードの名前を挙げます。
- 宣言が遅い。 人々は問題が悪くなるまで待ちます。代わりに、低く明確なしきい値を設け、宣言を当たり前にします。
- フリーランス行動。 複数の人が同時にシステムを変更します。代わりに、オペレーションリードを通してのみ変更を許可します。
- 沈黙。 ユーザーとステークホルダーが何も聞きません。代わりに、更新間隔とテンプレートを合意します。
- 責め。 ポストモーテムが責任のある人を探します。代わりに、システムのどこが誤りを許したかを問い、それを直します。
- どこにも行かないポストモーテム。 アクションにオーナーがいません。代わりに、期日付きでバックログに入れ、定期的に見直します。
- 決して練習しない。 プロセスを初めて使うのが重大インシデントです。代わりに、小さな事象や演習でリハーサルします。
- 修理を解決として扱う。 同じインシデントが戻ってきます。代わりに、繰り返しを問題管理に結びつけ、原因を直します。
成熟度モデル
| 次元 | 開始 | 発展 | 標準化 | 管理 | 最適化 |
|---|---|---|---|---|---|
| 検出と宣言 | インシデントはユーザーの苦情で気づかれる | アラートがいくつかあり、一部のインシデントが宣言される | 書かれたしきい値と単純な重大度の体系が一貫して使われる | 検出時間と宣言時間が追跡され、短縮される | 検出と宣言がチームとサプライヤー間で共有される |
| 対応と役割 | 対応者は場当たり的に動く | 一部のチームがリードを指名する | 役割、引き継ぎ、生きた記録が標準になっている | 対応時間と役割の実績がレビューされる | 対応がチームとサプライヤー間で、合同演習とともに調整される |
| コミュニケーション | 更新は場当たり的 | 一部の更新が一部の聴衆に届く | 各重大度に更新のリズムとテンプレートがある | コミュニケーションのタイムリーさが測定され、ユーザーに尋ねられる | コミュニケーションが顧客やパートナーと調整される |
| 学び | レビューは最悪のインシデントの後だけ | 一部のポストモーテムが書かれる | 責めないポストモーテムが定義された引き金に従い、アクションが追跡される | アクションの完了と再発が測定される | 教訓がチーム間で共有され、組織全体の変化に反映される |
チェックリスト
- 例付きの、インシデントの短い定義がある。
- ユーザーへの影響の例と連絡先一覧を持つ、小さな重大度の体系がある。
- 各インシデントは、インシデントコマンダー、オペレーションリード、コミュニケーションリードの指名から始まる。
- インシデントごとに生きた記録が保たれている。
- インシデント中に本番を変更するのは、指名されたオペレーションリードだけである。
- 各重大度の更新間隔が合意されている。
- ポストモーテムの引き金が書き出されている。
- ポストモーテムは責めないもので、共有され、レビューされる。
- すべてのポストモーテムのアクションにオーナーと期日があり、未完了のアクションが見直されている。
- 過去六か月以内にプロセスを練習した。
AIプロンプト
目的: 現在のプラクティスから、一ページのインシデントプロセスを下書きする。
Help me draft a one-page incident process for a team of [number] people who run [service].
How we handle incidents today: [describe in a few sentences].
Our on-call arrangement: [describe].
Who needs to be told during an incident: [list audiences].
Rules we must follow (contracts, regulations), with source text if you have it: [paste, or write "none known"].
Produce a short process with: what counts as an incident, a simple severity scheme with user-impact examples (leave numeric thresholds as [to be agreed]), the roles and what each does, how to communicate, and when to hold a postmortem. Mark every item that is an assumption. Do not invent obligations. Ask clarifying questions first, and list what you are unsure of.
目的: インシデントのログを、責めないポストモーテムの下書きに変える。
Below is the log of an incident: [paste timestamps, messages, and actions; remove personal data].
Impact as we know it: [describe users affected and for how long, using only facts].
Draft a blameless postmortem with: summary, impact, timeline, how it was detected, how it was mitigated, contributing causes (separate known from suspected), what went well, what went badly, and proposed actions with a suggested type (prevent, detect, respond) but no owners or dates. Describe actions of people neutrally, as roles. Do not invent facts or causes. Mark gaps with [UNKNOWN], and list what you are unsure of.
目的: 技術者でないステークホルダー向けに、インシデントの状況更新を書く。
Write a status update for stakeholders who are not technical about this incident.
Facts: what is affected: [describe]; since when: [time]; what we know about the cause: [what is known, or "not yet known"]; what we are doing: [describe]; when the next update will come: [time].
Write under 120 words in plain language. State what we know and what we do not, without guessing at the cause or the time of recovery. Do not promise a resolution time unless I gave one. Offer two versions: one for customers and one for internal staff. List what you are unsure of.
目的: 小さなインシデント演習を設計する。
Design a 60-minute incident exercise for [number] people who run [service].
Scenario basis: [describe a past incident or a plausible failure, using only facts you want to use].
Roles to practice: incident commander, operations lead, communications lead.
Constraints: [for example no use of production systems].
Give a timed plan: briefing, the scenario released in three stages, prompts for each role, and a short review with questions on roles, communication, and records. Do not use real production access. Ask clarifying questions first if information is missing, mark assumptions, and list what you are unsure of.
AIスキル
- incident-response-plan: チームの役割、しきい値、コミュニケーションを定める計画を書くときに使います。
- postmortem: インシデントの後、責めないレビューを進め、アクションを記録するときに使います。
- runbook: 既知の修正を、対応者のための短い手順に変えるときに使います。
- on-call-rotation: バックアップと引き継ぎを備えた、公平な当番表を設計するときに使います。
- crisis-communication-plan: 重大な障害の間、ユーザー、スタッフ、一般に何を伝えるかを計画するときに使います。
主要な情報源
- Managing Incidents (アンドリュー・ストリブルヒル、『Site Reliability Engineering』、Google、sre.google): サービスチームのためのインシデントコマンドについての、最も明快な公開された記述です。
- Postmortem Culture: Learning from Failure (『Site Reliability Engineering』、Google、sre.google): 責めないポストモーテムの論拠で、引き金と文化を築く考え方を含みます。
- Incident management (Wikipedia): ITサービスマネジメントの節を含む、複数分野の概観です。
- IT service management (Wikipedia): インシデントの定義と、サービスデスクにおけるインシデント対応の位置づけです。
参考文献
- Managing Incidents — Andrew Stribblehill, Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
- Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
- Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
- Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL
- Computer security incident management — Wikipedia — https://en.wikipedia.org/wiki/Computer_security_incident_management