問題管理
問題管理は、繰り返されるインシデントの背後にある原因を見つけて取り除くものであり、そのアジャイルな形は、時折の大規模な調査ではなく、バックログに並ぶ、証拠に基づく小さな修正の安定した流れです。
なぜ重要なのか
インシデントをうまく処理しても、その原因を決して取り除かないチームは、ランニングマシンの上にいます。障害のたびに修理され、同じ不具合が戻り、オンコールのエンジニアは疲れていきます。問題管理は、そのランニングマシンから降りるプラクティスです。なぜインシデントが起きたのか、再び起きるのか、何が止めるのかを問います。
アジャイルチームは、これを行うのに適した位置にいます。修正が機能と競い合えるバックログがあり、小さな修正を安価にする短いサイクルで働き、パターンに気づけるレトロスペクティブを開きます。彼らがしばしば欠いているのは、インシデント同士を結びつける習慣と、原因を適切に探す規律です。問題管理は、その両方を提供します。
英語版 Wikipedia には、確認したアドレスに「Problem management」という題名の記事がないため、このトピックのために読んだ主な出典は根本原因分析に関する Wikipedia の記事です。その記事は、根本原因分析(RCA)を、IT 運用などの分野で使われる問題解決の手法と説明しており、出典の欠落に関する保守タグが付いています。既知のエラーや回避策など、ここで使う ITIL の語彙は、このプラクティスの広く公開された説明から来ており、このガイドはフレームワーク所有者のテキストと照合して確認できませんでした。正確な定義が重要なときは、所有者の最新の出版物を読んでください(トピック 2.2 — ITIL を参照)。
中核となる概念
インシデント、問題、既知のエラー
三つの用語が一緒に使われ、その区別が重要です。
| 用語 | ITSM で広く使われる意味 | 例 |
|---|---|---|
| インシデント | サービスの計画外の中断、または品質の低下 | 予約ページが二十分間ダウンした |
| 問題 | 一つ以上のインシデントの根本的な原因、または疑われる原因 | 予約サービスのメモリリーク |
| 既知のエラー | 原因が特定された問題で、通常は回避策が記録されている | メモリリークが理解されている。修正されるまで、毎晩サービスを再起動すれば障害を防げる |
回避策とは、原因を取り除かずに、インシデントや問題の影響を減らしたり避けたりする方法です。問題管理は原因の除去を、インシデント管理はサービスの復旧を扱います(トピック 3.2 — インシデント管理 を参照)。
事後対応型と事前対応型
根本原因分析の記事は、事後対応型と事前対応型のアプローチを、一般的な言葉で区別しています。事後対応型の仕事は、症状を素早く処理します。事前対応型の仕事は、問題の予防を目指し、速さより診断の正確さを優先します。ITSM のプラクティスには両方があります。事後対応型の問題管理はインシデント後に問題を調べ、事前対応型の問題管理は、インシデントを起こす前にパターンと弱点を探します。
根本原因とは何か
記事は、実用的なテストで根本原因を定義しています。ある要因が問題の根本原因であるのは、それを取り除くと問題が再発しない場合です。根本原因を、他の因果的要因と区別します。これは有用な規則です。ある要因を取り除いても問題が戻りうるなら、見つけたのは根本ではなく、寄与要因です。
記事は限界についても警告しています。監視データの欠落、非常に多いイベント量、複数の根本原因、表面的な根で止まる調査者は、いずれも分析を複雑にすると述べています。IT では、RCA にしばしば故障の木や設計仕様が欠けているため、「根本原因はない」というのがよく言われる言葉になっていると記しています。複雑なシステムでは、単一の犯人ではなく、複数の寄与原因を予想してください。
根本原因分析の原則
記事は、一般的なステップを挙げています。
- 問題を明確に記述する。
- 通常の運用から障害までのタイムラインを作る。
- 根本原因を他の因果的要因から分ける。
- 根本原因を問題に結びつける因果グラフを描く。
さらに、調査者は失敗した、または欠けていた防御(バリア分析)に目を向け、調査の方向性における偏りを避け、是正措置を決め、その措置が有効だったかを見直すべきだと付け加えています。
手法
記事は、ISO/IEC 31010 によれば、RCA は、なぜなぜ分析(five whys)、故障モード影響解析(FMEA)、故障の木解析、石川(特性要因)図、パレート分析を使うことがあると述べています。石川馨に、その名を冠した因果図を帰しています。また、特性要因図やなぜなぜ分析を「十分に厳密ではない」と呼んでいますが、出典は示していません。実践的な読み方は、単純な手法はチームでの議論の良い出発点であり、複雑または高リスクの障害にはより厳密な手法が必要かもしれない、ということです。
| 手法 | 行うこと | 役立つ場面 |
|---|---|---|
| なぜなぜ分析 | 「なぜ」を繰り返し問い、症状から原因へと進む | 単純な原因の連鎖についての、素早いチームレベルの議論 |
| 石川(特性要因)図 | ありうる原因をカテゴリーごとにまとめる | 多くのありうる原因をブレインストーミングする |
| パレート分析 | 原因を頻度または影響で順位づけする | どの繰り返す問題に最初に取り組むかを選ぶ |
| 故障の木解析 | ある結果につながる故障の組み合わせを図にする | 安全上重要な、または複雑な障害 |
| FMEA | 部品がどう故障しうるか、その影響が何かを先に見る | 事前の設計レビュー |
効果的な是正措置
記事は、書類仕事や研修を加えるだけの是正措置は効果が低いと述べています。実際には、システムを変える措置、すなわちチェックの自動化、故障モードの除去、保護策の追加、監視の改善を優先するよう示唆しています。「エンジニアに注意を促す」といった措置は弱いです。
責めないという原則
問題の調査は、Google の SRE の本でポストモーテムについて説明された責めないという原則を共有しています。個人を責めずに寄与原因を特定します。人は教育でき、システムは直せるからです(トピック 3.2 — インシデント管理 を参照)。「人為的ミス」を見つけて止まる調査は、通常、早すぎるところで止まっています。何がそのミスを可能にしたのか、何がそれを難しくするかを問います。
アジャイルなフローにおける問題管理
実践的なアジャイルのアプローチは、次のようになります。
- インシデントとポストモーテムが、候補となる問題を生み出す。
- 短い定期的なレビューが、繰り返すインシデントをグループ化し、影響と頻度で問題を順位づけする。
- 選ばれた問題が、オーナー、仮説、調査の制限時間とともに、通常の項目としてバックログに入る。
- 回避策は、サービスデスクとオンコールのエンジニアが使えるよう、既知のエラーとして記録される(トピック 3.9 — ナレッジ管理 を参照)。
- 修正は小さくテストされ、通常の方法でリリースされ、後でインシデントが止まったかを確認される。
ベストプラクティス
- インシデントを問題に結びつける。 どのインシデントが同じ原因を持つように見えるかを記録します。結びつきがなければパターンが見えず、パターンがなければ修正を主張できません。
- スケジュールに沿ってインシデントのパターンを見直す。 月に一度、最近のインシデントをサービスとありうる原因でグループ化し、上位の数件を選びます。パレートの考え方を使います。少数の原因が、痛みの多くを占めることが普通です。
- 問題をバックログ項目として扱う。 選ばれた各問題に、オーナー、記述、調査の制限時間を与え、他の仕事と競わせます。誰もスケジュールしない別の「問題」のキューは、墓場です。
- 明確な問題の記述から始める。 何が、どこで、どのくらいの頻度で起きて、影響が何かを、事実を使って書きます。曖昧な記述は、曖昧な修正につながります。
- タイムラインを作る。 通常の運用から障害までのログ、変更、イベントを集めます。記事はタイムラインを中核的なステップとして挙げており、多くの驚きは、誰も結びつけていなかった変更から来ます。
- 取り除けば再発を防ぐ原因を探す。 記事のテストを使います。チームが原因を提案したら、それを取り除けば問題が戻らなくなるかを問います。
- 複数の原因を予想する。 設計、監視、プロセス、人々の知識における寄与要因を探します。最初にもっともらしいものに止まってはいけません。
- 問題に合う手法を選ぶ。 素早いチームの議論にはなぜなぜ分析や特性要因図を使い、深刻な、または複雑な障害にはより厳密な道具を使います。
- システムを変える措置を優先する。 注意喚起や研修より、自動化、保護策、より良い監視を優先します。確認できるよう、期待される効果を記録します。
- 回避策を既知のエラーとして記録する。 症状の見え方、回避策、修正のオーナーを書きます。記録をサービスデスクとオンコールのスタッフと共有します。
- 修正が効いたかを確認する。 修正の後、合意した期間、再発を見守り、結果を報告します。確認されない修正は、期待にすぎません。
- 見つけたものを共有する。 他のチームが似たパターンを認識できるよう、問題と修正の短い要約を公開します。
チームで話し合うための質問
繰り返し戻ってくるインシデントはどれで、その原因は何だと私たちは考えているか。
最もうんざりしているインシデントを挙げてもらいます。答えを比べます。次に、各人が原因を何だと信じているか、どうして分かるのかを尋ねます。信念は異なることが多く、共有された証拠がいかに少ないかを示します。ファシリテーターは、何のデータがそれを決着させるかを問えます。制限時間つきで調査するものを一つ選びます。
二つのインシデントが同じ原因を持つかを、どうやって知るのか。
インシデントがどう記録されているかを見て、誰かが関連するインシデントを素早く見つけられるかを尋ねます。典型的な答えは、自由記述、記憶、運です。記録に対するどんな小さな変更、たとえばサービスとありうる原因の欄が役立つかを尋ねます。一つ合意します。
レビューで「人為的ミス」を見つけたら、どうするか。
最近の例を尋ねます。問いは、レビューがそこで止まったかどうかです。何がそのミスを可能にしたのか、不明確な指示、紛らわしいツール、時間的な圧力といった、システムの中のものを話し合います。人は直せないが、システムは直せるという考えと比べます。毎回尋ねる問い、たとえば「何がそれをやりやすくしたのか」を合意します。
過去のレビューのアクションのうち、実際にシステムを変えたものはどれで、注意喚起を加えただけのものはどれか。
直近五回のレビューのアクションを一覧にし、それぞれをシステムの変更か注意喚起かで印をつけます。記事は、注意喚起や書類仕事は効果が低いと述べています。なぜ注意喚起がこれほど多いかを尋ねます。素早く、安価で、行動のように感じられるからです。より強い修正に置き換える注意喚起を一つ選びます。
書き出されていない回避策はどこにあるか。
オンコールのエンジニアとデスクのアナリストに、どんなコツを使っているかを尋ねます。書かれていない回避策は、どれもリスクです。症状、回避策、オーナーとともに、既知のエラーとして記録します。ファシリテーターは、それぞれの記録から誰が恩恵を受けるかを尋ねられます。今週、短い一覧を作ります。
修正が効いたことを、どうやって知るのか。
最近の修正を取り上げ、何の証拠がそれを示したかを尋ねます。答えが「苦情が来なくなった」なら、どれだけ待ち、何を測ったかを問います。特定の症状を一定期間見守るという簡単な確認を話し合います。すべての修正にその確認を記録することを合意します。
実践例: アジャイルITILの事例
中規模の物流会社は、ドライバーとディスパッチャーが使う経路計画サービスを運営しています。9 人のプラットフォームチームは、ほぼ二週間ごとに同じインシデントを処理してきました。朝、経路計算が十〜十五分タイムアウトし、その後回復します。そのたびに、オンコールのエンジニアがワーカープロセスを再起動し、インシデントはクローズされます。ディスパッチャーは、朝の計画が当てにならないと不満を述べます。
チームリーダーは、サービスとありうる原因でインシデントをグループ化する月次レビューを始めます。朝のタイムアウトが一覧の最上位に来ます。彼女はインシデントの記録から問題の記述を書きます。タイムアウトは平日の 7:00 から 7:30 の間に起き、十〜十五分続き、すべてのディスパッチャーに影響する。チームは、7:00 に予定されたデータのインポートと、そのインポートの規模を増やした最近の変更を含むタイムラインを作ります。なぜなぜ分析の議論は、インポートがデータベースを飽和させていることを示唆します。明白な修正であるキャパシティの追加を試しますが、インシデントはより低い頻度で続くので、キャパシティは寄与要因であって根本原因ではないと結論します。
二度目の確認で、インポートが、経路計算も読むテーブルをロックしていることが分かります。チームはインポートを別のレプリカに移し、ロック待ちのアラートを加えます。修正が本番に出るまで、再起動を症状と回避策とともに既知のエラーとして記録し、六週間その症状を見守ることに合意します。インシデントは止まります。課題も残ります。パートナーからの別のインポートは依然としてピーク時に実行されており、チームはまだパートナーにスケジュールの変更を説得できていません。パートナーのスケジュールを次の計画の議題に載せ、ロックのアラートは維持します。
4つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、原因を直す知識を持っています。上位の問題をバックログに取り込み、信頼を得る仕事として扱います。原因を明らかにしたはずの監視とテストを加え、既知のエラーを、デスクが使える言葉で書きます。
サービスチームと運用チーム
運用チームは、インシデントを目にし、記録を保っています。インシデントを結びつけ、月次レビューを行い、回避策を既知のエラーとして記録します。頻度、影響、タイムラインなど、主張を成り立たせる形で、証拠をデリバリーチームに届けます。
リーダーシップとガバナンス
リーダーは、問題の修正に時間が与えられるかを決めます。上位の繰り返す問題と、それに対して何が行われているかを求めます。クローズしたインシデント数を成功の指標として数えることには抵抗してください。それは修理に報います。労力はかかるが痛みを取り除く修正を支持します。
顧客とユーザー
顧客とユーザーは、繰り返される障害が止まると利益を得ます。パターンはチームの助けになるので、繰り返す問題を日付と影響とともに報告してください。繰り返される障害の原因について、プロバイダーが何をしたかを尋ね、「再起動しました」以上の答えを期待してください。
よくある失敗パターン
- 除去のない修理。 インシデントはクローズされ、戻ってきます。代わりに、繰り返しを問題に結びつけ、原因を直します。
- 誰もスケジュールしない問題のキュー。 問題が永遠に待ちます。代わりに、選ばれた問題をオーナーと制限時間つきでバックログに入れます。
- 人為的ミスで止まる。 レビューが責める相手を見つけて終わります。代わりに、何がそのミスを可能にしたかを問い、システムを直します。
- 弱い措置。 注意喚起や研修が、システムの変更の代わりになります。代わりに、自動化、保護策、より良い監視を優先します。
- 根本原因を一つだけ探す。 チームが単一の犯人にこだわります。代わりに、複数の寄与原因を受け入れ、最も効果的なものに対処します。
- 修正が効いたかを確認しない。 問題がリリースの時点でクローズされます。代わりに、症状が戻るかどうかを見る方法を定義します。
- 書かれていない回避策。 知識が個人にとどまっています。代わりに、既知のエラーを記録して共有します。
- 手法への崇拝。 チームが技法について議論します。代わりに、問題に合う手法を選び、労力を証拠に費やします。
成熟度モデル
| 次元 | 開始 | 発展 | 標準化 | 管理 | 最適化 |
|---|---|---|---|---|---|
| 結びつけと優先順位づけ | インシデントは結びつけられていない | 一部のチームが繰り返しに気づく | インシデントが問題に結びつけられ、スケジュールに沿ってパターンが見直される | 問題が、測定された影響と頻度で順位づけされる | 問題の優先順位がチームとサプライヤー間で共有される |
| 調査 | 調査は非公式 | 一部のチームが単純な手法を使う | タイムラインと証拠を伴う、書かれたアプローチが使われる | 調査の質と時間がレビューされる | 調査が、共有データでチームとサプライヤーをまたぐ |
| 是正措置 | 修正は場当たり的か、注意喚起 | 一部の修正がシステムを変える | 措置が、オーナーと期日付きで、効果を基準に選ばれる | 効果が確認され、再発が測定される | 修正が組織全体の類似システムに広がる |
| 既知のエラーと知識 | 回避策は書かれていない | 一部が個人によって記録されている | 既知のエラーが記録され、デスクとオンコールに共有される | 既知のエラーの利用と正確さが追跡される | 既知のエラーがユーザー、サプライヤー、パートナーと共有される |
チェックリスト
- 原因を共有すると思われるインシデントが結びつけられている。
- 定期的なレビューが、インシデントをグループ化し、繰り返す上位の問題を選ぶ。
- 選ばれた問題が、オーナーと制限時間つきでバックログにある。
- 各問題に、事実を含む書かれた記述がある。
- 各調査でタイムラインが作られる。
- レビューで、何が人為的ミスを許したのかを問う。
- 措置は、期待される効果を記録したうえで、注意喚起よりシステムの変更を優先する。
- 回避策が既知のエラーとして記録され、デスクとオンコールのスタッフに共有されている。
- 各修正に、合意した期間にわたる再発の確認がある。
- 問題と修正の要約が他のチームと共有されている。
AIプロンプト
目的: 記録の中の繰り返しのインシデントと、候補となる問題を見つける。
Below are descriptions of [number] incidents from the last [period], with dates and the service affected: [paste anonymized descriptions, one per line].
Group the incidents that look as if they might share a cause, based only on what is written. For each group, list the incidents, give a one-sentence description of the common symptom, and say how confident you are and why (low, medium, high). List incidents that do not fit any group. Do not guess at technical causes beyond the text. Suggest three questions for the team to ask to test each group. List what you are unsure of.
目的: 証拠から明確な問題の記述を書く。
Help me write a problem statement.
What we observe, with dates and counts: [paste facts].
What is affected and who is affected: [describe].
What we know about when it started and what changed around then: [paste, or write "unknown"].
What we have already tried: [paste].
Write a problem statement of three to five sentences that describes what happens, where, how often, and the impact, without naming a cause. Then list the facts we still need and where to find them. Mark anything that is an assumption. Do not suggest causes as facts. List what you are unsure of.
目的: なぜなぜ分析のセッションを準備し、推論の連鎖を記録する。
Help me prepare a five whys discussion for this problem: [paste the problem statement].
Facts we have: [list evidence such as logs, timelines, and changes].
Prepare: a first "why" question grounded in the evidence, a template where each answer records the evidence for it, and a reminder to branch when there is more than one possible answer. Warn me against stopping at human error. After the session I will paste the notes: do not invent answers yourself. Ask clarifying questions first, and list what you are unsure of.
目的: 提案された是正措置がシステムを変えるかどうかを評価する。
Here are the actions proposed after our review: [paste a list].
For each, say whether it changes the system (for example automates a check, removes a failure mode, adds a safeguard, improves monitoring) or relies on people remembering or on training, and give one sentence of reasoning from the text only. For each reminder-type action, suggest a stronger alternative as a question for the team. Suggest how we could check whether each action worked, without inventing numbers. List what you are unsure of.
AIスキル
- root-cause-analysis: 明確な問題の記述から、検証された原因まで、調査を導くときに使います。
- fishbone-diagram: チームとともに、ありうる原因をカテゴリーごとにブレインストーミングするときに使います。
- cause-and-effect-diagram: 複雑な障害で、原因と結果がどうつながるかを描くときに使います。
- postmortem: 候補となる問題を特定するレビューを進めるときに使います。
- six-sigma: ばらつきや繰り返す欠陥を分析するために、データに基づく手法が必要なときに使います。
主要な情報源
- Root cause analysis (Wikipedia): 手法、原則、限界の一般的な概観で、手法については ISO/IEC 31010 が挙げられています。
- Postmortem Culture: Learning from Failure (『Site Reliability Engineering』、Google、sre.google): 失敗から学ぶ、責めないアプローチです。
- Managing Incidents (『Site Reliability Engineering』、Google、sre.google): インシデント対応が、後の分析にどうつながるかです。
- Ishikawa diagram と Five whys (Wikipedia): 二つの一般的な単純な手法の背景です。
参考文献
- Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
- Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
- Managing Incidents — Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
- Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
- Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
- Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
- Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
- Pareto analysis — Wikipedia — https://en.wikipedia.org/wiki/Pareto_analysis
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL