監視とイベント管理
監視は、サービスがユーザーの体験するとおりに機能しているかを教えてくれます。そして優れたイベント管理は、大量のシグナルの洪水を、人が理解し行動できる少数のアラートに変えます。
なぜ重要なのか
見えないサービスは、運用できません。監視がなければ、チームは障害をユーザーから知り、ゆっくりした劣化は誰からも知りません。貧弱な監視では問題は逆になります。アラートが多すぎて、オンコールのエンジニアがそれを信じなくなり、重要な一つがノイズの中に埋もれます。どちらの極端も、睡眠、信頼、時間を犠牲にします。
監視とイベント管理は、インシデントをどれだけ速く見つけて直せるかも決めます。インシデント管理のすべては、何かがおかしいことを素早く知り、その理由を見つけるのに十分な情報を持っていることに依存します(トピック 3.2 — インシデント管理 を参照)。頻繁にリリースするアジャイルチームは、これをさらに必要とします。各リリースは何かを壊す機会であり、各ロールバックの判断は、影響を見ることに依存するからです。
Google の『Site Reliability Engineering』の本には、この主題を直接扱う二つの章があります。「Monitoring Distributed Systems」と「Practical Alerting from Time-Series Data」です。ある組織の実践を説明し、意図的にシンプルでユーザー志向のアプローチを論じています。このガイドのために参照した Wikipedia の記事は、このプラクティスについてほとんど何も述べていないので、このトピックはそれらを主な出典として使います。ここでのイベント、アラート、イベント管理などの ITIL の語彙は、このガイドがフレームワーク所有者のテキストと照合できなかった、広く公開された説明から引いています。SRE の章は、よく説明された一つの選択肢として読んでください。
中核となる概念
監視
SRE の章は、監視を、システムについてのリアルタイムの定量的データを収集し、処理し、表示することと定義しています。監視は、長期的な傾向の分析、実験間の比較、アラート、ダッシュボード、事後の場当たり的なデバッグを支えると述べています。監視は大きなエンジニアリングの労力であり、チームは通常、少なくとも一人をそれに割り当てると強調しています。
イベント、アラート、インシデント
ITSM の用語で、イベントとは、サービスの管理にとって意味のある状態の変化です。ほとんどのイベントは情報的です。警告や例外を示すものもあります。アラートとは、SRE の章の言葉では、人間への通知で、チケット、メール、ページとして届きます。インシデントとは、計画外の中断または品質の低下です(トピック 3.2 — インシデント管理 を参照)。イベント管理は、どのイベントが重要か、それらについて何をするか、誰に知らせるべきかを決めるプラクティスです。流れは、イベントからアラートへ、そして場合によってはインシデントへです。
ブラックボックス監視とホワイトボックス監視
章は二つの種類を区別しています。
| 種類 | 行うこと | 強み |
|---|---|---|
| ブラックボックス | ユーザーが見るように、外部から見える挙動をテストする | 現在起きている問題を検出する。ページングに適している |
| ホワイトボックス | ログや内部ハンドラーなど、システムの内部が公開する指標を使う | 差し迫った問題や、リトライで隠された障害を明らかにする。デバッグに不可欠 |
本は両方を組み合わせています。ブラックボックスのプローブは、チェックアウトが失敗していることを教え、ホワイトボックスのデータは、その理由を見つけるのを助けます。
症状と原因
章は、監視が二つの問いに答えるべきだと述べています。何が壊れているか、そしてなぜか。アラートを、ユーザーが体験するものである症状に集中させ、原因については、それが確かで差し迫っている場合にだけページを出すよう助言しています。単一のマシンの故障は、アラートに関する章の言葉では、アラートを受けるのは受け入れがたいことです。ノイズが多すぎるからです。これが、良いアラートのアプローチの核心です。部品が少し動くたびにではなく、ユーザーが傷ついている、または傷つこうとしているときに人に知らせます。
四つのゴールデンシグナル
章は、ユーザー向けのシステムで見守る四つのシグナルを提案しています。
- レイテンシ: リクエストを処理する時間。失敗したリクエストは別に追跡します。「遅いエラーは、速いエラーより悪い」からです。
- トラフィック: システムにかかる需要。
- エラー: 明示的、暗黙的、またはポリシーによる、失敗したリクエスト。
- 飽和: サービスがどれだけ「いっぱい」か。性能は、利用率が 100% に達する前に劣化することが多いです。
これらは、サービスレベル指標に自然に対応します(トピック 3.7 — サービスレベル管理 を参照)。章はまた、平均は遅い外れ値を隠すと警告し、分布を見るために、リクエスト数をレイテンシのバケットで記録することを提案しています。
良いアラートとは何か
章は、アラートを書く前に問うべき問いを提示しています。それは緊急で、実行可能で、ユーザーに見える状態を検出するか。安全に無視できるか。対応を自動化できるか。ページは、実行可能で、判断を要し、新しい問題に関するものであるべきです。「何かが少し変だ」というだけでアラートが発火してはならないと述べています。対応が機械的でアルゴリズム的なページは、その見方では、自動化または根本原因の修理を求める危険信号です。
アラートのルーティング
アラートに関する章は、ページに値するアラートをオンコールのスタッフに、重要度が低いものをチケットのキューに、残りをステータスのダッシュボードに送ることを説明しています。アラートをルーティングし、重複を排除し、抑制するツールを説明し、アラートは、フラッピングが起こりうるため、発火するまで最小限の時間を待つべきだと記しています。「予想した障害にしかアラートを出せない」と注意しており、だからこそ、ブラックボックスのプローブとホワイトボックスのデータを組み合わせることが重要です。
シンプルに保つ
章は、しきい値を学習したり因果関係を検出したりする「魔法」より、シンプルで速いシステムを論じ、複雑な依存関係の階層は成功が限られていると記しています。本物のインシデントを捕まえるルールはシンプルに保ち、めったに行使されないアラートと使われないシグナルを取り除き、保守コストがサービスの規模より遅く増えるようにすると述べています。章が説明する事例、たとえばアラートに圧倒されたチームが一時的に目標を緩め、メールアラートを無効にして、持続的な修正に取り組む時間を作った例は、ノイズを取り除く意欲を示しています。
ダッシュボードと長期的な見方
章は、ダッシュボードを、サービスの主要な指標の既製の要約ビューとして扱い、ダッシュボードは、非常に限られた価値しかないとするメールアラートよりも優れていると述べています。また、ページャーの負荷についてリーダーシップに情報を伝え続けるため、たとえば四半期の報告書で、ページの頻度を時間とともに見直すことを勧めています。これにより、アラートの質は、マネージャーが見られるものになります(持続可能なペースについては、トピック 1.2 — アジャイルの原則 を参照)。
出典の限界
SRE の章は、一つの作業例を超えるしきい値を示さず、ランブックやオンコールの負荷の上限を論じず、時間とともにアラートを見直して廃止する方法を説明していないので、それらは自分たちの実践の問題です。強力なエンジニアリング資源を持つ、一つの大組織から来ています。小さなチームも、より単純なツールで原則を適用できます。
ベストプラクティス
- ユーザーが体験することを監視する。 ログインや注文など、実際のユーザーの行動を行うブラックボックスのプローブを少なくとも一つ加え、失敗したらアラートを出します。
- 四つのゴールデンシグナルを見守る。 各サービスについて、レイテンシ、トラフィック、エラー、飽和を追跡します。他の測定は、立てた問いに答える場合にのみ加えます。
- 症状に対してアラートを出す。 ユーザーが傷ついている、または間もなく傷つくときにページを出します。単一の故障したマシンのような内部の状態は、確かで差し迫っていない限り、優先度の低い情報として扱います。
- すべてのページを実行可能にする。 アラートを作る前に、対応者が何をすべきかを書きます。することがないなら、それはページではありません。
- 緊急度でルーティングする。 緊急のアラートはオンコールに、それほど緊急でないものはチケットのキューに、情報はダッシュボードに送ります。無視する人にメールのアラートを送ってはいけません。
- 平均だけでなく分布を使う。 遅い外れ値が見えるよう、レイテンシの高いパーセンタイルやバケットを見ます。
- 最小の継続時間を設定する。 フラッピングを避けるため、アラートを出す前に、状態が短い時間続くことを求めます。継続時間は実際のデータで調整します。
- ノイズの多いアラートを廃止する。 最もよく発火して行動につながらなかったアラートを見直します。取り除くか直します。SRE の章は、機械的な対応を、自動化または修理のシグナルとして扱います。
- 監視をテストする。 テスト環境で意図的に何かを壊し、適切なアラートが発火することを確認します。監視システム自体の失敗に気づけるよう、それ自体もチェックに含めます。
- ページャーの負荷を見直す。 四半期ごとに、シフトあたりのページ数、時間外の割り込み、誤報を数えます。結果をマネージャーと共有し、計画に使います。
- 監視を完了の定義に入れる。 新機能ごとに、それが機能するかを示すシグナルは何か、どんなアラートが、もしあれば、必要かを問います(トピック 3.5 — リリースとデプロイメント管理 を参照)。
- シンプルに保つ。 複雑な体系より、少数の分かりやすいルールを好みます。使われないシグナルを取り除き、インシデントの後にルールを見直します。
チームで話し合うための質問
直近の三つのインシデントを、私たちはどうやって知ったか。
各インシデントと、最初にどう気づかれたか、アラート、ユーザー、同僚を一覧にします。ほとんどがユーザーからなら、監視は重要な症状を見逃しています。ファシリテーターは、プローブが何を示したかを問えます。最初に監視するユーザーの行動を一つ選びます。
私たちが無視するアラートはどれで、それはなぜか。
オンコールのエンジニアに、消音したり飛ばしたりするアラートを尋ねます。一つひとつが、直すか削除する候補です。何が人々にアラートを信頼させ、あるいは不信にさせるかを尋ねます。率直な答えは、誰も対処できない状態で発火するアラートを明らかにすることが多いです。三つを廃止または修正することを合意します。
オンコールで経験した最悪の夜は何で、何があれば良くなったか。
責めずに話を集めます。繰り返されるページ、不明確なアラート、ランブックの欠如、エスカレーションがないなど、パターンを探します。それぞれのパターンが改善です。どの二つの変更が最も役立つかを尋ねます。目的は、より軽い負荷と、より明確なシグナルです。
監視システムが故障したら、どうやって知るか。
監視者を誰が監視しているかを尋ねます。多くのチームには、監視が機能していることのチェックがありません。単純なハートビートや、別のシステムからのプローブを話し合います。加える一つのチェックを合意します。
私たちのダッシュボードは何を示し、誰が見ているか。
ダッシュボードを一覧にし、この一か月で誰がそれぞれを使ったかを尋ねます。使われないダッシュボードは散らかりです。有用なものは、サービスについての物語を語ります。それぞれがどの問いに答えるかを尋ねます。実際の問いに答える小さな集合を保ちます。
リリースが事態を悪化させたことを、どうやって知るか。
最近のリリースを取り上げ、どのシグナルが問題を示すかを尋ねます。答えが「ユーザーから聞く」なら、リリースの後にどのシグナルを見守り、誰が責任を負うかを話し合います。この問いは、監視をデプロイメントに結びつけます。リリース後の短いチェックリストを書きます。
実践例: アジャイルITILの事例
ある都市の公共交通機関は、1 日 40 万人が使う経路検索のウェブサイトとアプリを運営しています。10 人のプラットフォームチームが、4 人のオンコール当番表でサービスを所有しています。チームには数百のアラートがあります。すべてのサーバーの CPU、ディスクの空き、キューの長さ、エラー数です。オンコールのエンジニアは典型的な週に 40 件のページを受け、ほとんどが営業時間外で、過去四半期の二つのインシデントは、SNS 上のユーザーによって最初に報告されました。
チームリーダーとエンジニアは、三か月分のページを見直します。四分の三が、行動を必要としない、または自然に解決した状態に対するものだと分かります。SRE の本からの単純なアプローチ、すなわちユーザーが体験することにアラートを出すことに従うことに合意します。標準の経路を毎分計画して、成功と速度を測定するプローブを加え、データベースとキューの飽和に関する少数のアラートを残します。残りは、ダッシュボードと毎日のチケットに移します。残る各ページには、何を確認するかを述べた短いランブックのエントリーが付きます。
一か月後、ページは週に約 5 件に減り、その後の二つのインシデントは、ユーザーが苦情を言う前に、プローブによって検出されました。課題も残ります。プローブは一つの経路タイプしかカバーしておらず、自転車での移動に影響する不具合が一日気づかれませんでした。また、あるエンジニアは、「ダッシュボードに移す」という決定が、のちに障害を起こした遅いディスクの問題を隠したと報告します。チームは他の経路タイプのためのプローブを加え、当番にダッシュボードの毎日の見直しを加え、四半期ごとにページャーの負荷を見直すことに合意します。
4つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、ソフトウェアが何をするはずで、どこで失敗しやすいかを知っています。有用なログ、指標、ヘルスチェックなど、シグナルをコードに組み込みます。主要なユーザーの行動のプローブを定義し、監視を完了の一部として扱います。ページが本物の問題を反映するよう、アラートのレビューに参加します。
サービスチームと運用チーム
運用チームは、ページャーとダッシュボードを担います。アラートを少なく実行可能に保ち、緊急度でルーティングし、ページャーの負荷を追跡します。ノイズの多いアラートを、証拠とともに、それを所有するチームに返し、何を見守るべきかについてインシデントから学んだことを共有します。
リーダーシップとガバナンス
リーダーは、より多くのアラートではなく、ページャーの負荷とインシデント検出のデータを求めるべきです。ノイズを廃止し、有用なシグナルを加える時間を支持します。時間外のページの増加を、サービスと人々へのリスクとして扱います。
顧客とユーザー
顧客とユーザーは、自分が気づく前に問題が見つかると、利益を得ます。何を試みたか、いつかなど、詳細とともに問題を報告してください。それは監視の調整を助けます。プロバイダーに、障害をどう、どれだけ速く検出するか、ステータス情報を公開しているかを尋ねてください。
よくある失敗パターン
- すべてにアラートを出す。 ページャーが鳴りやまず、信頼が失われます。代わりに、症状にページを出し、残りをチケットやダッシュボードに送ります。
- ユーザーではなくシステムを監視する。 すべてのマシンが緑なのに、ユーザーはログインできません。代わりに、実際のユーザーの行動のブラックボックスのプローブを加えます。
- 行動が付随しない。 することのないページが届きます。代わりに、各ページに記述された対応を求めるか、取り除きます。
- 平均だけ。 平均は問題なさそうに見えるが、ユーザーのグループが苦しんでいます。代わりに、高いパーセンタイルや分布を見ます。
- 複雑で賢いルール。 学習されたしきい値や依存関係の木が、対応者を混乱させます。代わりに、シンプルで分かりやすいルールを好みます。
- 見守られない監視。 監視システムが静かに失敗します。代わりに、ハートビートとテストでチェックします。
- 機械的な対応。 ページのたびに同じ修正を繰り返します。代わりに、対応を自動化するか、原因を直します。
- ページャーの負荷を無視する。 夜間のページが普通として扱われます。代わりに、測定してレビューし、高い負荷をリスクとして扱います。
成熟度モデル
| 次元 | 開始 | 発展 | 標準化 | 管理 | 最適化 |
|---|---|---|---|---|---|
| ユーザー体験の可視性 | ユーザーがほとんどの問題を報告する | 一部のサービスにユーザーの行動のプローブや指標がある | 主要なユーザーの行動がプローブされ、ゴールデンシグナルがすべてのサービスで追跡されている | 検出時間とカバー範囲が測定され、ギャップが修正される | 監視がチーム、サプライヤー、顧客間で共有される |
| アラートの質 | アラートが多く、行動が少ない | 一部のチームがアラートを整理している | ページは症状ベースで、実行可能で、緊急度でルーティングされる | アラートの精度とノイズが測定・レビューされる | アラートの設計が、共有された証拠でチーム横断で改善される |
| 対応と自動化 | 対応は場当たり的 | 一部にランブックがある | ページがランブックにリンクされ、機械的な対応が自動化されている | 対応時間と自動化の利用が測定される | 対応がチームとサプライヤー間で調整される |
| 人と負荷 | ページャーの負荷は追跡されていない | 一部のチームがページを数えている | ページャーの負荷が四半期ごとにレビューされる | 負荷がデータからバランスされ、減らされる | 負荷と学びがチーム間で共有され、計画に反映される |
チェックリスト
- 各重要なサービスに、実際のユーザーの行動のプローブが少なくとも一つある。
- 各サービスについて、レイテンシ、トラフィック、エラー、飽和を追跡している。
- すべてのページに書かれた対応があり、ユーザーに見える、または差し迫った状態に関するものである。
- アラートが緊急度に応じて、オンコール、チケット、ダッシュボードにルーティングされている。
- レイテンシについて、高いパーセンタイルまたは分布が見える。
- 最もよく発火するアラートを見直し、行動につながらないものを廃止している。
- 監視システム自体がチェックされている。
- ページャーの負荷(シフトあたりのページ数、時間外の割り込み)を四半期ごとに見直している。
- 新機能は、完了の定義に監視を含めている。
- 各リリースの後、誰かが短い一覧に照らしてシグナルを確認する。
AIプロンプト
目的: アラートの一覧を、ノイズと実行可能性の観点でレビューする。
Here is a list of our alerts with how often each fired in the last [period], and what happened after (acted on, ignored, resolved by itself): [paste as a table; use real data].
Using only my data, group the alerts into: fired often with no action; fired and led to action; rarely fired. For each of the first group, suggest a question to ask its owner (for example whether it can be removed, routed to a ticket, or turned into a symptom-based alert). Do not invent frequencies or outcomes. Tell me what additional data would help, and list what you are unsure of.
目的: ユーザーの経路のプローブを定義する。
Help me define a black-box probe for this user action in [service]: [describe, for example "a user searches for a journey and receives results"].
What counts as success: [describe].
What is too slow: [say "unknown" or describe in words, not numbers].
What systems the action touches: [list].
Describe the steps the probe should perform, what it should record (success, time taken, and where it failed), what alert condition to propose (leave thresholds as [to be agreed]), and what a responder would check first. Mark assumptions. Do not invent system details. Ask clarifying questions first, and list what you are unsure of.
目的: アラートの対応セクションを書く。
For this alert, write a short response entry for on-call staff.
Alert name and condition: [paste].
What it means for users: [describe].
What I know to check first: [list].
Who to escalate to: [role, or write "unknown"].
Write: what the alert means, the first three checks, how to tell whether users are affected, when to escalate, and a note on whether the response could be automated. Use only my information; mark anything you added as [CHECK]. Ask clarifying questions first, and list what you are unsure of.
目的: 四半期のページャー負荷のレビューを準備する。
Help me prepare a quarterly pager load review for [team].
Data for the quarter (pages by week, out-of-hours pages, pages with no action, incidents detected by monitoring versus by users): [paste real figures].
Context: [describe changes in the period].
Summarize the data in plain language, using only my figures. Highlight trends and outliers as questions, not conclusions. Suggest three questions for the team and one for management. Do not invent causes. If the data is incomplete, say what to collect. List what you are unsure of.
AIスキル
- runbook: 各ページに付随する対応を書くときに使います。
- on-call-rotation: 公平な当番表を設計し、ページャーの負荷をどう分担・見直すかを計画するときに使います。
- software-engineering-metrics: サービスとデリバリーの性能の測定を選び、解釈するときに使います。
- performance-testing: 問題がユーザーに届く前に、負荷時のレイテンシと飽和を確認するときに使います。
- chaos-testing: 安全な環境で意図的に障害を起こして、それらが検出され、処理されることをテストするときに使います。
主要な情報源
- Monitoring Distributed Systems (『Site Reliability Engineering』、Google、sre.google): 定義、四つのゴールデンシグナル、症状と原因、シンプルなアラートについての助言です。
- Practical Alerting from Time-Series Data (『Site Reliability Engineering』、Google、sre.google): アラートのルール、ルーティング、フラッピングが実際にどう機能するかです。
- Service Level Objectives (『Site Reliability Engineering』、Google、sre.google): 指標、目標、アラートのつながりです。
- IT service management (Wikipedia): ITSM における監視とインシデントの位置づけです。
参考文献
- Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
- Practical Alerting from Time-Series Data — Google SRE book, sre.google — https://sre.google/sre-book/practical-alerting/
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
- Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management