サービスレベル管理
サービスレベル管理は、ユーザーが必要とするものを、チームが測定し擁護できる目標に変えるものであり、アジャイルチームにとって最も有用な形は、失敗のための明示的な予算を伴う、ユーザー志向の少数の目標です。
なぜ重要なのか
すべてのサービスには、測定されているかどうかにかかわらず、品質の水準があります。それが述べられていなければ、ユーザーは一つの水準を、チームは別の水準を想定し、そのギャップは障害の最中に発見されます。サービスレベル管理は、水準を述べ、測定し、結果に基づいて行動するプラクティスです。チームに舵取りの手がかりを与え、顧客に頼れるものを与えます。
アジャイルチームは、契約や罰則を連想するため、しばしばサービスレベルに抵抗します。しかし、毎週リリースするアジャイルチームは、知っているかどうかにかかわらず、可用性についてどれだけのリスクを取るかを決めています。明確な目標は、その判断を明示的にします。Google の『Site Reliability Engineering』の本は、サービスレベル目標についての章で、動きの速いチームに合う形でこれを行う方法を説明しています。ユーザーにとって重要な少数の指標を選び、目標を設定し、完全と許容範囲の間の余地、すなわちエラーバジェットを使って、いつリリースするかを決めます。
このトピックは、その章を、合意の定義のためのサービスレベル合意に関する Wikipedia の記事、およびこのガイドがフレームワーク所有者のテキストと照合できなかった、広く使われている ITIL の語彙と組み合わせます。SRE の章は、ある組織の実践を反映し、特定のアプローチを論じています。普遍的な規則ではなく、よく説明された選択肢として読んでください。
中核となる概念
指標、目標、合意
SRE の章は、しばしば混同される三つの用語を区別します。
| 用語 | 意味 | 例 |
|---|---|---|
| サービスレベル指標(SLI) | サービスの水準のある側面についての、慎重に定義された定量的な測定 | 正しい形式のリクエストのうち、成功した割合 |
| サービスレベル目標(SLO) | SLI の目標値または範囲 | 一か月で、リクエストの少なくとも 99.9% が成功する |
| サービスレベル合意(SLA) | 目標を達成するか逃すかの結果、多くは金銭的な結果を含む、ユーザーとの明示的または暗黙の契約 | 可用性が述べられた水準を下回った場合の返金 |
章が SLA を SLO と区別するテストは、明示的な結果があるかどうかです。なければ、それは SLO です。表の数値の例は例示であり、推奨ではありません。
Wikipedia の記事は、SLA を、品質、可用性、責任などサービスの側面を定義する、プロバイダーと顧客の間の合意で、通常は拘束力のある契約と説明しています。典型的な内容として、サービスの説明、性能レベル、監視と報告、問題の報告方法、応答と解決の期間、不履行の結果を挙げています。平均故障間隔、平均修復時間、稼働時間、初回解決率、所要時間などの一般的な指標を挙げています。大組織は、部門間でしばしば社内 SLA を使うと記しています。また、範囲によるタイプとして、顧客ベース、サービスベース、多層を説明しています。
指標を選ぶ
SRE の章は、追跡できるすべての指標ではなく、ユーザーが気にかけることを反映する少数の指標を選ぶよう助言しています。ユーザー向けのシステムは、通常、可用性、レイテンシ、スループットに焦点を当てます。ストレージのシステムは耐久性を加え、すべてのシステムは正確性を追跡すべきです。クライアント側の測定は、サーバー側の指標が見逃す問題を捕まえられると示唆しています。サービスチームにとっての実際的な帰結は、「予約ができ、数秒で済む」といったユーザーの体験から始め、それを近似する指標を見つけることです。
平均は痛みを隠す
章は、平均に頼ることに反対しています。「ほとんどの指標は、平均ではなく分布として考えるほうがよい」。99 パーセンタイルや 99.9 パーセンタイルのような高いパーセンタイルは、ありうる最悪のケースを示し、中央値は典型的なケースを示します。平均は、遅いリクエストの長い裾を隠すことがあります。測定が平均なら、一部のユーザーが数字を動かさずにひどい思いをしているかもしれません。
目標を選ぶ
目標に関する章のガイダンスは、直接的で有用です。
- ユーザーから始める。 「測定できるものではなく、ユーザーが気にかけることを(あるいは調べて!)考えることから始める」。
- 現在の性能を基準にしない。 今達成していることに基づいて目標を選ぶと、英雄的な努力を固定してしまいます。
- シンプルに保つ。 複雑な集計は変化を不明瞭にし、推論を難しくします。
- 絶対を避ける。 「常に」利用できるという約束は非現実的です。
- SLO はできるだけ少なくする。 各々は、優先順位の議論で擁護する価値があるべきです。
- 完全は待てる。 後で緩めなければならない目標より、後で引き締める緩い目標から始めるほうが良いです。
エラーバジェット
章は、100% の遵守を求めるのは非現実的で、イノベーションを遅くすると述べています。代わりにチームは、毎日、毎週、毎月追跡される、SLO を外してよい割合であるエラーバジェットを許容します。バジェットは、リリースの判断に情報を与えます。バジェットが十分に残っているときは、チームは変更でより多くのリスクを取れ、ほぼ使い切ったときは、チームは変更を遅くして信頼性に投資します。これは、アジャイルチームと運用に、権威による議論の代わりに、速度と安定性を議論する共有された数値的な方法を与えます。
期待を設定する
章は、SLO を公開するとユーザーの期待が設定されると記しています。チームは、より厳しい内部目標で安全マージンを保てます。また、達成しすぎることにも警告しています。ユーザーは、観察する性能に頼るようになるからです。サービスが述べられた目標をはるかに上回って良ければ、ユーザーはそれを前提に作り、目標はもはやチームを守りません。
制御ループ
章は、SLI と SLO を制御ループの基礎と説明しています。SLI を監視し、SLO と比較し、行動が必要かを判断し、目標を満たすにはどんな行動が必要かを考え、それを実行します。SLO がなければ、チームは行動すべきか、いつ行動すべきかを知ることができません(トピック 3.10 — 監視とイベント管理 を参照)。
社内の合意と社外の合意
SLA は、プロバイダーと顧客の間にあります。プロバイダーの内部では、チームは互いに、またサプライヤーに依存しています。Wikipedia の記事は、SLA が運用レベル合意(OLA)に支えられることがあると触れていますが、説明していません。ITIL の語彙では、OLA は SLA を支える社内チーム間の合意であり、基盤契約(underpinning contract)は外部サプライヤーとの同等のものです。ここで読んだ出典はそれらの定義を確認していないので、ITIL の出版物で確認してください。実際的な点は、顧客への約束は、その背後にある約束と同じ程度にしか良くないということです(トピック 3.14 — サプライヤー管理 を参照)。
カンバンにおけるサービスレベル期待
カンバンでは、サービスレベル期待は、過去のサイクルタイムに基づく、仕事のアイテムにかかるべき時間の予測です(トピック 1.5 — カンバン を参照)。合意ではありませんが、仕事のアイテムについて同様の目的に仕え、要求やインシデントの目標の入力になりえます。
ベストプラクティス
- ユーザーが必要とするものから始める。 ユーザーと顧客に、何が最も重要か、それが失敗すると何が痛いかを尋ねます。測定を選ぶ前に、彼らの言葉で書きます。
- 少数の指標を選ぶ。 各サービスについて、成功率や速度など、ユーザー体験を反映する二〜四の指標を選びます。これらを使うまで、追加したい誘惑に抵抗します。
- 速度にはパーセンタイルを使う。 平均だけでなく、分布の遅い側を測定し、悪い体験をするユーザーが見えるようにします。
- 最初は緩い目標を設定し、その後引き締める。 満たし擁護できる目標から始め、データと自信が得られたら引き締めます。これは、完全は待てるという章の助言に従っています。
- 現在の性能をそのまま写さない。 サービスが現在優れていても、ユーザーが必要としない限り、その水準で目標を設定してはいけません。緩い目標は変更の余地を与え、英雄的な努力を避けます。
- エラーバジェットを合意して使う。 ある期間にどれだけの失敗が許容されるかを定義し、残りのバジェットにリリースの判断を導かせます。デリバリーと運用が一緒になる定例会議で見直します。
- 合意を平易な言葉で書く。 SLA は、何が提供されるか、どう測定されるか、問題がどう報告されるか、目標を外したら何が起きるか、いつ見直されるかを述べるべきです。法律家やエンジニアにしか読めない用語は避けます。
- 目標と合意を分ける。 署名する合意より厳しい社内目標を保ちます。マージンは、何かを負う前に反応する余地を与えます。
- 約束が何に依存しているかを知る。 サービスレベルが頼るチームとサプライヤーを一覧にし、その約束が自分たちの約束を支えているかを確認します。
- 顧客が使える形で報告する。 結果を定期的に、何が起き、何をしているかの短いコメントとともに共有します。コメントのないダッシュボードは避けます。
- 顧客と目標を見直す。 少なくとも年に一度、水準がまだ顧客が必要とするものと、自分たちが提供できるものに合っているかを尋ねます。答えが否なら変更します。
- サービスレベルを人を罰するために使わない。 会話と判断を始めるために使います。棒として使われる目標は、ゲームにされます(トピック 5.6 — 指標と測定 を参照)。
チームで話し合うための質問
ユーザーにとって良い日とはどんなもので、それをどうやって知るか。
チームに、ユーザーの言葉で、サービスの良い体験が何かを述べてもらいます。次に、それに対応するものとして何を測っているかを尋ねます。持っている測定が、ユーザーの体験ではなくシステムを説明していることがよくあります。ファシリテーターは、ユーザーのグループが悪い一日を過ごしても気づくかどうかを問えます。加えるか変更する指標を一つ選びます。
私たちが約束する、または目指す数字はあるか。また、誰がそれに合意したか。
正式か非公式かを問わず、存在する目標を一覧にします。それぞれについて、誰が、いつ、何に基づいて設定したかを尋ねます。多くの目標は、習慣や、去った誰かによって設定されたと分かります。どれを確認し、変更し、やめるべきかを話し合います。それぞれのオーナーを合意します。
どれだけの失敗なら許容でき、その余地で何をするか。
エラーバジェットの考え方を紹介します。ユーザーがどのくらいの利用不能を許容し、チームがその余地で、たとえばより速いリリースなど、何ができるかを尋ねます。目的は、トレードオフを数字で見ることです。正確な答えを期待せず、試すための最初の推測を求めます。
私たちの平均は、どこで悪い体験を隠しているか。
平均を報告する測定を一つ見ます。最も遅い一パーセントのユーザーが何を体験しているかを尋ねます。分からなければ、調べ方を話し合います。小さなユーザーグループや特定の時間帯が、はるかに悪い体験をしていることがよくあります。一か月間、一つのパーセンタイルを見ることを計画します。
私たちが依存しているのに、尋ねていないものは何か。
サービスが頼るサービス、サプライヤー、チームを一覧にします。それぞれについて、何を約束しているか、外したらどうやって分かるかを尋ねます。多くの依存先には、述べられた水準がありません。最も重要なものを選び、会話を始めます。
最後に目標が変わったのはいつで、何が引き金だったか。
最後の変更を尋ねます。ずいぶん前なら、それ以来、ユーザーのニーズやチームの能力で何が変わったかを問います。定期的な見直しを話し合います。良い引き金は、新しいユーザーのニーズ、非現実的な目標を露わにしたインシデント、アーキテクチャの変更です。
実践例: アジャイルITILの事例
国の宝くじ運営会社は、オンラインのチケット購入サービスを運営しています。12 人のチームがそれを構築・運用しています。事業には、サービスは「常に稼働していなければならない」という非公式な規則がありますが、チームは週に二回リリースし、一年に四回の短い障害を起こしました。ひどい週末の後、経営幹部のスポンサーは「100% の可用性」を要求し、チームリーダーは、これが頻繁なリリースを終わらせるのではないかと心配します。
チームリーダーとスポンサーは、顧客サービス責任者とワークショップを開きます。プレイヤーにとって何が重要かを尋ねます。答えは、プレイヤーが抽選の締切前の一時間にチケットを買えなければならない、というものでした。その一時間の外では、サービスが数分停止しても害はありません。指標を定義します。各抽選の締切前の二時間に成功した購入試行の割合。チームが達成できると信じる、最近の性能より少し低い目標を設定し、毎月のエラーバジェットに合意します。バジェットがほぼ尽きたら、購入に触れるリリースは翌月まで止め、チームは信頼性に投資することにも合意します。
三か月後、バジェットは、決済プロバイダーの障害があった月に一度使い切られ、チームは衝突なしに二週間、リスクのあるリリースを停止します。目標は、チームとスポンサーに共有の話し方を与えます。難しさも残ります。決済プロバイダー自身の約束は、チームの目標より弱く、したがってチームの約束は、それに合意していないサプライヤーに依存しています。測定は成功だけを数えるため、ユーザーが不満を述べる遅いチェックアウトページも無視します。チームは、99 パーセンタイルの速度指標を加え、プロバイダーとそのサービスレベルについて話し合いを始めます。
4つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、指標の選択を手伝い、計画でエラーバジェットを使うべきです。数字が信頼できるよう、測定をサービスに組み込みます。バジェットの枯渇を、罰ではなく、信頼性に取り組む理由として扱います。
サービスチームと運用チーム
運用チームは、通常、監視を運営し、水準を報告します。測定の集合を小さく保ち、コメントとともに示し、データを計画の会話に持ち込みます。サービスが依存するものの一覧を保ち、約束が揃っているか確認します。
リーダーシップとガバナンス
リーダーとスポンサーは、期待を設定します。完璧を求めず、ユーザーが何を必要とし、トレードオフが何を犠牲にするかを問います。エラーバジェットを共有の規則として使うことを支持し、自分たち自身の要求にも適用されるようにします。顧客とのサービスレベルのレビューをスケジュールします。
顧客とユーザー
顧客とユーザーは、サービスの水準が述べられ、満たされると利益を得ます。何が、いつを含めて、あなたにとって重要かを述べてください。理解できる形での報告を求め、述べられた水準がもはやニーズに合わなくなったらプロバイダーに伝えてください。
よくある失敗パターン
- 指標が多すぎる。 どれが重要か誰も分かりません。代わりに、ユーザーの体験を反映する少数を選びます。
- 平均だけ。 平均は問題なさそうに見えるが、ユーザーのグループが苦しんでいます。代わりに、高いパーセンタイルの測定を含めます。
- 現在の性能から写された目標。 チームは英雄的な努力に固定されます。代わりに、ユーザーのニーズから目標を設定し、データで引き締めます。
- 100% を要求する。 リリースが止まり、イノベーションが遅くなります。代わりに、エラーバジェットとその使い方の規則を合意します。
- 裏づけられない約束。 サービスレベルが、合意していないサプライヤーに依存しています。代わりに、依存先を確認し、約束を揃えます。
- 誰も読まない合意。 条項が法律の言葉で書かれています。代わりに、平易に書き、顧客とレビューします。
- コメントのないダッシュボード。 数字が意味なしに報告されます。代わりに、何が起き、何が変わるかの短い説明を加えます。
- 未達を罰する。 人々が問題を隠します。代わりに、未達を判断と学びのきっかけにします。
成熟度モデル
| 次元 | 開始 | 発展 | 標準化 | 管理 | 最適化 |
|---|---|---|---|---|---|
| 水準の定義 | 水準は仮定されているか非公式 | 一部のサービスに述べられた目標がある | 各サービスに、オーナー付きのユーザーベースの指標と目標がある | 目標がユーザーのニーズとデータに照らしてレビューされる | 水準が顧客とサプライヤーとともに共同で設定される |
| 測定 | 測定は場当たり的 | 一部の指標が測定されている | 指標が、パーセンタイルを含め、信頼できる形で測定されている | 測定の質がレビューされ、ギャップが修正される | 測定がチームとサプライヤー間で共有・検証される |
| エラーバジェットの利用 | 失敗は計画外 | 一部のチームが許容できる失敗を議論している | バジェットが主要なサービスのリリース判断を導く | バジェットの使用がレビューされ、規則が調整される | バジェットが、依存するサービス間で調整される |
| 合意と依存関係 | 約束は非公式 | いくつかの合意がある | 合意が平易な言葉で書かれ、依存関係が把握されている | 合意とサプライヤーの約束が結果に照らして確認される | 合意が、チーム、サプライヤー、顧客にわたる一貫した連鎖を形成する |
チェックリスト
- 各サービスについて、ユーザーの言葉で、良い状態がどんなものかを記述した。
- 各サービスに、ユーザーの体験を反映する二〜四の指標がある。
- 少なくとも一つの速度の測定が、平均だけでなく高いパーセンタイルを使っている。
- 目標は、現在の性能だけでなく、ユーザーのニーズから設定されている。
- エラーバジェットが存在し、少なくとも一つのサービスでリリースの判断を導いている。
- 合意は平易な言葉で書かれ、顧客とレビューされている。
- 他のチームやサプライヤーへの依存が、その約束とともに一覧にされている。
- 結果が、コメント付きで定期的に報告される。
- 目標が少なくとも年に一度見直される。
- サービスレベルのデータが計画に使われ、棒として使われていない。
AIプロンプト
目的: ユーザーのニーズを、候補となる指標と目標に変える。
Help me move from user needs to indicators and objectives for [service].
What users do with the service and what matters to them (in their words, with any feedback or complaints): [paste].
Measurements we can already collect: [list].
Rules or contracts that set levels, with the source text: [paste, or write "none known"].
Propose two to four candidate indicators that reflect the user experience, say how each would be measured with the data I listed, and suggest how to express an objective for each, leaving numeric targets as [to be agreed with users and data]. Mark any indicator we cannot measure yet. Do not invent targets or performance figures. Ask clarifying questions first, and list what you are unsure of.
目的: 平均が悪い体験を隠していないかを分析する。
Here are response times (or other measurements) for [service] over [period]: [paste a column of real values, or summary figures such as median, 90th, 99th percentile if you have them].
Using only my data, compute or describe the average, the median, and the high percentiles if the data allows. Explain in plain words what the gap between the average and the high percentiles suggests for users. Suggest one indicator and one question to ask. Do not invent data, and say if the data is too thin. List what you are unsure of.
目的: 平易な言葉のサービスレベル合意のアウトラインを下書きする。
Draft an outline for a service level agreement for [service] between [provider] and [customer].
What we provide: [describe].
Measures and targets already agreed or being proposed: [paste, or write "to be agreed"].
Support hours and contacts: [describe].
Dependencies on suppliers: [list].
Terms we must include because of contract or law, with source text: [paste, or write "none known"].
Produce an outline with plain-language sections: service description, hours, measures and how they are measured, how to report a problem, response and resolution expectations (marked [to be agreed]), what happens if targets are missed, reporting, review date. Do not invent legal terms. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
目的: エラーバジェットの方針を計画する。
Help me draft an error budget policy for [service].
Objective and period: [for example, "success rate of purchase attempts in the two hours before a draw closes, measured monthly"].
Current performance if known: [paste, or write "unknown"].
Release rhythm: [describe].
Who decides, and who is affected: [roles].
Draft a one-page policy: how the budget is calculated from the objective, how its use is tracked and shown, what happens at three stages of consumption (use [to be agreed] for thresholds), who may override and how, and how the policy is reviewed. Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.
AIスキル
- service-level-agreement: 合意を平易な言葉で下書きまたは見直すときに使います。
- software-engineering-metrics: デリバリーとサービスの性能の測定を選び、解釈するときに使います。
- key-risk-indicators: サービスレベルが危うくなっていることを示す、早期警告の指標を選ぶときに使います。
- capacity-planning: キャパシティが約束する水準を支えるかを確認するときに使います。
- vendor-management: サプライヤーの約束を、提供する水準に揃えるときに使います。
主要な情報源
- Service Level Objectives (『Site Reliability Engineering』、Google、sre.google): 指標、目標、合意、パーセンタイル、エラーバジェットについての、最も明快な公開された説明です。
- Service-level agreement (Wikipedia): SLA の定義、典型的な内容、タイプ、歴史です。
- DORA's software delivery performance metrics (dora.dev): デリバリーの速度と安定性に関する、関連する測定です。
- Quality of service (Wikipedia): サービス品質がどう記述・測定されるかの背景です。
参考文献
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- Service-level agreement — Wikipedia — https://en.wikipedia.org/wiki/Service-level_agreement
- DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
- Quality of service — Wikipedia — https://en.wikipedia.org/wiki/Quality_of_service
- Percentile — Wikipedia — https://en.wikipedia.org/wiki/Percentile
- Service-level objective — Wikipedia — https://en.wikipedia.org/wiki/Service-level_objective
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Kanban (development) — Wikipedia — https://en.wikipedia.org/wiki/Kanban_(development)