サイト信頼性エンジニアリング
サイト信頼性エンジニアリングは、運用をエンジニアリングの問題として扱い、サービスレベル目標、エラーバジェット、反復的な手作業の上限を使って、素早く変化し続けながらサービスを信頼できる状態に保ちます。
なぜ重要なのか
サービスマネジメントのプラクティスの多くは、運用スタッフが他の人が書いたソフトウェアを動かし、運用のコストがサービスの規模とともに増える世界のために設計されました。サイト信頼性エンジニアリング(SRE)は、そのモデルが非常に大きな規模に達したときに何が起きるかへの、ある組織の答えです。ソフトウェアエンジニアに、運用機能を設計して運営するよう求め、人が手でやることになるはずの仕事を、システムにさせます。
このガイドの読者にとって、SRE は三つの理由で有用です。速度と信頼性のトレードオフを、プロダクトと運用の両チームが読める数字で明示的にします。どれだけの手作業が多すぎるかについての確かな考えを与えます。そして、インシデント、問題、変更、キャパシティ管理など、多くの ITIL のプラクティスを、エンジニアリングの言葉で行えることを示します。SRE はこれらを行う唯一の方法ではなく、非常に大きなインターネット企業の状況から来ているので、何が移転するかは自分の状況に依存します。
このトピックは主に、Google の『Site Reliability Engineering』の本の三つの章に基づき、SRE に関する Wikipedia の記事で補っています。本は一つの組織での実践を説明し、そのアプローチを論じています。Wikipedia の記事は、より広いが薄い全体像を与え、批判を挙げていません。どちらも、標準ではなく、試すべきアイデアの出典として読んでください。
中核となる概念
SRE とは何か
本の序章は、SRE を「ソフトウェアエンジニアに運用チームを設計するよう頼んだときに起きること」と定義しています。サイト信頼性エンジニアリングに関する Wikipedia の記事は、それを、ソフトウェアエンジニアリングと IT インフラのサポートの中の規律で、デプロイされたソフトウェアと大規模サービスの可用性と性能を監視し改善するもので、自動化とコードとしてのインフラに焦点を当てると説明しています。記事は、SRE を DevOps の特定の実装と呼び、信頼性の高いシステムの構築に集中するため、範囲はより狭いとしています(トピック 5.2 — DevOps を参照)。本は、DevOps を、SRE が特定の形で実装する、より広い原則の集合と説明しています。
記事によれば、Google の SRE の実践は、2003 年にベンジャミン・トレイナー・スロスが加わり、7 人の本番エンジニアからチームを形成したときに始まりました。2016 年までにチームは 1,000 人を超える SRE を擁し、他の大手インターネット企業もこのプラクティスを採用しました。572 人の専門家への 2020 年の調査は、従業員 10,000 人以上の組織の 64 パーセント、101〜1,000 人の組織の 44 パーセント、100 人以下の組織の 32 パーセントに SRE チームがあると報告しています。カンファレンスシリーズの SREcon は、2014 年から毎年開催されています。
SRE が対処する問題
序章は、従来のモデルを説明しています。開発者とシステム管理者が別々のチームに分かれている。二種類のコストを挙げています。
- 直接コスト。 手作業の変更管理とイベント処理は、運用チームが負荷とともに成長するため、高くつきます。
- 間接コスト。 チームには、異なる語彙、インセンティブ、リスクについての前提があり、それがリリースをめぐる対立につながります。運用はローンチのゲートを加え、開発者は回避策で応じます。
SRE は、運用をエンジニアリングの問題として扱うことで、この分断を避けることを目指します。章は、エンジニアリングが運用負荷をトラフィックと歩調を合わせて増やさないため、チームの規模はシステムよりゆっくり成長すると述べています。
信条
序章は、SRE チームが責任を持つ領域を挙げています。可用性、レイテンシ、性能、効率、変更管理、監視、緊急対応、キャパシティ計画。Wikipedia の記事は、中核となるプラクティスとして、反復的な仕事の自動化、サービスレベル指標(SLI)、目標(SLO)、エラーバジェットによる信頼性の目標の定義、リスクを減らすシステムの設計、オブザーバビリティと監視、トイルの管理、テストされたインシデント管理プロセス、キャパシティ計画、リリース管理、カオスエンジニアリングを挙げています。
サービスレベル目標とエラーバジェット
SRE は、信頼性を明示的な目標に結びつけます(完全な扱いは、トピック 3.7 — サービスレベル管理 を参照)。要約すると、次のとおりです。
- ユーザーが気にかけることを反映する、少数の指標を選ぶ。
- 完璧を求めない目標を設定する。
- エラーバジェット、すなわち完璧と目標の間の余地を認める。
- バジェットを使ってリリースのペースを決める。バジェットが残っている間はリリースを続け、使い切ったらリリースは遅くなり、労力は信頼性に移る。
「Embracing Risk」の章は、理由を説明しています。プロダクトチームは速度で、信頼性チームは信頼性で測られ、それが緊張を生み、バジェットが両方に共有された客観的な尺度を与えます。同じ章は、信頼性のコストが急激に上がること、目標がサービスのリスクをビジネスが受け入れるものに合わせることだと述べています(トピック 3.11 — 可用性、キャパシティ、パフォーマンス を参照)。
トイル
「Eliminating Toil」の章は、トイルを、本番サービスの運用に結びついた運用上の仕事と定義し、単に誰かが嫌う仕事ではなく、会議などのオーバーヘッドとは異なると述べています。トイルは、次のような傾向があります。
| 特徴 | 意味 |
|---|---|
| 手作業 | スクリプトがステップを実行するとしても、人の手による労力が必要 |
| 反復的 | 何度も繰り返され、新しい問題ではない |
| 自動化可能 | 機械ができる、あるいは必要性を設計で取り除ける |
| 戦術的 | ページへの対応など、割り込み駆動で事後対応的 |
| 持続的な価値がない | その後もサービスは同じ状態 |
| 成長に比例する | 労力がサービスの規模、トラフィック、ユーザーとともに増える |
本は、SRE がトイルを時間の 50 パーセント未満に保ち、少なくとも半分をエンジニアリングのプロジェクトの仕事に費やすことを目指すと述べ、序章は「運用」の仕事の合計に 50 パーセントの上限を設け、超過分を開発チームに戻すとしています。トイルが多すぎるとキャリアの停滞、低い士気、燃え尽きを引き起こし、機能の仕事を遅くし、離職を促すと述べています。「トイルは大量に経験されると有害になる」が、少量なら心を落ち着かせることもあり、避けられないものもあります。章は、オンコールが課す下限の計算方法を示し(たとえば、その例の前提のもとで、6 人の当番表なら下限 33 パーセント)、割り込みがトイルの最大の源で、次にオンコール対応、そしてリリースだったと報告しています。エンジニアリングの仕事を、新しく、判断を必要とし、恒久的な改善を生み、戦略に従うものと定義しています。
緊急対応と監視
序章は、監視が、人にアラートを解釈させるべきではなく、ソフトウェアがデータを解釈し、行動が必要なときにのみ人に通知されるべきだと述べています(トピック 3.10 — 監視とイベント管理 を参照)。オンコールの SRE が受け取るイベントは、一シフトあたり多くて約 2 件であるべきだと述べています。プレイブックは、その場しのぎで対応するのに比べて、平均修復時間をおよそ三倍改善すると主張しています。インシデント対応はインシデントコマンドのアプローチに従い、ポストモーテムは責めないもので、すべての重大なインシデントについて書かれます(トピック 3.2 — インシデント管理 を参照)。
変更管理
序章は、障害のおよそ 70 パーセントが稼働中のシステムへの変更から来ると述べ、段階的なロールアウト、素早い問題の検出、安全なロールバックを勧めています。これは本自身の主張で、Google の経験からのものであり、すべての組織に当てはまるとは限りません。そのメッセージは、変更に関する DORA のガイダンスと一貫しています(トピック 3.4 — 変更実現 とトピック 3.5 — リリースとデプロイメント管理 を参照)。
SRE と ITIL
SRE は、いくつかの ITIL のプラクティスを実行する、エンジニアリングの方法として読めます。
| ITIL のプラクティス | SRE のアプローチ |
|---|---|
| インシデント管理 | インシデントコマンドの役割、生きたインシデントの記録、責めないポストモーテム |
| 問題管理 | バックログにあるポストモーテムのアクション、原因でのトイルの除去 |
| 変更実現 | 段階的なロールアウト、素早い検出、安全なロールバック、自動化されたチェック |
| サービスレベル管理 | SLI、SLO、エラーバジェット |
| 監視とイベント管理 | 症状ベースのアラート、四つのゴールデンシグナル |
| キャパシティ管理 | 負荷テストを伴う、エンジニアリングのタスクとしてのキャパシティ計画 |
| 継続的改善 | トイルの上限、主な仕事としてのエンジニアリングのプロジェクト |
この対応づけはこのガイドのもので、出典のものではありません。本も Wikipedia の記事も、ITIL を実装すると主張していません。
デプロイのモデル
Wikipedia の記事は、SRE の六つの組織モデルを説明しています。「キッチンシンク」、インフラ、ツール、プロダクトまたはアプリケーション、組み込み、コンサルティング。大組織ではハイブリッドが一般的だと述べていますが、その主張には出典が必要という印がついています。どのモデルが合うかは、規模とサービスの数に依存します。
限界と批判
Wikipedia の記事は、批判、コスト、失敗モードを述べておらず、本は一つの組織の成功を説明しています。実務上の限界は経験からよく知られており、そのようなものとして示します。SRE は、ソフトウェアを書け、運用をいとわないエンジニアを必要とします。50 パーセントの上限は、マネジメントの支持が必要です。エラーバジェットは、プロダクトチームがそれを尊重する場合にのみ機能します。そして、そのアプローチを生んだ規模とツールなしに、真似るのは困難です。小さな組織も、チームを作らずに、目標、バジェット、トイルの測定、責めないレビューなど、考え方を採用できます。
ベストプラクティス
- 一つのサービスを選んで目標を設定する。 ユーザー体験を反映する二〜四の指標を選び、最初は緩い目標を設定し、引き締める前に数か月測定します。
- エラーバジェットの方針を合意する。 バジェットがほぼ尽きたとき、尽きたとき、そして誰が上書きできるかを書き出します。プロダクトと運用の共同の規則にします。
- トイルを測定する。 手作業の反復的な運用の仕事に費やした時間の量を、人々に記録してもらいます。六つの特徴を使って分類します。上位の源を見ます。
- 手作業を制限する。 トイルについて、人の時間の半分などの上限を設けてレビューします。上限を超えたら、超過分を原因を所有するチームに戻すか、範囲を減らします。
- 最大のトイルを最初に自動化する。 最も時間がかかり、最も反復的なものを選び、テストとともに自動化し、節約を測定します。自動化するより、必要性を設計で取り除くことを好みます。
- エンジニアリングの時間を守る。 運用エンジニアのためのプロジェクトの仕事を、オーナーと期日付きの本当の仕事として計画します。それがなければ、トイルが広がります。
- 割り込みを制限する。 オンコールのシフトあたりのイベントを少なくすることを目指し、ページが実行可能になるようアラートを調整し、繰り返す原因を直します。本のガイダンスは、多くて一シフトあたり約 2 件です。
- プレイブックを書く。 一般的な障害について、短くテストされた対応手順を書きます。本は、その場しのぎに比べて修復時間が改善されると主張しています。
- 変更を段階的で元に戻せるものにする。 徐々にロールアウトし、問題を素早く検出し、安全にロールバックします。本の経験では変更が障害の最も一般的な原因なので、まずここに投資します。
- 重大なインシデントには、責めないポストモーテムを行う。 ページを出さなかったヒヤリハットも含めます。アクションをバックログ項目にします。
- チームではなく、考え方から始める。 小さな組織は、専任チームを作る前に、既存のスタッフで目標、バジェット、トイルの測定、ポストモーテムを採用できます。
- 組織モデルを意図的に選ぶ。 SRE 機能を作るなら、ツールを提供するか、プロダクトチームに組み込まれるか、コンサルティングを行うかを決め、成長に応じて選択を見直します。
チームで話し合うための質問
最初に目標を設定するサービスはどれで、その目標は何になるか。
各人に、サービスと、ユーザーの体験を最もよく反映する指標を挙げてもらいます。比べます。違いは、優先順位が不明確なことを示します。ファシリテーターは、サービスがユーザーの期待より遅い、または利用しにくいとき、今日何が起きるかを問えます。始めるサービスと、測定するものを合意します。
今月、エラーバジェットを使い切ったら、私たちは何をするか。
チームとプロダクト代表に、行動、誰が決めるか、何が守られるかを述べてもらいます。合意したことがないチームは多いです。リスクのあるリリースの一時停止が受け入れられるかを話し合います。一ページの方針を下書きします。
私たちの一週間のうち、トイルはどれくらいで、上位三つの源は何か。
人々に見積もってもらい、二週間記録をつけます。見積もりを記録と比べます。目的は、仕事の形を見ることであり、責めることではありません。最大の源を選び、設計で取り除けないかを尋ねます。
どの反復的な手作業のタスクを、スクリプトや設計の変更で取り除けるか。
人々が嫌うタスクを一覧にします。それぞれについて、頻度と時間を見積もります。最良の候補は、頻繁で、安定していて、リスクが低いものです。限度やログなど、自動化を安全にするものを尋ねます。自動化するものを一つ選びます。
各オンコールのシフトにイベントはいくつあり、そのうち行動が必要なものはいくつか。
直近の四半期について数えます。数が多ければ、どこから来るかを話し合います。序章は、シフトあたり約 2 件を目指すことを示唆しています。修正するアラートの源を一つ選びます。
専任の信頼性チームを作ったら、何を失い、何を得るか。
率直な意見を求めます。得るのは、集中とスキル、失うのは、新しいサイロや運用の仕事の押しつけかもしれません。組み込まれたエンジニアやローテーションなどの代替を話し合います。小さく試すものを決めます。
実践例: アジャイルITILの事例
地域の電力配給会社は、停電報告アプリと現場クルーの手配システムを運営しています。18 人の混成チームが両方を構築・運用しています。チーム内の運用スタッフは、時間の大半を手作業に費やしています。停止したジョブの再起動、データフィードの調整、ページへの対応。グループの責任者は、彼らに改善のための時間がほとんど残っていないと注意し、そのうち二人は他のチームへの異動を希望しています。
チームリーダーは、SRE に着想を得たアプローチを提案します。停電報告アプリについて、チームは二つの指標を設定します。成功した報告の提出の割合と、確認を表示するまでの時間。顧客サービスのマネージャーと、緩い目標と月次のエラーバジェットを合意し、一ページの方針を書きます。バジェットの四分の三を超えて使われたら、リスクのあるリリースは待つ。チームはエンジニアに、一か月間トイルを記録するよう求めます。記録は、時間の三分の一が、失敗するデータインポートのジョブの再起動と、需要が急増する嵐の後の手作業の調整に費やされていることを示します。トイルに時間の半分という上限を設け、インポートジョブの原因をまず直すことを決め、嵐の調整を、限度とログを持つスクリプトで自動化します。ページは、ユーザーに見える症状のみがオンコールのエンジニアにアラートを出すよう調整されます。
四か月後、トイルはチームの時間の約三分の一に減り、インポートジョブはもう失敗せず、エラーバジェットの方針は、サプライヤーの障害があった月に、機能のリリースを延期するために一度使われました。課題も残ります。手配システムにはまだ目標がなく、顧客サービスのマネージャーは、緊急の機能のためにバジェットの方針を二度上書きしたい誘惑に駆られました。チームリーダーとマネージャーは、上書きを毎月レビューすること、次に手配システムの目標を設定することに合意します。また、「上限」が約束ではなく目安であることも学びます。大きな嵐の後、トイルは二週間、半分をはるかに超えて増え、何を削るかを決めなければなりません。
4つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、目標の設定に参加し、バジェットを尊重します。機能に運用のしやすさを組み込み、トイルがそれを引き起こしたチームに戻ることを受け入れ、自動化を助けます。使い切ったバジェットを、罰ではなく、サービスについての情報として扱います。
サービスチームと運用チーム
運用チームは、SRE の仕事を行うか、その考え方を採用できます。トイルを測定し、エンジニアリングの時間を守り、繰り返される仕事を源に押し戻します。目標を使って、一部の仕事を断るべき理由を説明します。
リーダーシップとガバナンス
リーダーは、トイルの上限とエラーバジェットの規則を支持しなければなりません。支持がなければ、それらは失敗します。インシデントの数ではなく、目標とバジェットの状況を求めます。エンジニアリングの仕事の時間を与え、バジェットが尽きたときには機能に「いいえ」と言う用意をします。
顧客とユーザー
顧客とユーザーは、明確なサービスレベルと、何かが失敗したときのより速い復旧から利益を得ます。目標が自分の体験を反映するよう、何が最も重要かをチームに伝えてください。新機能と信頼性のトレードオフについての誠実な会話を期待してください。
よくある失敗パターン
- 肩書きを真似る。 運用の名前が変わるが、何も変わりません。代わりに、まず目標、バジェット、トイルの測定を採用します。
- 誰も尊重しないエラーバジェット。 機能が毎回それを上書きします。代わりに、プロダクトオーナーと規則を合意し、上書きをレビューします。
- エンジニアリングの時間がない。 トイルが一週間を埋めます。代わりに、上限を設け、プロジェクトの時間を守ります。
- 間違ったものを自動化する。 稀なタスクが自動化され、頻繁なものが残ります。代わりに、時間と頻度で順位づけます。
- 完璧の目標。 目標が 100 パーセントを求めます。代わりに、ユーザーのニーズから緩い目標を設定し、データで引き締めます。
- 押しつけ先としての信頼性チーム。 開発がすべての運用の仕事をそこに送ります。代わりに、超過分の仕事を源に戻します。
- Google の規模を真似る。 大組織を要するプラクティスを小さな組織が採用します。代わりに、目標やポストモーテムなど、合う考え方を取ります。
- 人を無視する。 オンコールの負荷が人を燃え尽きさせます。代わりに、シフトあたりのイベントを制限し、当番表を分担します。
成熟度モデル
| 次元 | 開始 | 発展 | 標準化 | 管理 | 最適化 |
|---|---|---|---|---|---|
| 目標とバジェット | 信頼性の目標は非公式 | 一部のサービスに目標がある | 主要なサービスに目標と、合意されたエラーバジェットの方針がある | バジェットがリリースを導き、方針の上書きがレビューされる | 目標とバジェットが、依存するサービス間で揃えられる |
| トイルと自動化 | トイルは測定されない | 一部のチームがトイルを見積もっている | トイルが測定・制限され、自動化の仕事が計画されている | トイルの源と節約が追跡・削減される | 自動化が共有され、トイルがチーム間で減らされる |
| 緊急対応 | 対応は場当たり的 | 一部にプレイブックと当番表がある | 役割、プレイブック、責めないポストモーテムが標準になっている | イベントの負荷と修復時間が測定・改善される | 対応がリハーサルされ、チームとサプライヤー間で調整される |
| 変更とキャパシティ | 変更はリスクが高く、手作業 | 一部のロールアウトが段階的 | 段階的なロールアウトとキャパシティ計画が日常になっている | 変更の失敗とキャパシティの予測が測定される | 変更とキャパシティのプラクティスが、組織全体で共有される |
チェックリスト
- 少なくとも一つのサービスに、時間とともに測定される指標と緩い目標がある。
- エラーバジェットの方針が、プロダクトオーナーと合意され、書き出されている。
- トイルが一貫した定義で測定され、上位の源が分かっている。
- トイルの上限があり、レビューされている。
- エンジニアリングのプロジェクトの時間が計画され、守られている。
- オンコールの負荷が測定され、ページが実行可能である。
- 最も一般的な障害にプレイブックがあり、テストされている。
- ロールアウトは段階的で、ロールバックはテストされている。
- 重大なインシデントとヒヤリハットに、オーナー付きのアクションを伴う責めないポストモーテムがある。
- 信頼性の仕事をどう組織するかを意図的に選んだ。
AIプロンプト
目的: 仕事を、トイル、エンジニアリング、オーバーヘッドに分類する。
Here is a list of what our operations engineers did in the last two weeks, with the time spent on each: [paste real data].
Classify each item as toil, engineering work, or overhead, using these definitions. Toil: manual, repetitive, automatable, tactical, without enduring value, and growing linearly with the service. Engineering work: novel, requires judgment, produces permanent improvement. Overhead: administrative work not tied to running a service. Give a one-sentence reason from my text for each. Compute the share of time in each class from my numbers only, and list the three largest toil items. Mark items you could not classify. Do not invent time figures. List what you are unsure of.
目的: エラーバジェットの方針を下書きする。
Draft a one-page error budget policy for [service].
Objective and period: [for example, "99.9% of purchase requests succeed, per month"].
Release rhythm and who decides: [describe].
Customer and product concerns: [list].
Write sections: how the budget is calculated and shown, what happens at three stages of consumption (leave thresholds as [to be agreed]), who can override and how overrides are recorded, how the policy is reviewed, and what we do after an exhausted budget. Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.
目的: 最初に自動化するトイルの項目を選ぶ。
Here are our top toil items with how often each occurs, time per occurrence, risk if the automation fails, and whether the cause could be designed away: [paste].
Rank them by total time saved per month (computed from my numbers only). For the top three, say whether I should design the need away or automate it, and what safeguards the automation needs (tests, limits, logs). Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.
目的: プレイブックのエントリーを書く。
Write a playbook entry for this recurring failure: [describe symptom and impact].
What I know about causes and fixes: [paste].
Who to escalate to: [role, or "unknown"].
Provide a short entry: how to confirm the failure, the first checks, the usual fix, how to confirm recovery, when to escalate, and what to record. Mark any step you inferred with [CHECK]. Ask clarifying questions first, and list what you are unsure of.
AIスキル
- on-call-rotation: シフトあたりのイベントの限度を伴う、公平な当番表を設計するときに使います。
- runbook: 修復を速めるプレイブックを書くときに使います。
- postmortem: 責めないレビューを進め、アクションを追跡するときに使います。
- chaos-testing: 安全に障害を起こすことで、信頼性の設計が機能するかをテストするときに使います。
- capacity-planning: 需要に結びついたエンジニアリングのタスクとして、キャパシティを計画するときに使います。
主要な情報源
- Introduction (『Site Reliability Engineering』、Google、sre.google): SRE の定義、50 パーセントの上限、信条、避けようとする開発と運用の分断です。
- Eliminating Toil (『Site Reliability Engineering』、Google、sre.google): トイルの定義と、それに上限を設ける理由です。
- Embracing Risk (『Site Reliability Engineering』、Google、sre.google): 信頼性の経済性とエラーバジェットです。
- Site reliability engineering (Wikipedia): この規律、デプロイのモデル、採用調査、さらなる読み物のより広い要約です。
参考文献
- Introduction — Google SRE book, sre.google — https://sre.google/sre-book/introduction/
- Eliminating Toil — Google SRE book, sre.google — https://sre.google/sre-book/eliminating-toil/
- Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management