可用性、キャパシティ、パフォーマンス
可用性、キャパシティ、パフォーマンスは、ユーザーが必要とするときに、サービスがそこにあり、十分な大きさで、十分に速いかどうかについての三つの見方であり、アジャイルのアプローチは、目標をユーザーのニーズから選び、誠実に値段をつけ、需要が来る前にテストすることです。
なぜ重要なのか
ユーザーは三つを分けて考えません。「稼働して」いても遅すぎて使えないサービスは、ユーザーを失望させ、静かな日には速くてもピークで倒れるサービスは、最も必要とするときにユーザーを失望させます。可用性、キャパシティ、パフォーマンスを別々に見るチームは、それらが相互作用する仕方を見落としがちです。キャパシティを加えるとコストと複雑さが変わり、完璧な可用性を追い求めると変更の速さが制限され、速度のための調整は耐障害性を下げることがあります。
アジャイルチームは、この問題の特有の形に直面します。サービスを頻繁に変更し、各変更が、誰もテストしていない形で、性能や資源の必要を変えうるからです。また、短い時間軸に向けて働きがちなので、ハードウェア、契約、ライセンスなど、手配に数か月かかるキャパシティの必要を見逃しかねません。このトピックのプラクティスは、長期計画のための長期計画に戻らずに、先を見る方法を与えます。
Google の『Site Reliability Engineering』の本は、「Embracing Risk」の章で、可用性の経済性についての明快な出典です。そのアプローチは 100% の信頼性を目指さないと述べています。ある点を超えて安定性を最大化すると、新機能の開発速度が制限され、信頼性のコストが急激に上がるからです。キャパシティ計画に関する Wikipedia の記事は、一般的な定義と戦略を示しています。どちらも部分的で、ここで使う ITIL の語彙は、このガイドがフレームワーク所有者のテキストと照合できなかった、広く公開された説明から来ています。
中核となる概念
可用性
可用性とは、ユーザーが必要とするときに、サービスが必要なことを行える能力です。一般的な表現方法は、ある期間にわたる割合です。SRE の章は、それを測定する二つの方法に触れています。単一のシステムでは、可用性は時間ベースです。99.99% は、年間約 52.56 分の計画外のダウンタイムを許容します。常に一部が稼働している分散サービスでは、ローリングウィンドウ上のリクエスト成功率として測定するほうがよいです。章の例は、1 日 250 万リクエストで目標 99.99% のサービスで、最大 250 件のエラーを許容します。章は計画外のダウンタイムに焦点を当てています。計画されたダウンタイムは、ユーザーとの独自の合意が必要です。
追加の「9」の値段
章は、信頼性のコストは非線形に上がると述べています。追加の「9」一つが、冗長な資源や、エンジニアがユーザー向けの機能を作らないことの機会費用を含め、前の増分の 100 倍のコストがかかることもあります。例示として、収益 100 万ドルのサービスで可用性を 99.9% から 99.99% に上げることは、約 900 ドルの価値があり、追加の「9」のコストがそれより低い場合にのみ、投資が報われると述べています。数字は出典の例であり、自分たちの数字は自分たちの収益や価値から得なければなりません。原則は変わりません。ユーザーが必要とする可用性を選び、それを超えるものには値段をつけます。
リスク許容度
章は、プロダクトオーナーと協力して、ビジネス目標を明示的な目標に変えることを説明しています。要因には、必要な可用性、障害の形(一定の低いエラー率か、時折の全面的な停止か。データの露出は特に深刻)、コスト、レイテンシなどの他の測定が含まれます。多くのクライアントに仕えるインフラは、明示的に定義されたサービスレベルで提供でき、各クライアントがそのニーズを満たす最も安いレベルを選べると記しています。
エラーバジェット
章は、エラーバジェットを、速度で測られるプロダクトチームと、信頼性で測られる信頼性チームの間の、共有された客観的な尺度として説明しています。バジェットが残っている間は、リリースが続きます。使い切ったら、リリースは遅くなり、労力は信頼性に移ります(トピック 3.7 — サービスレベル管理 を参照)。
キャパシティ
Wikipedia の記事は、キャパシティ計画を、変化する需要を満たすために組織が必要とする生産能力を決めることと定義し、IT ではキャパシティ管理の同義語で、将来の期間に必要なストレージ、ハードウェア、ソフトウェア、接続性の資源を見積もることだと述べています。記事は、最大の可能な出力である設計キャパシティと、制約の後の出力である実効キャパシティを区別しています。実際には、設計の数字より常に低い実効キャパシティで計画します。
キャパシティの戦略
記事は、キャパシティを加える四つの戦略を説明しています。
| 戦略 | 意味 | トレードオフ |
|---|---|---|
| 先行(Lead) | 需要に先んじてキャパシティを加える | 良いサービスと短いリードタイムだが、需要が予測できないとリスクがある |
| 後追い(Lag) | フル稼働かそれを超えて動いた後にだけキャパシティを加える | 過剰構築のリスクは低いが、顧客を失いかねない |
| 追随(Match) | 需要の変化に応じて、小さな増分でキャパシティを加える | バランスがとれているが、良い監視が必要 |
| 調整(Adjustment) | 需要やアーキテクチャの変化に応じて、小さく、または大きくキャパシティを増減する | 柔軟だが、素早いプロビジョニングが必要 |
記事は、日から年に及ぶ、短期、中期、長期の計画(運用、戦術、戦略)を説明しています。クラウドの環境では、資源を素早く加えられるので、「追随」と「調整」はしばしば容易ですが、コストと契約の計画は依然として必要です(トピック 4.5 — ITファイナンス管理とFinOps を参照)。
パフォーマンス
パフォーマンスとは、サービスがどれだけ速く、どれだけよく応答するかです。SRE の本の監視の章は、レイテンシ、トラフィック、エラー、飽和を測定することを提案し、平均が遅い外れ値を隠すと警告しています(トピック 3.10 — 監視とイベント管理 を参照)。サービスがどれだけ「いっぱい」かである飽和は、パフォーマンスをキャパシティに結びつけます。章は、性能が利用率 100% に達する前に劣化することが多いと記しています。
三つの相互作用
- キャパシティを増やすと、可用性とパフォーマンスが上がることがあるが、コストがかかる。
- 高い可用性の目標は、通常は冗長性、すなわち余分なキャパシティを必要とする。
- ピーク時の性能のための調整は、障害に備える余裕を減らすことがある。
- サービスへの変更は、三つすべてを変えるので、テストが重要になる。
有用な規律は、各サービスについて目標を一緒に述べることです。どれだけ利用可能か、どれだけ速いか、どれだけの負荷を担わなければならないか。
需要と予測
キャパシティは需要に依存します。需要は、ユーザーとビジネスから来ます。マーケティングキャンペーン、季節的なピーク、新しい顧客です。ビジネスは IT より将来について多くを知っているので、尋ねてください。単一の数字ではなく幅で計画し、予測を定期的に見直します(以下の需要予測のスキルを参照)。
テスト
キャパシティとパフォーマンスの主張は、テストされるまで仮説です。負荷テストと性能テストは、現実的な需要を与えてサービスの挙動を見て、カオステストは障害を持ち込んで可用性が保たれるかを見ます。これらはデリバリーパイプラインの一部にできます。
出典の限界
キャパシティ計画に関する Wikipedia の記事は、ITIL のキャパシティ管理に触れておらず、キャパシティ、パフォーマンス、可用性の関係を分析しておらず、資産に関する節は出典が欠けていると印がついています。SRE の章は、独自の経済性を持つ非常に大きな組織の実践を説明しています。数字ではなく原則のために使ってください。
ベストプラクティス
- 可用性、性能、負荷の目標を一緒に述べる。 各サービスについて、どれだけ利用可能で、どれだけ速く応答し、どれだけの負荷を担わなければならないかを書きます。ユーザーのニーズに基づき、サービスオーナーと顧客と合意します。
- 目標に値段をつける。 可用性や速度の追加のレベルに、金額と遅れる機能の面でどれだけかかるかを見積もります。ユーザーとビジネスが得るものと比べます。本の例ではなく、自分たちの数字を使います。
- サービスに合う形で可用性を測定する。 常に一部が稼働しているサービスには、SRE の章のように、ローリングウィンドウ上の成功率を使います。単純なシステムには、時間ベースの測定を使います。計画外と計画されたダウンタイムは別に数えます。
- 実効キャパシティで計画する。 オーバーヘッド、コンポーネントの故障、保守といった現実の制約の後に、サービスが担える量を見積もります。マージンを保ちます。
- キャパシティの戦略を意図的に選ぶ。 各資源について、リードタイム、不足のコスト、過剰構築のコストに基づき、先行、後追い、追随のどれにするかを決めます。選択を書き留め、見直します。
- ビジネスに需要を尋ねる。 マーケティング、営業、運用のリーダーと定期的に会い、キャンペーン、立ち上げ、季節的なピークを知ります。予想される負荷を幅付きで記録します。
- 飽和を見守る。 主要な資源がどれだけいっぱいかを追跡し、性能が劣化する地点のかなり手前でアラートを設定します。サービスが遅くなり始める水準を知ります。
- ピークの前にテストする。 既知のピークの前と、重要な変更の後に、実際のトラフィックに似た負荷テストと性能テストを実行します。時間があるうちに、見つけたものを直します。
- 負荷だけでなく、障害もテストする。 安全な環境で、コンポーネント、ゾーン、サプライヤーを失う練習をし、可用性が保たれるかを見ます(以下のカオステストのスキルを参照)。
- 変更とリリースの作業にキャパシティを含める。 設計とレビューで、変更が資源の必要を変えるかを問います。重要な経路について、パイプラインに性能チェックを加えます(トピック 3.5 — リリースとデプロイメント管理 を参照)。
- エラーバジェットを使ってトレードオフを決着させる。 バジェットがあるときは、変更に使います。使い切ったら、労力を信頼性とキャパシティに使います。ルールをデリバリーと運用と一緒に見直します。
- 予測を実績と照らして見直す。 四半期ごとに、予測した需要と実際の需要を比べ、方法を調整します。驚きを情報として扱います。
チームで話し合うための質問
私たちのユーザーが可用性、速度、キャパシティで本当に必要としているものは何か。また、誰が決めたか。
現在の目標と、その出どころを尋ねます。ずいぶん前に、あるいはユーザーに尋ねずにチームが設定したものであることが多いです。ユーザーと顧客に、何が最も痛いかを尋ねます。目標が合っているかを話し合います。ファシリテーターは、目標が一段低かったらどうなるか、何が解放されるかを問えます。
次の「9」は私たちにいくらかかるか。
高い可用性の目標を持つサービスを選びます。それを一段上げる、または下げるのに、金額と遅れる作業の面でどれだけかかるかを見積もります。ユーザーにとっての価値と比べます。SRE の章の例は、算術が高い目標に対していかに速く不利になりうるかを示しています。自分たちの数字で計算し、前提を記録します。
私たちが知っている次の需要のピークは何で、そのために何をしたか。
既知のピークを一覧にします。キャンペーン、期限、季節的な殺到です。それぞれについて、予想される負荷を誰が知っているか、サービスがその水準でテストされたかを尋ねます。誰も尋ねていないことが多いです。数字を集める人と、テストの日付を合意します。
サービスが飽和に最も近いのはどこで、そこに達したら何が起きるか。
最も使われている資源を尋ねます。傾向を見ます。その限界でサービスが何をするか、遅くなる、エラーになる、失敗するのどれかを尋ねます。誰も知らなければ、テストします。行動するしきい値と、そのためのアラートを選びます。
直近のいくつかの変更のうち、性能やキャパシティに影響したものはどれで、事前に分かっていたか。
最近の変更を見直し、性能がどう確認されたかを尋ねます。されていなければ、軽いチェックがどんなものかを話し合います。典型的な選択肢は、重要な経路でのテスト、または監視付きのカナリアリリースです。次のリリースのために一つ合意します。
今この瞬間に一つのコンポーネントが故障したら、可用性はどうなるか。
主要なサービスを取り、データベース、ゾーン、サプライヤーの故障をたどります。設計が何を前提とし、何がテストされているかを尋ねます。前提と証拠のギャップがリスクです。安全な環境で、統制された障害テストを一つ計画します。
実践例: アジャイルITILの事例
国の年金機関は、市民が受給資格を確認し、書類を提出するオンラインサービスを運営しています。このサービスは、年次の通知書が送付された後の数週間、トラフィックが通常の数倍に上がることを除いて、静かな一年を過ごします。昨年、サービスは多くのユーザーが諦めるほど遅くなり、コールセンターは圧倒されました。9 人のプラットフォームチームと運用マネージャーは、繰り返しを避けたいと考えています。
チームは、広報室に予想される負荷を尋ねることから始めます。広報室は、通知書は二つのバッチで送られると言い、日付は示しますが、数字は示しません。チームは昨年のデータから幅を見積もり、目標を設定します。書類のページは、予想されるピークで許容できる時間内に応答しなければならず、サービスは二つのバッチの間、利用可能でなければなりません。本番のコピーで負荷テストを行い、データベースが最初に飽和する資源で、予想されたピークをかなり下回ることが分かります。キャパシティを加えるリードタイムが長いため、データベースには「先行」の戦略を採用し、数分で追加できるウェブサーバーには「追随」の戦略を採用します。障害テストで、データベースノードを一つ失うとキャパシティが半分になり、ピーク時には受け入れられないことが分かるので、予備を加えます。
ピーク時、サービスは稼働し続け、最初のバッチでは応答時間が保たれます。二番目のバッチでは、誰もテストしていなかった決済確認のコンポーネントが負荷で遅くなり、一部のユーザーに遅れが見られます。チームはこの依存先の限界を知らず、二番目のバッチがより大きいことも聞かされていませんでした。次の負荷テストにそのコンポーネントを加え、各バッチの量をより早く広報室に尋ね、次の四半期に予測のプロセスを見直すことに合意します。
4つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、設計と変更を通じて三つすべてに影響します。設計レビューとパイプラインに、性能とキャパシティを含めます。負荷を変える変更を運用に伝え、予想される需要についてビジネスに尋ねます。
サービスチームと運用チーム
運用チームは通常、監視とキャパシティ計画を担います。飽和と傾向を追跡し、資源のリードタイムの見通しを保ち、証拠を計画に持ち込みます。可用性の各水準にどれだけかかるかを、ビジネスが理解するのを助けます。
リーダーシップとガバナンス
リーダーは、信頼性と速度に払う意思のある値段を決めます。コストを伴う、ユーザーのニーズに合った目標を求め、完璧な可用性は賢明な目標ではないと受け入れます。既知のピークの前のテストと、重要なところの耐障害性への予算を支持します。
顧客とユーザー
顧客とユーザーは結果を感じます。キャンペーンや期限など、追加の負荷が予想されるときは、プロバイダーに伝え、速度と可用性で何が最も重要かも伝えてください。停止だけでなく遅さも報告してください。どちらもあなたの側から見れば失敗です。
よくある失敗パターン
- 習慣からの目標。 理由を尋ねずに「ファイブナイン」が要求されます。代わりに、ユーザーのニーズから目標を導き、値段をつけます。
- 突然のピーク。 ビジネスはキャンペーンを知っているのに IT は知りません。代わりに、定期的なサイクルで会い、予想される負荷を記録します。
- 性能に平均を使う。 遅い外れ値が見えません。代わりに、高いパーセンタイルと飽和を見ます。
- トラブルの後にだけキャパシティを加える。 後追いの戦略が偶然に使われています。代わりに、リードタイムに基づき、意図的に戦略を選びます。
- テストされていない耐障害性。 冗長性は紙の上にあります。代わりに、安全な環境でコンポーネントの故障をテストします。
- 性能チェックのない変更。 リリースが速度を悪化させます。代わりに、重要な経路についてパイプラインにチェックを加えます。
- 依存先を忘れる。 サードパーティのコンポーネントがサービス全体を制限します。代わりに、依存先を一覧にしてテストします。
- 予測を固定されたものとして扱う。 計画が誤差を無視します。代わりに、幅を使い、予測を実績と比べます。
成熟度モデル
| 次元 | 開始 | 発展 | 標準化 | 管理 | 最適化 |
|---|---|---|---|---|---|
| 目標とコスト | 目標は非公式か、写されたもの | 一部のサービスに述べられた目標がある | サービスに、既知のコストを伴う、合意された可用性、性能、負荷の目標がある | 目標とコストが成果に照らしてレビューされる | 目標が顧客とサプライヤーとともに設定され、証拠によって調整される |
| 需要とキャパシティの計画 | キャパシティはトラブルの後に加えられる | 一部のチームが既知のピークを予測する | 需要がビジネスからサイクルで集められ、述べられたキャパシティの戦略がある | 予測の精度が追跡され、方法が改善される | 計画が、チーム、サプライヤー、ビジネス間で調整される |
| テスト | 負荷や障害のテストはほとんどない | 大きなイベントの前に一部のテストがある | 主要なサービスで負荷と障害のテストが日常的に行われる | テスト結果が追跡される改善を導く | テストが依存するサービス間で共有・調整される |
| 監視と対応 | 問題は遅く気づかれる | 一部の飽和が追跡されている | 飽和、レイテンシ、エラーが、限界の前のアラートとともに監視されている | 傾向としきい値がデータから調整される | シグナルと対応がチームとサプライヤー間で調整される |
チェックリスト
- 各サービスに、出どころ付きの、可用性、性能、負荷の述べられた目標がある。
- 次の水準の可用性にいくらかかるかを見積もった。
- 各サービスで可用性がどう測定され、何がダウンタイムに数えられるかを把握している。
- 各主要な資源に、キャパシティの戦略を選んだ。
- ビジネスと定期的に会い、予想される需要を知っている。
- 主要な資源の飽和が、限界の前のアラートとともに監視されている。
- 直近の既知のピークの前に、負荷テストを実行した。
- 少なくとも一つの主要なコンポーネントの故障を、安全な環境でテストした。
- 性能やキャパシティに影響する変更が、レビューで印づけされる。
- 予測を、四半期ごとに実際の需要と比べている。
AIプロンプト
目的: 測定データを、キャパシティの余裕の見方に変える。
Here are the measurements for [resource, e.g. "database CPU"] for [service] over [period]: [paste real values or summary figures such as daily peak and average].
Known limit at which performance degrades, if you know it: [paste, or write "unknown"].
Expected demand change: [describe, with source].
Using only my data, describe the trend and how much headroom there appears to be at the observed peak, in plain words. Show how headroom would change if demand grew by the amounts I gave. Do not invent limits or growth rates. Say what extra data would make the analysis more reliable, and list what you are unsure of.
目的: より高い可用性の目標に値段をつける。
Help me compare the cost and value of raising the availability target for [service] from [current target] to [proposed target].
What the service is worth, with source (revenue, cost of an outage, or other value; use only figures I provide): [paste].
What the extra availability would require (redundancy, staff, tools), with cost estimates I have: [paste, or write "unknown"].
Current measured availability: [paste].
Calculate the allowed unplanned downtime or error count at each target using only the numbers I gave, show the difference, and compare with the value and cost figures if I provided them. State your assumptions. Do not invent costs or revenue. Ask clarifying questions first, and list what you are unsure of.
目的: 既知のピークの前に負荷テストを計画する。
Plan a load test for [service] before this event: [describe the peak, with date and source of the expected load].
Architecture, in brief: [describe components, dependencies, and suppliers].
Expected load range, with the source: [paste].
Test environment available: [describe].
Give a plan with: goals, what to measure (latency distribution, errors, saturation), scenarios to run, how to ramp up, what to do with results, and risks to production or to suppliers (for example agreements that need to be made before testing). Do not invent figures. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
目的: 障害テストを設計する。
Help me design a controlled failure test for [service].
What I want to learn: [for example whether availability holds if one database node fails].
Environment for the test: [describe, e.g. a production-like test environment].
Safeguards available: [monitoring, rollback, people on hand].
Describe a step-by-step test plan: hypothesis, what to break and how, what to observe, who is present, what stops the test, and how to record what happened. Keep it away from production unless I say it is safe. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
AIスキル
- capacity-planning: サービスが時間とともに必要とする資源を見積もり、それを加える戦略を選ぶときに使います。
- demand-forecasting: 過去のデータとビジネス計画から、将来の負荷を幅として見積もるときに使います。
- load-testing: ピークの前に現実的な需要を与えるテストを設計するときに使います。
- performance-testing: デリバリーの一部として、重要な経路の速度と資源の使用を確認するときに使います。
- chaos-testing: コンポーネントが故障したとき、可用性が保たれるかをテストするときに使います。
主要な情報源
- Embracing Risk (『Site Reliability Engineering』、Google、sre.google): 可用性の経済性、リクエストベースの測定、エラーバジェットです。
- Capacity planning (Wikipedia): 定義と、先行、後追い、追随、調整の戦略です。
- Monitoring Distributed Systems (『Site Reliability Engineering』、Google、sre.google): 飽和を含むゴールデンシグナルです。
- High availability (Wikipedia): 継続的な運用のためのシステム設計の背景です。
参考文献
- Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
- Capacity planning — Wikipedia — https://en.wikipedia.org/wiki/Capacity_planning
- Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- High availability — Wikipedia — https://en.wikipedia.org/wiki/High_availability
- Scalability — Wikipedia — https://en.wikipedia.org/wiki/Scalability
- Load testing — Wikipedia — https://en.wikipedia.org/wiki/Load_testing
- Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering