サービス継続性管理
サービス継続性管理は、深刻な中断の後も、組織が最も重要なサービスを動かし続ける、あるいは素早く復旧できるよう備えるものであり、その価値は、棚の上の計画によってではなく、演習によってのみ証明されます。
なぜ重要なのか
ほとんどのインシデントは小さく局所的です。そうでないものも少数あります。データセンターの火災、クラウドリージョンの障害、ランサムウェア攻撃、サプライヤーの破綻、パンデミック、洪水です。これらの事象は、組織が何かを提供する能力そのものを脅かし、通常のインシデント管理がカバーしない計画を必要とします。何が最も重要で、どう継続するかを事前に考え抜いたチームは、乗り切れる可能性がはるかに高くなります。
アジャイルチームは、この主題に特有の課題を持って出会います。システムが毎週変わるため、一度書かれてファイルされた継続性計画は、数か月で古くなります。特定のサーバーやスクリプトに依存していた復旧手順は、もはや有効でないかもしれません。アジャイルの答えは、計画を諦めることではなく、継続性を、サービスの作り方と運用の仕方の生きた一部にすることです。復旧を設計に組み込み、頻繁にテストし、コードとともにバージョン管理に置きます。
事業継続計画に関する Wikipedia の記事は、事業継続を、中断の後に許容できる水準で製品やサービスの提供を続ける組織の能力と定義し、継続性計画をリスク管理の部分集合として扱っています。英語版 Wikipedia の「Disaster recovery」のページは曖昧さ回避ページにすぎず、完全な記事が求められているという注記があるので、このトピックは定義には事業継続の記事を使い、ガイドの他のトピックからの実践的なガイダンスを加えて、報告された出典の素材でなく実践である箇所を示します。
中核となる概念
継続性、復旧、レジリエンス
用語は緩く使われるので、注意深く使ってください。
| 用語 | 広く使われる意味 | 焦点 |
|---|---|---|
| 事業継続 | 中断の後に、許容できる水準で製品やサービスの提供を続ける能力 | 組織を動かし続けること |
| 事業継続計画 | 組織への脅威に対する予防と復旧の仕組みを作ること | 計画と取り決め |
| IT 災害復旧 | 重要な情報技術インフラを維持または再確立すること(Wikipedia の曖昧さ回避ページにある説明) | 技術 |
| サービス継続性(ITSM) | 中断の後、IT サービスが合意された水準に復旧できるようにすること | より大きな計画の中の IT サービス |
Wikipedia の記事は、災害復旧が、特に解決策の段階で事業継続計画と重なり、継続性は両方を実行した意図された成果だと述べています。サービス継続性管理は、同じ目的の IT サービスの見方です。
事業影響分析
事業影響分析(BIA)とは、記事によれば、中断が運用にどう影響するかを特定し評価し、復旧の優先順位を設定する方法です。その目的には、重要な活動と依存関係の特定、財務、運用、評判、法律への影響の評価、復旧目標の決定、リスク評価への情報提供が含まれます。IT サービスについて、BIA は、組織がなしで済ませられないサービスはどれか、どの順序で復旧しなければならないか、それぞれが何に依存しているかを問います(依存関係については、トピック 4.4 — 構成管理 を参照)。
復旧目標
記事は二つの主要な用語を定義しています。
- 目標復旧時間(RTO): 機能を復旧するための許容できる時間。
- 目標復旧時点(RPO): 許容できるデータの遅延の量、言い換えれば、どれだけのデータ損失が許容できるか。
また、最大許容中断期間も挙げています。記事は、特定の組織のためにこれらの値を選ぶ方法を示していないので、ビジネスから来なければなりません。一時間、一日、一週間の停止がいくらかかるか、ビジネスがどんなデータの喪失に耐えられるかを尋ねます。より厳しい目標を満たすコストは上がるため、設定は値段のあるビジネス上の判断です(トピック 3.11 — 可用性、キャパシティ、パフォーマンス を参照)。
計画
継続性または復旧の計画は、中断の後に重要なサービスを復旧するために、誰が、どの順序で、何をするかを記述します。次をカバーするべきです。計画がどう、誰によって発動されるか、人々にどう知らせ、集めるか、サービスの復旧の順序、復旧がどこで行われるか、データがどこから来るか、顧客とスタッフとどうコミュニケーションするか、通常にどう戻るか。IT サービスの計画は、個々のシステムのランブックにリンクすべきです(トピック 3.9 — ナレッジ管理 を参照)。
テストと演習
記事は、2008 年の英国規格協会の書籍を引いて、三つのタイプの演習を説明しています。小さなグループが計画の一つの側面を議論する机上演習、複数のチームが台本化された驚きを伴う複数の側面に取り組む中規模の演習、予告なしの発動、実際の避難、災害復旧サイトの使用を加えた複雑な演習です。技術的な解決策と復旧手順のテストを含む、年一回または年二回のサイクルでの保守を説明し、発見は分析の段階に戻ります。演習は、計画が間違っていると分かる場所です。
復旧の階層
記事は、SHARE の七つの災害復旧の階層(1992 年)に触れ、のちに IBM によって八つの階層(0〜7)に更新されたと述べています。ここで読んだ出典は階層の詳細を示していません。一般的な慣行として、組織は、どれだけ速く復旧しなければならないかに応じてサービスを階層に分類し、復旧のアプローチとコストを階層に合わせます。
標準
記事は、2012 年版に代わった ISO 22301:2019『Security and resilience, Business continuity management systems, Requirements』を引用しており、組織に、継続性の目標、最低限許容できるサービスレベル、最大許容中断期間を定義することを求めています。ISO 22313:2020 は、その使い方のガイダンスを与えます。これらは組織が採用できるマネジメントシステムの標準であり、実践的な計画の代わりにはなりません。顧客や規制当局が適合を要求するなら、標準のテキストを直接確認してください。
アジャイルな継続性
アジャイルと DevOps のプラクティスは、継続性を助けます。
- コードとしてのインフラと構成により、環境をバージョン管理から再構築でき、復旧が速くなり、テスト可能になる。
- 自動化されたパイプラインにより、復旧サイトにサービスを再デプロイできる。
- 頻繁なリリースにより、チームがデプロイの練習を積んだ状態に保たれる。
- 定期的な演習を、バックログにおけるテストの一形態として扱える。
リスクも生みます。単一のクラウドアカウントへの強い依存、それ自体が単一障害点になる CI システム、災害時に到達できない場所に保存されたシークレットです。復旧そのものが依存するツールのために計画してください。
人的要因
記事は、2002〜2003 年の SARS の流行を、区画化されローテーションされたチームの例として挙げており、継続性に人が含まれることを思い出させます。重要なスキルを複数の人に広げること、リモートワーク、通常のチャネルが失敗したときのコミュニケーション、ストレス下のスタッフへの配慮です。
出典の限界
記事は、目標を設定する方法も、年一回または年二回の保守サイクルを超えて、どのくらいの頻度でテストするかの指針も、ツールの推奨も示していません。それは一般的なビジネスの記事で、IT のものではありません。技術的な復旧の詳細については、自分たちのプラットフォームのドキュメントと、災害復旧の計画とテストに関するガイドのスキルを使ってください。
ベストプラクティス
- 事業影響分析から始める。 組織がなしで済ませられないサービス、その喪失の時間経過に伴うコスト、それらが何に依存しているかを特定します。ビジネスオーナーのためではなく、彼らと一緒に行います。
- ビジネスとともに復旧目標を設定する。 各重要なサービスについて、復旧時間と復旧時点を合意し、それらを満たすコストを記録します。ビジネスや技術が変わったら見直します。
- サービスを階層に分ける。 サービスを、どれだけ速く戻さなければならないかでグループ化し、各階層に合う復旧アプローチを適用します。最も高価なアプローチをすべてに適用してはいけません。
- 人が使える短い計画を書く。 計画をどう発動するか、誰が決めるか、誰が何をするか、どうコミュニケーションするか、復旧の順序を述べます。数ページに収め、ランブックへのリンクを付けます。
- 計画をコードと環境とともに保つ。 復旧スクリプト、構成、ランブックをバージョン管理に置き、サービスが変わったら見直します。システムとともに更新されない計画は失敗します。
- 復旧が依存するツールのために計画する。 パイプライン、シークレット、ドキュメント、連絡ツールへのアクセスが、それらが支えるシステムの喪失を生き延びるようにします。
- 定期的に演習する。 机上の議論から始め、復旧とフェイルオーバーの技術テストに進み、最も重要なサービスにはより大規模な演習を実行します。他の仕事と同じようにスケジュールします。
- バックアップだけでなく、復元をテストする。 バックアップは、そこから復元することで証明されます。データが復旧時点の範囲で戻り、サービスがそれで機能することをテストします(以下の災害復旧テストのスキルを参照)。
- 発見をバックログ項目として扱う。 各演習はギャップを生みます。オーナーと期日とともに記録し、次の演習の前に完了していることを確認します。
- コミュニケーションを計画する。 誰が顧客、スタッフ、規制当局、一般に何を伝えるかを決め、テンプレートを用意します。通常のチャネルが落ちている場合に人々に連絡する、帯域外の方法を含めます(以下の危機コミュニケーションのスキルを参照)。
- サプライヤーを含める。 重要なサプライヤーに、彼ら自身の継続性の取り決めを尋ね、可能なら演習に含めます(トピック 3.14 — サプライヤー管理 を参照)。
- 毎年、そして重大なインシデントや大きな変更の後に見直す。 ビジネスや技術が変わったとき、カレンダーだけでなく、分析、目標、計画を更新します。
チームで話し合うための質問
私たちのサービスのうち、最初に戻さなければならないものはどれで、それをどうやって知るのか。
各人に、サービスを復旧の優先順に並べてもらいます。比べます。意見の相違は有益です。順序がビジネスと合意されたことがないことを示します。ファシリテーターは、それぞれが一時間、一日、一週間止まったら、組織にいくらの損失かを尋ねられます。その問いをビジネスオーナーに持ち込み、一覧を合意します。
どれだけのデータを失いうるか。また、誰かがそれに合意したか。
主要なデータの最後のバックアップがいつ、どのくらいの頻度で取られたかを尋ねます。ビジネスが許容するものと比べます。答えが想定と違うと分かるチームは多いです。より厳しい復旧時点にいくらかかるかを話し合います。決定と、誰が決めたかを記録します。
最後にバックアップから復元したのはいつで、何が起きたか。
実際の日付と実際の結果を尋ねます。「一度もない」なら、それが最も重要な発見です。行ったなら、何がうまくいかず、何が修正されたかを尋ねます。次の一か月で、重要なサービスの復元テストを計画します。
復旧に必要なもので、故障したものに依存しているものは何か。
クラウドアカウントやデータセンターの喪失などのシナリオをたどります。ランブック、シークレット、パイプラインがどこにあるかを尋ねます。停止したサーバー上に保存されたランブックのように、故障したシステムへの依存はよくあります。一覧にし、それぞれを移動またはコピーする計画を立てます。
災害を宣言して計画を開始する権限を持つのは誰か。
誰が決めるか、本人が知っているかを尋ねます。計画の発動の遅れは、時間を費やします。明確な規則と代理人を話し合います。通常のチャネルが落ちている場合に、その人にどう連絡するかを確認します。
最も詳しい人々が不在だったら、私たちは何をするか。
主要なスタッフに連絡がつかないことを想像します。他の誰が復旧を実行でき、何が必要かを尋ねます。この問いは、継続性をナレッジ管理に結びつけます。重要な知識を広める方法を一つ計画します。
実践例: アジャイルITILの事例
ある州政府の土地登記所は、弁護士や測量士が不動産取引を登録するオンラインサービスを運営しています。12 人のチームがそれを構築・運用しており、単一のクラウドプロバイダーのリージョンを使っています。事業継続のレビューで、このサービスは省によって重要と分類され、四時間以内に復旧できるという期待があるが、それが可能かを誰もテストしたことがないと分かります。
チームは机上演習から始めます。シナリオは、クラウドリージョンが一日利用できなくなるというものです。ランブックが同じリージョンでホストされた wiki に保存されていること、インフラのコードが環境の一部しかカバーしていないこと、データベースのバックアップが同じリージョンにコピーされていることを発見します。省の四時間という期待は、何年も前にあるマネージャーが書いたもので、コスト計算はされていませんでした。チームと省のビジネスオーナーが会います。オーナーは、一日の停止が申請の期限にとって何を意味するかを説明し、月末の申請日には四時間が必要だが、他の時期には八時間が許容できることに合意します。
チームはランブックとバックアップを第二のリージョンにコピーし、インフラのコードを完成させ、一日がかりの演習で、テスト用のリージョンに環境をコードから再構築します。最初の試みには 11 時間かかり、主に手作業のステップと欠けていたシークレットが原因でした。修正の後、二回目の試みは 5 時間かかります。課題も残ります。月末の四時間という目標はまだ手が届かず、スタッフがサインインに使う ID プロバイダーには独自の復旧の取り決めがなく、チームは、継続性計画を一度も見たことのないサプライヤーに依存していることに気づきます。チームは ID プロバイダーとサプライヤーの問題をバックログに載せ、省は作業が続く間、ピーク外の期間のより長い復旧時間に合意します。
4つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、設計を通じて、復旧を可能にも不可能にもします。サービスをコードから再構築できるように作り、データを複製し、復旧手順を完了の一部として書きます。演習に参加し、見つかったギャップを直します。
サービスチームと運用チーム
運用チームは、計画を保持し、演習を実施します。計画を短くランブックに結びつけ、復元とフェイルオーバーをテストし、復旧の依存関係を見えるようにします。各演習の発見を、完了するまで追跡します。
リーダーシップとガバナンス
リーダーは、目標を設定し、その費用を負担します。事業影響分析と復旧目標を求め、それらにいくらかかるかを理解し、演習に参加します。一部のサービスは復旧に時間がかかることを受け入れ、その決定を意図的に行います。
顧客とユーザー
顧客とユーザーは、サービスが継続する、または戻ることに依存しています。それなしでどのくらい耐えられるか、失えないデータは何かをプロバイダーに伝えてください。継続性の取り決めと、災害時に何をすべきか、たとえば緊急の仕事を提出する代替の方法を尋ねてください。
よくある失敗パターン
- 誰もテストしていない計画。 最初のテストが災害です。代わりに、机上演習から始め、技術的な復元へと進みます。
- 誰も合意していない目標。 復旧時間は、去った誰かが書きました。代わりに、ビジネスオーナーとともに復旧時間と復旧時点を設定し、コストを記録します。
- 復元されたことのないバックアップ。 バックアップは存在するが、復元は失敗します。代わりに、スケジュールに沿って復元をテストし、時間を測定します。
- 復旧が、故障したものに依存している。 ランブック、シークレット、ツールが、故障したシステムの中にあります。代わりに、復旧の依存関係を地図にし、別の場所にコピーを保ちます。
- すべてに一つの階層。 すべてのサービスが最も高価な扱いを受けるか、どれも受けません。代わりに、必要に応じてサービスを階層に分けます。
- 古くなった計画。 システムは変わるが、計画は変わりません。代わりに、計画をコードとともに保ち、サービスが変わったら見直します。
- 人を無視する。 計画は普段のスタッフがいることを前提にしています。代わりに、不在と、チャネルが落ちたときのコミュニケーションを計画します。
- サプライヤーを無視する。 重要な依存先に、継続性の取り決めがありません。代わりに、サプライヤーに尋ね、演習に含めます。
成熟度モデル
| 次元 | 開始 | 発展 | 標準化 | 管理 | 最適化 |
|---|---|---|---|---|---|
| 影響分析と目標 | 重要なサービスは仮定されている | 一部のサービスに大まかな復旧目標がある | 重要なサービスに、コスト付きの、合意された復旧時間と復旧時点がある | 目標が、演習の結果とビジネスの変化に照らしてレビューされる | 目標が、顧客、サプライヤー、規制当局と揃えられる |
| 計画と復旧の設計 | 復旧は場当たり的 | 一部のサービスに復旧メモがある | 重要なサービスに計画と復旧コードがあり、システムとともに保たれている | 計画の最新性と復旧時間が測定・改善される | 復旧が、サービス、チーム、サプライヤー間で調整される |
| 演習とテスト | テストはほとんどない | 一部の復元がテストされている | 机上と技術のテストがスケジュールに沿って行われる | 発見がクローズまで追跡され、テストがリスクに合わせて調整される | 演習がサプライヤーを含み、組織にまたがる |
| コミュニケーションと人 | コミュニケーションは場当たり的 | 一部に連絡先の一覧がある | 計画が、帯域外の経路と代理人を伴い、誰が誰に伝えるかをカバーする | コミュニケーションと人員のギャップが測定・解消される | コミュニケーションが顧客、サプライヤー、規制当局とリハーサルされる |
チェックリスト
- ビジネスオーナーとともに重要なサービスを特定した。
- 各重要なサービスに、コストが分かっている、合意された復旧時間と復旧時点がある。
- サービスが、復旧の必要に合う階層にグループ化されている。
- 誰が発動でき、どう連絡するかを含む、短い復旧計画がある。
- 復旧のコード、構成、ランブックがバージョン管理に置かれ、変更とともにレビューされている。
- 復旧に必要なランブック、シークレット、ツールが、主環境の喪失を生き延びる。
- 過去一年に、各重要なサービスのバックアップからの復元をテストした。
- 過去一年に机上演習を行い、発見を追跡している。
- コミュニケーションのテンプレートと帯域外の経路がある。
- 重要なサプライヤーに、彼ら自身の継続性の取り決めを尋ねた。
AIプロンプト
目的: 事業影響分析のための問いを下書きする。
Help me prepare a business impact analysis for these services: [list services].
About the organization: [describe sector and who relies on the services].
Peak periods or deadlines: [list, or write "unknown"].
Rules or contracts that set recovery requirements, with source text: [paste, or write "none known"].
Write, for each service, a short set of questions to put to business owners about the impact of an outage after one hour, one day, and one week (financial, operational, reputational, legal), what data loss would be tolerable, what the service depends on, and what workarounds exist. Do not invent impacts or numbers. Ask clarifying questions first, and list what you are unsure of.
目的: 机上演習を計画する。
Design a 90-minute tabletop exercise for [number] people from [teams] on this scenario: [describe, for example "our cloud region is unavailable for 24 hours"].
Services in scope: [list].
Existing plans and runbooks: [describe, or write "none"].
Give a timed plan with: the scenario released in three stages, prompts for each role, questions on dependencies of recovery (where runbooks, secrets, and tools live), decisions that must be made and who makes them, and a closing step that records gaps with owners and dates. Do not use real production access. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
目的: 演習のメモを、ギャップの一覧に変える。
Below are the notes from a continuity exercise: [paste what happened, what went wrong, what people said].
List the gaps found, grouped as: plan (what was missing or unclear), technology (what failed or was slow), people (who was missing or unsure), and dependencies (what recovery depended on that was itself unavailable). For each gap, suggest a backlog item title and a question about priority. Use only the notes. Do not invent causes. List what you are unsure of.
目的: 一つのサービスの短い復旧計画のアウトラインを書く。
Help me outline a recovery plan for [service].
What it does and who depends on it: [describe].
Agreed recovery time and recovery point, if any: [paste, or write "not agreed"].
Where it runs, where data and backups are kept: [describe].
Dependencies (other services, suppliers, identity, networks): [list].
People who can recover it: [roles].
Write a plan outline of no more than two pages: how it is invoked, who decides, communication, order of recovery steps (with links to runbooks as [LINK]), testing evidence needed, and how to return to normal. Mark each item that is an assumption. Do not invent recovery times. Ask clarifying questions first, and list what you are unsure of.
AIスキル
- business-continuity-plan: 重要な機能を動かし続けるための、組織レベルの計画を書くときに使います。
- disaster-recovery-plan: IT サービスの技術的な復旧を計画するときに使います。
- disaster-recovery-testing: 復元とフェイルオーバーのテストを設計するときに使います。
- crisis-communication-plan: 中断の間、顧客、スタッフ、一般に何を伝えるかを計画するときに使います。
- risk-register: 継続性のリスクと、それらがどう管理されるかを記録するときに使います。
主要な情報源
- Business continuity planning (Wikipedia): 継続性、事業影響分析、復旧目標、演習、標準の定義です。
- ISO 22301 (国際標準化機構): 事業継続マネジメントシステムの要求事項の標準です。適合を主張するなら標準を読んでください。
- Incident management (Wikipedia): 継続性をインシデント対応の隣に置く、複数分野の概観です。
- Embracing Risk (『Site Reliability Engineering』、Google、sre.google): 復旧目標を枠づける、信頼性の経済性です。
参考文献
- Business continuity planning — Wikipedia — https://en.wikipedia.org/wiki/Business_continuity_planning
- Disaster recovery — Wikipedia (disambiguation page) — https://en.wikipedia.org/wiki/Disaster_recovery
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
- ISO 22301 — Wikipedia — https://en.wikipedia.org/wiki/ISO_22301
- Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management
- Backup — Wikipedia — https://en.wikipedia.org/wiki/Backup
- Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code