Управление непрерывностью услуг
Управление непрерывностью услуг готовит организацию к тому, чтобы после серьезного нарушения сохранять работу своих важнейших услуг или быстро возвращать их, и ее ценность доказывается только учениями, а не планом на полке.
Почему это важно
Большинство инцидентов небольшие и локальные. Некоторые нет: пожар в дата-центре, отказ облачного региона, атака вымогателей, крах поставщика, пандемия, наводнение. Эти события угрожают самой способности организации предоставлять услуги, и их обработка требует планирования, которое обычное управление инцидентами не охватывает. Команда, заранее продумавшая, что важнее всего и как она будет продолжать работу, имеет гораздо больше шансов пройти через это.
Гибкие команды встречают эту тему с особой трудностью. Их системы меняются еженедельно, поэтому план непрерывности, написанный один раз и подшитый, устаревает в течение месяцев. Шаги восстановления, зависевшие от конкретного сервера или сценария, могут больше не действовать. Гибкий ответ состоит не в отказе от планирования, а в том, чтобы сделать непрерывность живой частью того, как услуги создаются и эксплуатируются: восстановление заложено в проект, часто проверяется и хранится в системе контроля версий вместе с кодом.
Статья Wikipedia о планировании непрерывности бизнеса определяет непрерывность бизнеса как способность организации продолжать поставлять продукты или услуги на приемлемом уровне после нарушения и рассматривает планирование непрерывности как подмножество управления рисками. Страница «Disaster recovery» английской Wikipedia это лишь страница неоднозначности с уведомлением, что нужна полная статья, поэтому эта тема использует статью о непрерывности бизнеса для определений и добавляет практическое руководство из других тем, отмечая, где это практика, а не сообщаемый исходный материал.
Основные понятия
Непрерывность, восстановление и устойчивость
Термины используются свободно, поэтому используйте их аккуратно:
| Термин | Значение, как оно широко используется | Фокус |
|---|---|---|
| Непрерывность бизнеса | Способность продолжать поставлять продукты или услуги на приемлемом уровне после нарушения | Сохранение работы организации |
| Планирование непрерывности бизнеса | Создание систем предотвращения и восстановления для угроз организации | Планы и договоренности |
| Аварийное восстановление ИТ | Поддержание или восстановление жизненно важной ИТ-инфраструктуры (описание со страницы неоднозначности Wikipedia) | Технология |
| Непрерывность услуг (ITSM) | Обеспечение того, что ИТ-услуги можно восстановить до согласованных уровней после нарушения | ИТ-услуги внутри более широкого плана |
Статья Wikipedia говорит, что аварийное восстановление пересекается с планированием непрерывности бизнеса, особенно на этапе решения, и что непрерывность это предполагаемый итог выполнения обоих. Управление непрерывностью услуг это взгляд на ту же цель со стороны ИТ-услуг.
Анализ влияния на бизнес
Анализ влияния на бизнес (business impact analysis, BIA), согласно статье, это метод выявления и оценки того, как нарушения влияют на операции, и установления приоритетов восстановления. Его цели включают выявление критически важной деятельности и зависимостей, оценку финансового, операционного, репутационного и правового влияния, определение целей восстановления и информирование об оценке рисков. Для ИТ-услуг BIA спрашивает, без каких услуг организация обойтись не может, в каком порядке они должны возвращаться и от чего каждая зависит (о зависимостях см. Тема 4.4 — Управление конфигурациями).
Цели восстановления
Статья определяет два ключевых термина:
- Целевое время восстановления (RTO): приемлемое время восстановления функции.
- Целевая точка восстановления (RPO): приемлемый объем запаздывания данных, иными словами, какая потеря данных допустима.
Она также называет максимально допустимый период нарушения. Статья не дает метода выбора этих значений для конкретной организации, поэтому они должны идти от бизнеса: спросите, сколько стоят час, день и неделя сбоя и какие данные бизнес может позволить себе потерять. Установление их это деловое решение с ценой, так как стоимость выполнения более жесткой цели растет (см. Тема 3.11 — Доступность, емкость и производительность).
Планы
План непрерывности или восстановления описывает, кто что делает и в каком порядке, чтобы восстановить критически важные услуги после нарушения. Он должен охватывать: как и кем план вводится в действие, как людей информируют и собирают, последовательность восстановления услуг, где будет происходить восстановление, откуда берутся данные, как общаться с заказчиками и сотрудниками и как вернуться к норме. Планы для ИТ-услуг должны ссылаться на ранбуки для отдельных систем (см. Тема 3.9 — Управление знаниями).
Тестирование и учения
Статья ссылается на книгу British Standards Institution 2008 года, описывающую три типа учений: настольное (tabletop) учение, где небольшая группа обсуждает один аспект плана, среднее учение, где несколько команд работают над несколькими аспектами с запланированными сюрпризами, и сложное учение, добавляющее активацию без предупреждения, реальную эвакуацию и использование площадки аварийного восстановления. Она описывает сопровождение в годовом или двухгодичном цикле, включая проверку технических решений и процедур восстановления, с возвратом выводов на этап анализа. Учения это место, где планы узнают, что они неверны.
Уровни восстановления
Статья упоминает семь уровней аварийного восстановления SHARE (1992), позднее обновленных IBM до восьми уровней (от 0 до 7). Прочитанные здесь источники не раскрывают уровни подробно. Как общая практика, организации классифицируют услуги по уровням в зависимости от того, как быстро их нужно восстановить, и подбирают подход к восстановлению и затраты под уровень.
Стандарты
Статья ссылается на ISO 22301:2019 Security and resilience, Business continuity management systems, Requirements, заменивший редакцию 2012 года и требующий от организаций определять цели непрерывности, минимально приемлемые уровни услуг и максимально допустимый период нарушения. ISO 22313:2020 дает руководство по его применению. Это стандарты системы управления, которую организация может принять; они не заменяют практическое планирование. Проверяйте текст стандарта напрямую, если ваши заказчики или регуляторы требуют соответствия.
Гибкая непрерывность
Гибкие практики и DevOps помогают непрерывности:
- Инфраструктура и конфигурация как код позволяют перестраивать среды из системы контроля версий, что делает восстановление быстрее и проверяемым.
- Автоматические конвейеры могут повторно развертывать услуги на площадке восстановления.
- Частые релизы сохраняют навык развертывания у команды.
- Регулярные учения можно рассматривать как форму тестирования в бэклоге.
Они также создают риски: сильная зависимость от одной облачной учетной записи, система CI, сама являющаяся единой точкой отказа, и секреты, хранящиеся там, куда нельзя добраться при катастрофе. Планируйте инструменты, от которых зависит само восстановление.
Человеческие факторы
Статья упоминает вспышку SARS 2002-2003 годов как пример разделенных и ротируемых команд, что напоминает: непрерывность включает людей: ключевые навыки, распределенные между отдельными людьми, удаленная работа, коммуникация при отказе обычных каналов и забота о сотрудниках в стрессе.
Пределы источников
Статья не дает метода установления целей, руководства по тому, как часто тестировать, помимо годового или двухгодичного цикла сопровождения, и рекомендаций по инструментам. Это общая деловая статья, а не ИТ-статья. Для технических подробностей восстановления используйте документацию собственных платформ и навыки руководства по планированию и тестированию аварийного восстановления.
Лучшие практики
- Начинайте с анализа влияния на бизнес. Выявите услуги, без которых организация обойтись не может, стоимость их потери во времени и то, от чего они зависят. Делайте это вместе с владельцами бизнеса, а не за них.
- Устанавливайте цели восстановления вместе с бизнесом. Для каждой критически важной услуги согласуйте время восстановления и точку восстановления и запишите стоимость их выполнения. Пересматривайте при изменении бизнеса или технологии.
- Разделите услуги на уровни. Группируйте услуги по тому, как быстро они должны вернуться, и применяйте подход к восстановлению, соответствующий каждому уровню. Не применяйте самый дорогой подход ко всему.
- Напишите короткий план, которым люди могут пользоваться. Укажите, как ввести план в действие, кто решает, кто что делает, как общаться и порядок восстановления. Держите его в несколько страниц со ссылками на ранбуки.
- Храните планы вместе с кодом и средой. Держите сценарии восстановления, конфигурацию и ранбуки в системе контроля версий и пересматривайте их при изменении услуг. План, не обновляемый вместе с системой, потерпит неудачу.
- Планируйте инструменты, от которых зависит восстановление. Позаботьтесь, чтобы доступ к конвейеру, секретам, документации и средствам связи пережил потерю систем, которые они поддерживают.
- Проводите учения регулярно. Начните с настольных обсуждений, перейдите к техническим тестам восстановления и переключения и проводите более крупные учения для самых критически важных услуг. Планируйте их как другую работу.
- Проверяйте восстановление, а не только резервные копии. Резервная копия доказывается восстановлением из нее. Проверьте, что данные возвращаются в пределах точки восстановления и что услуга работает с ними (см. навык disaster recovery testing ниже).
- Относитесь к находкам как к пунктам бэклога. Каждое учение выявляет пробелы. Записывайте их с владельцами и датами и проверяйте, что они выполнены, до следующего учения.
- Планируйте коммуникацию. Решите, кто что сообщает заказчикам, сотрудникам, регуляторам и публике, и подготовьте шаблоны. Включите внеполосные способы связаться с людьми, если обычные каналы не работают (см. навык crisis communication ниже).
- Включайте поставщиков. Спрашивайте ключевых поставщиков об их собственных договоренностях по непрерывности и включайте их в учения, где можете (см. Тема 3.14 — Управление поставщиками).
- Пересматривайте ежегодно и после любого серьезного инцидента или крупного изменения. Обновляйте анализ, цели и планы при изменении бизнеса или технологии, а не только по календарю.
Вопросы для обсуждения с командой
Какие из наших услуг должны вернуться первыми и откуда мы это знаем?
Попросите каждого ранжировать услуги по приоритету восстановления. Сравните. Расхождение информативно: оно показывает, что порядок никогда не был согласован с бизнесом. Ведущий может спросить, чего стоит организации простой каждой услуги в течение часа, дня и недели. Отнесите вопрос к владельцам бизнеса и согласуйте перечень.
Сколько данных мы можем потерять и согласился ли кто-нибудь с этим?
Спросите, когда была сделана последняя резервная копия ключевых данных и как часто. Сравните с тем, что бизнес стерпел бы. Многие команды обнаруживают, что ответ не такой, как они предполагали. Обсудите, сколько стоила бы более жесткая точка восстановления. Запишите решение и кто его принял.
Когда мы в последний раз восстанавливались из резервной копии и что произошло?
Попросите реальную дату и реальный результат. Если ответ «никогда», это самая важная находка. Если делали, спросите, что пошло не так и что было исправлено. Спланируйте проверку восстановления для критически важной услуги в ближайший месяц.
Что нам нужно восстановить, что зависит от того, что отказало?
Пройдите по сценарию, например потеря облачной учетной записи или дата-центра. Спросите, где находятся ранбуки, секреты и конвейер. Зависимости от отказавшей системы обычны, например ранбук, хранящийся на недоступном сервере. Перечислите их и спланируйте перемещение или копирование каждой.
У кого есть полномочия объявить катастрофу и запустить план?
Спросите людей, кто бы решал и знают ли они об этом. Задержка с введением плана в действие стоит времени. Обсудите четкое правило и заместителя. Проверьте, как с этим человеком свяжутся, если обычные каналы недоступны.
Что мы сделали бы, если бы люди, знающие больше всего, были недоступны?
Представьте, что ключевые сотрудники недоступны. Спросите, кто еще мог бы провести восстановление и что ему понадобилось бы. Этот вопрос связывает непрерывность с управлением знаниями. Спланируйте один способ распространения критически важных знаний.
На практике: пример agile ITIL
Земельный реестр правительства провинции эксплуатирует онлайн-услугу, через которую юристы и землеустроители подают сделки с недвижимостью. Команда из двенадцати человек создает и эксплуатирует ее, используя один регион одного облачного провайдера. Проверка непрерывности бизнеса обнаруживает, что министерство классифицирует услугу как критически важную с ожиданием, что ее можно восстановить в течение четырех часов, и что никто никогда не проверял, возможно ли это.
Команда начинает с настольного учения. Сценарий: облачный регион недоступен в течение суток. Они обнаруживают, что ранбуки хранятся в вики, размещенной в том же регионе, что код инфраструктуры охватывает только часть среды и что резервные копии базы данных копируются в тот же регион. Четырехчасовое ожидание министерства оказывается написанным руководителем много лет назад и никогда не оцененным по стоимости. Команда и владелец бизнеса министерства встречаются. Владелец объясняет, что значил бы суточный сбой для сроков подачи, и соглашается, что четыре часа нужны в дни подачи в конце месяца, а в остальное время приемлемы восемь.
Команда копирует ранбуки и резервные копии во второй регион, завершает код инфраструктуры и пересобирает среду из кода в тестовом регионе в ходе однодневного учения. Первая попытка занимает одиннадцать часов, в основном из-за ручных шагов и пропавшего секрета. После исправлений вторая занимает пять. Некоторые проблемы остаются. Месячная цель в четыре часа все еще недостижима, у поставщика идентификации, которым сотрудники пользуются для входа, нет собственного плана восстановления, и команда понимает, что зависит от поставщика, чей план непрерывности она никогда не видела. Команда ставит поставщика идентификации и вопрос о поставщике в бэклог, а министерство соглашается на более длительное время восстановления в непиковые периоды, пока работа продолжается.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки делают восстановление возможным или невозможным через проектирование. Создавайте услуги так, чтобы их можно было пересобрать из кода, держите данные реплицированными и пишите шаги восстановления как часть готовности. Участвуйте в учениях и исправляйте найденные пробелы.
Сервисные и операционные команды
Команды эксплуатации хранят планы и проводят учения. Держите планы короткими и привязанными к ранбукам, проверяйте восстановление и переключение и делайте зависимости восстановления видимыми. Отслеживайте находки каждого учения до закрытия.
Руководство и управление
Руководители задают цели и платят за них. Просите анализ влияния на бизнес и цели восстановления, понимайте, чего они стоят, и присутствуйте на учении. Принимайте, что некоторые услуги будут восстанавливаться дольше, и принимайте это решение осознанно.
Заказчики и пользователи
Заказчики и пользователи зависят от того, что услуга продолжает работать или возвращается. Сообщите поставщику, как долго вы можете обходиться без нее и какие данные вы потерять не можете. Спросите о его договоренностях по непрерывности и о том, что вам делать при катастрофе, например об альтернативном способе подать срочную работу.
Типичные причины неудач
- План, который никто не проверял. Первое испытание это сама катастрофа. Вместо этого начните с настольных учений и переходите к техническим восстановлениям.
- Цели, с которыми никто не согласился. Время восстановления написал тот, кто ушел. Вместо этого установите время и точку восстановления с владельцами бизнеса и запишите стоимость.
- Резервные копии никогда не восстанавливались. Копии существуют, но восстановление не удается. Вместо этого проверяйте восстановление по расписанию и измеряйте время.
- Восстановление зависит от того, что отказало. Ранбуки, секреты и инструменты лежат в отказавшей системе. Вместо этого нанесите зависимости восстановления на карту и держите копии в другом месте.
- Один уровень для всего. Все услуги получают самое дорогое обращение или никакие. Вместо этого разделяйте услуги на уровни по потребности.
- Планы устарели. Системы меняются, а планы нет. Вместо этого храните планы вместе с кодом и пересматривайте их при изменении услуг.
- Игнорирование людей. Планы предполагают доступность обычных сотрудников. Вместо этого планируйте отсутствие и коммуникацию при недоступных каналах.
- Игнорирование поставщиков. У критически важных зависимостей нет договоренностей по непрерывности. Вместо этого спрашивайте поставщиков и включайте их в учения.
Модель зрелости
| Измерение | Инициация | Развитие | Стандартизация | Управление | Оркестрация |
|---|---|---|---|---|---|
| Анализ влияния и цели | Критически важные услуги предполагаются | У некоторых услуг есть приблизительные цели восстановления | У критически важных услуг есть согласованные время и точка восстановления с затратами | Цели пересматриваются по результатам учений и изменениям бизнеса | Цели согласованы с заказчиками, поставщиками и регуляторами |
| Планы и проектирование восстановления | Восстановление импровизируется | У некоторых услуг есть заметки о восстановлении | Планы и код восстановления существуют для критически важных услуг и хранятся вместе с системой | Актуальность планов и время восстановления измеряются и улучшаются | Восстановление координируется между услугами, командами и поставщиками |
| Учения и тестирование | Мало или совсем нет тестирования | Проверяются некоторые восстановления | Настольные и технические тесты проводятся по расписанию | Находки отслеживаются до закрытия, тесты настраиваются под риск | Учения включают поставщиков и охватывают организации |
| Коммуникация и люди | Коммуникация произвольная | Существуют некоторые списки контактов | Планы охватывают, кто кому сообщает, с внеполосными путями и заместителями | Пробелы в коммуникации и штатах измеряются и закрываются | Коммуникация отрабатывается с заказчиками, поставщиками и регуляторами |
Контрольный список
- Мы выявили свои критически важные услуги вместе с владельцами бизнеса.
- У каждой критически важной услуги есть согласованное время и точка восстановления, затраты известны.
- Услуги сгруппированы в уровни, соответствующие их потребностям в восстановлении.
- Существует короткий план восстановления с указанием, кто может ввести его в действие и как с ними связаться.
- Код восстановления, конфигурация и ранбуки находятся в системе контроля версий и пересматриваются вместе с изменениями.
- Ранбуки, секреты и инструменты, нужные для восстановления, переживают потерю основной среды.
- Восстановление из резервной копии проверялось для каждой критически важной услуги за последний год.
- За последний год проводилось настольное учение, находки отслеживаются.
- Существуют шаблоны коммуникации и внеполосные пути.
- Ключевых поставщиков спросили об их собственных договоренностях по непрерывности.
ИИ-промпты
Назначение: составить вопросы для анализа влияния на бизнес.
Help me prepare a business impact analysis for these services: [list services].
About the organization: [describe sector and who relies on the services].
Peak periods or deadlines: [list, or write "unknown"].
Rules or contracts that set recovery requirements, with source text: [paste, or write "none known"].
Write, for each service, a short set of questions to put to business owners about the impact of an outage after one hour, one day, and one week (financial, operational, reputational, legal), what data loss would be tolerable, what the service depends on, and what workarounds exist. Do not invent impacts or numbers. Ask clarifying questions first, and list what you are unsure of.
Назначение: спланировать настольное учение.
Design a 90-minute tabletop exercise for [number] people from [teams] on this scenario: [describe, for example "our cloud region is unavailable for 24 hours"].
Services in scope: [list].
Existing plans and runbooks: [describe, or write "none"].
Give a timed plan with: the scenario released in three stages, prompts for each role, questions on dependencies of recovery (where runbooks, secrets, and tools live), decisions that must be made and who makes them, and a closing step that records gaps with owners and dates. Do not use real production access. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
Назначение: превратить заметки об учении в перечень пробелов.
Below are the notes from a continuity exercise: [paste what happened, what went wrong, what people said].
List the gaps found, grouped as: plan (what was missing or unclear), technology (what failed or was slow), people (who was missing or unsure), and dependencies (what recovery depended on that was itself unavailable). For each gap, suggest a backlog item title and a question about priority. Use only the notes. Do not invent causes. List what you are unsure of.
Назначение: написать набросок краткого плана восстановления для одной услуги.
Help me outline a recovery plan for [service].
What it does and who depends on it: [describe].
Agreed recovery time and recovery point, if any: [paste, or write "not agreed"].
Where it runs, where data and backups are kept: [describe].
Dependencies (other services, suppliers, identity, networks): [list].
People who can recover it: [roles].
Write a plan outline of no more than two pages: how it is invoked, who decides, communication, order of recovery steps (with links to runbooks as [LINK]), testing evidence needed, and how to return to normal. Mark each item that is an assumption. Do not invent recovery times. Ask clarifying questions first, and list what you are unsure of.
ИИ-навыки
- business-continuity-plan: используйте, чтобы написать план организационного уровня для сохранения работы критически важных функций.
- disaster-recovery-plan: используйте, чтобы спланировать техническое восстановление ИТ-услуг.
- disaster-recovery-testing: используйте, чтобы разработать тесты восстановления и переключения.
- crisis-communication-plan: используйте, чтобы спланировать, что вы говорите заказчикам, сотрудникам и публике во время нарушения.
- risk-register: используйте, чтобы записывать риски непрерывности и способы управления ими.
Ключевые источники
- Business continuity planning (Wikipedia): определения непрерывности, анализа влияния на бизнес, целей восстановления, учений и стандартов.
- ISO 22301 (Международная организация по стандартизации): стандарт требований к системам управления непрерывностью бизнеса; читайте стандарт для заявлений о соответствии.
- Incident management (Wikipedia): обзор нескольких областей, ставящий непрерывность рядом с реагированием на инциденты.
- Embracing Risk (Site Reliability Engineering, Google, sre.google): экономика надежности, обрамляющая цели восстановления.
Источники
- Business continuity planning — Wikipedia — https://en.wikipedia.org/wiki/Business_continuity_planning
- Disaster recovery — Wikipedia (disambiguation page) — https://en.wikipedia.org/wiki/Disaster_recovery
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
- ISO 22301 — Wikipedia — https://en.wikipedia.org/wiki/ISO_22301
- Risk management — Wikipedia — https://en.wikipedia.org/wiki/Risk_management
- Backup — Wikipedia — https://en.wikipedia.org/wiki/Backup
- Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code