Почему это важно

Командам нужны числа, чтобы ориентироваться. Без них решения опираются на память, громкие голоса и того, кто говорил последним. С неверными числами решения могут быть хуже, чем никакие: команда, считающая закрытые заявки, учится быстро закрывать заявки, решены проблемы пользователей или нет. Измерение сильно, и оно меняет поведение так, как его проектировщики не всегда рассчитывают.

Это руководство уже использовало многие измерения: измерения поставки программного обеспечения DORA (см. Тема 3.4 — Обеспечение изменений), четыре измерения потока из Kanban Guide (см. Тема 1.5 — Канбан), индикаторы и цели уровня услуг (см. Тема 3.7 — Управление уровнем услуг) и нагрузку на пейджер (см. Тема 3.10 — Мониторинг и управление событиями). Эта тема сводит их вместе, добавляет постановку целей с помощью целей и ключевых результатов и измерения удовлетворенности клиентов и сопоставляет их с самым старым предупреждением в этой области: законом Гудхарта.

Статья Wikipedia о законе Гудхарта приводит афоризм в обычной форме: «Когда мера становится целью, она перестает быть хорошей мерой» и приписывает его британскому экономисту Чарльзу Гудхарту, написавшему в статье 1975 года о денежной политике Великобритании, что любая наблюдаемая статистическая закономерность имеет тенденцию рушиться, как только на нее оказывается давление в целях контроля. Обычная формулировка более поздняя, и статья приписывает ее Кейту Хоскину (1996) и статье Мэрилин Стратерн 1997 года. У мысли долгая история в разных областях, и это правильная отправная точка для этой темы.

Основные понятия

Измерения, цели и закон Гудхарта

Измерение (measure) описывает что-то. Цель (target) это число, которого от кого-то ожидают достичь. Сдвиг от первого ко второму это место, где начинаются неприятности. Как только людей вознаграждают или наказывают за число, они находят способы сдвинуть число, не совпадающие с улучшением того, что оно описывает. Статья приводит примеры из денежной политики, школьных систем и здравоохранения. В сервисной организации легкие примеры: время закрытия заявок падает, потому что заявки закрываются рано; число развертываний растет, потому что изменения дробятся; доступность кажется растущей, потому что сбои переклассифицируются.

Средство не в том, чтобы избегать измерений, а в том, чтобы измерять аккуратно:

  • Используйте несколько измерений, тянущих в разные стороны, например скорость и качество.
  • Обсуждайте числа с теми, чью работу они описывают.
  • Не привязывайте индивидуальные вознаграждения или дисциплину к одному числу.
  • Меняйте измерения, когда они перестают быть информативными.

Виды измерений

Вид На какой вопрос отвечает Примеры
Результат Лучше ли стало пользователям и бизнесу? Удовлетворенность пользователей, успешность задач, выручка, инциденты, вредящие пользователям
Поток Насколько хорошо движется работа? Время цикла, пропускная способность, возраст рабочего элемента, незавершенная работа
Эффективность поставки Насколько хорошо изменения доходят до промышленной среды? Время выполнения изменения, частота развертывания, доля неудачных изменений, время восстановления
Уровень услуги Отвечает ли услуга потребностям пользователей? Доступность, задержка, доля ошибок относительно целей
Здоровье и устойчивость Может ли это продолжаться? Нагрузка на пейджер, toil, сверхурочные, настроение сотрудников
Затраты Сколько это стоит на единицу ценности? Затраты на транзакцию или на пользователя

Сбалансированный набор берет из нескольких строк, чтобы улучшение одного не покупалось за счет другого.

Измерения DORA

Измерения эффективности поставки программного обеспечения DORA: время выполнения изменения, частота развертывания, время восстановления после неудачного развертывания, доля неудачных изменений и доля доработок после развертывания. Руководство DORA по метрикам говорит, что скорость и стабильность не являются компромиссом, так как измерения коррелируют для большинства команд. Оно предостерегает от превращения их в цели, опоры на одно, сравнения очень разных приложений и соревнования с другими командами и советует улучшаться относительно собственных прошлых результатов. Статья Wikipedia о DevOps добавляет, что некоторые эксперты критиковали методологию и метрики исследования DORA, поэтому относитесь к ним как к полезным вопросам с пределами (см. Тема 5.2 — DevOps).

Измерения потока

Kanban Guide определяет четыре измерения: незавершенную работу, пропускную способность, возраст рабочего элемента и время цикла. Он отмечает, что команды могут переименовывать их и должны добавлять другие по необходимости, и говорит, что измерения важны, только если они влияют на практики определения рабочего процесса, управления элементами в нем и его улучшения. Возраст рабочего элемента особенно полезен, потому что показывает проблемы, пока еще есть время действовать (см. Тема 5.4 — Управление потоком создания ценности).

Измерения уровня услуги

Индикаторы и цели уровня услуг (см. Тема 3.7 — Управление уровнем услуг) дают самый прямой взгляд на то, что испытывают пользователи. Книга SRE отстаивает несколько индикаторов, выбранных по тому, что волнует пользователей, процентили, а не только средние, и цели, не являющиеся совершенством. Бюджеты ошибок превращают разрыв в общее правило решения (см. Тема 5.3 — Инженерия надежности сайтов).

Цели и ключевые результаты

Цели и ключевые результаты (objectives and key results, OKR) это фреймворк постановки целей. Статья Wikipedia описывает OKR как цель, значимую, конкретную, ясно определенную задачу, в паре с тремя-пятью ключевыми результатами, то есть измеримыми критериями успеха. Она приписывает Эндрю Гроуву популяризацию подхода в Intel в 1970-х годах и описание его в книге High Output Management (1983) и Джону Дорру внедрение в Google в 1999 году. Статья говорит, что OKR оцениваются от 0,0 до 1,0, что амбициозные ключевые результаты нацелены примерно на 0,7 и что Дорр рекомендует примерно 70-процентную целевую долю успеха, поэтому ключевой результат, который выполняется всегда, следует пересмотреть. Она советует избегать целей «как обычно» и предпочитать опережающие показатели запаздывающим.

Статья также фиксирует критику: большинство организаций перестали ставить OKR отдельным исполнителям, которые склонны походить на списки задач и сливаться с оценкой результатов, а многоуровневые OKR могут создавать каскадный подход. Она не дает независимых свидетельств эффективности и содержит пометку об обслуживании об опоре на источники, близкие к предмету. Для сервисных команд OKR могут связывать результаты (например, «пользователи завершают регистрацию без помощи») с измеримыми ключевыми результатами при условии, что их не превращают в индивидуальные цели.

Удовлетворенность клиентов

Измерять, что думают пользователи, трудно делать хорошо. Распространенный инструмент это индекс потребительской лояльности (net promoter score, NPS). Согласно Wikipedia, он основан на одном вопросе о том, насколько вероятно, что респонденты порекомендуют компанию, продукт или услугу, причем промоутеры оценивают 9 или 10, пассивные 7 или 8, а критики 6 или ниже; индекс это доля промоутеров минус доля критиков. Фред Райхельд из Bain & Company популяризовал его в статье 2003 года в Harvard Business Review. Статья фиксирует пределы: ученые сомневаются, надежно ли он предсказывает рост компании, одному пункту нужно большое число ответов, он мало говорит о конкретных проблемах, чрезмерные опросы вызывают жалобы, а привязка к оплате может искажать поведение, поэтому Райхельд рекомендовал их разделять. Существуют и другие инструменты, такие как оценки удовлетворенности клиентов и оценки усилий клиентов, но статья их не обсуждает.

Каким бы ни был инструмент, задавайте короткий вопрос, всегда допускайте ответ в свободной форме, читайте комментарии и действуйте по тому, что узнали.

Измерение людей и устойчивости

Измерения нагрузки и здоровья сотрудников, такие как нагрузка на пейджер, toil, сверхурочные и настроение, это измерения устойчивости услуги (см. Тема 5.3 — Инженерия надежности сайтов). Относитесь к ним как к информации о системе, а не как к показателям работы отдельных людей.

Измерение ИИ и автоматизации

Когда вводится автоматический или поддерживаемый ИИ шаг, добавляйте измерения его качества: как часто люди его отменяют, как часто он ошибается и чего он стоит (см. Тема 6.2 — ИИ в управлении ИТ-услугами).

Пределы

Измерения неполны. Они упускают то, что трудно считать, такое как доверие, мастерство и суждение. Они могут вводить в заблуждение, когда данные неполны или определения различаются между командами. Прочитанные здесь статьи предлагают мало эмпирических свидетельств того, улучшают ли программы измерения результаты. Относитесь к любой программе как к эксперименту и пересматривайте ее.

Лучшие практики

  1. Начинайте с вопроса. Спросите, какое решение измерение будет информировать и кто будет по нему действовать. Если никто, не собирайте его.
  2. Выберите небольшой сбалансированный набор. Выберите несколько измерений по результатам, потоку, поставке, уровню услуги и здоровью. Позаботьтесь, чтобы некоторые тянули друг против друга.
  3. Определяйте каждое измерение точно. Запишите, что считается, откуда и что исключено. Две команды, использующие одно слово для разных вещей, порождают числа, которые нельзя сравнивать.
  4. Измеряйте по услуге или команде и сравнивайте с собственным прошлым. Избегайте ранжирования команд. DORA советует улучшаться относительно собственных прошлых результатов и осторожно сравнивать разные приложения.
  5. Не делайте одно число целью. Используйте измерения как поводы для обсуждения, а цели задавайте как результаты. Когда измерение становится целью, следите за манипуляциями (см. закон Гудхарта).
  6. Сочетайте числа с историями. Для любой тенденции смотрите на несколько реальных случаев. Числа говорят, куда смотреть; случаи говорят почему.
  7. Смотрите на распределения. Используйте процентили и диапазоны, а не только средние, для измерений времени и размера.
  8. Предпочитайте опережающие показатели, где можете. Такие измерения, как возраст рабочего элемента, показывают неприятности до того, как они случились, в отличие от измерений прошлых результатов.
  9. Осторожно ставьте цели с помощью целей и ключевых результатов. Если вы используете OKR, держите их на уровне команды и организации, избегайте целей «как обычно» и считайте результат, который достигается всегда, признаком, что нужно целиться выше.
  10. Спрашивайте пользователей коротко и часто. Используйте короткий вопрос со свободным текстом, читайте комментарии и отвечайте. Не привязывайте оценки опросов к индивидуальной оплате.
  11. Следите за стоимостью измерения. Предпочитайте данные, которые инструменты производят как побочный продукт работы. Отказывайтесь от ручной отчетности, которой никто не пользуется.
  12. Пересматривайте сами измерения. Раз-два в год спрашивайте, какие измерения привели к решениям, а какие нет, и выводите последние.

Вопросы для обсуждения с командой

Какое из наших измерений привело к решению за последние полгода?

Перечислите измерения и попросите решение, связанное с каждым. Измерения без связи кандидаты на удаление. Ведущий может спросить, какому измерению люди доверяют меньше всего и почему. Удалите или исправьте одно.

Что происходит с нашим поведением, когда число становится целью?

Попросите недавний пример, когда число было целью. Выясните, что люди делали, чтобы его достичь. Афоризм Гудхарта это рамка. Спросите, как выглядело бы лучшее измерение или сочетание измерений. Договоритесь об одном изменении.

Измеряем ли мы скорость и качество вместе?

Перечислите измерения скорости и измерения качества. Если перечни перекошены, обсудите эффект. Например, измерение времени закрытия заявок без повторных обращений приглашает к раннему закрытию. Выберите сочетание.

Что пользователи говорят нам о том, как идут дела, и как мы спрашиваем?

Посмотрите на вопросы, которые вы задаете пользователям, и как часто. Прочитайте вслух несколько ответов в свободной форме. Спросите, что изменилось благодаря им. Договоритесь о коротком вопросе, чтобы попробовать.

Какие из наших измерений могли бы использоваться для суждения об отдельных людях и что с этим делать?

Выявите измерения, которых люди могут бояться. Обсудите риски и договоритесь о явных правилах, для чего числа использоваться не будут. Запишите их.

Если бы мы могли оставить только пять измерений, какие мы оставили бы?

Попросите каждого выбрать пять и сравните. Пересечение показывает ядро; различия показывают разные потребности. Результат это начальный набор. Проверьте, что он охватывает результаты, поток, уровни услуг и здоровье.

На практике: пример agile ITIL

ИТ-группа национальной железной дороги эксплуатирует системы, стоящие за пассажирской информацией. Группа ежемесячно сообщает исполнительной команде панель из 40 измерений. Панель читают немногие, а обсуждение доминируют два измерения: число инцидентов, закрытых в целевое время, и число релизов за квартал. Команда инцидентов научилась быстро закрывать инциденты и заново открывать новые по той же неисправности, а несколько команд поставки дробят работу на тривиальные релизы, чтобы выполнить счет.

Руководитель ИТ-группы просит небольшую команду перестроить измерения. Они начинают с вопроса, какие решения должна информировать панель. Для каждой услуги они выбирают несколько измерений: ориентированный на пользователя индикатор и цель уровня услуги, время выполнения изменения и долю неудачных изменений, возраст рабочего элемента для открытых проблем, нагрузку на пейджер на инженера и ежемесячный опрос из одного вопроса об удовлетворенности сотрудников станций с полем для свободного текста. Старые счетчики выводятся. Исполнительная команда соглашается, что ни одно измерение не будет использоваться для ранжирования команд или назначения индивидуальных премий, а руководитель ИТ записывает это как правило на панели. Командам предлагается задать цели улучшения для услуг, которыми они владеют, как цели с ключевыми результатами, только на уровне команды.

Через год на панели двенадцать измерений, а ежемесячный обзор превратился в беседу о самых старых открытых проблемах и комментариях в свободной форме. Повторные инциденты сокращаются, а релизы стали осмысленнее. Некоторые трудности остаются. Опрос удовлетворенности получает мало ответов от ночных сотрудников, время выполнения одной команды выглядит плохо, потому что только она считает время от идеи, а не от фиксации, а один руководитель начал цитировать оценку опроса в оценке результатов работы. Руководитель ИТ просит команду согласовать определения, напоминает руководителям о правиле и организует короткий опрос на передаче ночной смены.

Четыре точки зрения

Продуктовые команды и команды поставки

Командам поставки следует выбирать измерения, помогающие им ориентироваться, брать числа из своих инструментов и обсуждать их на ретроспективах. Следите за измерениями, вознаграждающими дробление работы или сокрытие сбоев. Делитесь тем, чему научились, с другими командами.

Сервисные и операционные команды

Команды эксплуатации несут многие измерения уровня услуг и здоровья. Держите определения ясными, а данные надежными, включайте нагрузку на пейджер и toil и представляйте числа со случаями и комментариями. Возражайте, когда измерение используется как цель.

Руководство и управление

Руководители формируют культуру измерения. Говорите, для чего числа будут и не будут использоваться, просите тенденции и истории, а не турнирные таблицы, и противьтесь добавлению измерения для каждой новой тревоги. Время от времени пересматривайте весь набор.

Заказчики и пользователи

Заказчики и пользователи это и источник измерений, и их объект. Отвечайте на короткие опросы, когда можете, и говорите, что важно. Спрашивайте поставщиков, что они измеряют о вашем опыте и что сделали с результатами.

Типичные причины неудач

  • Измерения как цели. Следуют манипуляции. Вместо этого используйте измерения для обсуждения, а цели задавайте как результаты.
  • Одно число. Одно измерение искажает поведение. Вместо этого используйте сбалансированный набор, тянущий сам против себя.
  • Несогласованные определения. Команды считают по-разному. Вместо этого определите каждое измерение и его источник.
  • Турнирные таблицы. Команды соревнуются и скрывают проблемы. Вместо этого сравнивайте каждую команду с ее собственной историей.
  • Только средние. Длинные хвосты скрыты. Вместо этого смотрите на распределения и процентили.
  • Измерение того, что легко. Удобные числа заменяют важные. Вместо этого начинайте с решений и результатов для пользователей.
  • Индивидуальные OKR как списки задач. Цели превращаются в оценку результатов. Вместо этого держите OKR на уровне команды и организации.
  • Усталость от опросов и связь с оплатой. Пользователи перестают отвечать, или оценки подтасовываются. Вместо этого держите опросы короткими и отделенными от оплаты.

Модель зрелости

Измерение Инициация Развитие Стандартизация Управление Оркестрация
Выбор и определение Измерения произвольны Некоторые команды определяют несколько измерений Сбалансированный набор с ясными определениями используется по каждой услуге Набор пересматривается на полезность и пробелы Измерения согласованы между командами, поставщиками и заказчиками
Использование в решениях Числа сообщаются, но редко используются Некоторые команды обсуждают их на обзорах Измерения питают регулярные решения и улучшения Решения, связанные с измерениями, отслеживаются и по ним учатся Измерения направляют решения по организации
Защита от манипуляций Цели задаются по отдельным числам Есть некоторое понимание искажений Правила использования измерений записаны и соблюдаются Признаки манипуляций отслеживаются, измерения корректируются Культура измерения разделяется по организации
Измерения пользователей и здоровья Мало данных о пользователях или сотрудниках Есть некоторые опросы или данные о нагрузке Короткие опросы пользователей и измерения устойчивости рутинны Результаты ведут к запланированным действиям и проверяются Голоса пользователей и сотрудников формируют приоритеты между услугами

Контрольный список

  • У каждого сообщаемого измерения есть заявленное решение, которое оно информирует.
  • Мы используем небольшой сбалансированный набор, включающий измерения результата, потока, уровня услуги, поставки и здоровья.
  • У каждого измерения есть письменное определение и источник.
  • Команды сравниваются с собственной историей, а не ранжируются.
  • Мы записали, для чего измерения использоваться не будут.
  • Измерения времени показывают распределения или процентили.
  • Пользователей регулярно спрашивают коротким вопросом с местом для комментариев, ответы читаются.
  • Если мы используем OKR, они на уровне команды или организации, а не индивидуальные цели.
  • Данные берутся из инструментов как побочный продукт работы, где возможно.
  • Мы пересматриваем сами измерения не реже раза в год.

ИИ-промпты

Назначение: выбрать сбалансированный набор измерений для услуги.

Help me choose a small balanced set of measures for [service].

What the service does and who uses it: [describe].
Decisions the team and its owner need to make in the next quarter: [list].
Data we already have: [list tools and records].
Measures we currently report: [list].

Propose five to eight measures across outcome, flow, delivery performance, service level, and health (for example work item age, change lead time, an availability indicator, pager load, and a short satisfaction question). For each, say what decision it informs, what data it needs, and one way it could be gamed. Do not set targets. Ask clarifying questions first, mark assumptions, and list what you are unsure of.

Назначение: найти, как измерением можно манипулировать.

Here is a measure we use and how it is used: [describe the measure, its definition, and who sees it or is rewarded for it].

List ways people might change their behavior to improve the number without improving the underlying work, using only the description. Suggest a paired measure that would reveal each distortion and a question to ask the team. Do not accuse anyone. List what you are unsure of.

Назначение: написать OKR для сервисной команды, не превращая их в задачи.

Help me draft OKRs for [team] for the next quarter.

Context: [describe the service and the main problem users face].
Outcomes we want for users: [list].
Measures we already collect: [list].
Risks we have seen with goals in the past: [for example, gaming or task lists].

Draft two or three objectives, each with three to five key results that are measurable outcomes (not tasks), using only measures we can collect, and leave target values as [to be agreed with the team]. For each key result, name the data source and a possible distortion. Do not set individual OKRs. Ask clarifying questions first, and list what you are unsure of.

Назначение: проанализировать комментарии опроса в свободной форме.

Here are free-text comments from our latest user survey: [paste anonymized comments].

Group the comments into themes based only on what they say. For each theme, give a name, the number of comments from my list, two short example quotes, and a question for the team. Highlight themes that appear in both positive and negative comments. Do not infer demographics or sentiment beyond the text. If the sample is small, say so. List what you are unsure of.

ИИ-навыки

  • software-engineering-metrics: используйте, чтобы выбирать и интерпретировать измерения поставки и работы услуги.
  • key-risk-indicators: используйте, чтобы выбирать индикаторы раннего предупреждения о рисках для услуги.
  • survey-design: используйте, чтобы разрабатывать короткие опросы пользователей и сотрудников, дающие пригодные для использования ответы.
  • getting-feedback: используйте, чтобы собирать обратную связь от пользователей и коллег и отвечать на нее.
  • feature-prioritization: используйте, чтобы связать измерения результатов с тем, над чем команда работает дальше.

Ключевые источники

  • DORA's software delivery performance metrics (dora.dev): определения пяти измерений и предостережения об их использовании.
  • Goodhart's law (Wikipedia): происхождение и формулировка афоризма о том, что мера, используемая как цель, перестает быть хорошей мерой.
  • Objectives and key results (Wikipedia): фреймворк, его происхождение, оценка и критика.
  • Net promoter score (Wikipedia): определение, применения и критика одного из измерений удовлетворенности.

Источники

  1. DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
  2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  3. Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
  4. Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
  5. The Kanban Guide — John Coleman, Daniel Vacanti, and contributors, kanbanguides.org — https://kanbanguides.org/english/
  6. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  7. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
  9. Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction