왜 중요한가

팀은 방향을 잡으려면 숫자가 필요합니다. 숫자가 없으면 결정은 기억, 큰 목소리, 마지막에 말한 사람에 의존합니다. 잘못된 숫자가 있으면 결정이 없는 것보다 나쁠 수 있습니다. 닫은 티켓을 세는 팀은 사용자의 문제가 해결되든 말든 티켓을 빨리 닫는 법을 배웁니다. 측정은 강력하며, 설계자가 항상 의도하지는 않은 방식으로 행동을 바꿉니다.

이 가이드는 이미 많은 측정을 써 왔습니다. DORA의 소프트웨어 전달 측정(주제 3.4 — 변경 실현 참조), 칸반 가이드의 네 가지 흐름 측정(주제 1.5 — 칸반 참조), 서비스 수준 지표와 목표(주제 3.7 — 서비스 수준 관리 참조), 호출 부하(주제 3.10 — 모니터링과 이벤트 관리 참조). 이 주제는 이들을 한데 모으고, 목표와 핵심 결과를 통한 목표 설정과 고객 만족 측정을 더하며, 이 분야의 가장 오래된 경고인 굿하트의 법칙과 맞세웁니다.

굿하트의 법칙에 관한 위키백과 문서는 격언을 흔한 형태인 "측정이 목표가 되면 좋은 측정이기를 멈춘다"로 제시하며, 영국 통화 정책에 관한 1975년 글에서 관찰된 모든 통계적 규칙성은 통제 목적으로 압력이 가해지면 무너지는 경향이 있다고 쓴 영국 경제학자 찰스 굿하트의 것으로 돌립니다. 흔한 표현은 더 뒤의 것이며, 문서는 이를 키스 호스킨(1996)과 매릴린 스트래선의 1997년 논문의 것으로 봅니다. 이 요점은 여러 분야에서 오랜 역사를 가지며, 이 주제의 올바른 출발점입니다.

핵심 개념

측정, 목표, 굿하트의 법칙

측정은 무언가를 기술합니다. 목표는 누군가 달성해야 하는 숫자입니다. 첫째에서 둘째로의 이동이 문제가 시작되는 곳입니다. 사람들이 숫자 때문에 보상받거나 벌을 받으면, 숫자가 기술하는 것을 개선하는 것과 같지 않은 방식으로 숫자를 움직일 방법을 찾습니다. 문서는 통화 정책, 학교 체계, 보건 의료의 사례를 줍니다. 서비스 조직에서 쉬운 예: 티켓이 일찍 닫혀서 티켓 종료 시간이 줄어드는 것, 변경을 쪼개서 배포 횟수가 오르는 것, 장애가 재분류되어 가용성이 오르는 것처럼 보이는 것.

처방은 측정을 피하는 것이 아니라 조심스럽게 측정하는 것입니다.

  • 속도와 품질처럼 서로 맞당기는 여러 측정을 쓰십시오.
  • 숫자를 그 숫자가 기술하는 일을 하는 사람들과 논의하십시오.
  • 개인의 보상이나 징계를 단일한 숫자에 묶지 마십시오.
  • 측정이 더는 유익하지 않게 되면 바꾸십시오.

측정의 종류

종류 답하는 질문 예
성과 사용자와 비즈니스가 더 나아졌는가? 사용자 만족, 과업 성공, 매출, 사용자에게 해를 끼치는 인시던트
흐름 일이 얼마나 잘 움직이는가? 사이클 타임, 처리량, 작업 항목 연령, 진행 중인 작업
전달 성과 변경이 얼마나 잘 운영에 도달하는가? 변경 리드 타임, 배포 빈도, 변경 실패율, 복구 시간
서비스 수준 서비스가 사용자의 필요를 충족하는가? 목표에 대한 가용성, 지연, 오류율
건강과 지속 가능성 이것을 계속할 수 있는가? 호출 부하, 토일, 초과 근무, 직원 정서
비용 가치의 단위당 비용은 얼마인가? 트랜잭션당 또는 사용자당 비용

균형 잡힌 집합은 여러 행에서 끌어와, 하나를 개선하는 것이 다른 것의 희생으로 사는 것이 되지 않게 합니다.

DORA 측정

DORA의 소프트웨어 전달 성과 측정은 변경 리드 타임, 배포 빈도, 실패한 배포 복구 시간, 변경 실패율, 배포 재작업률입니다. 지표에 관한 DORA 가이드는 대부분의 팀에서 측정이 상관되어 있으므로 속도와 안정성은 상충관계가 아니라고 말합니다. 이를 목표로 설정하는 것, 하나에 의존하는 것, 매우 다른 애플리케이션을 비교하는 것, 다른 팀과 경쟁하는 것에 대해 경고하고, 자신의 과거 성과에 비추어 개선하라고 조언합니다. DevOps에 관한 위키백과 문서는 일부 전문가가 DORA 연구 방법론과 지표를 비판했다고 덧붙이므로, 한계가 있는 유용한 질문으로 다루십시오(주제 5.2 — DevOps 참조).

흐름 측정

칸반 가이드는 네 가지 측정을 정의합니다. 진행 중인 작업, 처리량, 작업 항목 연령, 사이클 타임. 팀이 이름을 바꿀 수 있고 필요에 따라 다른 것을 추가해야 하며, 측정은 워크플로를 정의하고, 그 안의 항목을 관리하고, 개선하는 실천에 정보를 줄 때만 중요하다고 말합니다. 작업 항목 연령은 행동할 시간이 아직 있을 때 문제를 보여 주므로 특히 유용합니다(주제 5.4 — 가치 흐름 관리 참조).

서비스 수준 측정

서비스 수준 지표와 목표(주제 3.7 — 서비스 수준 관리 참조)는 사용자가 경험하는 것에 대한 가장 직접적인 시각을 줍니다. SRE 책은 사용자가 신경 쓰는 것에서 고른 몇 가지 지표, 평균만이 아니라 백분위수, 완벽이 아닌 목표를 옹호합니다. 오류 예산은 간극을 공유된 결정 규칙으로 바꿉니다(주제 5.3 — 사이트 신뢰성 엔지니어링 참조).

목표와 핵심 결과

목표와 핵심 결과(OKR)는 목표 설정 프레임워크입니다. 위키백과 문서는 OKR을 중요하고, 구체적이며, 명확하게 정의된 목표인 목표(objective)와, 측정 가능한 성공 기준인 세 개에서 다섯 개의 핵심 결과(key results)를 짝지은 것으로 설명합니다. 앤디 그로브가 1970년대 인텔에서 이 접근을 대중화하고 『High Output Management』(1983)에 기록했으며, 존 도어가 1999년 구글에 들여왔다고 말합니다. 문서는 OKR이 0.0에서 1.0으로 채점되고, 도전적인 핵심 결과는 약 0.7을 목표로 하며, 도어가 약 70%의 목표 성공률을 권하므로 항상 달성되는 핵심 결과는 재평가해야 한다고 말합니다. 평소와 다름없는 업무의 목표를 피하고, 후행 지표보다 선행 지표를 선호하라고 조언합니다.

문서는 비판도 기록합니다. 대부분의 조직이 개인 기여자의 OKR 설정을 멈추었는데, 그것들은 과업 목록처럼 되고 성과 평가와 뒤섞이는 경향이 있으며, 다층 OKR은 폭포수식 접근을 만들 수 있습니다. 효과성에 대한 독립적 증거는 주지 않으며, 대상과 가까운 출처에 의존한다는 유지보수 태그가 붙어 있습니다. 서비스 팀에게 OKR은 성과(예컨대 "사용자가 도움 없이 등록을 완료한다")를 측정 가능한 핵심 결과와 연결할 수 있으며, 개인 목표로 바뀌지 않는 한에서 그렇습니다.

고객 만족

사용자가 생각하는 것을 측정하는 것은 잘하기 어렵습니다. 흔한 도구는 순고객추천지수(NPS)입니다. 위키백과에 따르면 회사, 제품, 서비스를 추천할 가능성에 대한 한 가지 질문에 기반하며, 추천자는 9나 10, 중립자는 7이나 8, 비추천자는 6 이하를 매기고, 점수는 추천자의 비율에서 비추천자의 비율을 뺀 것입니다. 베인앤컴퍼니의 프레드 라이켈드가 2003년 『Harvard Business Review』 글에서 대중화했습니다. 문서는 한계를 기록합니다. 학자들은 그것이 회사 성장을 신뢰성 있게 예측하는지 의문을 제기하고, 단일 항목은 많은 응답 수가 필요하며, 구체적 문제에 대해 거의 말해 주지 않고, 과도한 설문은 불만을 사고, 급여에 연결하면 행동이 왜곡될 수 있어서 라이켈드는 둘을 분리하라고 권했습니다. 고객 만족 점수와 고객 노력 점수 같은 다른 도구도 있지만 문서는 논의하지 않습니다.

도구가 무엇이든 짧은 질문을 하고, 항상 자유 서술 답변을 허용하고, 의견을 읽고, 배운 것을 후속 조치하십시오.

사람과 지속 가능성의 측정

호출 부하, 토일, 초과 근무, 정서 같은 직원 부하와 건강의 측정은 서비스의 지속 가능성 측정입니다(주제 5.3 — 사이트 신뢰성 엔지니어링 참조). 개인의 성과 측정이 아니라 시스템에 대한 정보로 다루십시오.

AI와 자동화의 측정

자동화되거나 AI가 보조하는 단계를 도입할 때는 그 품질의 측정을 추가하십시오. 사람이 얼마나 자주 무시하는지, 얼마나 자주 틀리는지, 비용이 얼마인지(주제 6.2 — IT 서비스 관리의 AI 참조).

한계

측정은 부분적입니다. 신뢰, 장인 정신, 판단처럼 세기 어려운 것을 빠뜨립니다. 데이터가 불완전하거나 정의가 팀마다 다르면 오도할 수 있습니다. 여기서 읽은 문서들은 측정 프로그램이 성과를 개선하는지에 대한 경험적 증거를 거의 주지 않습니다. 어떤 프로그램이든 실험으로 다루고 검토하십시오.

모범 사례

  1. 질문으로 시작하십시오. 측정이 어떤 결정에 정보를 주고 누가 그에 따라 행동할지 물으십시오. 아무도 하지 않을 거라면 수집하지 마십시오.
  2. 작고 균형 잡힌 집합을 고르십시오. 성과, 흐름, 전달, 서비스 수준, 건강에 걸쳐 몇 가지 측정을 고르십시오. 일부는 서로 맞당기게 하십시오.
  3. 각 측정을 정밀하게 정의하십시오. 무엇을, 어디서 세고, 무엇을 제외하는지 적으십시오. 같은 단어를 다른 것에 쓰는 두 팀은 비교할 수 없는 숫자를 만듭니다.
  4. 서비스나 팀별로 측정하고 자신의 과거와 비교하십시오. 팀의 순위를 매기는 것을 피하십시오. DORA는 자신의 과거 성과에 비추어 개선하고 서로 다른 애플리케이션을 비교할 때 조심하라고 조언합니다.
  5. 단일한 숫자를 목표로 만들지 마십시오. 측정을 논의의 계기로 쓰고, 목표는 성과로 설정하십시오. 측정이 목표일 때는 조작을 경계하십시오(굿하트의 법칙 참조).
  6. 숫자를 이야기와 짝지으십시오. 어떤 추세든 실제 사례 몇 개를 보십시오. 숫자는 어디를 볼지 알려 주고, 사례는 왜인지 알려 줍니다.
  7. 분포를 보십시오. 시간과 크기 측정에는 평균만이 아니라 백분위수와 범위를 쓰십시오.
  8. 가능하면 선행 지표를 선호하십시오. 작업 항목 연령 같은 측정은 과거 성과의 측정과 달리 문제가 닥치기 전에 보여 줍니다.
  9. 목표와 핵심 결과로 신중히 목표를 설정하십시오. OKR을 쓴다면 팀과 조직 수준에 두고, 평소와 다름없는 업무의 목표를 피하고, 항상 달성되는 결과는 더 높이 겨냥하라는 신호로 다루십시오.
  10. 사용자에게 짧게, 자주 물으십시오. 자유 서술이 있는 짧은 질문을 쓰고, 의견을 읽고, 응답하십시오. 설문 점수를 개인의 급여에 묶지 마십시오.
  11. 측정의 비용을 살피십시오. 업무의 부산물로 도구가 만드는 데이터를 선호하십시오. 아무도 쓰지 않는 수작업 보고는 버리십시오.
  12. 측정 자체를 검토하십시오. 1년에 한두 번 어떤 측정이 결정으로 이어졌고 어떤 것이 아니었는지 묻고, 후자를 퇴역시키십시오.

팀과 논의할 질문

우리 측정 중 지난 6개월 안에 결정으로 이어진 것은 무엇인가?

측정을 나열하고 각각에 연결된 결정을 요청하십시오. 연결이 없는 측정은 제거 후보입니다. 진행자는 사람들이 가장 신뢰하지 않는 측정이 무엇이고 왜인지 물을 수 있습니다. 하나를 제거하거나 고치십시오.

숫자가 목표일 때 우리의 행동은 어떻게 되는가?

숫자가 목표였던 최근의 사례를 요청하십시오. 도달하기 위해 사람들이 무엇을 했는지 파고드십시오. 굿하트의 격언이 틀입니다. 더 나은 측정이나 측정의 짝짓기는 어떤 모습일지 물으십시오. 변경 하나에 합의하십시오.

우리는 속도와 품질을 함께 측정하는가?

속도 측정과 품질 측정을 나열하십시오. 목록이 한쪽으로 치우쳤다면 영향을 논의합니다. 예를 들어 재접촉 없이 티켓 종료 시간을 측정하면 이른 종료를 부릅니다. 짝짓기를 고르십시오.

사용자는 어떻게 되고 있는지 우리에게 무엇을 말하며, 우리는 어떻게 묻는가?

사용자에게 하는 질문과 빈도를 보십시오. 자유 서술 답변 몇 개를 소리 내어 읽으십시오. 그것들 때문에 무엇이 바뀌었는지 물으십시오. 시도할 짧은 질문에 합의하십시오.

우리 측정 중 개인을 판단하는 데 쓰일 수 있는 것은 무엇이며, 그에 대해 어떻게 해야 하는가?

사람들이 두려워할 수 있는 측정을 식별하십시오. 위험을 논의하고 숫자를 무엇에 쓰지 않을지에 대한 명시적 규칙에 합의하십시오. 적어 두십시오.

다섯 가지 측정만 유지할 수 있다면 무엇을 유지하겠는가?

각자에게 다섯 개를 고르게 하고 비교하십시오. 겹치는 부분이 핵심을, 차이가 서로 다른 필요를 보여 줍니다. 결과가 시작 집합입니다. 성과, 흐름, 서비스 수준, 건강을 다루는지 점검하십시오.

실전 사례: 애자일 ITIL 예시

국영 철도의 IT 그룹은 승객 정보 뒤의 시스템을 운영합니다. 그룹은 매월 경영진에게 40개 측정의 대시보드를 보고합니다. 대시보드를 읽는 사람은 적고, 두 측정이 논의를 지배합니다. 목표 시간 안에 닫힌 인시던트의 수와 분기당 릴리스 수. 인시던트 팀은 인시던트를 빨리 닫고 같은 결함에 대해 새로 열어 다시 여는 법을 배웠고, 여러 전달 팀은 횟수를 채우기 위해 일을 사소한 릴리스로 쪼갭니다.

IT 그룹 책임자는 작은 팀에게 측정을 다시 만들라고 요청합니다. 그들은 대시보드가 어떤 결정에 정보를 주어야 하는지 묻는 것으로 시작합니다. 각 서비스에 대해 소수의 측정을 고릅니다. 사용자에게 보이는 서비스 수준 지표와 목표, 변경 리드 타임과 변경 실패율, 열린 문제 항목의 작업 항목 연령, 엔지니어당 호출 부하, 자유 서술 칸이 있는 역 직원에 대한 월간 한 문항 만족 설문. 옛 횟수는 퇴역합니다. 경영진은 어떤 측정도 팀의 순위를 매기거나 개인 보너스를 정하는 데 쓰지 않기로 합의하고, IT 책임자는 이를 대시보드의 규칙으로 적습니다. 팀들은 자신이 소유한 서비스의 개선 목표를 팀 수준에서만, 핵심 결과가 있는 목표로 설정하라는 요청을 받습니다.

1년 뒤 대시보드는 12개의 측정이 되고, 월간 검토는 가장 오래된 열린 문제와 자유 서술 의견에 대한 대화가 되었습니다. 반복 인시던트가 줄고 릴리스는 더 의미 있어집니다. 일부 어려움이 남아 있습니다. 만족 설문은 야간 직원에게서 응답을 적게 받고, 한 팀의 리드 타임은 커밋이 아니라 아이디어부터 시간을 세는 유일한 팀이라서 나빠 보이며, 한 관리자는 성과 평가에서 설문 점수를 인용하기 시작했습니다. IT 책임자는 팀에게 정의를 정렬하라고 요청하고, 관리자들에게 규칙을 상기시키며, 야간 근무 인수인계 때 짧은 설문을 진행하도록 마련합니다.

네 가지 관점

제품 및 전달 팀

전달 팀은 방향을 잡는 데 도움이 되는 측정을 고르고, 도구에서 숫자를 가져오고, 회고에서 논의해야 합니다. 일을 쪼개거나 실패를 숨기는 것에 보상하는 측정을 경계하십시오. 배운 것을 다른 팀과 공유하십시오.

서비스 및 운영 팀

운영 팀이 서비스 수준과 건강 측정의 많은 부분을 맡습니다. 정의를 명확하고 데이터를 신뢰할 수 있게 유지하고, 호출 부하와 토일을 포함하고, 숫자를 사례와 해설과 함께 제시하십시오. 측정이 목표로 쓰이면 반박하십시오.

리더십과 거버넌스

리더가 측정의 문화를 만듭니다. 숫자를 무엇에 쓰고 쓰지 않을지 말하고, 순위표가 아니라 추세와 이야기를 요청하고, 새로운 걱정마다 측정을 추가하는 것에 저항하십시오. 때때로 전체 집합을 검토하십시오.

고객과 사용자

고객과 사용자는 측정의 원천이자 대상입니다. 가능하면 짧은 설문에 답하고 무엇이 중요한지 말하십시오. 제공자에게 여러분의 경험에 대해 무엇을 측정하고 결과로 무엇을 했는지 물으십시오.

흔한 실패 유형

  • 목표로서의 측정. 조작이 따릅니다. 대신 측정을 논의에 쓰고 목표는 성과로 설정하십시오.
  • 하나의 숫자. 단일 측정이 행동을 왜곡합니다. 대신 서로 맞당기는 균형 잡힌 집합을 쓰십시오.
  • 일관되지 않은 정의. 팀들이 다르게 셉니다. 대신 각 측정과 출처를 정의하십시오.
  • 순위표. 팀이 경쟁하고 문제를 숨깁니다. 대신 각 팀을 자신의 이력과 비교하십시오.
  • 평균만. 긴 꼬리가 가려집니다. 대신 분포와 백분위수를 보십시오.
  • 쉬운 것을 측정하는 것. 편리한 숫자가 중요한 숫자를 대체합니다. 대신 결정과 사용자의 성과에서 시작하십시오.
  • 과업 목록이 된 개인 OKR. 목표가 성과 평가가 됩니다. 대신 OKR을 팀과 조직 수준에 두십시오.
  • 설문 피로와 급여 연결. 사용자가 답을 멈추거나 점수가 조작됩니다. 대신 설문을 짧게, 급여와 분리해 유지하십시오.

성숙도 모델

차원 시작 발전 표준화 관리 최적화
선택과 정의 측정이 임시방편이다 일부 팀이 몇 가지 측정을 정의한다 명확한 정의가 있는 균형 잡힌 집합을 서비스별로 쓴다 집합의 유용성과 간극이 검토된다 측정이 팀, 공급자, 고객 간에 정렬된다
결정에서의 활용 숫자가 보고되지만 거의 쓰이지 않는다 일부 팀이 검토에서 논의한다 측정이 정기 결정과 개선에 반영된다 측정에 연결된 결정이 추적되고 학습된다 측정이 조직 전체의 결정을 이끈다
조작 방지 단일한 숫자에 목표가 설정된다 왜곡에 대한 일부 인식이 있다 측정을 어떻게 쓸 수 있는지에 대한 규칙이 적혀 있고 지켜진다 조작의 징후가 모니터링되고 측정이 조정된다 측정 문화가 조직 전체에서 공유된다
사용자와 건강 측정 사용자나 직원 데이터가 거의 없다 일부 설문이나 부하 데이터가 있다 짧은 사용자 설문과 지속 가능성 측정이 일상적이다 결과가 계획된 조치로 이어지고 점검된다 사용자와 직원의 목소리가 서비스 전반의 우선순위를 만든다

체크리스트

  • 보고하는 각 측정에 그것이 정보를 주는 결정이 명시되어 있다.
  • 성과, 흐름, 서비스 수준, 전달, 건강 측정을 포함한 작고 균형 잡힌 집합을 쓴다.
  • 각 측정에 서면 정의와 출처가 있다.
  • 팀을 순위가 아니라 자신의 이력과 비교한다.
  • 측정을 무엇에 쓰지 않을지 적어 두었다.
  • 시간 측정이 분포나 백분위수를 보여 준다.
  • 사용자에게 의견란이 있는 짧은 질문을 정기적으로 하고 답을 읽는다.
  • OKR을 쓴다면 개인 목표가 아니라 팀이나 조직 수준이다.
  • 가능하면 업무의 부산물로 도구에서 데이터를 가져온다.
  • 측정 자체를 적어도 1년에 한 번 검토한다.

AI 프롬프트

목적: 서비스를 위한 균형 잡힌 측정 집합을 고른다.

Help me choose a small balanced set of measures for [service].

What the service does and who uses it: [describe].
Decisions the team and its owner need to make in the next quarter: [list].
Data we already have: [list tools and records].
Measures we currently report: [list].

Propose five to eight measures across outcome, flow, delivery performance, service level, and health (for example work item age, change lead time, an availability indicator, pager load, and a short satisfaction question). For each, say what decision it informs, what data it needs, and one way it could be gamed. Do not set targets. Ask clarifying questions first, mark assumptions, and list what you are unsure of.

목적: 측정이 어떻게 조작될 수 있는지 찾는다.

Here is a measure we use and how it is used: [describe the measure, its definition, and who sees it or is rewarded for it].

List ways people might change their behavior to improve the number without improving the underlying work, using only the description. Suggest a paired measure that would reveal each distortion and a question to ask the team. Do not accuse anyone. List what you are unsure of.

목적: 과업 목록이 되지 않는 서비스 팀의 OKR을 작성한다.

Help me draft OKRs for [team] for the next quarter.

Context: [describe the service and the main problem users face].
Outcomes we want for users: [list].
Measures we already collect: [list].
Risks we have seen with goals in the past: [for example, gaming or task lists].

Draft two or three objectives, each with three to five key results that are measurable outcomes (not tasks), using only measures we can collect, and leave target values as [to be agreed with the team]. For each key result, name the data source and a possible distortion. Do not set individual OKRs. Ask clarifying questions first, and list what you are unsure of.

목적: 자유 서술 설문 의견을 분석한다.

Here are free-text comments from our latest user survey: [paste anonymized comments].

Group the comments into themes based only on what they say. For each theme, give a name, the number of comments from my list, two short example quotes, and a question for the team. Highlight themes that appear in both positive and negative comments. Do not infer demographics or sentiment beyond the text. If the sample is small, say so. List what you are unsure of.

AI 스킬

  • software-engineering-metrics: 전달과 서비스 성과의 측정을 고르고 해석할 때 사용합니다.
  • key-risk-indicators: 서비스에 대한 위험의 조기 경보 측정을 고를 때 사용합니다.
  • survey-design: 쓸 만한 답을 만드는 짧은 사용자 및 직원 설문을 설계할 때 사용합니다.
  • getting-feedback: 사용자와 동료의 피드백을 모으고 응답할 때 사용합니다.
  • feature-prioritization: 성과의 측정을 팀이 다음에 하는 일에 연결할 때 사용합니다.

주요 출처

  • DORA's software delivery performance metrics (dora.dev): 다섯 가지 측정의 정의와 사용에 대한 주의입니다.
  • Goodhart's law (Wikipedia): 목표로 쓰이는 측정은 좋은 측정이기를 멈춘다는 격언의 기원과 표현입니다.
  • Objectives and key results (Wikipedia): 프레임워크, 기원, 채점, 비판입니다.
  • Net promoter score (Wikipedia): 한 가지 만족 측정의 정의, 용도, 비판입니다.

참고 문헌

  1. DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
  2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  3. Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
  4. Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
  5. The Kanban Guide — John Coleman, Daniel Vacanti, and contributors, kanbanguides.org — https://kanbanguides.org/english/
  6. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  7. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
  9. Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction