指標と測定
良い測定は、チームが、自分たちの仕事がユーザーの役に立ち、改善しているかを見る助けになります。そして、どんな測定も最も安全に使う方法は、達成すべき目標ではなく、話し合うための問いとして使うことです。
なぜ重要なのか
チームは、舵を取るために数字を必要とします。数字がなければ、判断は記憶、大きな声、最後に話した人に頼ります。誤った数字では、数字がないよりも判断が悪くなりえます。クローズしたチケットを数えるチームは、問題がユーザーのために解決されたかどうかにかかわらず、素早くチケットを閉じることを学びます。測定は強力で、設計者が必ずしも意図しない形で行動を変えます。
このガイドはすでに多くの測定を使ってきました。DORA のソフトウェアデリバリーの測定(トピック 3.4 — 変更実現 を参照)、Kanban Guide の四つのフロー測定(トピック 1.5 — カンバン を参照)、サービスレベルの指標と目標(トピック 3.7 — サービスレベル管理 を参照)、ページャーの負荷(トピック 3.10 — 監視とイベント管理 を参照)。このトピックはそれらをまとめ、目標と主要な成果による目標設定と、顧客満足度の測定を加え、この分野で最も古い警告であるグッドハートの法則に照らして位置づけます。
グッドハートの法則に関する Wikipedia の記事は、一般的な形のことわざ「When a measure becomes a target, it ceases to be a good measure(測定が目標になると、それは良い測定ではなくなる)」を示し、それを英国の経済学者チャールズ・グッドハートに帰しています。グッドハートは、英国の金融政策についての 1975 年の論文で、観察された統計的な規則性は、統制の目的でそれに圧力がかけられると、崩れる傾向があると書きました。一般的な文言はそれより後のもので、記事はそれをキース・ホスキン(1996 年)とマリリン・ストラザーンの 1997 年の論文に帰しています。この考え方は、さまざまな分野で長い歴史があり、このトピックの出発点としてふさわしいものです。
中核となる概念
測定、目標、グッドハートの法則
測定は何かを記述します。目標は、誰かが達成することを期待される数字です。前者から後者への移行が、問題の始まる場所です。人々が数字によって報われたり罰せられたりすると、彼らは、記述するものを改善することと同じではない形で数字を動かす方法を見つけます。記事は、金融政策、学校制度、医療の例を挙げています。サービス組織では、簡単な例があります。チケットを早く閉じるためにクローズまでの時間が下がり、変更を分割するためにデプロイ数が上がり、障害を再分類するために可用性が上がったように見えます。
解決策は、測定を避けることではなく、注意深く測定することです。
- 速度と品質のように、互いに引き合う複数の測定を使う。
- 数字が記述する仕事をしている人々と、数字を議論する。
- 報酬や個人への懲戒を、一つの数字に結びつけない。
- 測定が情報を与えなくなったら、入れ替える。
測定の種類
| 種類 | 答える問い | 例 |
|---|---|---|
| 成果 | ユーザーとビジネスは良くなったか | ユーザー満足度、タスクの成功、収益、ユーザーを傷つけるインシデント |
| フロー | 仕事はどれだけうまく動いているか | サイクルタイム、スループット、ワークアイテムの経過時間、仕掛かり |
| デリバリーの実績 | 変更はどれだけうまく本番に届くか | 変更のリードタイム、デプロイ頻度、変更失敗率、復旧時間 |
| サービスレベル | サービスはユーザーのニーズを満たしているか | 目標に照らした可用性、レイテンシ、エラー率 |
| 健全性と持続可能性 | これは続けられるか | ページャーの負荷、トイル、残業、スタッフの感情 |
| コスト | 価値の単位あたりのコストはいくらか | トランザクションあたり、ユーザーあたりのコスト |
バランスのとれた集合は、複数の行から取るので、一つを改善するために他を犠牲にすることがありません。
DORA の測定
DORA のソフトウェアデリバリー性能の測定は、変更のリードタイム、デプロイ頻度、デプロイ失敗からの復旧時間、変更失敗率、デプロイの手戻り率です。DORA の指標に関するガイダンスは、測定がほとんどのチームで相関するので、速度と安定性はトレードオフではないと述べています。それらを目標として設定すること、一つに頼ること、非常に異なるアプリケーションを比べること、他のチームと競うことに警告し、自分自身の過去の実績に照らして改善することを提案しています。DevOps に関する Wikipedia の記事は、一部の専門家が DORA の研究手法と指標を批判していると付け加えており、有用だが限界のある問いとして扱ってください(トピック 5.2 — DevOps を参照)。
フローの測定
Kanban Guide は四つの測定を定義しています。仕掛かり、スループット、ワークアイテムの経過時間、サイクルタイム。チームはそれらの名前を変えてよく、必要に応じて他を加えるべきだと記し、測定が重要なのは、ワークフローの定義、その中のアイテムの管理、その改善というプラクティスに情報を与える場合だけだと述べています。ワークアイテムの経過時間は、まだ手を打てるうちに問題を示すので、特に有用です(トピック 5.4 — バリューストリームマネジメント を参照)。
サービスレベルの測定
サービスレベルの指標と目標(トピック 3.7 — サービスレベル管理 を参照)は、ユーザーが体験することの最も直接的な見方を与えます。SRE の本は、ユーザーが気にかけることから選んだ少数の指標、平均だけでなくパーセンタイル、完璧ではない目標を擁護しています。エラーバジェットは、ギャップを共有の判断ルールに変えます(トピック 5.3 — サイト信頼性エンジニアリング を参照)。
目標と主要な成果
目標と主要な成果(OKR)は、目標設定の枠組みです。Wikipedia の記事は、OKR を、意義があり、具体的で、明確に定義された目標であるオブジェクティブと、測定可能な成功基準である三〜五つのキーリザルトを組み合わせたものと説明しています。アンドリュー・グローブが 1970 年代にインテルでこのアプローチを広め、『High Output Management』(1983 年)に文書化したこと、ジョン・ドーアが 1999 年にそれを Google に持ち込んだことを記しています。OKR は 0.0 から 1.0 でスコア化され、意欲的なキーリザルトは 0.7 前後を目指し、ドーアは目標の成功率を約 70 パーセントにすることを推奨し、したがって常に達成されるキーリザルトは再評価すべきだと述べています。いつもどおりのオブジェクティブを避け、遅行指標より先行指標を優先することを勧めています。
記事は批判も記しています。ほとんどの組織が、個人の貢献者の OKR の設定をやめており、それは作業リストに似て、業績評価に曖昧化する傾向があること、複数階層の OKR がウォーターフォール的なアプローチを生みうること。有効性の独立した証拠は示しておらず、主題に近い出典に頼ることについての保守マーカーが付いています。サービスチームにとって、OKR は、成果(たとえば「ユーザーが支援なしに登録を完了する」)を測定可能なキーリザルトに結びつけられますが、個人の目標に変えられない場合に限ります。
顧客満足度
ユーザーが何を考えるかの測定は、うまく行うのが困難です。一般的な道具はネットプロモータースコア(NPS)です。Wikipedia によれば、会社、製品、サービスを推奨する可能性についての一つの質問に基づき、推奨者は 9 または 10、中立者は 7 または 8、批判者は 6 以下をつけ、スコアは推奨者の割合から批判者の割合を引いたものです。2003 年の『Harvard Business Review』の記事で、ベイン・アンド・カンパニーのフレッド・ライクヘルドが広めました。記事は限界を記しています。研究者は、それが会社の成長を確実に予測するかを疑問視していること、一つの項目は大量の回答数を必要とすること、具体的な問題についてはほとんど語らないこと、調査のしすぎは苦情を生むこと、給与に結びつけると行動を歪めうるので、ライクヘルドは両者を分けることを勧めていること。顧客満足度スコアや顧客努力スコアなど他の道具もありますが、記事はそれらを扱っていません。
道具が何であれ、短い質問をし、常に自由記述の回答を許し、コメントを読み、学んだことに対応してください。
人と持続可能性の測定
ページャーの負荷、トイル、残業、感情など、スタッフの負荷と健全性の測定は、サービスの持続可能性の測定です(トピック 5.3 — サイト信頼性エンジニアリング を参照)。個人の実績の尺度ではなく、システムについての情報として扱います。
AI と自動化の測定
自動化された、あるいは AI に支援されたステップが導入されたとき、その質の測定を加えます。人がそれを上書きする頻度、誤っている頻度、そのコスト(トピック 6.2 — ITサービスマネジメントにおけるAI を参照)。
限界
測定は部分的です。信頼、技、判断など、数えにくいものを省きます。データが不完全なとき、あるいはチーム間で定義が異なるとき、誤解を招きえます。ここで読んだ記事は、測定プログラムが成果を改善するかどうかについての経験的な証拠をほとんど提供していません。どのプログラムも実験として扱い、見直してください。
ベストプラクティス
- 問いから始める。 測定がどんな判断に情報を与え、誰がそれに行動するかを問います。なければ、集めません。
- バランスのとれた小さな集合を選ぶ。 成果、フロー、デリバリー、サービスレベル、健全性にわたる少数の測定を選びます。そのいくつかが互いに引き合うようにします。
- 各測定を正確に定義する。 何が数えられ、どこから、何が除外されるかを書きます。同じ言葉を異なるものに使う二つのチームは、比べられない数字を生みます。
- サービスまたはチームごとに測定し、その過去と比べる。 チームの順位づけを避けます。DORA は、自分自身の過去の実績に照らして改善することと、異なるアプリケーションの比較に注意することを助言しています。
- 一つの数字を目標にしない。 測定を議論のきっかけとして使い、目標を成果として設定します。測定が目標になるとき、数字のゲーム化に注意します(グッドハートの法則を参照)。
- 数字を物語と組み合わせる。 どんな傾向についても、いくつかの実際のケースを見ます。数字はどこを見るべきかを教え、ケースはなぜかを教えます。
- 分布を見る。 時間や大きさの測定には、平均だけでなく、パーセンタイルと範囲を使います。
- 可能なら先行指標を優先する。 ワークアイテムの経過時間のような測定は、過去の成果の測定と違って、問題が着地する前に示します。
- 目標と主要な成果による目標設定を慎重に行う。 OKR を使うなら、チームと組織のレベルにとどめ、いつもどおりのオブジェクティブを避け、常に達成されるキーリザルトを、より高く狙うサインとして扱います。
- ユーザーに、短く、頻繁に尋ねる。 自由記述付きの短い質問を使い、コメントを読み、対応します。調査のスコアを個人の給与に結びつけてはいけません。
- 測定のコストに注意する。 仕事の副産物としてツールが生み出すデータを優先します。誰も使わない手作業の報告をやめます。
- 測定そのものを見直す。 年に一、二回、どの測定が判断につながり、どれがつながらなかったかを問い、後者を廃止します。
チームで話し合うための質問
私たちの測定のうち、過去六か月の判断につながったものはどれか。
測定を一覧にし、それぞれに結びつく判断を求めます。結びつかない測定は、削除の候補です。ファシリテーターは、人々が最も信頼しない測定はどれか、なぜかを尋ねられます。一つを取り除くか、直します。
数字が目標になると、私たちの行動はどうなるか。
数字が目標になった最近の例を求めます。人々がそれを達成するために何をしたかを調べます。グッドハートのことわざが枠組みです。より良い測定、あるいは測定の組がどんなものかを問います。変更を一つ合意します。
私たちは、速度と品質を一緒に測定しているか。
速度の測定と品質の測定を一覧にします。一覧が偏っているなら、その影響を話し合います。たとえば、繰り返しの接触なしにチケットのクローズまでの時間を測定すると、早すぎるクローズを招きます。一つの組を選びます。
ユーザーは自分たちがどうしているかを私たちに何と言っていて、私たちはどう尋ねているか。
ユーザーに尋ねる質問と、その頻度を見ます。自由記述の回答をいくつか声に出して読みます。それによって何が変わったかを尋ねます。試す短い質問を合意します。
私たちの測定のうち、個人を評価するのに使われうるものはどれで、それをどうすべきか。
人々が恐れうる測定を特定します。リスクを話し合い、数字を何に使わないかについての明示的な規則を合意します。書き出します。
五つしか測定を残せないなら、どれを残すか。
各人に五つを選んでもらい、比べます。重なりは核心を示し、違いは異なるニーズを示します。結果が、最初の集合です。成果、フロー、サービスレベル、健全性をカバーしているかを確認します。
実践例: アジャイルITILの事例
国の鉄道の IT グループは、旅客案内の背後のシステムを運営しています。グループは、毎月、経営陣に 40 の測定のダッシュボードを報告しています。それを読む人は少なく、二つの測定が議論を支配しています。目標時間内にクローズされたインシデントの数と、四半期ごとのリリースの数です。インシデントのチームは、インシデントを素早く閉じ、同じエラーの新しいものを開き直すことを学び、いくつかのデリバリーチームは、数に合わせるために仕事を些細なリリースに分割しました。
IT グループの責任者は、小さなチームに測定を再構築するよう頼みます。まず、ダッシュボードがどんな判断に情報を与えるべきかを問います。各サービスについて、少数の測定を選びます。ユーザーに面するサービスレベルの指標と目標、変更のリードタイムと変更失敗率、未解決の問題の項目のワークアイテムの経過時間、エンジニアあたりのページャーの負荷、自由記述欄を持つ駅スタッフへの月次の一問の満足度調査。古い数は廃止されます。経営陣は、どの測定もチームの順位づけや個人のボーナスの設定には使わないことに合意し、IT 責任者はそれをダッシュボード上の規則として書き出します。チームは、改善の目標を、所有するサービスについて、チームのレベルのみで、目標と主要な成果として設定するよう求められます。
一年後、ダッシュボードには十二の測定があり、月次のレビューは、最も古い未解決の問題と自由記述のコメントについての会話になりました。繰り返すインシデントは減り、リリースはより意味のあるものになりました。いくつかの難しさが残ります。満足度調査は夜勤のスタッフからの回答が少なく、あるチームのリードタイムは、唯一コミットからではなくアイデアから時間を数えているため悪く見え、あるマネージャーは業績評価で調査のスコアを引用し始めました。IT 責任者は、チームに定義を揃え、マネージャーに規則を思い出させ、夜勤の引き継ぎで短い調査を手配するよう頼みます。
4つの視点
プロダクトチームとデリバリーチーム
デリバリーチームは、舵取りの助けになる測定を選び、自分のツールから数字を取り、レトロスペクティブで議論するべきです。仕事の分割に報いたり、失敗を隠したりする測定に注意します。学んだことを他のチームと共有します。
サービスチームと運用チーム
運用チームは、多くのサービスレベルと健全性の測定を担います。定義を明確に、データを信頼できるものに保ち、ページャーの負荷とトイルを含め、数字をケースとコメントとともに提示します。測定が目標として使われることには異議を唱えます。
リーダーシップとガバナンス
リーダーは、測定の文化を形作ります。数字が何に使われ、何に使われないかを述べ、順位表ではなく傾向と物語を求め、新しい懸念ごとに測定を加える誘惑に抵抗します。集合全体を時間とともに見直します。
顧客とユーザー
顧客とユーザーは、測定の源であり、同時にその対象でもあります。可能なら短い調査に答え、何が重要かを伝えてください。プロバイダーに、あなたの体験について何を測定し、その結果で何をしたかを尋ねてください。
よくある失敗パターン
- 目標としての測定。 数字のゲーム化が続きます。代わりに、測定を議論に使い、目標を成果として設定します。
- 単一の数字。 一つの測定が行動を歪めます。代わりに、互いに引き合う、バランスのとれた集合を使います。
- 一貫しない定義。 チームが異なって数えます。代わりに、各測定とその出典を定義します。
- 順位表。 チームが競い、問題を隠します。代わりに、各チームを自分自身の履歴と比べます。
- 平均だけ。 長い裾が隠れます。代わりに、分布とパーセンタイルを見ます。
- 簡単なものを測る。 都合のよい数字が、重要なものの代わりになります。代わりに、判断とユーザーの成果から始めます。
- 作業リストとしての個人の OKR。 目標が業績評価になります。代わりに、OKR をチームと組織のレベルにとどめます。
- 調査疲れと給与への結びつけ。 ユーザーが答えなくなる、あるいはスコアが操作されます。代わりに、調査を短く、給与から切り離して保ちます。
成熟度モデル
| 次元 | 開始 | 発展 | 標準化 | 管理 | 最適化 |
|---|---|---|---|---|---|
| 選択と定義 | 測定は場当たり的 | 一部のチームがいくつかの測定を定義している | 明確な定義を持つ、バランスのとれた集合がサービスごとに使われている | 集合が有用性とギャップについてレビューされる | 測定がチーム、サプライヤー、顧客間で揃えられる |
| 判断での利用 | 数字は報告されるが、ほとんど使われない | 一部のチームがレビューで議論する | 測定が判断と定期的な改善に情報を与える | 測定に結びついた判断が追跡・学習される | 測定が組織全体の判断を導く |
| ゲーム化からの保護 | 目標が一つの数字に設定される | 歪みについて少し認識がある | 測定をどう使ってよいかの規則が書かれ、守られている | ゲーム化の兆候が監視され、測定が調整される | 測定の文化が組織全体で共有される |
| ユーザーと健全性の測定 | ユーザーやスタッフのデータが少ない | 一部の調査や負荷のデータがある | 短いユーザー調査と持続可能性の測定が日常になっている | 結果が、計画され確認された行動につながる | ユーザーとスタッフの声が、サービス横断の優先順位を形作る |
チェックリスト
- 報告する各測定に、それが情報を与える述べられた判断がある。
- 成果、フロー、サービスレベル、デリバリー、健全性の測定を含む、小さなバランスのとれた集合を使っている。
- 各測定に、書かれた定義と出典がある。
- チームは自分自身の履歴と比べられ、順位づけられない。
- 測定を何に使わないかを書き出した。
- 時間の測定が、分布またはパーセンタイルを示している。
- ユーザーに、コメントの余地を伴う短い質問を定期的に行い、答えが読まれている。
- OKR を使うなら、個人の目標ではなく、チームまたは組織のレベルのものである。
- 可能な限り、データは仕事の副産物としてツールから取られる。
- 測定そのものを、少なくとも年に一度見直している。
AIプロンプト
目的: サービスのためのバランスのとれた測定の集合を選ぶ。
Help me choose a small balanced set of measures for [service].
What the service does and who uses it: [describe].
Decisions the team and its owner need to make in the next quarter: [list].
Data we already have: [list tools and records].
Measures we currently report: [list].
Propose five to eight measures across outcome, flow, delivery performance, service level, and health (for example work item age, change lead time, an availability indicator, pager load, and a short satisfaction question). For each, say what decision it informs, what data it needs, and one way it could be gamed. Do not set targets. Ask clarifying questions first, mark assumptions, and list what you are unsure of.
目的: 測定がどうゲーム化されうるかを見つける。
Here is a measure we use and how it is used: [describe the measure, its definition, and who sees it or is rewarded for it].
List ways people might change their behavior to improve the number without improving the underlying work, using only the description. Suggest a paired measure that would reveal each distortion and a question to ask the team. Do not accuse anyone. List what you are unsure of.
目的: 作業リストにせずに、サービスチームの OKR を書く。
Help me draft OKRs for [team] for the next quarter.
Context: [describe the service and the main problem users face].
Outcomes we want for users: [list].
Measures we already collect: [list].
Risks we have seen with goals in the past: [for example, gaming or task lists].
Draft two or three objectives, each with three to five key results that are measurable outcomes (not tasks), using only measures we can collect, and leave target values as [to be agreed with the team]. For each key result, name the data source and a possible distortion. Do not set individual OKRs. Ask clarifying questions first, and list what you are unsure of.
目的: 自由記述の調査コメントを分析する。
Here are free-text comments from our latest user survey: [paste anonymized comments].
Group the comments into themes based only on what they say. For each theme, give a name, the number of comments from my list, two short example quotes, and a question for the team. Highlight themes that appear in both positive and negative comments. Do not infer demographics or sentiment beyond the text. If the sample is small, say so. List what you are unsure of.
AIスキル
- software-engineering-metrics: デリバリーとサービスの性能の測定を選び、解釈するときに使います。
- key-risk-indicators: サービスへのリスクの早期警告の測定を選ぶときに使います。
- survey-design: 使える答えを生む、短いユーザーとスタッフの調査を設計するときに使います。
- getting-feedback: ユーザーや同僚からのフィードバックを集め、対応するときに使います。
- feature-prioritization: 成果の測定を、チームが次に取り組むことに結びつけるときに使います。
主要な情報源
- DORA's software delivery performance metrics (dora.dev): 五つの測定の定義と、その使い方についての警告です。
- Goodhart's law (Wikipedia): 目標として使われた測定が、良い測定ではなくなるということわざの起源と文言です。
- Objectives and key results (Wikipedia): 枠組み、起源、採点、批判です。
- Net promoter score (Wikipedia): 一つの満足度の測定の定義、利用、批判です。
参考文献
- DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
- Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
- Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
- Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
- The Kanban Guide — John Coleman, Daniel Vacanti, and contributors, kanbanguides.org — https://kanbanguides.org/english/
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
- Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
- Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction