यह क्यों मायने रखता है

टीमों को दिशा तय करने के लिए संख्याएँ चाहिए। उनके बिना निर्णय स्मृति, ऊँची आवाज़ों और जिसने आख़िर में बोला उस पर टिके होते हैं। ग़लत संख्याओं के साथ निर्णय बिना संख्याओं से भी बुरे हो सकते हैं: जो टीम बंद टिकट गिनती है वह जल्दी टिकट बंद करना सीखती है, चाहे उपयोगकर्ताओं की समस्याएँ सुलझें या नहीं। मापन शक्तिशाली है, और वह व्यवहार को ऐसे तरीक़ों से बदलता है जो उसके डिज़ाइनर हमेशा नहीं चाहते।

इस गाइड ने पहले ही कई मापन उपयोग किए हैं: DORA के सॉफ़्टवेयर डिलीवरी मापन (देखें विषय 3.4 — परिवर्तन सक्षमीकरण), कानबान गाइड के प्रवाह के चार मापन (देखें विषय 1.5 — कानबन), सेवा स्तर संकेतक और उद्देश्य (देखें विषय 3.7 — सेवा स्तर प्रबंधन), और पेजर भार (देखें विषय 3.10 — निगरानी और घटना प्रबंधन)। यह विषय उन्हें साथ लाता है, उद्देश्यों और प्रमुख परिणामों से लक्ष्य तय करना तथा ग्राहक संतुष्टि मापन जोड़ता है, और उन्हें क्षेत्र की सबसे पुरानी चेतावनी के सामने रखता है: गुडहार्ट का नियम।

गुडहार्ट के नियम पर विकिपीडिया लेख सूक्ति को उसके सामान्य रूप में देता है, "जब कोई मापन लक्ष्य बन जाता है, तो वह अच्छा मापन नहीं रहता," और इसका श्रेय ब्रिटिश अर्थशास्त्री चार्ल्स गुडहार्ट को देता है, जिन्होंने यूके की मौद्रिक नीति पर 1975 के लेख में लिखा कि कोई भी देखी गई सांख्यिकीय नियमितता नियंत्रण के उद्देश्य से उस पर दबाव डालते ही ढहने लगती है। सामान्य शब्दावली बाद की है, और लेख उसे कीथ हॉस्किन (1996) और मैरिलिन स्ट्रैथर्न के 1997 के शोध-पत्र का बताता है। बात का अलग-अलग क्षेत्रों में लंबा इतिहास है, और यह इस विषय के लिए सही शुरुआती जगह है।

मूल अवधारणाएँ

मापन, लक्ष्य और गुडहार्ट का नियम

मापन किसी चीज़ का वर्णन करता है। लक्ष्य वह संख्या है जिसे कोई हासिल करे, यह अपेक्षित है। पहले से दूसरे तक का बदलाव वह जगह है जहाँ परेशानी शुरू होती है। जब लोगों को किसी संख्या के लिए पुरस्कृत या दंडित किया जाता है, तो वे संख्या हिलाने के ऐसे तरीक़े खोजते हैं जो उस चीज़ को सुधारने जैसे नहीं हैं जिसका वह वर्णन करती है। लेख मौद्रिक नीति, स्कूल प्रणालियों और स्वास्थ्य सेवा से उदाहरण देता है। सेवा संगठन में आसान उदाहरण: टिकट जल्दी बंद होने से टिकट बंद करने का समय गिरना, बदलाव बाँटे जाने से डिप्लॉयमेंट गिनती बढ़ना, और आउटेज के पुनर्वर्गीकरण से उपलब्धता बढ़ती दिखना।

उपाय मापन से बचना नहीं बल्कि सावधानी से मापना है:

  • कई ऐसे मापन उपयोग करें जो एक-दूसरे के विरुद्ध खिंचते हैं, जैसे गति और गुणवत्ता।
  • संख्याओं पर उन लोगों से चर्चा करें जिनके काम का वे वर्णन करती हैं।
  • व्यक्तिगत पुरस्कार या अनुशासन को एक संख्या से न बाँधें।
  • जब मापन जानकारी देना बंद कर दें तो उन्हें बदलें।

मापन के प्रकार

प्रकार यह किस प्रश्न का उत्तर देता है उदाहरण
नतीजा क्या उपयोगकर्ता और व्यवसाय बेहतर हैं? उपयोगकर्ता संतुष्टि, कार्य सफलता, राजस्व, उपयोगकर्ताओं को नुकसान पहुँचाती घटनाएँ
प्रवाह कार्य कितनी अच्छी तरह चलता है? साइकिल समय, थ्रूपुट, कार्य मद की आयु, कार्य-प्रगति पर
डिलीवरी प्रदर्शन बदलाव प्रोडक्शन तक कितनी अच्छी तरह पहुँचते हैं? परिवर्तन लीड टाइम, डिप्लॉयमेंट आवृत्ति, परिवर्तन विफलता दर, पुनर्प्राप्ति समय
सेवा स्तर क्या सेवा उपयोगकर्ताओं की ज़रूरतें पूरी कर रही है? उद्देश्यों के विरुद्ध उपलब्धता, विलंबता, त्रुटि दर
स्वास्थ्य और स्थिरता क्या यह चल सकता है? पेजर भार, टॉइल, ओवरटाइम, कर्मचारी भावना
लागत मूल्य की प्रति इकाई लागत क्या है? प्रति लेन-देन या प्रति उपयोगकर्ता लागत

संतुलित समूह कई पंक्तियों से लेता है, ताकि एक को सुधारना दूसरे की क़ीमत पर न ख़रीदा जाए।

DORA मापन

DORA के सॉफ़्टवेयर डिलीवरी प्रदर्शन मापन हैं परिवर्तन लीड टाइम, डिप्लॉयमेंट आवृत्ति, विफल डिप्लॉयमेंट पुनर्प्राप्ति समय, परिवर्तन विफलता दर, और डिप्लॉयमेंट पुनर्कार्य दर। मापनों पर DORA की गाइड कहती है कि गति और स्थिरता समझौते नहीं हैं, क्योंकि अधिकांश टीमों के लिए मापन सहसंबद्ध हैं। वह उन्हें लक्ष्य बनाने, किसी एक पर निर्भर रहने, बहुत भिन्न अनुप्रयोगों की तुलना करने, और अन्य टीमों से प्रतिस्पर्धा करने के प्रति चेताती है, और अपने पिछले प्रदर्शन के विरुद्ध सुधारने की सलाह देती है। DevOps पर विकिपीडिया लेख जोड़ता है कि कुछ विशेषज्ञों ने DORA शोध पद्धति और मापनों की आलोचना की, इसलिए उन्हें सीमाओं वाले उपयोगी प्रश्न मानें (देखें विषय 5.2 — DevOps)।

प्रवाह मापन

कानबान गाइड चार मापन परिभाषित करती है: कार्य-प्रगति पर, थ्रूपुट, कार्य मद की आयु, और साइकिल समय। वह नोट करती है कि टीमें उनके नाम बदल सकती हैं और ज़रूरत के अनुसार अन्य जोड़ने चाहिए, और कहती है कि मापन तभी मायने रखते हैं जब वे कार्यप्रवाह परिभाषित करने, उसमें मदें प्रबंधित करने और उसे सुधारने की प्रथाओं को जानकारी दें। कार्य मद की आयु विशेष रूप से उपयोगी है क्योंकि वह परेशानी तब दिखाती है जब कार्रवाई का समय अभी बाक़ी है (देखें विषय 5.4 — मूल्य धारा प्रबंधन)।

सेवा स्तर मापन

सेवा स्तर संकेतक और उद्देश्य (देखें विषय 3.7 — सेवा स्तर प्रबंधन) उपयोगकर्ताओं के अनुभव का सबसे सीधा दृश्य देते हैं। SRE पुस्तक कुछ संकेतकों के पक्ष में तर्क देती है जो उपयोगकर्ता किसकी परवाह करते हैं उससे चुने जाएँ, केवल औसत नहीं बल्कि पर्सेंटाइल के पक्ष में, और ऐसे उद्देश्यों के पक्ष में जो पूर्णता नहीं हैं। त्रुटि बजट अंतर को साझा निर्णय नियम में बदलते हैं (देखें विषय 5.3 — साइट विश्वसनीयता इंजीनियरिंग)।

उद्देश्य और प्रमुख परिणाम

उद्देश्य और प्रमुख परिणाम (OKR) लक्ष्य निर्धारण फ़्रेमवर्क है। विकिपीडिया लेख OKR को उद्देश्य, महत्वपूर्ण, ठोस, स्पष्ट रूप से परिभाषित लक्ष्य, के रूप में वर्णित करता है जो तीन से पाँच प्रमुख परिणामों से जुड़ा है, जो मापने योग्य सफलता कसौटियाँ हैं। वह एंड्रयू ग्रोव को 1970 के दशक में Intel में दृष्टिकोण को लोकप्रिय बनाने और High Output Management (1983) में दस्तावेज़ करने का, और जॉन डोएर को 1999 में उसे Google लाने का श्रेय देता है। लेख कहता है कि OKR को 0.0 से 1.0 तक अंक दिए जाते हैं, कि महत्वाकांक्षी प्रमुख परिणाम लगभग 0.7 का लक्ष्य रखते हैं, और कि डोएर लगभग 70 प्रतिशत लक्ष्य सफलता दर की सिफ़ारिश करते हैं, इसलिए जो प्रमुख परिणाम हमेशा पूरा होता है उसका पुनर्मूल्यांकन होना चाहिए। वह रोज़मर्रा के उद्देश्यों से बचने और पिछड़ते संकेतकों की जगह अग्रणी संकेतकों को वरीयता देने की सलाह देता है।

लेख आलोचना भी दर्ज करता है: अधिकांश संगठनों ने व्यक्तिगत योगदानकर्ता OKR तय करना बंद कर दिया है, जो कार्य सूचियों जैसे होते हैं और प्रदर्शन समीक्षाओं में घुल जाते हैं, और बहु-स्तरीय OKR वॉटरफ़ॉल दृष्टिकोण बना सकते हैं। वह प्रभावशीलता का कोई स्वतंत्र प्रमाण नहीं देता और विषय के निकट के स्रोतों पर निर्भरता का रखरखाव निशान रखता है। सेवा टीमों के लिए, OKR नतीजों (उदाहरण के लिए "उपयोगकर्ता बिना मदद के पंजीकरण पूरा करते हैं") को मापने योग्य प्रमुख परिणामों से जोड़ सकते हैं, बशर्ते उन्हें व्यक्तिगत लक्ष्य न बना दिया जाए।

ग्राहक संतुष्टि

उपयोगकर्ता क्या सोचते हैं यह अच्छी तरह मापना कठिन है। आम उपकरण नेट प्रमोटर स्कोर (NPS) है। विकिपीडिया के अनुसार, वह इस बारे में एक प्रश्न पर आधारित है कि उत्तरदाता किसी कंपनी, उत्पाद या सेवा की सिफ़ारिश करने की कितनी संभावना रखते हैं, जिसमें प्रवर्तक 9 या 10, निष्क्रिय 7 या 8, और आलोचक 6 या कम अंक देते हैं; स्कोर प्रवर्तकों का प्रतिशत घटाव आलोचकों का प्रतिशत है। Bain & Company के फ़्रेड राइकहेल्ड ने इसे 2003 के Harvard Business Review लेख में लोकप्रिय बनाया। लेख सीमाएँ दर्ज करता है: विद्वान प्रश्न करते हैं कि क्या वह कंपनी की वृद्धि का विश्वसनीय पूर्वानुमान देता है, एक मद को बहुत उत्तर चाहिए, वह विशिष्ट समस्याओं के बारे में कम बताता है, अति-सर्वेक्षण शिकायतें बुलाता है, और उसे वेतन से जोड़ना व्यवहार को विकृत कर सकता है, इसलिए राइकहेल्ड ने दोनों को अलग करने की सिफ़ारिश की। ग्राहक संतुष्टि स्कोर और ग्राहक प्रयास स्कोर जैसे अन्य उपकरण हैं, पर लेख उनकी चर्चा नहीं करता।

उपकरण जो भी हो, छोटा प्रश्न पूछें, मुक्त-पाठ उत्तर की गुंजाइश हमेशा रखें, टिप्पणियाँ पढ़ें, और जो सीखें उस पर अनुवर्ती कार्रवाई करें।

लोगों और स्थिरता को मापना

कर्मचारी भार और स्वास्थ्य के मापन, जैसे पेजर भार, टॉइल, ओवरटाइम और भावना, सेवा की स्थिरता के मापन हैं (देखें विषय 5.3 — साइट विश्वसनीयता इंजीनियरिंग)। उन्हें प्रणाली की जानकारी मानें, व्यक्तियों के प्रदर्शन का मापन नहीं।

AI और स्वचालन को मापना

जब स्वचालित या AI-सहायता वाला चरण लाया जाता है, तो उसकी गुणवत्ता के मापन जोड़ें: मनुष्य कितनी बार उसे ओवरराइड करते हैं, वह कितनी बार ग़लत है, और उसकी क्या लागत है (देखें विषय 6.2 — आईटी सेवा प्रबंधन में AI)।

सीमाएँ

मापन आंशिक हैं। वे उसे छोड़ देते हैं जो गिनना कठिन है, जैसे भरोसा, शिल्प-कौशल और निर्णय। जब डेटा अधूरा हो या टीमों में परिभाषाएँ भिन्न हों तो वे भ्रमित कर सकते हैं। यहाँ पढ़े लेख इस पर कम अनुभवजन्य प्रमाण देते हैं कि मापन कार्यक्रम नतीजे सुधारते हैं या नहीं। किसी भी कार्यक्रम को प्रयोग मानें, और उसकी समीक्षा करें।

सर्वोत्तम प्रथाएँ

  1. प्रश्न से शुरू करें। पूछें कि मापन किस निर्णय को जानकारी देगा, और उस पर कार्रवाई कौन करेगा। यदि कोई नहीं, तो उसे न जुटाएँ।
  2. छोटा संतुलित समूह चुनें। नतीजे, प्रवाह, डिलीवरी, सेवा स्तर और स्वास्थ्य में से कुछ मापन चुनें। सुनिश्चित करें कि कुछ एक-दूसरे के विरुद्ध खिंचें।
  3. हर मापन को सटीक परिभाषित करें। लिखें कि क्या गिना जाता है, कहाँ से, और क्या बाहर है। दो टीमें जो एक ही शब्द अलग चीज़ों के लिए उपयोग करती हैं ऐसी संख्याएँ बनाती हैं जिनकी तुलना नहीं हो सकती।
  4. प्रति सेवा या टीम मापें, और उसके अपने अतीत से तुलना करें। टीमों को क्रम देने से बचें। DORA अपने पिछले प्रदर्शन के विरुद्ध सुधारने और अलग अनुप्रयोगों की तुलना में सावधान रहने की सलाह देता है।
  5. किसी एक संख्या को लक्ष्य न बनाएँ। मापन को चर्चा के संकेत के रूप में उपयोग करें, और लक्ष्य नतीजों के रूप में तय करें। जब मापन लक्ष्य हो, तो खेल पर नज़र रखें (देखें गुडहार्ट का नियम)।
  6. संख्याओं को कहानियों से जोड़ें। किसी भी रुझान के लिए कुछ वास्तविक मामले देखें। संख्याएँ बताती हैं कहाँ देखना है; मामले बताते हैं क्यों।
  7. वितरण देखें। समय और आकार के मापनों के लिए केवल औसत नहीं, पर्सेंटाइल और सीमाएँ उपयोग करें।
  8. जहाँ हो सके अग्रणी संकेतक पसंद करें। कार्य मद की आयु जैसे मापन परेशानी आने से पहले दिखाते हैं, पिछले नतीजों के मापनों से अलग।
  9. उद्देश्यों और प्रमुख परिणामों से लक्ष्य सावधानी से तय करें। यदि आप OKR उपयोग करते हैं, तो उन्हें टीम और संगठन स्तर पर रखें, रोज़मर्रा के उद्देश्यों से बचें, और जो परिणाम हमेशा पूरा होता है उसे ऊँचा निशाना लगाने का संकेत मानें।
  10. उपयोगकर्ताओं से संक्षेप में और अक्सर पूछें। मुक्त-पाठ के साथ छोटा प्रश्न उपयोग करें, टिप्पणियाँ पढ़ें, और जवाब दें। सर्वेक्षण स्कोर को व्यक्तिगत वेतन से न बाँधें।
  11. मापने की लागत देखें। वह डेटा पसंद करें जो औज़ार काम के उप-उत्पाद के रूप में बनाते हैं। जिस हाथ की रिपोर्टिंग का कोई उपयोग नहीं करता उसे छोड़ें।
  12. स्वयं मापनों की समीक्षा करें। साल में एक या दो बार पूछें कि किन मापनों ने निर्णयों को जन्म दिया और किन्होंने नहीं, और बाद वालों को सेवानिवृत्त करें।

टीम के साथ चर्चा के प्रश्न

हमारे किस मापन ने पिछले छह महीनों में निर्णय को जन्म दिया है?

मापनों की सूची बनाएँ और हर एक से जुड़ा निर्णय माँगें। जिनका कोई जुड़ाव नहीं वे हटाने के उम्मीदवार हैं। सूत्रधार पूछ सकता है कि लोग किस मापन पर सबसे कम भरोसा करते हैं और क्यों। एक हटाएँ या ठीक करें।

जब कोई संख्या लक्ष्य होती है तो हमारे व्यवहार का क्या होता है?

हाल का उदाहरण माँगें जहाँ संख्या लक्ष्य थी। टटोलें कि उसे हासिल करने के लिए लोगों ने क्या किया। गुडहार्ट की सूक्ति ढाँचा है। पूछें कि बेहतर मापन या मापनों की जोड़ी कैसी दिखेगी। एक बदलाव पर सहमत हों।

क्या हम गति और गुणवत्ता साथ मापते हैं?

गति के मापनों और गुणवत्ता के मापनों की सूची बनाएँ। यदि सूचियाँ एकतरफ़ा हैं, तो प्रभाव पर चर्चा करें। उदाहरण के लिए, दोहराए संपर्कों के बिना टिकट बंद करने का समय मापना जल्दी बंद करने को न्योता देता है। जोड़ी चुनें।

उपयोगकर्ता हमें बताते हैं कि कैसा चल रहा है, और हम कैसे पूछते हैं?

उपयोगकर्ताओं से आप जो प्रश्न पूछते हैं और कितनी बार, उन्हें देखें। कुछ मुक्त-पाठ उत्तर ज़ोर से पढ़ें। पूछें कि उनके कारण क्या बदला। आज़माने के लिए छोटे प्रश्न पर सहमत हों।

हमारे कौन-से मापन व्यक्तियों को आँकने के लिए उपयोग हो सकते हैं, और इस बारे में हमें क्या करना चाहिए?

वे मापन पहचानें जिनसे लोग डर सकते हैं। जोखिमों पर चर्चा करें और स्पष्ट नियमों पर सहमत हों कि संख्याएँ किसके लिए उपयोग नहीं होंगी। उन्हें लिख लें।

यदि हम केवल पाँच मापन रख सकें, तो कौन-से रखेंगे?

हर व्यक्ति से पाँच चुनने को कहें और तुलना करें। साझा हिस्सा केंद्र दिखाता है; अंतर अलग ज़रूरतें दिखाते हैं। नतीजा शुरुआती समूह है। जाँचें कि वह नतीजे, प्रवाह, सेवा स्तर और स्वास्थ्य ढँकता है।

व्यवहार में: एक एजाइल ITIL उदाहरण

एक राष्ट्रीय रेलवे का आईटी समूह अपनी यात्री सूचना के पीछे की प्रणालियाँ चलाता है। समूह हर महीने कार्यकारी टीम को 40 मापनों का डैशबोर्ड रिपोर्ट करता है। डैशबोर्ड को कम लोग पढ़ते हैं, और दो मापन चर्चा पर हावी हैं: लक्ष्य समय में बंद घटनाओं की संख्या और प्रति तिमाही रिलीज़ की संख्या। घटना टीम ने घटनाएँ जल्दी बंद करना और उसी दोष के लिए नई घटनाएँ फिर खोलना सीख लिया है, और कई डिलीवरी टीमें गिनती पूरी करने के लिए काम को मामूली रिलीज़ों में बाँटती हैं।

आईटी समूह के प्रमुख छोटी टीम से मापन फिर से बनाने को कहते हैं। वे यह पूछकर शुरू करते हैं कि डैशबोर्ड को किन निर्णयों को जानकारी देनी चाहिए। हर सेवा के लिए वे मुट्ठी भर मापन चुनते हैं: उपयोगकर्ता-दृश्य सेवा स्तर संकेतक और उद्देश्य, परिवर्तन लीड टाइम और परिवर्तन विफलता दर, खुली समस्या मदों की कार्य मद की आयु, प्रति इंजीनियर पेजर भार, और मुक्त-पाठ बॉक्स के साथ स्टेशन कर्मचारियों का मासिक एक-प्रश्न संतुष्टि सर्वेक्षण। पुरानी गिनतियाँ सेवानिवृत्त होती हैं। कार्यकारी टीम सहमत होती है कि कोई मापन टीमों को क्रम देने या व्यक्तिगत बोनस तय करने के लिए उपयोग नहीं होगा, और आईटी प्रमुख इसे डैशबोर्ड पर नियम के रूप में लिखते हैं। टीमों से कहा जाता है कि जिन सेवाओं की वे स्वामी हैं उनके लिए सुधार लक्ष्य उद्देश्य और प्रमुख परिणामों के रूप में तय करें, केवल टीम स्तर पर।

एक साल बाद, डैशबोर्ड में बारह मापन हैं, और मासिक समीक्षा सबसे पुरानी खुली समस्याओं और मुक्त-पाठ टिप्पणियों पर बातचीत बन गई है। दोहराई घटनाएँ गिरती हैं, और रिलीज़ अधिक सार्थक हैं। कुछ कठिनाइयाँ बाक़ी हैं। संतुष्टि सर्वेक्षण को रात के कर्मचारियों से कम उत्तर मिलते हैं, एक टीम का लीड टाइम ख़राब दिखता है क्योंकि वही अकेली है जो कमिट से नहीं, विचार से समय गिनती है, और एक प्रबंधक ने प्रदर्शन समीक्षा में सर्वेक्षण स्कोर उद्धृत करना शुरू कर दिया है। आईटी प्रमुख टीम से परिभाषाएँ संरेखित करने को कहते हैं, प्रबंधकों को नियम की याद दिलाते हैं, और रात की शिफ़्ट के हस्तांतरण में चलने वाले छोटे सर्वेक्षण की व्यवस्था करते हैं।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमों को ऐसे मापन चुनने चाहिए जो उन्हें दिशा तय करने में मदद करें, संख्याएँ अपने औज़ारों से लें, और रेट्रोस्पेक्टिव में उन पर चर्चा करें। ऐसे मापनों पर नज़र रखें जो काम बाँटने या विफलताएँ छिपाने को पुरस्कृत करते हैं। जो सीखें वह अन्य टीमों के साथ साझा करें।

सेवा और संचालन टीमें

संचालन टीमें अनेक सेवा स्तर और स्वास्थ्य मापन उठाती हैं। परिभाषाएँ स्पष्ट और डेटा विश्वसनीय रखें, पेजर भार और टॉइल शामिल करें, और संख्याएँ मामलों और टिप्पणी के साथ प्रस्तुत करें। जब मापन लक्ष्य के रूप में उपयोग हो तो विरोध करें।

नेतृत्व और शासन

नेता मापन की संस्कृति गढ़ते हैं। बताएँ कि संख्याएँ किसके लिए उपयोग होंगी और किसके लिए नहीं, रुझान और कहानियाँ माँगें, लीग तालिकाएँ नहीं, और हर नई चिंता के लिए मापन जोड़ने का विरोध करें। समय-समय पर पूरे समूह की समीक्षा करें।

ग्राहक और उपयोगकर्ता

ग्राहक और उपयोगकर्ता मापनों का स्रोत भी हैं और उनके विषय भी। जब हो सके तो छोटे सर्वेक्षणों का उत्तर दें, और बताएँ कि क्या मायने रखता है। प्रदाताओं से पूछें कि वे आपके अनुभव के बारे में क्या मापते हैं और नतीजों के साथ उन्होंने क्या किया है।

आम विफलता के तरीके

  • लक्ष्य के रूप में मापन। खेल चलता है। इसके बजाय, मापन का उपयोग चर्चा के लिए करें और लक्ष्य नतीजों के रूप में तय करें।
  • एक संख्या। एक मापन व्यवहार को विकृत करता है। इसके बजाय, ऐसा संतुलित समूह उपयोग करें जो ख़ुद के विरुद्ध खिंचता हो।
  • असंगत परिभाषाएँ। टीमें अलग गिनती हैं। इसके बजाय, हर मापन और उसका स्रोत परिभाषित करें।
  • लीग तालिकाएँ। टीमें प्रतिस्पर्धा करती और समस्याएँ छिपाती हैं। इसके बजाय, हर टीम की तुलना उसके अपने इतिहास से करें।
  • केवल औसत। लंबी पूँछें छिप जाती हैं। इसके बजाय, वितरण और पर्सेंटाइल देखें।
  • जो आसान है उसे मापना। सुविधाजनक संख्याएँ महत्वपूर्ण संख्याओं की जगह ले लेती हैं। इसके बजाय, निर्णयों और उपयोगकर्ताओं के नतीजों से शुरू करें।
  • कार्य सूची जैसे व्यक्तिगत OKR। लक्ष्य प्रदर्शन समीक्षाएँ बन जाते हैं। इसके बजाय, OKR टीम और संगठन स्तर पर रखें।
  • सर्वेक्षण थकान और वेतन से जुड़ाव। उपयोगकर्ता उत्तर देना बंद कर देते हैं, या स्कोर में हेरफेर होता है। इसके बजाय, सर्वेक्षण छोटे रखें और वेतन से अलग।

परिपक्वता मॉडल

आयाम आरंभ विकास मानकीकरण प्रबंधन समन्वय
चयन और परिभाषा मापन तदर्थ हैं कुछ टीमें कुछ मापन परिभाषित करती हैं हर सेवा के लिए स्पष्ट परिभाषाओं वाला संतुलित समूह उपयोग होता है समूह की उपयोगिता और कमियों के लिए समीक्षा होती है मापन टीमों, आपूर्तिकर्ताओं और ग्राहकों में संरेखित हैं
निर्णयों में उपयोग संख्याएँ रिपोर्ट होती हैं पर शायद ही उपयोग कुछ टीमें समीक्षाओं में उन पर चर्चा करती हैं मापन नियमित निर्णयों और सुधार को जानकारी देते हैं मापनों से जुड़े निर्णय ट्रैक होते हैं और उनसे सीखा जाता है मापन संगठन भर में निर्णयों का मार्गदर्शन करते हैं
खेल से बचाव एकल संख्याओं पर लक्ष्य तय होते हैं विकृति की कुछ जागरूकता मापन कैसे उपयोग हो सकते हैं इस पर नियम लिखित हैं और माने जाते हैं खेल के संकेत देखे जाते हैं और मापन समायोजित होते हैं मापन की संस्कृति संगठन भर में साझा है
उपयोगकर्ता और स्वास्थ्य मापन उपयोगकर्ता या कर्मचारी डेटा कम कुछ सर्वेक्षण या भार डेटा छोटे उपयोगकर्ता सर्वेक्षण और स्थिरता मापन नियमित हैं नतीजे नियोजित कार्रवाई की ओर ले जाते हैं और जाँचे जाते हैं उपयोगकर्ता और कर्मचारी आवाज़ें सेवाओं में प्राथमिकताएँ गढ़ती हैं

जाँच-सूची

  • हम जो हर मापन रिपोर्ट करते हैं उसका कथित निर्णय है जिसे वह जानकारी देता है।
  • हम छोटा संतुलित समूह उपयोग करते हैं जिसमें नतीजे, प्रवाह, सेवा स्तर, डिलीवरी और स्वास्थ्य मापन हैं।
  • हर मापन की लिखित परिभाषा और स्रोत है।
  • टीमों की तुलना उनके अपने इतिहास से होती है, उन्हें क्रम नहीं दिया जाता।
  • हमने लिखा है कि मापन किसके लिए उपयोग नहीं होंगे।
  • समय मापन वितरण या पर्सेंटाइल दिखाते हैं।
  • उपयोगकर्ताओं से नियमित रूप से टिप्पणियों की गुंजाइश के साथ छोटा प्रश्न पूछा जाता है, और उत्तर पढ़े जाते हैं।
  • यदि हम OKR उपयोग करते हैं, तो वे टीम या संगठन स्तर पर हैं, व्यक्तिगत लक्ष्य नहीं।
  • जहाँ संभव हो, डेटा काम के उप-उत्पाद के रूप में औज़ारों से लिया जाता है।
  • हम स्वयं मापनों की समीक्षा कम से कम साल में एक बार करते हैं।

AI प्रॉम्प्ट

उद्देश्य: किसी सेवा के लिए मापनों का संतुलित समूह चुनना।

[सेवा] के लिए मापनों का छोटा संतुलित समूह चुनने में मेरी मदद करें।

सेवा क्या करती है और कौन उपयोग करता है: [वर्णन करें]।
अगली तिमाही में टीम और उसके स्वामी को जो निर्णय लेने हैं: [सूची दें]।
हमारे पास पहले से डेटा: [औज़ार और रिकॉर्ड सूचीबद्ध करें]।
मापन जो हम अभी रिपोर्ट करते हैं: [सूची दें]।

नतीजे, प्रवाह, डिलीवरी प्रदर्शन, सेवा स्तर और स्वास्थ्य में पाँच से आठ मापन प्रस्तावित करें (उदाहरण के लिए कार्य मद की आयु, परिवर्तन लीड टाइम, उपलब्धता संकेतक, पेजर भार, और छोटा संतुष्टि प्रश्न)। हर एक के लिए बताएँ कि वह किस निर्णय को जानकारी देता है, उसे कौन-सा डेटा चाहिए, और उसके साथ खेल कैसे हो सकता है। लक्ष्य न तय करें। पहले स्पष्टीकरण प्रश्न पूछें, मान्यताएँ चिह्नित करें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।

उद्देश्य: यह खोजना कि मापन के साथ खेल कैसे हो सकता है।

यहाँ वह मापन है जो हम उपयोग करते हैं और वह कैसे उपयोग होता है: [मापन, उसकी परिभाषा, और कौन उसे देखता है या उसके लिए पुरस्कृत होता है, इसका वर्णन करें]।

केवल वर्णन का उपयोग करके उन तरीक़ों की सूची बनाएँ जिनसे लोग अंतर्निहित कार्य सुधारे बिना संख्या सुधारने के लिए अपना व्यवहार बदल सकते हैं। हर विकृति को उजागर करने वाला जोड़ीदार मापन और टीम से पूछने का प्रश्न सुझाएँ। किसी पर आरोप न लगाएँ। जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।

उद्देश्य: सेवा टीम के लिए OKR को कार्यों में बदले बिना लिखना।

अगली तिमाही के लिए [टीम] के OKR का मसौदा बनाने में मेरी मदद करें।

संदर्भ: [सेवा और उपयोगकर्ताओं की मुख्य समस्या का वर्णन करें]।
उपयोगकर्ताओं के लिए नतीजे जो हम चाहते हैं: [सूची दें]।
मापन जो हम पहले से जुटाते हैं: [सूची दें]।
अतीत में लक्ष्यों के साथ जो जोखिम हमने देखे: [उदाहरण के लिए खेल, या कार्य सूचियाँ]।

दो या तीन उद्देश्यों का मसौदा बनाएँ, हर एक के तीन से पाँच प्रमुख परिणामों के साथ जो मापने योग्य नतीजे हों (कार्य नहीं), केवल उन मापनों का उपयोग करके जो हम जुटा सकते हैं, और लक्ष्य मान [टीम के साथ तय होना है] छोड़ें। हर प्रमुख परिणाम के लिए डेटा स्रोत और संभावित विकृति का नाम दें। व्यक्तिगत OKR न बनाएँ। पहले स्पष्टीकरण प्रश्न पूछें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।

उद्देश्य: मुक्त-पाठ सर्वेक्षण टिप्पणियों का विश्लेषण करना।

यहाँ हमारे नवीनतम उपयोगकर्ता सर्वेक्षण की मुक्त-पाठ टिप्पणियाँ हैं: [गुमनाम टिप्पणियाँ चिपकाएँ]।

केवल वे जो कहती हैं उसके आधार पर टिप्पणियों को विषयों में समूहित करें। हर विषय के लिए नाम, मेरी सूची से टिप्पणियों की संख्या, दो छोटे उदाहरण उद्धरण, और टीम के लिए प्रश्न दें। उन विषयों को उभारें जो सकारात्मक और नकारात्मक दोनों टिप्पणियों में दिखते हैं। पाठ से आगे जनसांख्यिकी या भावना का अनुमान न लगाएँ। यदि नमूना छोटा है, तो कहें। जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।

AI कौशल

  • software-engineering-metrics: डिलीवरी और सेवा प्रदर्शन के मापन चुनने और समझने के लिए उपयोग करें।
  • key-risk-indicators: सेवा के जोखिमों के लिए पूर्व-चेतावनी मापन चुनने के लिए उपयोग करें।
  • survey-design: ऐसे छोटे उपयोगकर्ता और कर्मचारी सर्वेक्षण डिज़ाइन करने के लिए उपयोग करें जो उपयोगी उत्तर दें।
  • getting-feedback: उपयोगकर्ताओं और सहकर्मियों से प्रतिक्रिया जुटाने और उसका जवाब देने के लिए उपयोग करें।
  • feature-prioritization: नतीजों के मापनों को इससे जोड़ने के लिए उपयोग करें कि टीम आगे किस पर काम करती है।

(ये कौशल स्वयं अंग्रेज़ी में लिखे गए हैं।)

प्रमुख स्रोत

  • DORA के सॉफ़्टवेयर डिलीवरी प्रदर्शन मेट्रिक्स (dora.dev): पाँच मापनों की परिभाषाएँ और उनके उपयोग के बारे में सावधानियाँ।
  • गुडहार्ट का नियम (विकिपीडिया): उस सूक्ति का मूल और शब्दावली कि लक्ष्य के रूप में प्रयुक्त मापन अच्छा मापन नहीं रहता।
  • उद्देश्य और प्रमुख परिणाम (विकिपीडिया): फ़्रेमवर्क, उसके मूल, अंकन और आलोचनाएँ।
  • नेट प्रमोटर स्कोर (विकिपीडिया): एक संतुष्टि मापन की परिभाषा, उपयोग और आलोचनाएँ।

ये स्रोत अंग्रेज़ी में हैं।

संदर्भ

  1. DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
  2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  3. Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
  4. Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
  5. The Kanban Guide — John Coleman, Daniel Vacanti, and contributors, kanbanguides.org — https://kanbanguides.org/english/
  6. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  7. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
  9. Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction