เหตุใดเรื่องนี้จึงสำคัญ

ทีมต้องการตัวเลขเพื่อกำหนดทิศทาง หากไม่มี การตัดสินใจจะอิงความทรงจำ เสียงที่ดัง และผู้ที่พูดเป็นคนสุดท้าย ส่วนตัวเลขที่ผิดอาจทำให้การตัดสินใจแย่กว่าไม่มีเลย ทีมที่นับจำนวนตั๋วที่ปิดจะเรียนรู้ที่จะปิดตั๋วอย่างรวดเร็ว ไม่ว่าปัญหาของผู้ใช้จะได้รับการแก้ไขหรือไม่ การวัดผลมีพลัง และเปลี่ยนพฤติกรรมในแบบที่ผู้ออกแบบไม่ได้ตั้งใจเสมอไป

คู่มือนี้ใช้ตัวชี้วัดมาแล้วมากมาย ได้แก่ ตัวชี้วัดการส่งมอบซอฟต์แวร์ของ DORA (ดูหัวข้อ 3.4 — การสนับสนุนการเปลี่ยนแปลง) ตัวชี้วัดการไหลสี่ตัวของคู่มือ Kanban (ดูหัวข้อ 1.5 — คัมบัง) ตัวบ่งชี้และวัตถุประสงค์ระดับบริการ (ดูหัวข้อ 3.7 — การบริหารระดับบริการ) และภาระการถูกเรียก (pager load) (ดูหัวข้อ 3.10 — การเฝ้าติดตามและการบริหารเหตุการณ์) หัวข้อนี้นำสิ่งเหล่านั้นมารวมกัน เพิ่มการตั้งเป้าหมายด้วยวัตถุประสงค์และผลลัพธ์หลัก และตัวชี้วัดความพึงพอใจของลูกค้า และวางไว้เทียบกับคำเตือนที่เก่าแก่ที่สุดของสาขานี้ คือกฎของ Goodhart

บทความ Wikipedia เรื่อง Goodhart's law ให้สุภาษิตในรูปแบบที่ใช้กันทั่วไปว่า "When a measure becomes a target, it ceases to be a good measure" (เมื่อตัวชี้วัดกลายเป็นเป้าหมาย มันก็หมดคุณสมบัติเป็นตัวชี้วัดที่ดี) และยกเครดิตให้ Charles Goodhart นักเศรษฐศาสตร์ชาวอังกฤษ ซึ่งเขียนไว้ในบทความปี 1975 เกี่ยวกับนโยบายการเงินของสหราชอาณาจักรว่า ความสม่ำเสมอทางสถิติใดที่สังเกตได้มักพังทลายลงเมื่อมีการกดดันเพื่อใช้ควบคุม ถ้อยคำที่ใช้กันทั่วไปมีขึ้นภายหลัง และบทความระบุว่าเป็นของ Keith Hoskin (1996) และบทความของ Marilyn Strathern ปี 1997 ประเด็นนี้มีประวัติยาวนานในหลายสาขา และเป็นจุดเริ่มต้นที่เหมาะสมสำหรับหัวข้อนี้

แนวคิดหลัก

ตัวชี้วัด เป้าหมาย และกฎของ Goodhart

ตัวชี้วัด (measure) อธิบายบางสิ่ง เป้าหมาย (target) คือตัวเลขที่มีคนคาดหวังให้ทำให้ได้ การเปลี่ยนจากอย่างแรกเป็นอย่างหลังคือจุดที่ปัญหาเริ่มต้น เมื่อผู้คนได้รับรางวัลหรือถูกลงโทษตามตัวเลข พวกเขาจะหาวิธีขยับตัวเลขที่ไม่เหมือนกับการปรับปรุงสิ่งที่ตัวเลขนั้นอธิบาย บทความให้ตัวอย่างจากนโยบายการเงิน ระบบโรงเรียน และการดูแลสุขภาพ ในองค์กรบริการ ตัวอย่างที่เห็นง่าย ได้แก่ เวลาปิดตั๋วลดลงเพราะปิดตั๋วก่อนเวลา จำนวนการติดตั้งเพิ่มขึ้นเพราะแยกการเปลี่ยนแปลงออกเป็นชิ้นเล็ก และความพร้อมใช้งานดูเหมือนเพิ่มขึ้นเพราะจัดประเภทเหตุขัดข้องใหม่

ทางแก้ไม่ใช่การหลีกเลี่ยงการวัด แต่คือการวัดอย่างระมัดระวัง

  • ใช้ตัวชี้วัดหลายตัวที่ดึงสวนกัน เช่น ความเร็วและคุณภาพ
  • พูดคุยเรื่องตัวเลขกับผู้ที่ทำงานซึ่งตัวเลขเหล่านั้นอธิบาย
  • อย่าผูกรางวัลหรือการลงโทษรายบุคคลกับตัวเลขตัวเดียว
  • เปลี่ยนตัวชี้วัดเมื่อไม่ให้ข้อมูลที่เป็นประโยชน์อีกต่อไป

ประเภทของตัวชี้วัด

ประเภท คำถามที่ตอบ ตัวอย่าง
ผลลัพธ์ ผู้ใช้และธุรกิจดีขึ้นหรือไม่ ความพึงพอใจของผู้ใช้ ความสำเร็จของงาน รายได้ เหตุการณ์ขัดข้องที่สร้างความเสียหายต่อผู้ใช้
การไหล งานเคลื่อนไปได้ดีเพียงใด เวลาวงจร (cycle time) ปริมาณงานที่ทำเสร็จ (throughput) อายุของรายการงาน งานที่กำลังทำอยู่
ประสิทธิภาพการส่งมอบ การเปลี่ยนแปลงไปถึงระบบจริงได้ดีเพียงใด ระยะเวลานำของการเปลี่ยนแปลง ความถี่ในการติดตั้ง อัตราการเปลี่ยนแปลงที่ล้มเหลว เวลากู้คืน
ระดับบริการ บริการตอบสนองความต้องการของผู้ใช้หรือไม่ ความพร้อมใช้งาน ความหน่วง อัตราข้อผิดพลาด เทียบกับวัตถุประสงค์
สุขภาพและความยั่งยืน ทำต่อไปได้หรือไม่ ภาระการถูกเรียก งานซ้ำซาก (toil) การทำงานล่วงเวลา ความรู้สึกของพนักงาน
ต้นทุน ต้นทุนต่อหน่วยคุณค่าเป็นเท่าใด ต้นทุนต่อธุรกรรมหรือต่อผู้ใช้

ชุดตัวชี้วัดที่สมดุลดึงมาจากหลายแถว เพื่อไม่ให้การปรับปรุงตัวหนึ่งต้องแลกด้วยอีกตัวหนึ่ง

ตัวชี้วัด DORA

ตัวชี้วัดประสิทธิภาพการส่งมอบซอฟต์แวร์ของ DORA ได้แก่ ระยะเวลานำของการเปลี่ยนแปลง ความถี่ในการติดตั้ง เวลากู้คืนจากการติดตั้งที่ล้มเหลว อัตราการเปลี่ยนแปลงที่ล้มเหลว และอัตราการแก้ไขซ้ำหลังการติดตั้ง คู่มือ DORA เรื่องตัวชี้วัดกล่าวว่าความเร็วและความเสถียรไม่ใช่การแลกเปลี่ยนกัน เพราะตัวชี้วัดเหล่านี้สัมพันธ์กันสำหรับทีมส่วนใหญ่ คู่มือเตือนไม่ให้ตั้งเป็นเป้าหมาย ไม่ให้พึ่งตัวใดตัวหนึ่ง ไม่ให้เปรียบเทียบแอปพลิเคชันที่ต่างกันมาก และไม่ให้แข่งขันกับทีมอื่น และแนะนำให้ปรับปรุงเทียบกับผลงานในอดีตของตนเอง บทความ Wikipedia เรื่อง DevOps เพิ่มเติมว่าผู้เชี่ยวชาญบางคนวิจารณ์ระเบียบวิธีวิจัยและตัวชี้วัดของ DORA จึงควรถือว่าเป็นคำถามที่มีประโยชน์แต่มีข้อจำกัด (ดูหัวข้อ 5.2 — DevOps)

ตัวชี้วัดการไหล

คู่มือ Kanban กำหนดตัวชี้วัดสี่ตัว ได้แก่ งานที่กำลังทำอยู่ (work in progress) ปริมาณงานที่ทำเสร็จ (throughput) อายุของรายการงาน (work item age) และเวลาวงจร (cycle time) คู่มือระบุว่าทีมอาจเปลี่ยนชื่อและควรเพิ่มตัวอื่นตามต้องการ และกล่าวว่าตัวชี้วัดมีความสำคัญเฉพาะเมื่อให้ข้อมูลแก่แนวปฏิบัติในการกำหนดเวิร์กโฟลว์ การจัดการรายการในเวิร์กโฟลว์ และการปรับปรุง อายุของรายการงานมีประโยชน์เป็นพิเศษเพราะแสดงปัญหาในขณะที่ยังมีเวลาลงมือ (ดูหัวข้อ 5.4 — การบริหารสายธารคุณค่า)

ตัวชี้วัดระดับบริการ

ตัวบ่งชี้และวัตถุประสงค์ระดับบริการ (ดูหัวข้อ 3.7 — การบริหารระดับบริการ) ให้ภาพที่ตรงที่สุดของสิ่งที่ผู้ใช้ประสบ หนังสือ SRE เสนอให้เลือกตัวบ่งชี้ไม่กี่ตัวจากสิ่งที่ผู้ใช้ใส่ใจ ใช้เปอร์เซ็นไทล์ไม่ใช่เฉพาะค่าเฉลี่ย และตั้งวัตถุประสงค์ที่ไม่ใช่ความสมบูรณ์แบบ งบข้อผิดพลาด (error budget) เปลี่ยนช่องว่างนั้นให้เป็นกฎการตัดสินใจร่วม (ดูหัวข้อ 5.3 — วิศวกรรมความน่าเชื่อถือของไซต์)

วัตถุประสงค์และผลลัพธ์หลัก

วัตถุประสงค์และผลลัพธ์หลัก (Objectives and key results หรือ OKR) เป็นกรอบแนวทางการตั้งเป้าหมาย บทความ Wikipedia อธิบาย OKR ว่าเป็นวัตถุประสงค์ ซึ่งเป็นเป้าหมายที่สำคัญ เป็นรูปธรรม และกำหนดชัดเจน จับคู่กับผลลัพธ์หลักสามถึงห้าข้อ ซึ่งเป็นเกณฑ์ความสำเร็จที่วัดได้ บทความยกเครดิตให้ Andrew Grove ที่ทำให้แนวทางนี้เป็นที่นิยมที่ Intel ในทศวรรษ 1970 และบันทึกไว้ใน High Output Management (1983) และให้ John Doerr ที่นำเข้าสู่ Google ในปี 1999 บทความกล่าวว่า OKR ให้คะแนนตั้งแต่ 0.0 ถึง 1.0 ผลลัพธ์หลักที่ท้าทายตั้งเป้าที่ประมาณ 0.7 และ Doerr แนะนำอัตราความสำเร็จเป้าหมายราว 70 เปอร์เซ็นต์ ดังนั้นผลลัพธ์หลักที่บรรลุเสมอควรประเมินใหม่ บทความแนะนำให้หลีกเลี่ยงวัตถุประสงค์แบบงานประจำและเลือกตัวบ่งชี้นำ (leading indicator) มากกว่าตัวบ่งชี้ตาม (lagging indicator)

บทความยังบันทึกข้อวิจารณ์ว่า องค์กรส่วนใหญ่เลิกตั้ง OKR รายบุคคลแล้ว เพราะมักคล้ายรายการงานและกลืนไปกับการประเมินผลงาน และ OKR หลายระดับอาจสร้างแนวทางแบบน้ำตก บทความไม่ให้หลักฐานอิสระเรื่องประสิทธิผล และมีป้ายบำรุงรักษาเกี่ยวกับการพึ่งแหล่งข้อมูลที่ใกล้ชิดกับเรื่องที่เขียน สำหรับทีมบริการ OKR สามารถเชื่อมผลลัพธ์ (เช่น "ผู้ใช้ลงทะเบียนเสร็จโดยไม่ต้องขอความช่วยเหลือ") เข้ากับผลลัพธ์หลักที่วัดได้ ตราบเท่าที่ไม่ถูกเปลี่ยนเป็นเป้าหมายรายบุคคล

ความพึงพอใจของลูกค้า

การวัดสิ่งที่ผู้ใช้คิดเป็นเรื่องที่ทำได้ดียาก เครื่องมือทั่วไปคือ net promoter score (NPS) ตาม Wikipedia คะแนนนี้อิงคำถามเดียวว่าผู้ตอบมีแนวโน้มจะแนะนำบริษัท ผลิตภัณฑ์ หรือบริการมากเพียงใด โดยผู้สนับสนุน (promoter) ให้คะแนน 9 หรือ 10 ผู้เป็นกลาง (passive) ให้ 7 หรือ 8 และผู้ไม่สนับสนุน (detractor) ให้ 6 หรือต่ำกว่า คะแนนคือร้อยละของผู้สนับสนุนลบด้วยร้อยละของผู้ไม่สนับสนุน Fred Reichheld จาก Bain & Company ทำให้เป็นที่นิยมในบทความ Harvard Business Review ปี 2003 บทความบันทึกข้อจำกัดไว้ว่า นักวิชาการตั้งคำถามว่าคะแนนนี้ทำนายการเติบโตของบริษัทได้อย่างน่าเชื่อถือหรือไม่ คำถามข้อเดียวต้องการจำนวนคำตอบมาก ให้ข้อมูลเกี่ยวกับปัญหาเฉพาะน้อย การสำรวจมากเกินไปทำให้เกิดข้อร้องเรียน และการผูกกับค่าตอบแทนอาจบิดเบือนพฤติกรรม Reichheld จึงแนะนำให้แยกสองสิ่งนี้ออกจากกัน มีเครื่องมืออื่น เช่น คะแนนความพึงพอใจของลูกค้าและคะแนนความพยายามของลูกค้า แต่บทความไม่ได้กล่าวถึง

ไม่ว่าจะใช้เครื่องมือใด ให้ถามคำถามสั้นๆ เปิดให้ตอบเป็นข้อความอิสระเสมอ อ่านความคิดเห็น และติดตามสิ่งที่ได้เรียนรู้

การวัดผู้คนและความยั่งยืน

ตัวชี้วัดภาระงานและสุขภาพของพนักงาน เช่น ภาระการถูกเรียก งานซ้ำซาก การทำงานล่วงเวลา และความรู้สึก เป็นตัวชี้วัดความยั่งยืนของบริการ (ดูหัวข้อ 5.3 — วิศวกรรมความน่าเชื่อถือของไซต์) ให้ปฏิบัติต่อสิ่งเหล่านี้เป็นข้อมูลเกี่ยวกับระบบ ไม่ใช่ตัวชี้วัดผลงานของแต่ละบุคคล

การวัดปัญญาประดิษฐ์และระบบอัตโนมัติ

เมื่อนำขั้นตอนอัตโนมัติหรือที่ AI ช่วยมาใช้ ให้เพิ่มตัวชี้วัดคุณภาพของขั้นตอนนั้น ได้แก่ มนุษย์แก้ทับบ่อยเพียงใด ผิดบ่อยเพียงใด และมีต้นทุนเท่าใด (ดูหัวข้อ 6.2 — ปัญญาประดิษฐ์ในการบริหารบริการไอที)

ข้อจำกัด

ตัวชี้วัดเป็นเพียงบางส่วน ตัวชี้วัดละเลยสิ่งที่นับยาก เช่น ความไว้วางใจ ฝีมือช่าง และวิจารณญาณ ตัวชี้วัดอาจทำให้เข้าใจผิดเมื่อข้อมูลไม่ครบหรือคำนิยามต่างกันระหว่างทีม บทความที่อ่านที่นี่ให้หลักฐานเชิงประจักษ์น้อยว่าโครงการวัดผลช่วยปรับปรุงผลลัพธ์หรือไม่ ให้ปฏิบัติต่อโครงการใดๆ เป็นการทดลอง และทบทวนมัน

แนวปฏิบัติที่ดี

  1. เริ่มจากคำถาม ถามว่าตัวชี้วัดจะให้ข้อมูลแก่การตัดสินใจใด และใครจะลงมือทำ หากไม่มีใคร ก็อย่าเก็บ
  2. เลือกชุดที่สมดุลขนาดเล็ก เลือกตัวชี้วัดไม่กี่ตัวครอบคลุมผลลัพธ์ การไหล การส่งมอบ ระดับบริการ และสุขภาพ ตรวจสอบให้แน่ใจว่าบางตัวดึงสวนกัน
  3. กำหนดตัวชี้วัดแต่ละตัวอย่างแม่นยำ เขียนว่านับอะไร จากที่ใด และยกเว้นอะไร สองทีมที่ใช้คำเดียวกันสำหรับสิ่งต่างกันจะได้ตัวเลขที่เปรียบเทียบกันไม่ได้
  4. วัดต่อบริการหรือต่อทีม และเปรียบเทียบกับอดีตของตนเอง หลีกเลี่ยงการจัดอันดับทีม DORA แนะนำให้ปรับปรุงเทียบกับผลงานในอดีตของตนเองและระวังเมื่อเปรียบเทียบแอปพลิเคชันที่ต่างกัน
  5. อย่าทำให้ตัวเลขตัวเดียวเป็นเป้าหมาย ใช้ตัวชี้วัดเป็นประเด็นสำหรับพูดคุย และตั้งเป้าหมายเป็นผลลัพธ์ เมื่อตัวชี้วัดเป็นเป้าหมาย ให้เฝ้าระวังการเล่นเกมกับตัวเลข (ดูกฎของ Goodhart)
  6. จับคู่ตัวเลขกับเรื่องราว สำหรับแนวโน้มใดๆ ให้ดูกรณีจริงสองสามกรณี ตัวเลขบอกว่าควรมองที่ใด กรณีบอกว่าเพราะเหตุใด
  7. ดูการกระจาย ใช้เปอร์เซ็นไทล์และช่วง ไม่ใช่แค่ค่าเฉลี่ย สำหรับตัวชี้วัดเวลาและขนาด
  8. เลือกตัวบ่งชี้นำเมื่อทำได้ ตัวชี้วัดอย่างอายุของรายการงานแสดงปัญหาก่อนที่จะเกิดขึ้น ต่างจากตัวชี้วัดผลลัพธ์ในอดีต
  9. ตั้งเป้าหมายด้วยวัตถุประสงค์และผลลัพธ์หลักอย่างระมัดระวัง หากใช้ OKR ให้อยู่ที่ระดับทีมและองค์กร หลีกเลี่ยงวัตถุประสงค์แบบงานประจำ และถือว่าผลลัพธ์ที่บรรลุเสมอเป็นสัญญาณให้ตั้งเป้าสูงขึ้น
  10. ถามผู้ใช้สั้นๆ และบ่อยๆ ใช้คำถามสั้นพร้อมข้อความอิสระ อ่านความคิดเห็น และตอบกลับ อย่าผูกคะแนนการสำรวจกับค่าตอบแทนรายบุคคล
  11. ระวังต้นทุนของการวัด เลือกข้อมูลที่เครื่องมือสร้างเป็นผลพลอยได้จากงาน เลิกการรายงานด้วยมือที่ไม่มีใครใช้
  12. ทบทวนตัวชี้วัดเอง ปีละหนึ่งหรือสองครั้ง ถามว่าตัวชี้วัดใดนำไปสู่การตัดสินใจและตัวใดไม่ แล้วเลิกใช้ตัวหลัง

คำถามสำหรับพูดคุยกับทีมของคุณ

ตัวชี้วัดใดของเรานำไปสู่การตัดสินใจในหกเดือนที่ผ่านมา

ทำรายการตัวชี้วัดและขอการตัดสินใจที่เชื่อมโยงกับแต่ละตัว ตัวชี้วัดที่ไม่มีความเชื่อมโยงเป็นผู้สมัครที่จะถูกเลิกใช้ ผู้อำนวยการกระบวนการอาจถามว่าผู้คนไว้ใจตัวชี้วัดใดน้อยที่สุดและเพราะเหตุใด เลิกใช้หรือแก้ไขหนึ่งตัว

พฤติกรรมของเราเปลี่ยนไปอย่างไรเมื่อตัวเลขเป็นเป้าหมาย

ขอตัวอย่างล่าสุดที่ตัวเลขเป็นเป้าหมาย ซักไซ้ว่าผู้คนทำอะไรเพื่อให้ถึงตัวเลขนั้น สุภาษิตของ Goodhart เป็นกรอบ ถามว่าตัวชี้วัดที่ดีกว่าหรือการจับคู่ตัวชี้วัดจะเป็นอย่างไร ตกลงกันเปลี่ยนหนึ่งอย่าง

เราวัดความเร็วและคุณภาพไปด้วยกันหรือไม่

ทำรายการตัวชี้วัดความเร็วและตัวชี้วัดคุณภาพ หากรายการเอียงข้าง ให้พูดคุยผลกระทบ เช่น การวัดเวลาปิดตั๋วโดยไม่วัดการติดต่อซ้ำเชิญชวนให้ปิดก่อนเวลา เลือกการจับคู่หนึ่งคู่

ผู้ใช้บอกเราอย่างไรว่าเป็นไปอย่างไรบ้าง และเราถามอย่างไร

ดูคำถามที่คุณถามผู้ใช้และความถี่ อ่านคำตอบแบบข้อความอิสระบางส่วนออกเสียง ถามว่าอะไรเปลี่ยนไปเพราะคำตอบเหล่านั้น ตกลงคำถามสั้นหนึ่งข้อเพื่อลอง

ตัวชี้วัดใดของเราอาจถูกใช้ตัดสินบุคคล และเราควรทำอย่างไร

ระบุตัวชี้วัดที่ผู้คนอาจกลัว พูดคุยความเสี่ยงและตกลงกฎที่ชัดเจนว่าตัวเลขจะไม่ถูกใช้เพื่ออะไร เขียนไว้

ถ้าเก็บตัวชี้วัดได้เพียงห้าตัว เราจะเก็บตัวใด

ให้แต่ละคนเลือกห้าตัวแล้วเปรียบเทียบ ส่วนที่ซ้อนกันแสดงแกนหลัก ส่วนที่ต่างกันแสดงความต้องการที่ต่างกัน ผลลัพธ์คือชุดตั้งต้น ตรวจสอบว่าครอบคลุมผลลัพธ์ การไหล ระดับบริการ และสุขภาพ

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบเอไจล์

กลุ่มไอทีของการรถไฟแห่งชาติแห่งหนึ่งดำเนินระบบเบื้องหลังข้อมูลผู้โดยสาร กลุ่มรายงานแดชบอร์ดตัวชี้วัด 40 ตัวให้ทีมผู้บริหารทุกเดือน มีคนอ่านน้อย และตัวชี้วัดสองตัวครอบงำการสนทนา ได้แก่ จำนวนเหตุการณ์ขัดข้องที่ปิดภายในเวลาเป้าหมายและจำนวนการปล่อยรุ่นต่อไตรมาส ทีมเหตุการณ์ขัดข้องเรียนรู้ที่จะปิดเหตุการณ์อย่างรวดเร็วแล้วเปิดเหตุการณ์ใหม่สำหรับข้อบกพร่องเดิม และทีมส่งมอบหลายทีมแยกงานเป็นการปล่อยรุ่นเล็กน้อยเพื่อให้ได้จำนวน

หัวหน้ากลุ่มไอทีขอให้ทีมเล็กทีมหนึ่งสร้างตัวชี้วัดใหม่ พวกเขาเริ่มด้วยการถามว่าแดชบอร์ดควรให้ข้อมูลแก่การตัดสินใจใด สำหรับแต่ละบริการ พวกเขาเลือกตัวชี้วัดไม่กี่ตัว ได้แก่ ตัวบ่งชี้และวัตถุประสงค์ระดับบริการที่ผู้ใช้เห็นได้ ระยะเวลานำของการเปลี่ยนแปลงและอัตราการเปลี่ยนแปลงที่ล้มเหลว อายุของรายการปัญหาที่ยังเปิดอยู่ ภาระการถูกเรียกต่อวิศวกร และการสำรวจความพึงพอใจรายเดือนหนึ่งคำถามของพนักงานสถานีพร้อมช่องข้อความอิสระ ตัวเลขนับแบบเก่าถูกเลิกใช้ ทีมผู้บริหารตกลงว่าจะไม่ใช้ตัวชี้วัดใดจัดอันดับทีมหรือกำหนดโบนัสรายบุคคล และหัวหน้าไอทีเขียนข้อนี้เป็นกฎไว้บนแดชบอร์ด ทีมถูกขอให้ตั้งเป้าหมายการปรับปรุงสำหรับบริการที่ตนเป็นเจ้าของเป็นวัตถุประสงค์พร้อมผลลัพธ์หลัก ในระดับทีมเท่านั้น

หลังหนึ่งปี แดชบอร์ดเหลือตัวชี้วัดสิบสองตัว และการทบทวนรายเดือนกลายเป็นการสนทนาเรื่องปัญหาที่เปิดค้างนานที่สุดและความคิดเห็นแบบข้อความอิสระ เหตุการณ์ขัดข้องซ้ำลดลง และการปล่อยรุ่นมีความหมายมากขึ้น ยังเหลือความยากลำบากบางประการ การสำรวจความพึงพอใจได้รับคำตอบน้อยจากพนักงานกะกลางคืน ระยะเวลานำของทีมหนึ่งดูแย่เพราะเป็นทีมเดียวที่นับเวลาจากแนวคิดไม่ใช่จากการคอมมิต และผู้จัดการคนหนึ่งเริ่มอ้างคะแนนการสำรวจในการประเมินผลงาน หัวหน้าไอทีขอให้ทีมจัดคำนิยามให้ตรงกัน เตือนผู้จัดการถึงกฎ และจัดการสำรวจสั้นๆ ในช่วงส่งมอบกะกลางคืน

สี่มุมมอง

ทีมผลิตภัณฑ์และทีมส่งมอบ

ทีมส่งมอบควรเลือกตัวชี้วัดที่ช่วยให้กำหนดทิศทางได้ ดึงตัวเลขจากเครื่องมือของตน และพูดคุยในการทบทวนย้อนหลัง จับตาตัวชี้วัดที่ให้รางวัลกับการแยกงานหรือซ่อนความล้มเหลว แบ่งปันสิ่งที่เรียนรู้กับทีมอื่น

ทีมบริการและทีมปฏิบัติการ

ทีมปฏิบัติการแบกตัวชี้วัดระดับบริการและสุขภาพจำนวนมาก รักษาคำนิยามให้ชัดเจนและข้อมูลให้เชื่อถือได้ รวมภาระการถูกเรียกและงานซ้ำซาก และนำเสนอตัวเลขพร้อมกรณีและคำอธิบาย คัดค้านเมื่อตัวชี้วัดถูกใช้เป็นเป้าหมาย

ภาวะผู้นำและธรรมาภิบาล

ผู้นำกำหนดวัฒนธรรมการวัดผล บอกว่าตัวเลขจะและจะไม่ถูกใช้เพื่ออะไร ขอแนวโน้มและเรื่องราวไม่ใช่ตารางลีก และต้านทานการเพิ่มตัวชี้วัดสำหรับทุกความกังวลใหม่ ทบทวนทั้งชุดเป็นครั้งคราว

ลูกค้าและผู้ใช้

ลูกค้าและผู้ใช้เป็นทั้งแหล่งของตัวชี้วัดและเป็นหัวข้อของตัวชี้วัด ตอบแบบสำรวจสั้นๆ เมื่อทำได้ และบอกว่าอะไรสำคัญ ถามผู้ให้บริการว่าวัดอะไรเกี่ยวกับประสบการณ์ของคุณและทำอะไรกับผลลัพธ์

รูปแบบความล้มเหลวที่พบบ่อย

  • ตัวชี้วัดเป็นเป้าหมาย การเล่นเกมกับตัวเลขตามมา ให้ใช้ตัวชี้วัดเพื่อพูดคุยและตั้งเป้าหมายเป็นผลลัพธ์แทน
  • ตัวเลขเดียว ตัวชี้วัดเดียวบิดเบือนพฤติกรรม ให้ใช้ชุดที่สมดุลซึ่งดึงสวนกันเองแทน
  • คำนิยามไม่สอดคล้อง ทีมนับต่างกัน ให้กำหนดตัวชี้วัดแต่ละตัวและแหล่งที่มาแทน
  • ตารางลีก ทีมแข่งขันกันและซ่อนปัญหา ให้เปรียบเทียบแต่ละทีมกับประวัติของตนเองแทน
  • ใช้เฉพาะค่าเฉลี่ย หางยาวถูกซ่อน ให้ดูการกระจายและเปอร์เซ็นไทล์แทน
  • วัดสิ่งที่ง่าย ตัวเลขที่สะดวกมาแทนที่ตัวเลขที่สำคัญ ให้เริ่มจากการตัดสินใจและผลลัพธ์ของผู้ใช้แทน
  • OKR รายบุคคลที่เป็นรายการงาน เป้าหมายกลายเป็นการประเมินผลงาน ให้คง OKR ไว้ที่ระดับทีมและองค์กรแทน
  • ความเหนื่อยล้าจากแบบสำรวจและการผูกกับค่าตอบแทน ผู้ใช้หยุดตอบ หรือคะแนนถูกบิดเบือน ให้ทำแบบสำรวจให้สั้นและแยกจากค่าตอบแทนแทน

แบบจำลองความเป็นผู้ใหญ่

มิติ เริ่มต้น พัฒนา สร้างมาตรฐาน บริหารจัดการ ประสานกลมกลืน
การเลือกและการกำหนดคำนิยาม ตัวชี้วัดเป็นแบบเฉพาะกิจ บางทีมกำหนดตัวชี้วัดไม่กี่ตัว ใช้ชุดที่สมดุลพร้อมคำนิยามชัดเจนต่อบริการ ทบทวนชุดเพื่อดูประโยชน์และช่องว่าง ตัวชี้วัดสอดคล้องกันข้ามทีม ผู้ส่งมอบ และลูกค้า
การใช้ในการตัดสินใจ รายงานตัวเลขแต่แทบไม่ได้ใช้ บางทีมพูดคุยในการทบทวน ตัวชี้วัดป้อนเข้าการตัดสินใจและการปรับปรุงสม่ำเสมอ ติดตามและเรียนรู้จากการตัดสินใจที่เชื่อมกับตัวชี้วัด ตัวชี้วัดนำการตัดสินใจทั่วทั้งองค์กร
การป้องกันการเล่นเกมกับตัวเลข ตั้งเป้าหมายบนตัวเลขเดี่ยว ตระหนักถึงการบิดเบือนบ้าง เขียนและปฏิบัติตามกฎเรื่องวิธีใช้ตัวชี้วัด เฝ้าติดตามสัญญาณการเล่นเกมและปรับตัวชี้วัด วัฒนธรรมการวัดผลถูกแบ่งปันทั่วทั้งองค์กร
ตัวชี้วัดผู้ใช้และสุขภาพ มีข้อมูลผู้ใช้หรือพนักงานน้อย มีแบบสำรวจหรือข้อมูลภาระงานบ้าง แบบสำรวจผู้ใช้สั้นๆ และตัวชี้วัดความยั่งยืนเป็นกิจวัตร ผลลัพธ์นำไปสู่การลงมือทำตามแผนและมีการตรวจสอบ เสียงของผู้ใช้และพนักงานกำหนดลำดับความสำคัญข้ามบริการ

รายการตรวจสอบ

  • ตัวชี้วัดแต่ละตัวที่เรารายงานมีการตัดสินใจที่ระบุไว้ซึ่งตัวชี้วัดนั้นให้ข้อมูล
  • เราใช้ชุดที่สมดุลขนาดเล็กซึ่งรวมตัวชี้วัดผลลัพธ์ การไหล ระดับบริการ การส่งมอบ และสุขภาพ
  • ตัวชี้วัดแต่ละตัวมีคำนิยามและแหล่งที่มาเป็นลายลักษณ์อักษร
  • ทีมถูกเปรียบเทียบกับประวัติของตนเอง ไม่ถูกจัดอันดับ
  • เราเขียนไว้ว่าตัวชี้วัดจะไม่ถูกใช้เพื่ออะไร
  • ตัวชี้วัดเวลาแสดงการกระจายหรือเปอร์เซ็นไทล์
  • ผู้ใช้ถูกถามคำถามสั้นๆ สม่ำเสมอพร้อมที่ว่างสำหรับความคิดเห็น และมีการอ่านคำตอบ
  • หากเราใช้ OKR จะอยู่ที่ระดับทีมหรือองค์กร ไม่ใช่เป้าหมายรายบุคคล
  • ข้อมูลถูกดึงจากเครื่องมือเป็นผลพลอยได้จากงานเท่าที่ทำได้
  • เราทบทวนตัวชี้วัดเองอย่างน้อยปีละครั้ง

พรอมต์ปัญญาประดิษฐ์

วัตถุประสงค์: เลือกชุดตัวชี้วัดที่สมดุลสำหรับบริการ

Help me choose a small balanced set of measures for [service].

What the service does and who uses it: [describe].
Decisions the team and its owner need to make in the next quarter: [list].
Data we already have: [list tools and records].
Measures we currently report: [list].

Propose five to eight measures across outcome, flow, delivery performance, service level, and health (for example work item age, change lead time, an availability indicator, pager load, and a short satisfaction question). For each, say what decision it informs, what data it needs, and one way it could be gamed. Do not set targets. Ask clarifying questions first, mark assumptions, and list what you are unsure of.

วัตถุประสงค์: ค้นหาว่าตัวชี้วัดอาจถูกเล่นเกมได้อย่างไร

Here is a measure we use and how it is used: [describe the measure, its definition, and who sees it or is rewarded for it].

List ways people might change their behavior to improve the number without improving the underlying work, using only the description. Suggest a paired measure that would reveal each distortion and a question to ask the team. Do not accuse anyone. List what you are unsure of.

วัตถุประสงค์: เขียน OKR สำหรับทีมบริการโดยไม่ให้กลายเป็นรายการงาน

Help me draft OKRs for [team] for the next quarter.

Context: [describe the service and the main problem users face].
Outcomes we want for users: [list].
Measures we already collect: [list].
Risks we have seen with goals in the past: [for example, gaming or task lists].

Draft two or three objectives, each with three to five key results that are measurable outcomes (not tasks), using only measures we can collect, and leave target values as [to be agreed with the team]. For each key result, name the data source and a possible distortion. Do not set individual OKRs. Ask clarifying questions first, and list what you are unsure of.

วัตถุประสงค์: วิเคราะห์ความคิดเห็นแบบข้อความอิสระจากแบบสำรวจ

Here are free-text comments from our latest user survey: [paste anonymized comments].

Group the comments into themes based only on what they say. For each theme, give a name, the number of comments from my list, two short example quotes, and a question for the team. Highlight themes that appear in both positive and negative comments. Do not infer demographics or sentiment beyond the text. If the sample is small, say so. List what you are unsure of.

ทักษะปัญญาประดิษฐ์

  • software-engineering-metrics: ใช้เพื่อเลือกและตีความตัวชี้วัดประสิทธิภาพการส่งมอบและบริการ
  • key-risk-indicators: ใช้เพื่อเลือกตัวชี้วัดเตือนภัยล่วงหน้าสำหรับความเสี่ยงต่อบริการ
  • survey-design: ใช้เพื่อออกแบบแบบสำรวจสั้นๆ สำหรับผู้ใช้และพนักงานที่ให้คำตอบที่ใช้งานได้
  • getting-feedback: ใช้เพื่อเก็บและตอบสนองต่อข้อเสนอแนะจากผู้ใช้และเพื่อนร่วมงาน
  • feature-prioritization: ใช้เพื่อเชื่อมตัวชี้วัดผลลัพธ์กับสิ่งที่ทีมจะทำต่อไป

แหล่งอ้างอิงหลัก

  • DORA's software delivery performance metrics (dora.dev): คำนิยามของตัวชี้วัดห้าตัวและข้อควรระวังในการใช้
  • Goodhart's law (Wikipedia): ที่มาและถ้อยคำของสุภาษิตว่าตัวชี้วัดที่ใช้เป็นเป้าหมายจะหมดคุณสมบัติเป็นตัวชี้วัดที่ดี
  • Objectives and key results (Wikipedia): กรอบแนวทาง ที่มา การให้คะแนน และข้อวิจารณ์
  • Net promoter score (Wikipedia): คำนิยาม การใช้งาน และข้อวิจารณ์ของตัวชี้วัดความพึงพอใจหนึ่งตัว

เอกสารอ้างอิง

  1. DORA's software delivery performance metrics — DORA, dora.dev — https://dora.dev/guides/dora-metrics-four-keys/
  2. Goodhart's law — Wikipedia — https://en.wikipedia.org/wiki/Goodhart%27s_law
  3. Objectives and key results — Wikipedia — https://en.wikipedia.org/wiki/Objectives_and_key_results
  4. Net promoter score — Wikipedia — https://en.wikipedia.org/wiki/Net_promoter_score
  5. The Kanban Guide — John Coleman, Daniel Vacanti, and contributors, kanbanguides.org — https://kanbanguides.org/english/
  6. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  7. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  8. Performance indicator — Wikipedia — https://en.wikipedia.org/wiki/Performance_indicator
  9. Customer satisfaction — Wikipedia — https://en.wikipedia.org/wiki/Customer_satisfaction

คู่มือ ITIL แบบเอไจล์ — การบริหารบริการไอทีแบบเอไจล์

ซอร์สโค้ดและการมีส่วนร่วม: github.com/agile-itil. สร้างด้วย: Lily Design System™.

นำโดย: Joel Parker Henderson.