เหตุใดเรื่องนี้จึงสำคัญ

ทีมที่จัดการเหตุการณ์ขัดข้องได้ดีแต่ไม่เคยขจัดสาเหตุของมันกำลังวิ่งอยู่บนลู่วิ่ง การล่มแต่ละครั้งถูกซ่อม ข้อบกพร่องเดิมกลับมา และวิศวกรเข้าเวรเหนื่อยล้า การบริหารปัญหาคือแนวปฏิบัติที่ก้าวลงจากลู่วิ่ง โดยถามว่าเหตุการณ์ขัดข้องเกิดขึ้นเพราะอะไร จะเกิดอีกหรือไม่ และอะไรจะหยุดมันได้

ทีมเอไจล์อยู่ในฐานะที่ดีที่จะทำเช่นนี้ พวกเขามีแบ็กล็อกที่การแก้ไขแข่งขันกับฟีเจอร์ได้ ทำงานเป็นวงจรสั้นที่ทำให้การแก้ไขเล็กๆ ถูก และมีการย้อนทบทวนที่สังเกตรูปแบบได้ สิ่งที่มักขาดคือนิสัยเชื่อมเหตุการณ์ขัดข้องเข้าด้วยกันและวินัยในการค้นหาสาเหตุอย่างเหมาะสม การบริหารปัญหามีให้ทั้งสองอย่าง

บทความ Wikipedia เรื่อง root cause analysis เป็นแหล่งหลักที่อ่านสำหรับหัวข้อนี้ เพราะ Wikipedia ภาษาอังกฤษไม่มีบทความชื่อ "Problem management" ที่ที่อยู่ซึ่งตรวจสอบ บทความนั้นอธิบายการวิเคราะห์สาเหตุรากเหง้า (root cause analysis หรือ RCA) ว่าเป็นวิธีแก้ปัญหาที่ใช้ในงานปฏิบัติการไอทีและสาขาอื่น และมีป้ายกำกับการบำรุงรักษาเรื่องการอ้างอิงที่ขาด คำศัพท์ของ ITIL ที่ใช้ที่นี่ เช่น ข้อผิดพลาดที่ทราบ (known error) และวิธีแก้ชั่วคราว (workaround) มาจากคำอธิบายแนวปฏิบัติที่เผยแพร่กว้างขวาง ซึ่งคู่มือนี้ยืนยันกับข้อความของเจ้าของกรอบแนวทางไม่ได้ อ่านสิ่งพิมพ์ปัจจุบันของเจ้าของเมื่อต้องการนิยามที่แน่นอน (ดูหัวข้อ 2.2 — ITIL)

แนวคิดหลัก

เหตุการณ์ขัดข้อง ปัญหา ข้อผิดพลาดที่ทราบ

สามคำนี้ถูกใช้ร่วมกันและความแตกต่างสำคัญ

คำ ความหมายตามที่ใช้กว้างขวางใน ITSM ตัวอย่าง
เหตุการณ์ขัดข้อง (Incident) การหยุดชะงักที่ไม่ได้วางแผนของบริการหรือการลดลงของคุณภาพ หน้าจองใช้ไม่ได้ยี่สิบนาที
ปัญหา (Problem) สาเหตุเบื้องหลัง หรือสาเหตุที่สงสัย ของเหตุการณ์ขัดข้องหนึ่งหรือหลายเหตุการณ์ หน่วยความจำรั่วในบริการจอง
ข้อผิดพลาดที่ทราบ (Known error) ปัญหาที่ระบุสาเหตุได้แล้ว โดยทั่วไปมีวิธีแก้ชั่วคราวบันทึกไว้ เข้าใจหน่วยความจำรั่ว การรีสตาร์ตบริการทุกคืนป้องกันการล่มจนกว่าจะแก้ไข

วิธีแก้ชั่วคราว (workaround) คือวิธีลดหรือเลี่ยงผลกระทบของเหตุการณ์ขัดข้องหรือปัญหาโดยไม่ขจัดสาเหตุ การบริหารปัญหาเกี่ยวกับการขจัดสาเหตุ และการบริหารเหตุการณ์ขัดข้องเกี่ยวกับการกู้คืนบริการ (ดูหัวข้อ 3.2 — การบริหารเหตุการณ์ขัดข้อง)

เชิงรับและเชิงรุก

บทความเรื่อง root cause analysis แยกแนวทางเชิงรับและเชิงรุกในเชิงทั่วไป งานเชิงรับจัดการอาการอย่างรวดเร็ว งานเชิงรุกมุ่งป้องกันปัญหาและให้ความแม่นยำของการวินิจฉัยมาก่อนความเร็ว ในการปฏิบัติ ITSM มีทั้งสอง การบริหารปัญหาเชิงรับสืบสวนปัญหาหลังเหตุการณ์ขัดข้อง และการบริหารปัญหาเชิงรุกมองหารูปแบบและจุดอ่อนก่อนที่จะก่อให้เกิดเหตุการณ์ขัดข้อง

สาเหตุรากเหง้าคืออะไร

บทความนิยามสาเหตุรากเหง้าด้วยการทดสอบเชิงปฏิบัติ คือปัจจัยหนึ่งเป็นสาเหตุรากเหง้าของปัญหาหากการขจัดมันป้องกันไม่ให้ปัญหาเกิดซ้ำ บทความแยกสาเหตุรากเหง้าออกจากปัจจัยเหตุอื่น นี่เป็นกฎที่มีประโยชน์ หากคุณขจัดปัจจัยหนึ่งแล้วปัญหายังกลับมาได้ คุณพบผู้มีส่วน ไม่ใช่ราก

บทความยังเตือนถึงข้อจำกัด ระบุว่าข้อมูลการเฝ้าติดตามที่ขาด ปริมาณเหตุการณ์ที่สูงมาก สาเหตุรากเหง้าหลายอย่าง และผู้สืบสวนที่หยุดที่รากผิวเผิน ล้วนทำให้การวิเคราะห์ซับซ้อน ในไอที บทความระบุว่า RCA มักขาดแผนภูมิต้นไม้ความผิดพลาดหรือข้อกำหนดการออกแบบ ดังนั้น "ไม่มีสาเหตุรากเหง้า" จึงกลายเป็นคำพูดที่พบบ่อย สำหรับระบบที่ซับซ้อน ให้คาดหวังสาเหตุที่มีส่วนหลายอย่าง ไม่ใช่ผู้ร้ายเพียงรายเดียว

หลักการของการวิเคราะห์สาเหตุรากเหง้า

บทความระบุขั้นตอนทั่วไป

  1. อธิบายปัญหาอย่างชัดเจน
  2. สร้างไทม์ไลน์จากการทำงานปกติไปสู่ความล้มเหลว
  3. แยกสาเหตุรากเหง้าออกจากปัจจัยเหตุอื่น
  4. ทำแผนภาพเหตุปัจจัยที่เชื่อมสาเหตุรากเหง้ากับปัญหา

บทความเสริมว่าผู้สืบสวนควรดูแนวป้องกันที่ล้มเหลวหรือขาดไป (barrier analysis) หลีกเลี่ยงอคติในแนวการสอบสวน ตัดสินใจการลงมือแก้ไข และทบทวนว่าการลงมือเหล่านั้นได้ผลหรือไม่

วิธีการ

บทความระบุว่าตาม ISO/IEC 31010 RCA อาจใช้ห้าทำไม (five whys) การวิเคราะห์ลักษณะความล้มเหลวและผลกระทบ (FMEA) การวิเคราะห์ต้นไม้ความผิดพลาด แผนภาพอิชิกาวะ (ก้างปลา) และการวิเคราะห์พาเรโต บทความยกเครดิตให้ Kaoru Ishikawa สำหรับแผนภาพเหตุปัจจัยที่มีชื่อของเขา บทความยังเรียกวิธีก้างปลาและห้าทำไมว่า "ไม่เข้มงวดพอ" ซึ่งเป็นความเห็นที่ไม่มีแหล่งรองรับ การอ่านเชิงปฏิบัติคือ วิธีง่ายๆ เป็นจุดเริ่มต้นที่ดีสำหรับการสนทนาของทีม และความล้มเหลวที่ซับซ้อนหรือเสี่ยงสูงอาจต้องใช้วิธีที่เข้มงวดกว่า

วิธีการ ทำอะไร ช่วยเมื่อใด
ห้าทำไม (Five whys) ถาม "ทำไม" ซ้ำๆ เพื่อเคลื่อนจากอาการไปสู่สาเหตุ การสนทนาระดับทีมอย่างรวดเร็วเกี่ยวกับห่วงโซ่เหตุอย่างง่าย
แผนภาพอิชิกาวะ (ก้างปลา) จัดกลุ่มสาเหตุที่เป็นไปได้ตามหมวดหมู่ ระดมสมองหาสาเหตุที่เป็นไปได้จำนวนมาก
การวิเคราะห์พาเรโต (Pareto) จัดอันดับสาเหตุตามความถี่หรือผลกระทบ เลือกว่าจะจัดการปัญหาที่เกิดซ้ำข้อใดก่อน
การวิเคราะห์ต้นไม้ความผิดพลาด (Fault tree) ทำแผนที่การรวมกันของความล้มเหลวที่นำไปสู่ผลลัพธ์ ความล้มเหลวที่สำคัญต่อความปลอดภัยหรือซับซ้อน
FMEA มองล่วงหน้าว่าส่วนต่างๆ อาจล้มเหลวอย่างไรและผลกระทบเป็นอย่างไร การทบทวนการออกแบบเชิงรุก

การลงมือแก้ไขที่มีประสิทธิภาพ

บทความระบุว่าการลงมือแก้ไขที่เพียงเพิ่มงานเอกสารหรือการฝึกอบรมมีประสิทธิภาพน้อยกว่า ในทางปฏิบัติ นี่แนะนำให้เลือกการลงมือที่เปลี่ยนระบบ ได้แก่ ทำการตรวจให้เป็นอัตโนมัติ ขจัดรูปแบบความล้มเหลว เพิ่มมาตรการป้องกัน ปรับปรุงการเฝ้าติดตาม การลงมือเช่น "เตือนวิศวกรให้ระมัดระวัง" อ่อน

หลักการไม่กล่าวโทษ

การสืบสวนปัญหาใช้หลักการไม่กล่าวโทษร่วมกับที่อธิบายสำหรับการทบทวนหลังเหตุการณ์ในหนังสือ SRE ของ Google คือระบุสาเหตุที่มีส่วนโดยไม่โทษบุคคล เพราะคนสอนได้และระบบแก้ไขได้ (ดูหัวข้อ 3.2 — การบริหารเหตุการณ์ขัดข้อง) การสืบสวนที่พบ "ความผิดพลาดของมนุษย์" แล้วหยุดมักหยุดเร็วเกินไป ให้ถามว่าอะไรทำให้ความผิดพลาดเป็นไปได้และอะไรจะทำให้ยากขึ้น

การบริหารปัญหาในการไหลแบบเอไจล์

แนวทางเอไจล์เชิงปฏิบัติมีลักษณะดังนี้

  • เหตุการณ์ขัดข้องและการทบทวนหลังเหตุการณ์สร้างปัญหาที่เป็นตัวเลือก
  • การทบทวนสั้นๆ สม่ำเสมอจัดกลุ่มเหตุการณ์ขัดข้องซ้ำและจัดอันดับปัญหาตามผลกระทบและความถี่
  • ปัญหาที่เลือกเข้าสู่แบ็กล็อกเป็นรายการปกติ พร้อมเจ้าของ สมมติฐาน และกรอบเวลาสำหรับการสืบสวน
  • บันทึกวิธีแก้ชั่วคราวเป็นข้อผิดพลาดที่ทราบเพื่อให้ศูนย์บริการและวิศวกรเข้าเวรใช้ได้ (ดูหัวข้อ 3.9 — การบริหารความรู้)
  • การแก้ไขเล็กและผ่านการทดสอบ ปล่อยด้วยวิธีปกติ และตรวจภายหลังว่าเหตุการณ์ขัดข้องหยุดหรือไม่

แนวปฏิบัติที่ดี

  1. เชื่อมเหตุการณ์ขัดข้องกับปัญหา บันทึกว่าเหตุการณ์ขัดข้องใดดูเหมือนมีสาเหตุเดียวกัน หากไม่มีการเชื่อม คุณมองไม่เห็นรูปแบบ และหากไม่มีรูปแบบ คุณโต้แย้งเพื่อการแก้ไขไม่ได้
  2. ทบทวนเหตุการณ์ขัดข้องเพื่อหารูปแบบตามกำหนด เดือนละครั้ง จัดกลุ่มเหตุการณ์ขัดข้องล่าสุดตามบริการและสาเหตุที่น่าจะเป็น และเลือกไม่กี่อันดับแรก ใช้ความคิดแบบพาเรโต คือสาเหตุไม่กี่อย่างมักเป็นต้นเหตุของความเจ็บปวดส่วนใหญ่
  3. มองปัญหาเป็นรายการแบ็กล็อก ให้แต่ละปัญหาที่เลือกมีเจ้าของ ข้อความ และกรอบเวลาสำหรับการสืบสวน และให้แข่งกับงานอื่น คิวแยกของ "ปัญหา" ที่ไม่มีใครกำหนดเวลาเป็นสุสาน
  4. เริ่มด้วยข้อความปัญหาที่ชัดเจน เขียนว่าเกิดอะไร ที่ไหน บ่อยเพียงใด และผลกระทบคืออะไร โดยใช้ข้อเท็จจริง ข้อความที่คลุมเครือนำไปสู่การแก้ไขที่คลุมเครือ
  5. สร้างไทม์ไลน์ รวบรวมบันทึก การเปลี่ยนแปลง และเหตุการณ์จากการทำงานปกติไปสู่ความล้มเหลว บทความระบุไทม์ไลน์เป็นขั้นตอนหลัก และเรื่องเซอร์ไพรส์จำนวนมากมาจากการเปลี่ยนแปลงที่ไม่มีใครเชื่อมโยง
  6. ถามหาสาเหตุที่ถ้าขจัดแล้วป้องกันการเกิดซ้ำ ใช้การทดสอบของบทความ เมื่อทีมเสนอสาเหตุ ให้ถามว่าการขจัดมันจะหยุดปัญหาไม่ให้กลับมาหรือไม่
  7. คาดหวังมากกว่าหนึ่งสาเหตุ มองหาปัจจัยที่มีส่วนในการออกแบบ การเฝ้าติดตาม กระบวนการ และความรู้ของผู้คน อย่าหยุดที่ข้อแรกที่น่าเชื่อ
  8. เลือกวิธีให้เหมาะกับปัญหา ใช้ห้าทำไมหรือก้างปลาสำหรับการสนทนาทีมอย่างรวดเร็ว และเครื่องมือที่เข้มงวดกว่าสำหรับความล้มเหลวร้ายแรงหรือซับซ้อน
  9. เลือกการลงมือที่เปลี่ยนระบบ ให้ความสำคัญกับการทำงานอัตโนมัติ มาตรการป้องกัน และการเฝ้าติดตามที่ดีกว่า มากกว่าการเตือนและการฝึกอบรม บันทึกผลที่คาดหวังเพื่อตรวจสอบได้
  10. บันทึกวิธีแก้ชั่วคราวเป็นข้อผิดพลาดที่ทราบ เขียนว่าอาการเป็นอย่างไร วิธีแก้ชั่วคราว และใครเป็นเจ้าของการแก้ไข แบ่งปันบันทึกกับศูนย์บริการและเจ้าหน้าที่เข้าเวร
  11. ตรวจว่าการแก้ไขได้ผล หลังการแก้ไข เฝ้าดูการเกิดซ้ำตามช่วงเวลาที่ตกลง และรายงานผล การแก้ไขที่ไม่เคยถูกตรวจเป็นเพียงความหวัง
  12. แบ่งปันสิ่งที่คุณพบ เผยแพร่สรุปสั้นๆ ของปัญหาและการแก้ไข เพื่อให้ทีมอื่นรู้จักรูปแบบที่คล้ายกัน

คำถามสำหรับพูดคุยกับทีมของคุณ

เหตุการณ์ขัดข้องใดกลับมาเรื่อยๆ และเราคิดว่าอะไรเป็นสาเหตุ

ขอให้ผู้คนระบุเหตุการณ์ขัดข้องที่พวกเขาเบื่อที่สุด เปรียบเทียบคำตอบ จากนั้นถามว่าแต่ละคนเชื่อว่าสาเหตุคืออะไร และรู้ได้อย่างไร ความเชื่อมักต่างกัน ซึ่งแสดงว่ามีหลักฐานร่วมน้อยเพียงใด ผู้อำนวยการสนทนาอาจถามว่าข้อมูลใดจะตัดสินได้ เลือกหนึ่งเรื่องไปสืบสวนพร้อมกรอบเวลา

เรารู้ได้อย่างไรว่าเหตุการณ์ขัดข้องสองเรื่องมีสาเหตุเดียวกัน

ดูว่าเหตุการณ์ขัดข้องถูกบันทึกอย่างไรและถามว่ามีใครหาเหตุการณ์ที่เกี่ยวข้องได้อย่างรวดเร็วหรือไม่ คำตอบทั่วไปคือข้อความอิสระ ความจำ หรือโชค ถามว่าการเปลี่ยนแปลงเล็กๆ ใดของบันทึกจะช่วยได้ เช่น ช่องสำหรับบริการและสาเหตุที่น่าจะเป็น ตกลงหนึ่งอย่าง

เราทำอย่างไรเมื่อพบ "ความผิดพลาดของมนุษย์" ในการทบทวน

ขอตัวอย่างล่าสุด คำถามคือการทบทวนหยุดตรงนั้นหรือไม่ พูดคุยว่าอะไรในระบบทำให้ความผิดพลาดเป็นไปได้ เช่น คำสั่งที่ไม่ชัด เครื่องมือที่สับสน แรงกดดันเรื่องเวลา เปรียบเทียบกับแนวคิดว่าคุณแก้คนไม่ได้แต่แก้ระบบได้ ตกลงคำถามที่จะถามทุกครั้ง เช่น "อะไรทำให้ทำสิ่งนี้ได้ง่าย"

การลงมือจากการทบทวนในอดีตข้อใดเปลี่ยนระบบจริง และข้อใดเพียงเพิ่มการเตือน

ระบุการลงมือจากการทบทวนห้าครั้งล่าสุดและทำเครื่องหมายแต่ละข้อว่าเป็นการเปลี่ยนระบบหรือการเตือน บทความระบุว่าการเตือนและงานเอกสารมีประสิทธิภาพน้อยกว่า ถามว่าเหตุใดการเตือนจึงพบบ่อยนัก คือรวดเร็ว ถูก และรู้สึกเหมือนลงมือ เลือกหนึ่งการเตือนไปแทนที่ด้วยการแก้ไขที่แข็งแรงกว่า

เรามีวิธีแก้ชั่วคราวที่ไม่มีใครเขียนไว้ตรงไหน

ถามวิศวกรเข้าเวรและเจ้าหน้าที่วิเคราะห์ของศูนย์ว่าใช้เทคนิคใด วิธีแก้ชั่วคราวที่ไม่ได้เขียนแต่ละข้อเป็นความเสี่ยง บันทึกเป็นข้อผิดพลาดที่ทราบพร้อมอาการ วิธีแก้ชั่วคราว และเจ้าของ ผู้อำนวยการสนทนาอาจถามว่าใครได้ประโยชน์จากแต่ละบันทึก ทำรายการสั้นๆ ในสัปดาห์นี้

เราจะรู้ได้อย่างไรว่าการแก้ไขได้ผล

เลือกการแก้ไขล่าสุดและถามว่าหลักฐานอะไรแสดง หากคำตอบคือ "ไม่มีข้อร้องเรียนอีก" ให้ถามว่ารอนานเท่าใดและวัดอะไร พูดคุยการตรวจง่ายๆ คือเฝ้าดูอาการเฉพาะเป็นช่วงเวลาที่กำหนด ตกลงบันทึกการตรวจกับทุกการแก้ไข

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบเอไจล์

บริษัทโลจิสติกส์ขนาดกลางดำเนินบริการวางแผนเส้นทางที่คนขับและเจ้าหน้าที่จัดส่งใช้ ทีมแพลตฟอร์มเก้าคนจัดการเหตุการณ์ขัดข้องเดิมทุกสองสัปดาห์โดยประมาณ การคำนวณเส้นทางหมดเวลาสิบถึงสิบห้านาทีในตอนเช้าแล้วกลับมาปกติ ทุกครั้ง วิศวกรเข้าเวรรีสตาร์ตโปรเซสเวิร์กเกอร์ และเหตุการณ์ขัดข้องถูกปิด เจ้าหน้าที่จัดส่งบ่นว่าไม่สามารถพึ่งพาการวางแผนตอนเช้าได้

หัวหน้าทีมเริ่มการทบทวนเหตุการณ์ขัดข้องรายเดือน จัดกลุ่มตามบริการและสาเหตุที่น่าจะเป็น การหมดเวลาตอนเช้าอยู่อันดับแรก เธอเขียนข้อความปัญหาจากบันทึกเหตุการณ์ขัดข้อง คือการหมดเวลาเกิดวันธรรมดาระหว่าง 7:00 ถึง 7:30 นาน 10 ถึง 15 นาที และกระทบเจ้าหน้าที่จัดส่งทุกคน ทีมสร้างไทม์ไลน์ที่รวมการนำเข้าข้อมูลตามกำหนดเวลา 7:00 และการเปลี่ยนแปลงล่าสุดที่เพิ่มขนาดของการนำเข้า การสนทนาห้าทำไมชี้ว่าการนำเข้าทำให้ฐานข้อมูลอิ่มตัว พวกเขาลองการแก้ไขที่ชัดเจน คือเพิ่มความจุ แต่เหตุการณ์ขัดข้องยังเกิดในอัตราที่ต่ำลง จึงสรุปว่าความจุเป็นผู้มีส่วน ไม่ใช่ราก

การมองครั้งที่สองพบว่าการนำเข้าล็อกตารางที่การคำนวณเส้นทางอ่านด้วย ทีมย้ายการนำเข้าไปยังเรพลิกาแยกและเพิ่มการแจ้งเตือนสำหรับการรอล็อก พวกเขาบันทึกการรีสตาร์ตเป็นข้อผิดพลาดที่ทราบพร้อมอาการและวิธีแก้ชั่วคราวจนกว่าการแก้ไขจะใช้งาน และตกลงเฝ้าดูอาการหกสัปดาห์ เหตุการณ์ขัดข้องหยุด ยังมีปัญหาเหลือ การนำเข้าอีกรายการจากพันธมิตรยังทำงานในช่วงพีค และทีมยังไม่สามารถโน้มน้าวให้พันธมิตรเปลี่ยนตารางเวลา พวกเขาวางตารางเวลาของพันธมิตรไว้ในวาระการวางแผนครั้งต่อไป และคงการแจ้งเตือนล็อกไว้

สี่มุมมอง

ทีมผลิตภัณฑ์และทีมส่งมอบ

ทีมส่งมอบมีความรู้ในการแก้สาเหตุ นำปัญหาอันดับต้นๆ เข้าสู่แบ็กล็อกของคุณ และมองเป็นงานที่สร้างความไว้วางใจ เพิ่มการเฝ้าติดตามและการทดสอบที่จะเปิดเผยสาเหตุ และเขียนข้อผิดพลาดที่ทราบด้วยภาษาที่ศูนย์ใช้ได้

ทีมบริการและทีมปฏิบัติการ

ทีมปฏิบัติการเห็นเหตุการณ์ขัดข้องและเก็บบันทึก เชื่อมเหตุการณ์ขัดข้อง จัดการทบทวนรายเดือน และบันทึกวิธีแก้ชั่วคราวเป็นข้อผิดพลาดที่ทราบ ส่งหลักฐานไปยังทีมส่งมอบในรูปแบบที่สร้างข้อโต้แย้งได้ ได้แก่ ความถี่ ผลกระทบ และไทม์ไลน์

ภาวะผู้นำและธรรมาภิบาล

ผู้นำตัดสินใจว่าการแก้ปัญหาได้เวลาหรือไม่ ขอปัญหาที่เกิดซ้ำสูงสุดและสิ่งที่กำลังทำ ต้านการนับเหตุการณ์ขัดข้องที่ปิดเป็นตัวชี้วัดความสำเร็จ เพราะให้รางวัลแก่การซ่อม สนับสนุนการแก้ไขที่ต้องใช้ความพยายามแต่ขจัดความเจ็บปวด

ลูกค้าและผู้ใช้

ลูกค้าและผู้ใช้ได้ประโยชน์เมื่อความล้มเหลวซ้ำหยุด รายงานปัญหาที่เกิดซ้ำพร้อมวันที่และผลกระทบ เพราะรูปแบบช่วยทีม ถามผู้ให้บริการว่าได้ทำอะไรเกี่ยวกับสาเหตุของการล่มซ้ำ และคาดหวังคำตอบที่เกินกว่า "เรารีสตาร์ตมัน"

รูปแบบความล้มเหลวที่พบบ่อย

  • ซ่อมโดยไม่ขจัด เหตุการณ์ขัดข้องถูกปิดและกลับมา แก้ไขโดยเชื่อมเหตุการณ์ซ้ำกับปัญหาและแก้สาเหตุ
  • คิวปัญหาที่ไม่มีใครกำหนดเวลา ปัญหารอตลอดไป แก้ไขโดยใส่ปัญหาที่เลือกในแบ็กล็อกพร้อมเจ้าของและกรอบเวลา
  • หยุดที่ความผิดพลาดของมนุษย์ การทบทวนจบด้วยผู้ที่ถูกโทษ แก้ไขโดยถามว่าอะไรทำให้ความผิดพลาดเป็นไปได้และแก้ระบบ
  • การลงมือที่อ่อน การเตือนและการฝึกอบรมเข้ามาแทนการเปลี่ยนระบบ แก้ไขโดยเลือกการทำงานอัตโนมัติ มาตรการป้องกัน และการเฝ้าติดตามที่ดีกว่า
  • ค้นหาสาเหตุรากเหง้าเดียว ทีมยืนยันผู้ร้ายรายเดียว แก้ไขโดยยอมรับสาเหตุที่มีส่วนหลายอย่างและจัดการข้อที่มีประสิทธิภาพที่สุด
  • ไม่ตรวจว่าการแก้ไขได้ผล ปัญหาถูกปิดเมื่อปล่อย แก้ไขโดยกำหนดวิธีดูว่าอาการกลับมาหรือไม่
  • วิธีแก้ชั่วคราวที่ไม่ได้เขียน ความรู้อยู่กับแต่ละบุคคล แก้ไขโดยบันทึกข้อผิดพลาดที่ทราบและแบ่งปัน
  • บูชาวิธีการ ทีมเถียงเรื่องเทคนิค แก้ไขโดยเลือกวิธีให้เหมาะกับปัญหาและใช้ความพยายามกับหลักฐาน

แบบจำลองความเป็นผู้ใหญ่

มิติ เริ่มต้น พัฒนา สร้างมาตรฐาน บริหารจัดการ ประสานกลมกลืน
การเชื่อมโยงและการจัดลำดับ ไม่เชื่อมเหตุการณ์ขัดข้อง บางทีมจดการเกิดซ้ำ เชื่อมเหตุการณ์ขัดข้องกับปัญหาและทบทวนรูปแบบตามกำหนด จัดอันดับปัญหาตามผลกระทบและความถี่ที่วัดได้ แบ่งปันลำดับความสำคัญของปัญหาข้ามทีมและผู้ส่งมอบ
การสืบสวน การสืบสวนไม่เป็นทางการ บางทีมใช้วิธีง่ายๆ ใช้แนวทางที่เขียนไว้พร้อมไทม์ไลน์และหลักฐาน ทบทวนคุณภาพและเวลาของการสืบสวน การสืบสวนครอบคลุมหลายทีมและผู้ส่งมอบพร้อมข้อมูลร่วม
การลงมือแก้ไข การแก้ไขเฉพาะกิจหรือเป็นการเตือน บางการแก้ไขเปลี่ยนระบบ เลือกการลงมือตามผล พร้อมเจ้าของและวันที่ ตรวจผลและวัดการเกิดซ้ำ การแก้ไขแพร่ไปยังระบบที่คล้ายกันทั่วองค์กร
ข้อผิดพลาดที่ทราบและความรู้ วิธีแก้ชั่วคราวไม่ได้เขียน บางข้อถูกบันทึกโดยแต่ละบุคคล บันทึกข้อผิดพลาดที่ทราบและแบ่งปันกับศูนย์และเวร ติดตามการใช้และความถูกต้องของข้อผิดพลาดที่ทราบ แบ่งปันข้อผิดพลาดที่ทราบกับผู้ใช้ ผู้ส่งมอบ และพันธมิตร

รายการตรวจสอบ

  • เชื่อมเหตุการณ์ขัดข้องที่ดูเหมือนมีสาเหตุร่วม
  • การทบทวนสม่ำเสมอจัดกลุ่มเหตุการณ์ขัดข้องและเลือกปัญหาที่เกิดซ้ำอันดับต้นๆ
  • ปัญหาที่เลือกอยู่ในแบ็กล็อกพร้อมเจ้าของและกรอบเวลา
  • แต่ละปัญหามีข้อความที่เขียนไว้พร้อมข้อเท็จจริง
  • สร้างไทม์ไลน์สำหรับแต่ละการสืบสวน
  • การทบทวนถามว่าอะไรในระบบที่ทำให้เกิดความผิดพลาดของมนุษย์ใดๆ
  • การลงมือให้ความสำคัญกับการเปลี่ยนระบบมากกว่าการเตือน พร้อมบันทึกผลที่คาดหวัง
  • บันทึกวิธีแก้ชั่วคราวเป็นข้อผิดพลาดที่ทราบและแบ่งปันกับศูนย์และเจ้าหน้าที่เข้าเวร
  • แต่ละการแก้ไขมีการตรวจการเกิดซ้ำตามช่วงเวลาที่ตกลง
  • แบ่งปันสรุปปัญหาและการแก้ไขกับทีมอื่น

พรอมต์ปัญญาประดิษฐ์

วัตถุประสงค์: ค้นหาเหตุการณ์ขัดข้องที่เกิดซ้ำและปัญหาที่เป็นตัวเลือกในบันทึกของคุณ

Below are descriptions of [number] incidents from the last [period], with dates and the service affected: [paste anonymized descriptions, one per line].

Group the incidents that look as if they might share a cause, based only on what is written. For each group, list the incidents, give a one-sentence description of the common symptom, and say how confident you are and why (low, medium, high). List incidents that do not fit any group. Do not guess at technical causes beyond the text. Suggest three questions for the team to ask to test each group. List what you are unsure of.

วัตถุประสงค์: เขียนข้อความปัญหาที่ชัดเจนจากหลักฐาน

Help me write a problem statement.

What we observe, with dates and counts: [paste facts].
What is affected and who is affected: [describe].
What we know about when it started and what changed around then: [paste, or write "unknown"].
What we have already tried: [paste].

Write a problem statement of three to five sentences that describes what happens, where, how often, and the impact, without naming a cause. Then list the facts we still need and where to find them. Mark anything that is an assumption. Do not suggest causes as facts. List what you are unsure of.

วัตถุประสงค์: เตรียมการประชุมห้าทำไมและบันทึกห่วงโซ่เหตุผล

Help me prepare a five whys discussion for this problem: [paste the problem statement].

Facts we have: [list evidence such as logs, timelines, and changes].

Prepare: a first "why" question grounded in the evidence, a template where each answer records the evidence for it, and a reminder to branch when there is more than one possible answer. Warn me against stopping at human error. After the session I will paste the notes: do not invent answers yourself. Ask clarifying questions first, and list what you are unsure of.

วัตถุประสงค์: ประเมินว่าการลงมือแก้ไขที่เสนอเปลี่ยนระบบหรือไม่

Here are the actions proposed after our review: [paste a list].

For each, say whether it changes the system (for example automates a check, removes a failure mode, adds a safeguard, improves monitoring) or relies on people remembering or on training, and give one sentence of reasoning from the text only. For each reminder-type action, suggest a stronger alternative as a question for the team. Suggest how we could check whether each action worked, without inventing numbers. List what you are unsure of.

ทักษะปัญญาประดิษฐ์

  • root-cause-analysis: ใช้นำทางการสืบสวนจากข้อความปัญหาที่ชัดเจนไปสู่สาเหตุที่ผ่านการทดสอบ
  • fishbone-diagram: ใช้ระดมสมองหาสาเหตุที่เป็นไปได้ตามหมวดหมู่กับทีม
  • cause-and-effect-diagram: ใช้วางว่าสาเหตุและผลเชื่อมกันอย่างไรในความล้มเหลวที่ซับซ้อน
  • postmortem: ใช้จัดการทบทวนที่ระบุปัญหาที่เป็นตัวเลือก
  • six-sigma: ใช้เมื่อต้องการวิธีอิงข้อมูลเพื่อวิเคราะห์ความแปรปรวนหรือข้อบกพร่องที่เกิดซ้ำ

แหล่งอ้างอิงหลัก

  • Root cause analysis (Wikipedia): ภาพรวมทั่วไปของวิธีการ หลักการ และข้อจำกัด โดยระบุ ISO/IEC 31010 สำหรับวิธีการ
  • Postmortem Culture: Learning from Failure (Site Reliability Engineering, Google, sre.google): แนวทางแบบไม่กล่าวโทษในการเรียนรู้จากความล้มเหลว
  • Managing Incidents (Site Reliability Engineering, Google, sre.google): การจัดการเหตุการณ์ขัดข้องป้อนการวิเคราะห์ภายหลังอย่างไร
  • Ishikawa diagram และ Five whys (Wikipedia): ความเป็นมาของสองวิธีง่ายๆ ที่พบบ่อย

เอกสารอ้างอิง

  1. Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
  2. Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
  3. Managing Incidents — Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
  4. Five whys — Wikipedia — https://en.wikipedia.org/wiki/Five_whys
  5. Ishikawa diagram — Wikipedia — https://en.wikipedia.org/wiki/Ishikawa_diagram
  6. Failure mode and effects analysis — Wikipedia — https://en.wikipedia.org/wiki/Failure_mode_and_effects_analysis
  7. Fault tree analysis — Wikipedia — https://en.wikipedia.org/wiki/Fault_tree_analysis
  8. Pareto analysis — Wikipedia — https://en.wikipedia.org/wiki/Pareto_analysis
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
  10. ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL

คู่มือ ITIL แบบเอไจล์ — การบริหารบริการไอทีแบบเอไจล์

ซอร์สโค้ดและการมีส่วนร่วม: github.com/agile-itil. สร้างด้วย: Lily Design System™.

นำโดย: Joel Parker Henderson.