การบริหารเหตุการณ์ขัดข้อง
การบริหารเหตุการณ์ขัดข้องกู้คืนบริการที่เสื่อมลงให้เร็วที่สุดเท่าที่ปลอดภัย และนิสัยแบบเอไจล์ที่ทำให้ได้ผลคือบทบาทที่ชัดเจนภายใต้แรงกดดัน ตามด้วยการทบทวนแบบไม่กล่าวโทษที่เปลี่ยนแต่ละเหตุการณ์ขัดข้องให้เป็นการเปลี่ยนแปลง
เหตุใดเรื่องนี้จึงสำคัญ
เหตุการณ์ขัดข้องคือช่วงเวลาที่บริการถูกตัดสิน ผู้ใช้ไม่จำความพร้อมใช้งานที่ดีตลอดหลายเดือน พวกเขาจำการล่มและวิธีที่มันถูกจัดการ ทีมที่ตกลงล่วงหน้าว่าใครทำอะไร สื่อสารอย่างไร และเรียกขอความช่วยเหลือเมื่อใด จะกู้คืนบริการได้เร็วกว่าและทำผิดพลาดน้อยกว่าทีมที่แก้ปัญหาเฉพาะหน้า
ทีมเอไจล์ที่ดูแลสิ่งที่ตนสร้างมักจัดการเหตุการณ์ขัดข้องอย่างไม่เป็นทางการ ซึ่งใช้ได้จนกว่าเหตุการณ์จะใหญ่ ข้ามหลายทีม หรือเกิดตอนกลางคืน ตอนนั้นการขาดบทบาทและบันทึกก็ปรากฏ วิศวกรกรูกันเข้าไปที่ปัญหาทางเทคนิค ไม่มีใครบอกลูกค้า และสองคนทำการเปลี่ยนแปลงที่ขัดแย้งกัน แนวปฏิบัติ ITSM ด้านการบริหารเหตุการณ์ขัดข้อง ร่วมกับแนวปฏิบัติจากวิศวกรรมความน่าเชื่อถือของไซต์ มีวิธีที่ผ่านการทดสอบเพื่อป้องกันสิ่งนั้น
บทความ Wikipedia เรื่อง incident management ครอบคลุมหลายสาขา ตั้งแต่การตอบสนองเหตุฉุกเฉินไปจนถึงความมั่นคงปลอดภัยคอมพิวเตอร์ สำหรับการบริหารบริการไอที บทความระบุว่าเป้าหมายคือกู้คืนบริการปกติภายในระดับบริการที่ตกลงกันให้เร็วที่สุด อ้าง ITIL 2011 ในการนิยามเหตุการณ์ขัดข้องว่าเป็นการหยุดชะงักที่ไม่ได้วางแผนของบริการไอทีหรือการลดลงของคุณภาพ และระบุสามความท้าทาย ได้แก่ เสียงรบกวนจากการแจ้งเตือน การแก้ปัญหาที่ยืดเยื้อ และความยากในการคาดการณ์การล่ม สำหรับรายละเอียด หัวข้อนี้อาศัยสองบทของหนังสือ Site Reliability Engineering ของ Google เป็นหลัก ซึ่งอธิบายแนวทางการบัญชาการเหตุการณ์ขัดข้องและการทบทวนหลังเหตุการณ์แบบไม่กล่าวโทษจากการปฏิบัติในองค์กรขนาดใหญ่แห่งหนึ่ง ให้มองสองบทนั้นเป็นแนวทางหนึ่งที่มีเอกสารดี ไม่ใช่แนวทางเดียว
แนวคิดหลัก
เหตุการณ์ขัดข้องคืออะไร
เหตุการณ์ขัดข้อง (incident) ในการใช้งานด้าน ITSM คือการหยุดชะงักที่ไม่ได้วางแผนของบริการหรือการลดลงของคุณภาพ บทความเรื่อง ITSM รวมการหยุดชะงักที่ "อาจเกิดขึ้น" ด้วย เหตุการณ์ขัดข้องไม่เหมือน ปัญหา (problem) ซึ่งเป็นสาเหตุเบื้องหลัง หรือ คำขอใช้บริการ (service request) ซึ่งเป็นการร้องขอตามปกติ (ดูหัวข้อ 3.3 — การบริหารปัญหา และหัวข้อ 3.6 — การบริหารคำขอใช้บริการ) การแยกทั้งสามออกจากกันสำคัญเพราะแต่ละอย่างถูกจัดการเพื่อเป้าหมายต่างกัน คือกู้คืนบริการ ขจัดสาเหตุ และตอบสนองความต้องการตามปกติ
เป้าหมาย: กู้คืนบริการ รักษาหลักฐาน
เป้าหมายแรกของการบริหารเหตุการณ์ขัดข้องคือกู้คืนบริการ บท SRE เรื่องการจัดการเหตุการณ์ขัดข้องเพิ่มข้อที่สอง คือรักษาหลักฐานที่จำเป็นเพื่อค้นหาสาเหตุรากเหง้าในภายหลัง แนวปฏิบัติที่ดีของบทนั้นเองระบุให้ให้ความสำคัญกับการกู้คืนบริการและการรักษาหลักฐาน ตามลำดับนั้น การแก้สาเหตุอาจมาทีหลังในการบริหารปัญหา
เหตุใดเหตุการณ์ขัดข้องที่ไม่มีการจัดการจึงผิดพลาด
บท SRE ซึ่งเขียนโดย Andrew Stribblehill ใช้ตัวอย่างยาวของวิศวกรเข้าเวรที่การล่มลุกลามเป็นความล้มเหลวทั้งหมด บทระบุสามอันตรายของเหตุการณ์ขัดข้องที่ไม่มีการจัดการ
- การเพ่งไปที่ปัญหาทางเทคนิคอย่างเดียว วิศวกรที่จมอยู่กับการแก้ไขมองไม่เห็นการบรรเทาและภาพรวม
- การสื่อสารที่แย่ ไม่มีใครรู้ว่าคนอื่นทำอะไร และผู้มีส่วนได้ส่วนเสียไม่รู้เรื่อง
- การทำตามอำเภอใจ (freelancing) การเปลี่ยนแปลงที่ไม่ประสานกัน เช่น การติดตั้งนาทีสุดท้าย ทำให้สถานการณ์แย่ลง
บทบาทภายใต้แรงกดดัน
บทวางแนวทางบนระบบบัญชาการเหตุการณ์ (Incident Command System) ซึ่งมาจากการตอบสนองเหตุฉุกเฉิน (บทความ Wikipedia เรื่อง incident management ก็กล่าวถึงเช่นกัน) แนวคิดหลักคือ
| บทบาท | ทำอะไร |
|---|---|
| ผู้บัญชาการเหตุการณ์ (Incident commander) | ถือสถานะระดับสูง จัดโครงสร้างการตอบสนอง ขจัดอุปสรรค และถือบทบาทใดที่ยังไม่ได้มอบหมาย |
| หัวหน้าปฏิบัติการ (Operations lead) | ใช้เครื่องมือกับปัญหา เฉพาะทีมปฏิบัติการเท่านั้นที่เปลี่ยนระบบระหว่างเหตุการณ์ขัดข้อง |
| หัวหน้าการสื่อสาร (Communications lead) | เป็นหน้าตาของการตอบสนองต่อภายนอก ออกการแจ้งความคืบหน้าเป็นระยะ และรักษาเอกสารเหตุการณ์ให้เป็นปัจจุบัน |
| หัวหน้าการวางแผน (Planning lead) | จัดการเรื่องระยะยาว เช่น การเปิดบั๊ก การจัดการส่งต่อ และการติดตามการเบี่ยงเบนจากปกติเพื่อให้ย้อนการเปลี่ยนแปลงได้ |
บทเรียกหลักการนี้ว่าการแยกความรับผิดชอบแบบเรียกซ้ำ บทบาทที่ชัดเจนให้ความเป็นอิสระแก่ผู้คน เพราะไม่ต้องสงสัยเพื่อนร่วมงาน และผู้ที่มีภาระล้นขอกำลังเพิ่มและมอบหมายบางส่วนของงาน การส่งต่อระหว่างผู้บัญชาการทำอย่างชัดเจนและมีการรับทราบ
เอกสารเหตุการณ์สด
บทระบุว่าหน้าที่สำคัญที่สุดของผู้บัญชาการคือรักษาเอกสารสดของสถานะเหตุการณ์ ซึ่งควรให้หลายคนแก้ไขพร้อมกันได้ เอกสารอาจรกได้แต่ต้องใช้ประโยชน์ได้ โดยมีข้อมูลสำคัญอยู่ใกล้ด้านบน และเก็บไว้เพื่อวิเคราะห์ภายหลัง ช่องทางร่วมหรือห้องจริงทำหน้าที่เป็นศูนย์บัญชาการ
เมื่อใดควรประกาศเหตุการณ์ขัดข้อง
บทแนะนำให้ประกาศเหตุการณ์ขัดข้องแต่เนิ่นๆ ไม่ใช่หลายชั่วโมงหลังปัญหาแย่ลง บทเสนอให้ถือเหตุการณ์เป็นเหตุการณ์ขัดข้องหากต้องมีทีมที่สองเข้าร่วมแก้ไข หากการล่มมองเห็นได้สำหรับลูกค้า หรือหากยังแก้ไม่ได้หลังวิเคราะห์อย่างตั้งใจหนึ่งชั่วโมง นี่เป็นกฎคร่าวๆ ขององค์กรเดียว เกณฑ์ของคุณเองควรสะท้อนบริการและผู้ใช้ของคุณ
ลำดับความสำคัญและความรุนแรง
แหล่งที่อ่านเพื่อจัดทำคู่มือนี้ไม่ได้นิยามระดับลำดับความสำคัญหรือความรุนแรง และบทความ Wikipedia ไม่ระบุไว้ ในทางปฏิบัติ ทีมกำหนดระดับจากผลกระทบต่อผู้ใช้และความเร่งด่วนของความต้องการ และตัดสินล่วงหน้าว่าใครถูกเรียกในแต่ละระดับ ทำแบบแผนให้สั้นพร้อมตัวอย่าง และตรวจสอบโดยใช้กับเหตุการณ์ขัดข้องในอดีต
การสื่อสาร
การสื่อสารมีสองกลุ่มผู้ฟัง ผู้ตอบสนองต้องรู้สถานะและใครทำอะไร ผู้มีส่วนได้ส่วนเสียและผู้ใช้ต้องรู้ว่าอะไรได้รับผลกระทบ กำลังทำอะไร และควรคาดหวังการแจ้งครั้งต่อไปเมื่อใด หัวหน้าการสื่อสารในบท SRE รับใช้กลุ่มที่สองและรักษาบันทึกให้กลุ่มแรก สำหรับการล่มที่สาธารณะมองเห็น แผนการสื่อสารในภาวะวิกฤตมีประโยชน์ (ดูทักษะการสื่อสารในภาวะวิกฤตด้านล่าง)
การทบทวนหลังเหตุการณ์แบบไม่กล่าวโทษ
บท SRE ว่าด้วยวัฒนธรรมการทบทวนหลังเหตุการณ์ (postmortem) วางครึ่งของการเรียนรู้ไว้ การทบทวนหลังเหตุการณ์บันทึกเหตุการณ์ขัดข้อง ผลกระทบ การบรรเทา สาเหตุรากเหง้า และการลงมือติดตาม เป้าหมายคือบันทึกเหตุการณ์ ทำความเข้าใจสาเหตุรากเหง้าทั้งหมดที่มีส่วน และดำเนินการป้องกันที่มีประสิทธิภาพ ไม่กล่าวโทษ คือระบุสาเหตุที่มีส่วนโดยไม่โทษบุคคลหรือทีม และสมมติว่าทุกคน "มีเจตนาดีและทำสิ่งที่ถูกต้องด้วยข้อมูลที่มี" ในถ้อยคำของบท "คุณ 'แก้' คนไม่ได้ แต่แก้ระบบและกระบวนการได้"
บทแนะนำให้กำหนดตัวกระตุ้นการทบทวนหลังเหตุการณ์ล่วงหน้า เช่น การหยุดทำงานที่ผู้ใช้เห็นเกินเกณฑ์ ข้อมูลสูญหายใดๆ การแทรกแซงของผู้เข้าเวร เช่น การย้อนกลับ เวลาแก้ไขเกินเกณฑ์ หรือความล้มเหลวของการเฝ้าติดตาม บทยังกล่าวว่า "การทบทวนหลังเหตุการณ์ที่ไม่ได้ทบทวนก็เหมือนไม่เคยมีอยู่" จึงแนะนำให้มีการทบทวนสม่ำเสมอและคลังร่วม บทอธิบายกิจกรรมสร้างวัฒนธรรม เช่น จดหมายข่าวรายเดือน ชมรมอ่าน และ "Wheel of Misfortune" ที่จำลองเหตุการณ์ขัดข้องในอดีต
เหตุการณ์ขัดข้องรุนแรง
แนวปฏิบัติ ITSM จำนวนมากนิยาม เหตุการณ์ขัดข้องรุนแรง (major incident) ว่าเป็นเหตุการณ์ที่ต้องการการตอบสนองที่เป็นทางการกว่าปกติ แหล่งที่อ่านที่นี่ไม่ได้นิยาม ดังนั้นให้นิยามด้วยถ้อยคำของคุณเอง เช่น เหตุการณ์ขัดข้องที่กระทบผู้ใช้จำนวนมากหรือบริการสำคัญและต้องการการตอบสนองที่ประสานข้ามทีม สิ่งที่สำคัญคือผู้คนรู้ล่วงหน้าว่าอะไรเปลี่ยน ได้แก่ ใครบัญชาการ ใครถูกเรียก การแจ้งความคืบหน้าบ่อยเพียงใด
เหตุการณ์ขัดข้องและการส่งมอบอย่างต่อเนื่อง
เหตุการณ์ขัดข้องมักเกิดจากการเปลี่ยนแปลงล่าสุด ทีมเอไจล์อยู่ในฐานะที่ดีที่จะเรียนรู้จากเหตุการณ์เหล่านี้เพราะปล่อยบ่อยและมีวงจรป้อนกลับสั้น การเรียนรู้ต้องมีเส้นทาง คือการลงมือจากการทบทวนหลังเหตุการณ์เข้าสู่แบ็กล็อกพร้อมเจ้าของและวันที่ และเหตุการณ์ขัดข้องที่เกิดซ้ำไปสู่การบริหารปัญหา หากไม่มีเส้นทางนั้น การจัดการเหตุการณ์ขัดข้องจะกลายเป็นกิจวัตรของการซ่อม
แนวปฏิบัติที่ดี
- ตัดสินล่วงหน้าว่าอะไรนับเป็นเหตุการณ์ขัดข้อง เขียนนิยามสั้นๆ พร้อมตัวอย่าง และลดเกณฑ์การประกาศ กฎคร่าวๆ ของบท SRE คือประกาศแต่เนิ่นๆ เมื่อต้องการทีมที่สอง ลูกค้าเห็นปัญหา หรือวิเคราะห์หนึ่งชั่วโมงแล้วยังไม่แก้
- กำหนดระดับความรุนแรงไม่กี่ระดับพร้อมตัวอย่าง อิงผลกระทบต่อผู้ใช้ และระบุว่าใครถูกเรียกในแต่ละระดับ ทดสอบแบบแผนกับเหตุการณ์ขัดข้องในอดีตและปรับ
- มอบหมายบทบาทเมื่อเริ่มแต่ละเหตุการณ์ขัดข้อง ระบุผู้บัญชาการเหตุการณ์ หัวหน้าปฏิบัติการ และหัวหน้าการสื่อสาร ในทีมเล็ก หนึ่งคนอาจถือมากกว่าหนึ่งบทบาท ให้พูดออกมาดังๆ
- แยกการแก้ไขออกจากการประสานงาน ผู้ที่เปลี่ยนระบบไม่ควรตอบคำถามด้วย ให้ผู้บัญชาการประสานงานและหัวหน้าการสื่อสารแจ้งข้อมูล
- เก็บบันทึกสด ใช้เอกสารหรือช่องทางร่วมเดียวพร้อมเวลา การตัดสินใจ และการเปลี่ยนแปลงที่ทำ ช่วยการส่งต่อและเป็นวัตถุดิบของการทบทวนหลังเหตุการณ์
- อนุญาตเฉพาะการเปลี่ยนแปลงที่ได้รับอนุญาต บท SRE ระบุว่าเฉพาะทีมปฏิบัติการเท่านั้นที่ควรแก้ไขระบบระหว่างเหตุการณ์ขัดข้อง ระบุว่าใครเปลี่ยนอะไรได้ และขอให้คนอื่นพูดกับผู้บัญชาการ
- สื่อสารตามกำหนด ตกลงช่วงเวลาการแจ้งความคืบหน้าสำหรับแต่ละระดับความรุนแรงและยึดตามนั้น แม้ไม่มีอะไรใหม่ ความเงียบก่อความกังวลและคำถามซ้ำ
- ส่งต่ออย่างชัดเจน เมื่อเปลี่ยนผู้บัญชาการหรือผู้ตอบสนอง ให้พูดออกมาและให้อีกคนรับทราบ การส่งต่อที่ไม่ชัดทำให้บริบทหาย
- ฝึกซ้อม รันกระบวนการเหตุการณ์ขัดข้องกับเหตุการณ์เล็กๆ และในแบบฝึกหัด เพื่อให้บทบาทคุ้นเคยก่อนการล่มที่ร้ายแรง สลับคนในบทบาท
- จัดการทบทวนหลังเหตุการณ์แบบไม่กล่าวโทษเมื่อตัวกระตุ้นเกิดขึ้น เขียนร่วมกับผู้เกี่ยวข้อง มุ่งสาเหตุที่มีส่วนและการแก้ระบบ และแบ่งปันกว้างๆ (ดูทักษะการทบทวนหลังเหตุการณ์ด้านล่าง)
- เปลี่ยนการลงมือเป็นรายการแบ็กล็อก ให้การติดตามแต่ละข้อมีเจ้าของและวันที่ และทบทวนในการประชุมสม่ำเสมอ การทบทวนหลังเหตุการณ์ที่ไม่ได้ทบทวนไม่ก่อให้เกิดการเปลี่ยนแปลง
- ป้อนหลักฐานให้การบริหารปัญหา เชื่อมเหตุการณ์ขัดข้องที่เกิดซ้ำกับบันทึกปัญหา เพื่อให้สาเหตุถูกขจัดไม่ใช่แค่ซ่อม (ดูหัวข้อ 3.3 — การบริหารปัญหา)
คำถามสำหรับพูดคุยกับทีมของคุณ
เราทำอะไรในสิบนาทีแรกของเหตุการณ์ขัดข้อง และใครตัดสินใจ
เดินผ่านเหตุการณ์ขัดข้องสำคัญครั้งล่าสุดทีละนาที จดว่าใครเป็นผู้นำ ใครสื่อสาร และใครเปลี่ยนอะไร หลายทีมพบว่าบทบาทถูกสมมติไม่ได้ถูกตกลง ผู้อำนวยการสนทนาอาจถามว่าจะเกิดอะไรขึ้นหากผู้นำตามปกติไม่อยู่ จากนั้นตกลงวิธีมอบหมายบทบาทครั้งต่อไป
เมื่อใดเราเรียกสิ่งหนึ่งว่าเหตุการณ์ขัดข้อง และเมื่อใดเรารอ
รวบรวมตัวอย่างเหตุการณ์ที่ประกาศช้า ถามว่าอะไรรั้งผู้คนไว้ ได้แก่ ไม่อยากรบกวนผู้อื่น ความไม่แน่ใจ หรือกลัวถูกโทษ เปรียบเทียบกับตัวกระตุ้นของบท SRE ตกลงเกณฑ์และวิธีประกาศเหตุการณ์ขัดข้องโดยไม่ต้องทำเรื่องใหญ่
ผู้ใช้ของเรารู้ได้อย่างไรว่าอะไรกำลังเกิดขึ้นระหว่างการล่ม และบ่อยเพียงใด
ดูการล่มครั้งล่าสุดจากฝั่งผู้ใช้ ถามว่าใครบอกพวกเขา บอกอะไร และห่างกันนานเท่าใด บ่อยครั้งคำตอบคือความเงียบยาวตามด้วยบันทึกสั้นๆ ถามว่าใครควรเป็นเจ้าของการสื่อสารและข้อความแรกควรบอกอะไร ตกลงแม่แบบและจังหวะการแจ้ง
การทบทวนหลังเหตุการณ์ครั้งล่าสุดของเราเปลี่ยนอะไร และเรารู้ได้อย่างไร
ขอการลงมือ เจ้าของ และสถานะ หากไม่มีข้อใดเสร็จ ให้ถามว่าเพราะอะไร ไม่มีเจ้าของ ไม่มีเวลา หรือคุณค่าไม่ชัด หาว่ามีใครนอกทีมอ่านการทบทวนหลังเหตุการณ์หรือไม่ ตกลงการประชุมสม่ำเสมอเพื่อทบทวนการลงมือที่ค้างอยู่
ผู้คนรู้สึกปลอดภัยที่จะพูดว่าตนทำอะไรผิดหรือไม่
คำถามนี้ทดสอบการไม่กล่าวโทษ ขอให้ผู้คนอธิบายว่าจะรู้สึกอย่างไรเมื่อเขียนเรื่องความผิดพลาดของตนเองในการทบทวนหลังเหตุการณ์ ฟังหาความกลัวผลที่ตามมาและตัวอย่างที่มีการโทษเกิดขึ้น อย่าเรียกร้องความเปิดเผย ให้ถามว่าทีมและผู้นำต้องทำอะไรเพื่อให้ปลอดภัย เลือกก้าวที่มองเห็นได้หนึ่งก้าว
เราฝึกซ้อมอย่างไร และครั้งล่าสุดเมื่อใด
ถามว่าทีมเคยทำแบบฝึกหัดหรือเหตุการณ์จำลองหรือไม่ และเรียนรู้อะไร หากไม่เคย ให้พูดคุยการเริ่มเล็กๆ เช่น เล่นซ้ำเหตุการณ์ขัดข้องในอดีตในหนึ่งชั่วโมง บท SRE กล่าวถึงการฝึกกระบวนการกับการเปลี่ยนแปลงตามปกติและแบบฝึกหัดการกู้คืนจากภัยพิบัติ วางแผนหนึ่งครั้งสำหรับไตรมาสหน้า
ในทางปฏิบัติ: ตัวอย่าง ITIL แบบเอไจล์
พอร์ทัลลูกค้าของการไฟฟ้าระดับภูมิภาคให้ครัวเรือนแจ้งไฟดับและดูใบแจ้งหนี้ ทีมสิบเอ็ดคนสร้างและดูแล โดยมีเวรเข้าเวรสี่คน ระหว่างพายุ ปริมาณการแจ้งพุ่ง พอร์ทัลช้าลง แล้วล้มเหลว วิศวกรเข้าเวรลองรีสตาร์ตฐานข้อมูล วิศวกรคนที่สองติดตั้งการแก้ไขการตั้งค่าพร้อมกัน และคนที่สามย้อนกลับการปล่อยก่อนหน้า พอร์ทัลกลับมาหลังสามชั่วโมง และศูนย์บริการลูกค้าซึ่งไม่เคยได้รับแจ้งต้องรับสายที่โกรธนับพัน
ในการทบทวนหลังเหตุการณ์ ทีมเห็นสามอันตรายจากบท SRE ทุกคนเพ่งที่การแก้ไขทางเทคนิค ไม่มีใครสื่อสาร และการเปลี่ยนแปลงชนกัน พวกเขาเขียนกระบวนการเหตุการณ์ขัดข้องหนึ่งหน้า ใครก็ประกาศเหตุการณ์ขัดข้องได้ และการมีทีมที่สองเข้าร่วม ลูกค้าเห็นได้ หรือหนึ่งชั่วโมงโดยไม่คืบหน้า หมายความว่าต้องประกาศ วิศวกรเข้าเวรเป็นหัวหน้าปฏิบัติการ และเวรระบุผู้บัญชาการเหตุการณ์และหัวหน้าการสื่อสารจากทีมที่กว้างกว่า เฉพาะหัวหน้าปฏิบัติการเท่านั้นที่เปลี่ยนระบบจริง หัวหน้าการสื่อสารส่งการแจ้งทุก 30 นาทีไปยังศูนย์บริการลูกค้าและห้องควบคุม ช่องทางร่วมเก็บบันทึกสด
ในพายุครั้งถัดไป พอร์ทัลช้าอีก มีการประกาศเหตุการณ์ขัดข้องภายในสิบนาที และกู้คืนบริการได้ใน 70 นาทีโดยมีการแจ้งไปยังศูนย์บริการลูกค้าตลอด ยังมีปัญหาอยู่ เวรผู้บัญชาการมีช่องว่างในวันหยุด และทีมพบว่าสิ่งที่พึ่งพาอย่างหนึ่ง คือผู้ให้บริการข้อความสั้น ไม่มีผู้ติดต่อสำหรับยกระดับ การทบทวนหลังเหตุการณ์ให้การลงมือสองข้อพร้อมเจ้าของ คือเติมเวรให้ครบพร้อมตัวสำรอง และตกลงเส้นทางยกระดับกับผู้ให้บริการ ทีมกำหนดการเล่นซ้ำเหตุการณ์พายุสำหรับสมาชิกเวรใหม่
สี่มุมมอง
ทีมผลิตภัณฑ์และทีมส่งมอบ
ทีมส่งมอบเป็นต้นเหตุและผู้แก้เหตุการณ์ขัดข้องจำนวนมาก เข้าร่วมเวรเข้าเวรหรือให้การสนับสนุนโดยตรง และมองการลงมือจากการทบทวนหลังเหตุการณ์เป็นรายการแบ็กล็อก สร้างวิธีตรวจจับและย้อนกลับปัญหาไว้ในการปล่อยของคุณ เข้าร่วมแบบฝึกหัดเพื่อให้บทบาทคุ้นเคย
ทีมบริการและทีมปฏิบัติการ
ทีมปฏิบัติการเป็นเจ้าของกระบวนการ ทำให้สั้นและฝึกซ้อม ให้ผู้คนมีอำนาจลงมือ และเก็บบันทึกที่ผู้อื่นใช้ได้ แบ่งปันสิ่งที่เรียนรู้กับทีมส่งมอบ และผลักดันบทเรียนเข้าสู่การบริหารปัญหาและการวางแผน
ภาวะผู้นำและธรรมาภิบาล
ผู้นำกำหนดวัฒนธรรม ขอการทบทวนหลังเหตุการณ์และอ่านมัน ชมผู้ที่รายงานปัญหา และปฏิเสธที่จะตามหาใครสักคนมาโทษ ปกป้องเวลาสำหรับฝึกซ้อมและทำการลงมือให้เสร็จ ตัดสินใจว่าใครใช้เงินหรือเรียกใช้การตอบสนองระดับสูงสุดได้
ลูกค้าและผู้ใช้
ลูกค้าและผู้ใช้ต้องการการแจ้งที่ทันเวลาและซื่อตรง และวิธีรายงานปัญหาที่ชัดเจน ถามผู้ให้บริการของคุณว่าควรคาดหวังอะไรระหว่างการล่มและจะได้รับแจ้งอย่างไร เมื่อมีการแบ่งปันการทบทวนหลังเหตุการณ์ให้คุณ ให้อ่านเพื่อดูว่าผู้ให้บริการจะเปลี่ยนอะไร
รูปแบบความล้มเหลวที่พบบ่อย
- ไม่มีบทบาท ทุกคนทำงานกับการแก้ไขทางเทคนิคและไม่มีใครประสานงานหรือสื่อสาร แก้ไขโดยระบุผู้บัญชาการเหตุการณ์ หัวหน้าปฏิบัติการ และหัวหน้าการสื่อสารทุกครั้ง
- ประกาศช้า ผู้คนรอจนปัญหาแย่ แก้ไขโดยกำหนดเกณฑ์ที่ต่ำและชัดเจนและทำให้การประกาศเป็นเรื่องปกติ
- ทำตามอำเภอใจ หลายคนเปลี่ยนระบบพร้อมกัน แก้ไขโดยอนุญาตการเปลี่ยนแปลงผ่านหัวหน้าปฏิบัติการเท่านั้น
- ความเงียบ ผู้ใช้และผู้มีส่วนได้ส่วนเสียไม่ได้ยินอะไร แก้ไขโดยตกลงช่วงเวลาการแจ้งความคืบหน้าและแม่แบบ
- การโทษ การทบทวนหลังเหตุการณ์มองหาผู้ที่ผิด แก้ไขโดยถามว่าอะไรในระบบที่ทำให้เกิดความผิดพลาดและแก้สิ่งนั้น
- การทบทวนหลังเหตุการณ์ที่ไม่ไปไหน การลงมือไม่มีเจ้าของ แก้ไขโดยใส่ในแบ็กล็อกพร้อมวันที่และทบทวนสม่ำเสมอ
- ไม่เคยฝึกซ้อม ครั้งแรกที่ใช้กระบวนการคือเหตุการณ์ขัดข้องรุนแรง แก้ไขโดยซ้อมกับเหตุการณ์เล็กๆ และแบบฝึกหัด
- มองการซ่อมเป็นการแก้ไขให้เสร็จสิ้น เหตุการณ์ขัดข้องเดิมกลับมา แก้ไขโดยเชื่อมเหตุการณ์ซ้ำกับการบริหารปัญหาและแก้สาเหตุ
แบบจำลองความเป็นผู้ใหญ่
| มิติ | เริ่มต้น | พัฒนา | สร้างมาตรฐาน | บริหารจัดการ | ประสานกลมกลืน |
|---|---|---|---|---|---|
| การตรวจจับและการประกาศ | สังเกตเห็นเหตุการณ์ขัดข้องจากข้อร้องเรียนของผู้ใช้ | มีการแจ้งเตือนบางส่วนและประกาศเหตุการณ์ขัดข้องบางครั้ง | ใช้เกณฑ์ที่เขียนไว้และแบบแผนความรุนแรงง่ายๆ อย่างสม่ำเสมอ | ติดตามและลดเวลาตรวจจับและเวลาประกาศ | แบ่งปันการตรวจจับและการประกาศข้ามทีมและผู้ส่งมอบ |
| การตอบสนองและบทบาท | ผู้ตอบสนองแก้ปัญหาเฉพาะหน้า | บางทีมระบุผู้นำ | บทบาท การส่งต่อ และบันทึกสดเป็นมาตรฐาน | ทบทวนเวลาตอบสนองและผลงานของบทบาท | ประสานการตอบสนองข้ามทีมและผู้ส่งมอบพร้อมแบบฝึกหัดร่วม |
| การสื่อสาร | การแจ้งแบบเฉพาะกิจ | บางการแจ้งไปถึงบางกลุ่มผู้ฟัง | มีจังหวะการแจ้งและแม่แบบสำหรับแต่ละระดับความรุนแรง | วัดความทันเวลาของการสื่อสารและถามผู้ใช้ | ประสานการสื่อสารกับลูกค้าและพันธมิตร |
| การเรียนรู้ | ทบทวนเฉพาะเหตุการณ์ขัดข้องที่เลวร้ายที่สุด | เขียนการทบทวนหลังเหตุการณ์บางส่วน | การทบทวนหลังเหตุการณ์แบบไม่กล่าวโทษตามตัวกระตุ้นที่กำหนดพร้อมติดตามการลงมือ | วัดการลงมือที่เสร็จและการเกิดซ้ำ | แบ่งปันบทเรียนข้ามทีมและป้อนเข้าการเปลี่ยนแปลงทั่วองค์กร |
รายการตรวจสอบ
- เรามีนิยามเหตุการณ์ขัดข้องสั้นๆ พร้อมตัวอย่าง
- เรามีแบบแผนความรุนแรงขนาดเล็กพร้อมตัวอย่างผลกระทบต่อผู้ใช้และรายชื่อผู้ถูกเรียก
- แต่ละเหตุการณ์ขัดข้องเริ่มด้วยการระบุผู้บัญชาการเหตุการณ์ หัวหน้าปฏิบัติการ และหัวหน้าการสื่อสาร
- เก็บบันทึกสดสำหรับแต่ละเหตุการณ์ขัดข้อง
- เฉพาะหัวหน้าปฏิบัติการที่ระบุชื่อเท่านั้นที่เปลี่ยนระบบจริงระหว่างเหตุการณ์ขัดข้อง
- ตกลงช่วงเวลาการแจ้งความคืบหน้าสำหรับแต่ละระดับความรุนแรง
- เขียนตัวกระตุ้นการทบทวนหลังเหตุการณ์ไว้
- การทบทวนหลังเหตุการณ์เป็นแบบไม่กล่าวโทษ แบ่งปัน และทบทวน
- ทุกการลงมือจากการทบทวนหลังเหตุการณ์มีเจ้าของและวันที่ และทบทวนการลงมือที่ค้างอยู่
- เราฝึกซ้อมกระบวนการในหกเดือนที่ผ่านมา
พรอมต์ปัญญาประดิษฐ์
วัตถุประสงค์: ร่างกระบวนการเหตุการณ์ขัดข้องหนึ่งหน้าจากแนวปฏิบัติปัจจุบันของคุณ
Help me draft a one-page incident process for a team of [number] people who run [service].
How we handle incidents today: [describe in a few sentences].
Our on-call arrangement: [describe].
Who needs to be told during an incident: [list audiences].
Rules we must follow (contracts, regulations), with source text if you have it: [paste, or write "none known"].
Produce a short process with: what counts as an incident, a simple severity scheme with user-impact examples (leave numeric thresholds as [to be agreed]), the roles and what each does, how to communicate, and when to hold a postmortem. Mark every item that is an assumption. Do not invent obligations. Ask clarifying questions first, and list what you are unsure of.
วัตถุประสงค์: เปลี่ยนบันทึกเหตุการณ์ขัดข้องเป็นร่างการทบทวนหลังเหตุการณ์แบบไม่กล่าวโทษ
Below is the log of an incident: [paste timestamps, messages, and actions; remove personal data].
Impact as we know it: [describe users affected and for how long, using only facts].
Draft a blameless postmortem with: summary, impact, timeline, how it was detected, how it was mitigated, contributing causes (separate known from suspected), what went well, what went badly, and proposed actions with a suggested type (prevent, detect, respond) but no owners or dates. Describe actions of people neutrally, as roles. Do not invent facts or causes. Mark gaps with [UNKNOWN], and list what you are unsure of.
วัตถุประสงค์: เขียนการแจ้งสถานะเหตุการณ์ขัดข้องสำหรับผู้มีส่วนได้ส่วนเสียที่ไม่ใช่สายเทคนิค
Write a status update for stakeholders who are not technical about this incident.
Facts: what is affected: [describe]; since when: [time]; what we know about the cause: [what is known, or "not yet known"]; what we are doing: [describe]; when the next update will come: [time].
Write under 120 words in plain language. State what we know and what we do not, without guessing at the cause or the time of recovery. Do not promise a resolution time unless I gave one. Offer two versions: one for customers and one for internal staff. List what you are unsure of.
วัตถุประสงค์: ออกแบบแบบฝึกหัดเหตุการณ์ขัดข้องขนาดเล็ก
Design a 60-minute incident exercise for [number] people who run [service].
Scenario basis: [describe a past incident or a plausible failure, using only facts you want to use].
Roles to practice: incident commander, operations lead, communications lead.
Constraints: [for example no use of production systems].
Give a timed plan: briefing, the scenario released in three stages, prompts for each role, and a short review with questions on roles, communication, and records. Do not use real production access. Ask clarifying questions first if information is missing, mark assumptions, and list what you are unsure of.
ทักษะปัญญาประดิษฐ์
- incident-response-plan: ใช้เขียนแผนที่กำหนดบทบาท เกณฑ์ และการสื่อสารสำหรับทีมของคุณ
- postmortem: ใช้จัดการทบทวนแบบไม่กล่าวโทษและบันทึกการลงมือหลังเหตุการณ์ขัดข้อง
- runbook: ใช้เปลี่ยนวิธีแก้ที่ทราบแล้วให้เป็นขั้นตอนสั้นๆ สำหรับผู้ตอบสนอง
- on-call-rotation: ใช้ออกแบบเวรที่เป็นธรรมพร้อมตัวสำรองและการส่งต่อ
- crisis-communication-plan: ใช้วางแผนสิ่งที่คุณบอกผู้ใช้ เจ้าหน้าที่ และสาธารณะระหว่างการล่มรุนแรง
แหล่งอ้างอิงหลัก
- Managing Incidents (Andrew Stribblehill ใน Site Reliability Engineering, Google, sre.google): บันทึกสาธารณะที่ชัดเจนที่สุดเรื่องการบัญชาการเหตุการณ์ขัดข้องสำหรับทีมบริการ
- Postmortem Culture: Learning from Failure (Site Reliability Engineering, Google, sre.google): เหตุผลสนับสนุนการทบทวนหลังเหตุการณ์แบบไม่กล่าวโทษ พร้อมตัวกระตุ้นและแนวคิดสร้างวัฒนธรรม
- Incident management (Wikipedia): ภาพรวมหลายสาขาพร้อมส่วนว่าด้วยการบริหารบริการไอที
- IT service management (Wikipedia): นิยามของเหตุการณ์ขัดข้องและตำแหน่งของการจัดการเหตุการณ์ขัดข้องในศูนย์บริการ
เอกสารอ้างอิง
- Managing Incidents — Andrew Stribblehill, Google SRE book, sre.google — https://sre.google/sre-book/managing-incidents/
- Postmortem Culture: Learning from Failure — Google SRE book, sre.google — https://sre.google/sre-book/postmortem-culture/
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
- Incident Command System — Wikipedia — https://en.wikipedia.org/wiki/Incident_Command_System
- Root cause analysis — Wikipedia — https://en.wikipedia.org/wiki/Root_cause_analysis
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- ITIL — Wikipedia — https://en.wikipedia.org/wiki/ITIL
- Computer security incident management — Wikipedia — https://en.wikipedia.org/wiki/Computer_security_incident_management