เหตุใดเรื่องนี้จึงสำคัญ

บริการที่คุณมองไม่เห็นคือบริการที่คุณดูแลไม่ได้ หากไม่มีการเฝ้าติดตาม ทีมจะรู้เรื่องความล้มเหลวจากผู้ใช้ และจะไม่มีใครรู้เรื่องการเสื่อมถอยอย่างช้า ๆ เลย หากการเฝ้าติดตามไม่ดี ปัญหาจะตรงข้ามกัน คือมีการแจ้งเตือนมากจนวิศวกรเวรเฝ้าระบบ (on call) เลิกเชื่อ และการแจ้งเตือนที่สำคัญจมหายไปในสัญญาณรบกวน ทั้งสองขั้วสูญเสียการนอน ความไว้วางใจ และเวลา

การเฝ้าติดตามและการบริหารเหตุการณ์ยังกำหนดว่าเหตุการณ์ขัดข้องจะถูกพบและแก้ไขได้เร็วเพียงใด ทุกอย่างในการบริหารเหตุการณ์ขัดข้องขึ้นอยู่กับการรู้อย่างรวดเร็วว่ามีบางอย่างผิดปกติ และมีข้อมูลเพียงพอที่จะค้นหาสาเหตุ (ดู หัวข้อ 3.2 — การบริหารเหตุการณ์ขัดข้อง) ทีมเอไจล์ที่ปล่อยเวอร์ชันบ่อยยิ่งต้องการสิ่งนี้มากขึ้น เพราะทุกการปล่อยเป็นโอกาสที่จะทำให้บางอย่างเสีย และทุกการตัดสินใจย้อนกลับขึ้นอยู่กับการเห็นผลกระทบ

หนังสือ Site Reliability Engineering ของ Google มีสองบทที่กล่าวถึงเรื่องนี้โดยตรง ได้แก่ "Monitoring Distributed Systems" และ "Practical Alerting from Time-Series Data" ทั้งสองบทอธิบายแนวปฏิบัติขององค์กรหนึ่งและสนับสนุนแนวทางที่เรียบง่ายโดยเจตนาและมุ่งผู้ใช้ หัวข้อนี้ใช้ทั้งสองบทเป็นแหล่งหลัก เพราะบทความ Wikipedia ที่ใช้สำหรับคู่มือนี้ให้ข้อมูลเกี่ยวกับแนวปฏิบัตินี้ไม่มากนัก คำศัพท์ ITIL ในที่นี้ เช่น เหตุการณ์ (event) การแจ้งเตือน (alert) และการบริหารเหตุการณ์ มาจากคำอธิบายที่เผยแพร่แพร่หลายซึ่งคู่มือนี้ไม่สามารถยืนยันกับข้อความของเจ้าของกรอบแนวทางได้ ให้อ่านบท SRE เป็นหนึ่งทางเลือกที่อธิบายไว้อย่างดี

แนวคิดหลัก

การเฝ้าติดตาม

บท SRE นิยาม การเฝ้าติดตาม ว่าเป็นการรวบรวม ประมวลผล และแสดงข้อมูลเชิงปริมาณแบบเรียลไทม์เกี่ยวกับระบบ บทระบุว่าการเฝ้าติดตามสนับสนุนการวิเคราะห์แนวโน้มระยะยาว การเปรียบเทียบข้ามการทดลอง การแจ้งเตือน แดชบอร์ด และการดีบักเฉพาะกิจภายหลัง บทเน้นว่าการเฝ้าติดตามเป็นความพยายามทางวิศวกรรมที่สำคัญ และทีมโดยทั่วไปมอบหมายอย่างน้อยหนึ่งคนให้ดูแล

เหตุการณ์ การแจ้งเตือน และเหตุการณ์ขัดข้อง

ในการใช้งาน ITSM เหตุการณ์ (event) คือการเปลี่ยนสถานะที่มีนัยสำคัญต่อการบริหารบริการ เหตุการณ์ส่วนใหญ่เป็นข้อมูลเพื่อทราบ บางเหตุการณ์บ่งชี้คำเตือนหรือข้อยกเว้น การแจ้งเตือน (alert) ตามที่บท SRE กล่าว คือการแจ้งให้มนุษย์ทราบ ส่งเป็นตั๋ว อีเมล หรือเพจ เหตุการณ์ขัดข้อง (incident) คือการหยุดชะงักที่ไม่ได้วางแผนไว้หรือคุณภาพที่ลดลง (ดู หัวข้อ 3.2 — การบริหารเหตุการณ์ขัดข้อง) การบริหารเหตุการณ์คือแนวปฏิบัติในการตัดสินว่าเหตุการณ์ใดสำคัญ ควรทำอะไร และควรแจ้งใคร กระแสคือเหตุการณ์ไปสู่การแจ้งเตือน และบางครั้งไปสู่เหตุการณ์ขัดข้อง

การเฝ้าติดตามแบบกล่องดำและกล่องขาว

บทแยกแยะสองประเภท

ประเภท ทำอะไร จุดแข็ง
กล่องดำ (black-box) ทดสอบพฤติกรรมที่มองเห็นจากภายนอก ตามที่ผู้ใช้จะเห็น ตรวจพบปัญหาที่กำลังเกิดขึ้น เหมาะกับการเพจ
กล่องขาว (white-box) ใช้ตัววัดที่ระบบเปิดเผยจากภายใน เช่น บันทึกหรือตัวจัดการภายใน เผยปัญหาที่ใกล้เกิดและความล้มเหลวที่ถูกบังด้วยการลองใหม่ จำเป็นสำหรับการดีบัก

หนังสือรวมทั้งสองแบบ โพรบ (probe) กล่องดำบอกคุณว่าการชำระเงินล้มเหลว ข้อมูลกล่องขาวช่วยให้คุณหาว่าทำไม

อาการและสาเหตุ

บทระบุว่าการเฝ้าติดตามควรตอบสองคำถาม คือ อะไรเสีย และเพราะเหตุใด บทแนะนำให้เน้นการแจ้งเตือนที่อาการ ซึ่งเป็นสิ่งที่ผู้ใช้สัมผัส และเพจที่สาเหตุเฉพาะเมื่อสาเหตุนั้นแน่นอนและใกล้เกิด เครื่องเดียวล้มเหลวเป็นสิ่งที่ในบทว่าด้วยการแจ้งเตือน ใช้ถ้อยคำว่ายอมรับไม่ได้ที่จะถูกแจ้งเตือน เพราะมีสัญญาณรบกวนมากเกินไป นี่คือหัวใจของแนวทางการแจ้งเตือนที่ดี คือบอกมนุษย์เมื่อผู้ใช้กำลังหรือจะได้รับผลกระทบ ไม่ใช่ทุกครั้งที่ชิ้นส่วนกระตุก

สัญญาณทองคำทั้งสี่

บทเสนอสี่สัญญาณที่ควรเฝ้าดูสำหรับระบบที่ผู้ใช้เห็น

  • เวลาแฝง (latency): เวลาที่ใช้ในการให้บริการคำขอ ติดตามคำขอที่ล้มเหลวแยกต่างหาก เพราะ "ข้อผิดพลาดที่ช้าแย่กว่าข้อผิดพลาดที่เร็ว"
  • ปริมาณการใช้งาน (traffic): ความต้องการต่อระบบ
  • ข้อผิดพลาด (errors): คำขอที่ล้มเหลว ไม่ว่าจะชัดแจ้ง โดยนัย หรือตามนโยบาย
  • ความอิ่มตัว (saturation): บริการ "เต็ม" เพียงใด ประสิทธิภาพมักลดลงก่อนการใช้งาน 100%

สิ่งเหล่านี้เชื่อมโยงกับตัวบ่งชี้ระดับบริการได้เป็นธรรมชาติ (ดู หัวข้อ 3.7 — การบริหารระดับบริการ) บทยังเตือนว่าค่าเฉลี่ยซ่อนค่าที่ช้าผิดปกติ และแนะนำให้บันทึกจำนวนคำขอในช่วงของเวลาแฝงเพื่อดูการแจกแจง

อะไรทำให้การแจ้งเตือนดี

บทให้คำถามที่ควรถามก่อนเขียนการแจ้งเตือน ได้แก่ ตรวจพบสภาวะที่เร่งด่วน ลงมือทำได้ และผู้ใช้มองเห็นหรือไม่ เพิกเฉยได้อย่างปลอดภัยหรือไม่ และการตอบสนองทำเป็นอัตโนมัติได้หรือไม่ เพจควรลงมือทำได้ ต้องใช้วิจารณญาณ และเกี่ยวกับปัญหาใหม่ บทระบุว่าการแจ้งเตือนไม่ควรทำงานเพียงเพราะ "บางอย่างดูแปลก ๆ นิดหน่อย" เพจที่การตอบสนองเป็นแบบท่องจำและเป็นอัลกอริทึม ในมุมมองของบท เป็นธงแดงที่เรียกร้องระบบอัตโนมัติหรือการซ่อมที่สาเหตุราก

การส่งการแจ้งเตือน

บทว่าด้วยการแจ้งเตือนอธิบายการส่งการแจ้งเตือนที่สมควรเพจไปยังบุคลากรเวรเฝ้าระบบ ส่งที่ไม่วิกฤตไปยังคิวตั๋ว และที่เหลือไปยังแดชบอร์ดสถานะ บทอธิบายเครื่องมือในการส่ง ขจัดซ้ำ และยับยั้งการแจ้งเตือน และระบุว่าการแจ้งเตือนควรรอระยะเวลาขั้นต่ำก่อนทำงาน เพราะอาจสั่นไหว (flap) บทเตือนว่า "คุณแจ้งเตือนได้เฉพาะความล้มเหลวที่คุณคาดไว้" ซึ่งเป็นเหตุที่การรวมโพรบกล่องดำกับข้อมูลกล่องขาวสำคัญ

ทำให้เรียบง่าย

บทโต้แย้งให้ใช้ระบบที่เรียบง่ายและเร็วแทน "เวทมนตร์" ที่เรียนรู้ค่าขีดจำกัดหรือตรวจจับความเป็นเหตุเป็นผล และระบุว่าลำดับชั้นการพึ่งพาที่ซับซ้อนประสบความสำเร็จจำกัด บทระบุให้รักษากฎที่จับเหตุการณ์ขัดข้องจริงให้เรียบง่าย ลบการแจ้งเตือนที่ใช้นาน ๆ ครั้งและสัญญาณที่ไม่ได้ใช้ และรักษาต้นทุนการบำรุงรักษาให้โตช้ากว่าขนาดของบริการ กรณีที่บทอธิบาย เช่น ทีมที่ท่วมด้วยการแจ้งเตือนจนผ่อนปรนวัตถุประสงค์ชั่วคราวและปิดการแจ้งเตือนทางอีเมลเพื่อให้มีเวลาแก้ไขอย่างยั่งยืน แสดงความเต็มใจที่จะขจัดสัญญาณรบกวน

แดชบอร์ดและมุมมองระยะยาว

บทถือแดชบอร์ดเป็นมุมมองสรุปที่สร้างไว้ล่วงหน้าของตัววัดหลักของบริการ และระบุว่าแดชบอร์ดดีกว่าการแจ้งเตือนทางอีเมล ซึ่งบทเรียกว่ามีคุณค่าจำกัดมาก บทยังแนะนำให้ทบทวนความถี่ของเพจเมื่อเวลาผ่านไป เช่น ในรายงานรายไตรมาส เพื่อให้ผู้นำรับทราบภาระของเพจเจอร์ ทำให้คุณภาพของการแจ้งเตือนเป็นสิ่งที่ผู้จัดการมองเห็น (ดู หัวข้อ 1.2 — หลักการเอไจล์ ว่าด้วยจังหวะที่ยั่งยืน)

ข้อจำกัดของแหล่งอ้างอิง

บท SRE ไม่ให้ค่าขีดจำกัดนอกจากตัวอย่างเดียว ไม่ได้กล่าวถึงคู่มือปฏิบัติการ (runbook) หรือขีดจำกัดภาระเวรเฝ้าระบบ และไม่ได้อธิบายวิธีทบทวนและเลิกใช้การแจ้งเตือนเมื่อเวลาผ่านไป สิ่งเหล่านั้นจึงเป็นเรื่องของแนวปฏิบัติของคุณเอง บทมาจากองค์กรใหญ่แห่งหนึ่งที่มีทรัพยากรวิศวกรรมแข็งแกร่ง ทีมเล็กกว่านำหลักการไปใช้กับเครื่องมือที่เรียบง่ายกว่าได้

แนวปฏิบัติที่ดี

  1. เฝ้าติดตามสิ่งที่ผู้ใช้สัมผัส. เพิ่มโพรบกล่องดำอย่างน้อยหนึ่งตัวที่ทำการกระทำของผู้ใช้จริง เช่น เข้าสู่ระบบหรือสั่งซื้อ และแจ้งเตือนเมื่อล้มเหลว
  2. เฝ้าดูสัญญาณทองคำทั้งสี่. สำหรับแต่ละบริการ ติดตามเวลาแฝง ปริมาณการใช้งาน ข้อผิดพลาด และความอิ่มตัว เพิ่มตัววัดอื่นเฉพาะเมื่อตอบคำถามที่คุณถามไว้
  3. แจ้งเตือนที่อาการ. เพจเมื่อผู้ใช้เดือดร้อนหรือจะเดือดร้อนในไม่ช้า ถือสภาวะภายใน เช่น เครื่องเดียวล้มเหลว เป็นข้อมูลที่มีลำดับความสำคัญต่ำกว่า เว้นแต่แน่นอนและใกล้เกิด
  4. ทำให้ทุกเพจลงมือทำได้. ก่อนสร้างการแจ้งเตือน เขียนว่าผู้ตอบสนองควรทำอะไร หากไม่มีอะไรให้ทำ ก็ไม่ใช่เพจ
  5. ส่งตามความเร่งด่วน. ส่งการแจ้งเตือนเร่งด่วนไปยังเวรเฝ้าระบบ ที่เร่งด่วนน้อยกว่าไปยังคิวตั๋ว และข้อมูลไปยังแดชบอร์ด อย่าส่งการแจ้งเตือนทางอีเมลให้ผู้ที่จะเพิกเฉย
  6. ใช้การแจกแจง ไม่ใช่เพียงค่าเฉลี่ย. ดูเปอร์เซ็นไทล์สูงของเวลาแฝง หรือช่วง เพื่อให้เห็นค่าที่ช้าผิดปกติ
  7. ตั้งระยะเวลาขั้นต่ำ. กำหนดให้สภาวะคงอยู่ช่วงสั้น ๆ ก่อนแจ้งเตือน เพื่อหลีกเลี่ยงการสั่นไหว ปรับระยะเวลาด้วยข้อมูลจริง
  8. เลิกการแจ้งเตือนที่เป็นสัญญาณรบกวน. ทบทวนว่าการแจ้งเตือนใดทำงานบ่อยที่สุดและไม่นำไปสู่การลงมือทำ ลบหรือแก้ไข บท SRE ถือการตอบสนองแบบท่องจำเป็นสัญญาณให้ทำระบบอัตโนมัติหรือซ่อมแซม
  9. ทดสอบการเฝ้าติดตามของคุณ. ทำให้บางอย่างเสียโดยตั้งใจในสภาพแวดล้อมทดสอบ และตรวจว่าการแจ้งเตือนที่ถูกต้องทำงาน รวมตัวระบบเฝ้าติดตามเองในการตรวจสอบ เพื่อให้สังเกตเห็นความล้มเหลวของมัน
  10. ทบทวนภาระเพจเจอร์. นับเพจต่อกะ การถูกรบกวนนอกเวลาทำงาน และสัญญาณเตือนผิด ทุกไตรมาส แบ่งปันผลกับผู้จัดการและใช้ในการวางแผน
  11. เก็บการเฝ้าติดตามไว้ในนิยามของการเสร็จสิ้น. สำหรับแต่ละฟีเจอร์ใหม่ ถามว่าสัญญาณใดแสดงว่าทำงานได้หรือไม่ และต้องการการแจ้งเตือนใด หากมี (ดู หัวข้อ 3.5 — การบริหารการปล่อยและการติดตั้ง)
  12. ทำให้เรียบง่าย. ชอบกฎที่เข้าใจได้ไม่กี่ข้อมากกว่าแผนที่ซับซ้อน ลบสัญญาณที่ไม่ได้ใช้และทบทวนกฎหลังเหตุการณ์ขัดข้อง

คำถามสำหรับพูดคุยกับทีมของคุณ

เรารู้เรื่องเหตุการณ์ขัดข้องสามครั้งล่าสุดของเราได้อย่างไร?

ทำรายการแต่ละเหตุการณ์ขัดข้องและวิธีที่สังเกตเห็นครั้งแรก ได้แก่ การแจ้งเตือน ผู้ใช้ หรือเพื่อนร่วมงาน หากส่วนใหญ่มาจากผู้ใช้ การเฝ้าติดตามพลาดอาการที่สำคัญ ผู้อำนวยความสะดวกสามารถถามว่าโพรบจะแสดงอะไร เลือกการกระทำของผู้ใช้หนึ่งอย่างมาเฝ้าติดตามก่อน

การแจ้งเตือนใดที่เราเพิกเฉย และเพราะเหตุใด?

ถามวิศวกรเวรเฝ้าระบบถึงการแจ้งเตือนที่พวกเขาปิดเสียงหรือข้าม แต่ละรายการเป็นตัวเลือกที่ต้องแก้หรือลบ ถามว่าอะไรทำให้ผู้คนเชื่อหรือไม่เชื่อการแจ้งเตือน คำตอบตรง ๆ มักเผยการแจ้งเตือนที่ทำงานกับสภาวะที่ไม่มีใครลงมือทำได้ ตกลงเลิกหรือแก้สามรายการ

คืนที่เลวร้ายที่สุดที่เราเคยเข้าเวรเฝ้าระบบคืออะไร และอะไรจะทำให้ดีขึ้น?

รวบรวมเรื่องราวโดยไม่กล่าวโทษ มองหารูปแบบ ได้แก่ เพจซ้ำ การแจ้งเตือนที่ไม่ชัดเจน ขาดคู่มือปฏิบัติการ ไม่มีการยกระดับ แต่ละรูปแบบเป็นการปรับปรุง ถามว่าสองการเปลี่ยนแปลงใดช่วยได้มากที่สุด เป้าหมายคือภาระที่เบาลงและสัญญาณที่ชัดเจนขึ้น

หากระบบเฝ้าติดตามของเราล้มเหลว เราจะรู้ได้อย่างไร?

ถามว่าใครเฝ้าดูผู้เฝ้าดู หลายทีมไม่มีการตรวจสอบว่าการเฝ้าติดตามทำงานอยู่ หารือเรื่องสัญญาณชีพ (heartbeat) ง่าย ๆ หรือโพรบจากระบบแยกต่างหาก ตกลงเพิ่มหนึ่งการตรวจสอบ

แดชบอร์ดของเราแสดงอะไร และใครดู?

ทำรายการแดชบอร์ดและถามว่าใครใช้แต่ละอันในเดือนที่ผ่านมา แดชบอร์ดที่ไม่ได้ใช้เป็นสิ่งรก อันที่มีประโยชน์เล่าเรื่องของบริการ ถามว่าแต่ละอันตอบคำถามอะไร เก็บชุดเล็ก ๆ ที่ตอบคำถามจริง

เราจะรู้ได้อย่างไรว่าการปล่อยเวอร์ชันทำให้แย่ลง?

เลือกการปล่อยล่าสุดและถามว่าสัญญาณใดจะแสดงปัญหา หากคำตอบคือ "เราจะได้ยินจากผู้ใช้" หารือว่าควรเฝ้าสัญญาณใดหลังการปล่อยและใครรับผิดชอบ คำถามนี้เชื่อมการเฝ้าติดตามกับการติดตั้ง เขียนรายการตรวจสอบหลังการปล่อยสั้น ๆ

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบเอไจล์

หน่วยงานขนส่งสาธารณะของเมืองแห่งหนึ่งดูแลเว็บไซต์และแอปวางแผนการเดินทางที่มีผู้ใช้ 400,000 คนต่อวัน ทีมแพลตฟอร์มสิบคนเป็นเจ้าของบริการด้วยตารางเวรเฝ้าระบบสี่คน ทีมมีการแจ้งเตือนหลายร้อยรายการ ได้แก่ CPU ของทุกเซิร์ฟเวอร์ พื้นที่ดิสก์ ความยาวคิว และจำนวนข้อผิดพลาด วิศวกรเวรเฝ้าระบบได้รับ 40 เพจในสัปดาห์ทั่วไป ส่วนใหญ่นอกเวลาทำงาน และเหตุการณ์ขัดข้องสองครั้งในไตรมาสที่ผ่านมาถูกรายงานครั้งแรกโดยผู้ใช้บนโซเชียลมีเดีย

หัวหน้าทีมและวิศวกรคนหนึ่งทบทวนเพจสามเดือน พบว่าสามในสี่เป็นสภาวะที่ไม่ต้องลงมือทำหรือหายเอง พวกเขาตกลงทำตามแนวทางง่าย ๆ จากหนังสือ SRE คือแจ้งเตือนสิ่งที่ผู้ใช้สัมผัส พวกเขาเพิ่มโพรบที่วางแผนการเดินทางมาตรฐานทุกนาทีและวัดความสำเร็จและความเร็ว และเก็บการแจ้งเตือนชุดเล็กเรื่องความอิ่มตัวของฐานข้อมูลและคิว พวกเขาย้ายส่วนที่เหลือไปที่แดชบอร์ดและตั๋วรายวัน เพจที่เหลือแต่ละรายการได้รายการคู่มือปฏิบัติการสั้น ๆ ระบุว่าต้องตรวจอะไร

หลังหนึ่งเดือน เพจลดลงเหลือราวห้าครั้งต่อสัปดาห์ และเหตุการณ์ขัดข้องสองครั้งที่ตามมาถูกตรวจพบโดยโพรบก่อนที่ผู้ใช้จะบ่น ยังมีปัญหาเหลืออยู่ โพรบครอบคลุมการเดินทางเพียงประเภทเดียว และข้อบกพร่องที่กระทบการเดินทางด้วยจักรยานไม่มีใครสังเกตเป็นเวลาหนึ่งวัน วิศวกรคนหนึ่งยังรายงานว่าการตัดสินใจ "ย้ายไปแดชบอร์ด" ซ่อนปัญหาดิสก์ช้าที่ต่อมาทำให้เกิดความล้มเหลว ทีมเพิ่มโพรบสำหรับการเดินทางประเภทอื่น เพิ่มการทบทวนแดชบอร์ดรายวันลงในตารางเวร และตกลงทบทวนภาระเพจเจอร์ทุกไตรมาส

สี่มุมมอง

ทีมผลิตภัณฑ์และทีมส่งมอบ

ทีมส่งมอบรู้ว่าซอฟต์แวร์ควรทำอะไรและมีแนวโน้มล้มเหลวที่ใด สร้างสัญญาณไว้ในโค้ด ได้แก่ บันทึกที่มีประโยชน์ ตัววัด และการตรวจสุขภาพ (health check) กำหนดโพรบสำหรับการกระทำหลักของผู้ใช้ และถือการเฝ้าติดตามเป็นส่วนหนึ่งของการเสร็จสิ้น มีส่วนร่วมในการทบทวนการแจ้งเตือนเพื่อให้เพจสะท้อนปัญหาจริง

ทีมบริการและทีมปฏิบัติการ

ทีมปฏิบัติการถือเพจเจอร์และแดชบอร์ด รักษาการแจ้งเตือนให้น้อยและลงมือทำได้ ส่งตามความเร่งด่วน และติดตามภาระเพจเจอร์ ส่งการแจ้งเตือนที่เป็นสัญญาณรบกวนกลับไปยังทีมเจ้าของพร้อมหลักฐาน และแบ่งปันสิ่งที่เรียนรู้จากเหตุการณ์ขัดข้องว่าควรเฝ้าดูอะไร

ภาวะผู้นำและธรรมาภิบาล

ผู้นำควรขอข้อมูลภาระเพจเจอร์และการตรวจพบเหตุการณ์ขัดข้อง ไม่ใช่ขอการแจ้งเตือนเพิ่ม สนับสนุนเวลาในการเลิกสัญญาณรบกวนและเพิ่มสัญญาณที่มีประโยชน์ ถือจำนวนเพจนอกเวลาทำงานที่เพิ่มขึ้นเป็นความเสี่ยงต่อบริการและต่อผู้คน

ลูกค้าและผู้ใช้

ลูกค้าและผู้ใช้ได้ประโยชน์เมื่อพบปัญหาก่อนที่พวกเขาจะสังเกตเห็น รายงานปัญหาพร้อมรายละเอียด เช่น สิ่งที่คุณลองและเมื่อใด เพราะช่วยปรับการเฝ้าติดตาม ถามผู้ให้บริการว่าตรวจพบความล้มเหลวอย่างไรและเร็วเพียงใด และเผยแพร่ข้อมูลสถานะหรือไม่

รูปแบบความล้มเหลวที่พบบ่อย

  • แจ้งเตือนทุกอย่าง. เพจเจอร์ดังตลอดและสูญเสียความไว้วางใจ ให้เพจที่อาการและส่งส่วนที่เหลือไปยังตั๋วหรือแดชบอร์ดแทน
  • เฝ้าติดตามระบบ ไม่ใช่ผู้ใช้. ทุกเครื่องเป็นสีเขียวขณะที่ผู้ใช้เข้าสู่ระบบไม่ได้ ให้เพิ่มโพรบกล่องดำของการกระทำจริงของผู้ใช้แทน
  • ไม่มีการลงมือทำแนบมา. เพจมาถึงโดยไม่มีอะไรให้ทำ ให้กำหนดให้แต่ละเพจมีการตอบสนองที่อธิบายไว้ หรือลบทิ้งแทน
  • ใช้แต่ค่าเฉลี่ย. ผู้ใช้กลุ่มหนึ่งเดือดร้อนขณะที่ค่าเฉลี่ยดูปกติ ให้ดูเปอร์เซ็นไทล์สูงหรือการแจกแจงแทน
  • กฎซับซ้อนและฉลาดเกินไป. ค่าขีดจำกัดที่เรียนรู้เองและต้นไม้การพึ่งพาทำให้ผู้ตอบสนองสับสน ให้ชอบกฎที่เรียบง่ายและเข้าใจได้แทน
  • การเฝ้าติดตามที่ไม่มีใครดู. ระบบเฝ้าติดตามล้มเหลวอย่างเงียบ ๆ ให้ตรวจสอบด้วยสัญญาณชีพและการทดสอบแทน
  • การตอบสนองแบบท่องจำ. ผู้คนทำการแก้ไขเดิมซ้ำหลังทุกเพจ ให้ทำการตอบสนองเป็นอัตโนมัติหรือแก้ที่สาเหตุแทน
  • มองข้ามภาระเพจเจอร์. เพจตอนกลางคืนถือเป็นเรื่องปกติ ให้วัดและทบทวน และถือภาระสูงเป็นความเสี่ยงแทน

แบบจำลองความเป็นผู้ใหญ่

มิติ เริ่มต้น พัฒนา สร้างมาตรฐาน บริหารจัดการ ประสานกลมกลืน
การมองเห็นประสบการณ์ของผู้ใช้ ผู้ใช้รายงานปัญหาส่วนใหญ่ บางบริการมีโพรบหรือตัววัดสำหรับการกระทำของผู้ใช้ โพรบการกระทำหลักของผู้ใช้และติดตามสัญญาณทองคำสำหรับทุกบริการ วัดเวลาตรวจพบและความครอบคลุม และแก้ไขช่องว่าง การเฝ้าติดตามใช้ร่วมกันข้ามทีม ผู้ส่งมอบ และลูกค้า
คุณภาพการแจ้งเตือน แจ้งเตือนมาก ลงมือทำน้อย บางทีมตัดแต่งการแจ้งเตือน เพจอิงอาการ ลงมือทำได้ และส่งตามความเร่งด่วน วัดและทบทวนความแม่นยำและสัญญาณรบกวนของการแจ้งเตือน การออกแบบการแจ้งเตือนปรับปรุงข้ามทีมจากหลักฐานร่วมกัน
การตอบสนองและระบบอัตโนมัติ ตอบสนองแบบด้นสด มีคู่มือปฏิบัติการบางฉบับ เพจเชื่อมโยงกับคู่มือปฏิบัติการ และการตอบสนองแบบท่องจำเป็นอัตโนมัติ วัดเวลาตอบสนองและการใช้ระบบอัตโนมัติ ประสานการตอบสนองข้ามทีมและผู้ส่งมอบ
ผู้คนและภาระ ไม่ติดตามภาระเพจเจอร์ บางทีมนับเพจ ทบทวนภาระเพจเจอร์ทุกไตรมาส ปรับสมดุลและลดภาระจากข้อมูล แบ่งปันภาระและการเรียนรู้ข้ามทีมและสะท้อนในการวางแผน

รายการตรวจสอบ

  • แต่ละบริการสำคัญมีโพรบของการกระทำจริงของผู้ใช้อย่างน้อยหนึ่งตัว
  • เราติดตามเวลาแฝง ปริมาณการใช้งาน ข้อผิดพลาด และความอิ่มตัวสำหรับแต่ละบริการ
  • ทุกเพจมีการตอบสนองที่เขียนไว้และเกี่ยวกับสภาวะที่ผู้ใช้มองเห็นหรือใกล้เกิด
  • ส่งการแจ้งเตือนตามความเร่งด่วนไปยังเวรเฝ้าระบบ ตั๋ว หรือแดชบอร์ด
  • เปอร์เซ็นไทล์สูงหรือการแจกแจงของเวลาแฝงมองเห็นได้
  • เราทบทวนว่าการแจ้งเตือนใดทำงานบ่อยที่สุดและเลิกรายการที่ไม่นำไปสู่การลงมือทำ
  • ตรวจสอบตัวระบบเฝ้าติดตามเอง
  • ทบทวนภาระเพจเจอร์ (เพจต่อกะ การถูกรบกวนนอกเวลาทำงาน) ทุกไตรมาส
  • ฟีเจอร์ใหม่รวมการเฝ้าติดตามไว้ในนิยามของการเสร็จสิ้น
  • หลังการปล่อยแต่ละครั้ง มีผู้ตรวจสัญญาณเทียบกับรายการสั้น ๆ

พรอมต์ปัญญาประดิษฐ์

วัตถุประสงค์: ทบทวนรายการการแจ้งเตือนเพื่อหาสัญญาณรบกวนและความสามารถในการลงมือทำ

Here is a list of our alerts with how often each fired in the last [period], and what happened after (acted on, ignored, resolved by itself): [paste as a table; use real data].

Using only my data, group the alerts into: fired often with no action; fired and led to action; rarely fired. For each of the first group, suggest a question to ask its owner (for example whether it can be removed, routed to a ticket, or turned into a symptom-based alert). Do not invent frequencies or outcomes. Tell me what additional data would help, and list what you are unsure of.

วัตถุประสงค์: กำหนดโพรบสำหรับเส้นทางการใช้งานของผู้ใช้

Help me define a black-box probe for this user action in [service]: [describe, for example "a user searches for a journey and receives results"].

What counts as success: [describe].
What is too slow: [say "unknown" or describe in words, not numbers].
What systems the action touches: [list].

Describe the steps the probe should perform, what it should record (success, time taken, and where it failed), what alert condition to propose (leave thresholds as [to be agreed]), and what a responder would check first. Mark assumptions. Do not invent system details. Ask clarifying questions first, and list what you are unsure of.

วัตถุประสงค์: เขียนส่วนการตอบสนองสำหรับการแจ้งเตือน

For this alert, write a short response entry for on-call staff.

Alert name and condition: [paste].
What it means for users: [describe].
What I know to check first: [list].
Who to escalate to: [role, or write "unknown"].

Write: what the alert means, the first three checks, how to tell whether users are affected, when to escalate, and a note on whether the response could be automated. Use only my information; mark anything you added as [CHECK]. Ask clarifying questions first, and list what you are unsure of.

วัตถุประสงค์: เตรียมการทบทวนภาระเพจเจอร์รายไตรมาส

Help me prepare a quarterly pager load review for [team].

Data for the quarter (pages by week, out-of-hours pages, pages with no action, incidents detected by monitoring versus by users): [paste real figures].
Context: [describe changes in the period].

Summarize the data in plain language, using only my figures. Highlight trends and outliers as questions, not conclusions. Suggest three questions for the team and one for management. Do not invent causes. If the data is incomplete, say what to collect. List what you are unsure of.

ทักษะปัญญาประดิษฐ์

  • runbook: ใช้เพื่อเขียนการตอบสนองที่มาพร้อมกับแต่ละเพจ
  • on-call-rotation: ใช้เพื่อออกแบบตารางเวรที่เป็นธรรมและวางแผนว่าจะแบ่งปันและทบทวนภาระเพจเจอร์อย่างไร
  • software-engineering-metrics: ใช้เพื่อเลือกและตีความตัววัดประสิทธิภาพของบริการและการส่งมอบ
  • performance-testing: ใช้เพื่อตรวจสอบเวลาแฝงและความอิ่มตัวภายใต้ภาระก่อนที่ปัญหาจะถึงผู้ใช้
  • chaos-testing: ใช้เพื่อทดสอบว่าตรวจพบและจัดการความล้มเหลวได้ โดยทำให้เกิดขึ้นโดยตั้งใจในสภาพแวดล้อมที่ปลอดภัย

แหล่งอ้างอิงหลัก

  • Monitoring Distributed Systems (Site Reliability Engineering, Google, sre.google): นิยาม สัญญาณทองคำทั้งสี่ อาการเทียบกับสาเหตุ และคำแนะนำเรื่องการแจ้งเตือนที่เรียบง่าย
  • Practical Alerting from Time-Series Data (Site Reliability Engineering, Google, sre.google): กฎการแจ้งเตือน การส่ง และการสั่นไหวทำงานอย่างไรในทางปฏิบัติ
  • Service Level Objectives (Site Reliability Engineering, Google, sre.google): ความเชื่อมโยงระหว่างตัวบ่งชี้ วัตถุประสงค์ และการแจ้งเตือน
  • IT service management (Wikipedia): ที่ทางของการเฝ้าติดตามและเหตุการณ์ขัดข้องใน ITSM

เอกสารอ้างอิง

  1. Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
  2. Practical Alerting from Time-Series Data — Google SRE book, sre.google — https://sre.google/sre-book/practical-alerting/
  3. Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
  4. IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
  5. Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
  6. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  7. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  8. Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management

คู่มือ ITIL แบบเอไจล์ — การบริหารบริการไอทีแบบเอไจล์

ซอร์สโค้ดและการมีส่วนร่วม: github.com/agile-itil. สร้างด้วย: Lily Design System™.

นำโดย: Joel Parker Henderson.