เหตุใดเรื่องนี้จึงสำคัญ

แนวปฏิบัติการบริหารบริการจำนวนมากออกแบบมาสำหรับโลกที่เจ้าหน้าที่ปฏิบัติการดำเนินการซอฟต์แวร์ที่คนอื่นเขียน และต้นทุนของการปฏิบัติการเติบโตตามขนาดของบริการ วิศวกรรมความน่าเชื่อถือของไซต์ (site reliability engineering หรือ SRE) เป็นคำตอบของหนึ่งองค์กรต่อสิ่งที่เกิดขึ้นเมื่อแบบจำลองนั้นเจอกับขนาดที่ใหญ่มาก คือขอให้วิศวกรซอฟต์แวร์ออกแบบและดำเนินหน้าที่ปฏิบัติการ และทำให้ระบบทำงานที่ผู้คนต้องทำด้วยมือ

สำหรับผู้อ่านคู่มือนี้ SRE มีประโยชน์สามประการ ทำให้การแลกเปลี่ยนระหว่างความเร็วกับความน่าเชื่อถือชัดเจนด้วยตัวเลขที่ทีมผลิตภัณฑ์และทีมปฏิบัติการอ่านได้ทั้งคู่ ให้แนวคิดที่หนักแน่นว่างานด้วยมือเท่าใดถือว่ามากเกินไป และแสดงให้เห็นว่าแนวปฏิบัติ ITIL จำนวนมาก เช่น การบริหารเหตุการณ์ขัดข้อง ปัญหา การเปลี่ยนแปลง และความจุ ทำได้ในเชิงวิศวกรรม SRE ไม่ใช่วิธีเดียวที่จะทำสิ่งเหล่านี้ และมาจากสถานการณ์ของบริษัทอินเทอร์เน็ตขนาดใหญ่มาก สิ่งที่ถ่ายโอนได้จึงขึ้นอยู่กับสถานการณ์ของคุณ

หัวข้อนี้อิงเป็นหลักจากสามบทของหนังสือ Site Reliability Engineering ของ Google เสริมด้วยบทความ Wikipedia เรื่อง SRE หนังสืออธิบายแนวปฏิบัติในหนึ่งองค์กรและโต้แย้งสนับสนุนแนวทางของตน บทความ Wikipedia ให้ภาพที่กว้างกว่าแต่บางกว่าและไม่ระบุข้อวิจารณ์ใด ให้อ่านทั้งสองเป็นแหล่งของแนวคิดที่ควรทดสอบ ไม่ใช่มาตรฐาน

แนวคิดหลัก

SRE คืออะไร

บทนำของหนังสือนิยาม SRE ว่าเป็น "สิ่งที่เกิดขึ้นเมื่อคุณขอให้วิศวกรซอฟต์แวร์ออกแบบทีมปฏิบัติการ" บทความ Wikipedia เรื่องวิศวกรรมความน่าเชื่อถือของไซต์ อธิบายว่าเป็นสาขาวิชาภายในวิศวกรรมซอฟต์แวร์และการสนับสนุนโครงสร้างพื้นฐานไอที ที่เฝ้าติดตามและปรับปรุงความพร้อมใช้งานและประสิทธิภาพของซอฟต์แวร์ที่ติดตั้งและบริการขนาดใหญ่ โดยเน้นระบบอัตโนมัติและโครงสร้างพื้นฐานเป็นโค้ด บทความเรียก SRE ว่าเป็นการนำ DevOps ไปปฏิบัติแบบเฉพาะเจาะจง ขอบเขตแคบกว่าเพราะมุ่งสร้างระบบที่เชื่อถือได้ (ดูหัวข้อ 5.2 — DevOps) หนังสืออธิบาย DevOps ว่าเป็นชุดหลักการที่กว้างกว่าซึ่ง SRE นำไปปฏิบัติในแบบเฉพาะ

ตามบทความ แนวปฏิบัติ SRE ของ Google เริ่มในปี 2003 เมื่อ Benjamin Treynor Sloss เข้าร่วมและตั้งทีมจากวิศวกรสภาพแวดล้อมจริงเจ็ดคน ภายในปี 2016 ทีมมี SRE มากกว่า 1,000 คน และบริษัทอินเทอร์เน็ตขนาดใหญ่อื่นนำแนวปฏิบัตินี้ไปใช้ การสำรวจปี 2020 กับผู้เชี่ยวชาญ 572 คนพบทีม SRE ใน 64 เปอร์เซ็นต์ขององค์กรที่มีพนักงาน 10,000 คนขึ้นไป 44 เปอร์เซ็นต์ของที่มี 101 ถึง 1,000 คน และ 32 เปอร์เซ็นต์ของที่มี 100 คนหรือน้อยกว่า ชุดการประชุม SREcon จัดต่อเนื่องทุกปีตั้งแต่ปี 2014

ปัญหาที่ SRE แก้

บทนำอธิบายแบบจำลองดั้งเดิม คือ นักพัฒนาและผู้ดูแลระบบถูกแยกเป็นทีมต่างหาก และระบุต้นทุนสองประเภท

  • ต้นทุนทางตรง. การบริหารการเปลี่ยนแปลงและการจัดการเหตุการณ์ด้วยมือมีค่าใช้จ่ายสูง เพราะทีมปฏิบัติการขยายตามภาระงาน
  • ต้นทุนทางอ้อม. ทีมมีคำศัพท์ แรงจูงใจ และข้อสมมติเรื่องความเสี่ยงต่างกัน ซึ่งนำไปสู่ความขัดแย้งเรื่องการปล่อย ฝ่ายปฏิบัติการเพิ่มด่านก่อนปล่อย และนักพัฒนาตอบโต้ด้วยทางอ้อม

SRE มุ่งหลีกเลี่ยงการแบ่งแยกนี้โดยถือการปฏิบัติการเป็นปัญหาทางวิศวกรรม บทระบุว่าขนาดทีมเติบโตช้ากว่าระบบ เพราะวิศวกรรมป้องกันไม่ให้ภาระงานปฏิบัติการเติบโตตามปริมาณการใช้งาน

หลักการ

บทนำระบุขอบเขตที่ทีม SRE รับผิดชอบ ได้แก่ ความพร้อมใช้งาน ความหน่วง ประสิทธิภาพ ความมีประสิทธิภาพ การบริหารการเปลี่ยนแปลง การเฝ้าติดตาม การตอบสนองเหตุฉุกเฉิน และการวางแผนความจุ บทความ Wikipedia ระบุแนวปฏิบัติหลักที่รวมถึง การทำงานซ้ำให้เป็นอัตโนมัติ การกำหนดเป้าหมายความน่าเชื่อถือผ่านตัวบ่งชี้ระดับบริการ (SLI) วัตถุประสงค์ (SLO) และงบประมาณความผิดพลาด การออกแบบระบบเพื่อลดความเสี่ยง ความสามารถในการสังเกตระบบและการเฝ้าติดตาม การจัดการ toil กระบวนการบริหารเหตุการณ์ขัดข้องที่ผ่านการทดสอบ และการวางแผนความจุ การบริหารการปล่อย และวิศวกรรมความโกลาหล (chaos engineering)

วัตถุประสงค์ระดับบริการและงบประมาณความผิดพลาด

SRE ผูกความน่าเชื่อถือกับเป้าหมายที่ชัดเจน (ดูหัวข้อ 3.7 — การบริหารระดับบริการ สำหรับการอธิบายเต็มรูปแบบ) โดยสรุป

  • เลือกตัวบ่งชี้ไม่กี่ตัวที่สะท้อนสิ่งที่ผู้ใช้ใส่ใจ
  • กำหนดวัตถุประสงค์ที่ไม่เรียกร้องความสมบูรณ์แบบ
  • อนุญาต งบประมาณความผิดพลาด (error budget) คือช่องว่างระหว่างความสมบูรณ์แบบกับวัตถุประสงค์
  • ใช้งบประมาณตัดสินจังหวะการปล่อย ขณะที่ยังมีงบเหลือ การปล่อยดำเนินต่อไป เมื่อใช้หมด การปล่อยช้าลงและความพยายามเปลี่ยนไปที่ความน่าเชื่อถือ

บท "Embracing Risk" อธิบายเหตุผล ทีมผลิตภัณฑ์ถูกวัดด้วยความเร็วและทีมความน่าเชื่อถือถูกวัดด้วยความน่าเชื่อถือ ซึ่งสร้างความตึงเครียด และงบประมาณให้ทั้งสองฝ่ายมีหน่วยวัดร่วมที่เป็นกลาง บทเดียวกันกล่าวว่าต้นทุนความน่าเชื่อถือเพิ่มขึ้นอย่างชัน และเป้าหมายคือให้ความเสี่ยงของบริการตรงกับสิ่งที่ธุรกิจยอมรับได้ (ดูหัวข้อ 3.11 — ความพร้อมใช้งาน ความจุ และประสิทธิภาพ)

Toil

บท "Eliminating Toil" นิยาม toil ว่าเป็นงานปฏิบัติการที่ผูกกับการดำเนินบริการบนสภาพแวดล้อมจริง และกล่าวว่าไม่ใช่เพียงงานที่ใครไม่ชอบ และต่างจากงานโสหุ้ย เช่น การประชุม โดยทั่วไป toil มีลักษณะดังนี้

ลักษณะ ความหมาย
ทำด้วยมือ ต้องใช้ความพยายามของมนุษย์โดยตรง แม้สคริปต์จะรันขั้นตอนต่าง ๆ
ซ้ำ ๆ ทำซ้ำแล้วซ้ำอีก ไม่ใช่ปัญหาใหม่
ทำให้เป็นอัตโนมัติได้ เครื่องจักรทำได้ หรือสามารถออกแบบให้ความต้องการหายไป
เชิงยุทธวิธี ถูกขัดจังหวะและตอบโต้ เช่น การตอบสนองต่อการแจ้งเตือน
ไม่มีคุณค่าถาวร บริการอยู่ในสถานะเดิมหลังจากนั้น
เติบโตเป็นเส้นตรงตามการขยายตัว ความพยายามขยายตามขนาดบริการ ปริมาณการใช้งาน หรือผู้ใช้

หนังสือกล่าวว่า SRE มุ่งรักษา toil ให้ต่ำกว่า 50 เปอร์เซ็นต์ของเวลา โดยใช้อย่างน้อยครึ่งหนึ่งกับงานโครงการวิศวกรรม และบทนำกำหนดเพดาน 50 เปอร์เซ็นต์ของงาน "ops" รวม โดยส่งส่วนเกินกลับไปยังทีมพัฒนา หนังสือกล่าวว่า toil มากเกินไปทำให้อาชีพหยุดชะงัก ขวัญกำลังใจต่ำ และหมดไฟ ชะลองานฟีเจอร์ และผลักดันการลาออก "toil กลายเป็นพิษเมื่อประสบในปริมาณมาก" แม้ปริมาณเล็กน้อยอาจให้ความสงบและบางส่วนหลีกเลี่ยงไม่ได้ บทให้วิธีคำนวณขั้นต่ำที่เวรเรียกตัวบังคับ (เช่น ขอบล่าง 33 เปอร์เซ็นต์สำหรับเวรหมุนเวียนหกคนภายใต้ข้อสมมติตัวอย่างของบท) และรายงานว่าการถูกขัดจังหวะเป็นแหล่ง toil ที่ใหญ่ที่สุด ตามด้วยการตอบสนองเวรเรียกตัว แล้วจึงการปล่อย บทนิยามงานวิศวกรรมว่าเป็นงานใหม่ ต้องใช้วิจารณญาณ ก่อให้เกิดการปรับปรุงถาวร และเป็นไปตามกลยุทธ์

การตอบสนองเหตุฉุกเฉินและการเฝ้าติดตาม

บทนำกล่าวว่าการเฝ้าติดตามไม่ควรต้องให้มนุษย์ตีความการแจ้งเตือน ซอฟต์แวร์ตีความข้อมูลและแจ้งมนุษย์เฉพาะเมื่อต้องลงมือ (ดูหัวข้อ 3.10 — การเฝ้าติดตามและการบริหารเหตุการณ์) บทนำกล่าวว่า SRE ที่อยู่เวรควรได้รับเหตุการณ์ไม่เกินราวสองเหตุการณ์ต่อกะ บทนำอ้างว่าคู่มือปฏิบัติ (playbook) ให้การปรับปรุงเวลาเฉลี่ยในการซ่อมราวสามเท่าเมื่อเทียบกับการด้นสด การจัดการเหตุการณ์ขัดข้องเป็นไปตามแนวทางผู้บัญชาการเหตุการณ์ และ postmortem เป็นแบบไม่กล่าวโทษและเขียนสำหรับเหตุการณ์ขัดข้องที่สำคัญทุกครั้ง (ดูหัวข้อ 3.2 — การบริหารเหตุการณ์ขัดข้อง)

การบริหารการเปลี่ยนแปลง

บทนำระบุว่าการล่มราว 70 เปอร์เซ็นต์มาจากการเปลี่ยนแปลงระบบที่ใช้งานอยู่ และแนะนำการทยอยปล่อย การตรวจจับปัญหาอย่างรวดเร็ว และการย้อนกลับอย่างปลอดภัย นี่เป็นข้อกล่าวอ้างของหนังสือเองจากประสบการณ์ของ Google และอาจไม่เป็นจริงสำหรับทุกองค์กร สาระสอดคล้องกับแนวทางของ DORA เรื่องการเปลี่ยนแปลง (ดูหัวข้อ 3.4 — การสนับสนุนการเปลี่ยนแปลง และหัวข้อ 3.5 — การบริหารการปล่อยและการติดตั้ง)

SRE และ ITIL

SRE อ่านได้ว่าเป็นวิธีเชิงวิศวกรรมในการดำเนินแนวปฏิบัติ ITIL หลายอย่าง

แนวปฏิบัติ ITIL แนวทางของ SRE
การบริหารเหตุการณ์ขัดข้อง บทบาทผู้บัญชาการเหตุการณ์ บันทึกเหตุการณ์สด postmortem แบบไม่กล่าวโทษ
การบริหารปัญหา การดำเนินการจาก postmortem ในบัญชีงานค้าง การขจัด toil ที่สาเหตุ
การสนับสนุนการเปลี่ยนแปลง การทยอยปล่อย การตรวจจับเร็ว การย้อนกลับอย่างปลอดภัย การตรวจสอบอัตโนมัติ
การบริหารระดับบริการ SLI, SLO, งบประมาณความผิดพลาด
การเฝ้าติดตามและการบริหารเหตุการณ์ การแจ้งเตือนตามอาการ สัญญาณทองสี่ประการ (four golden signals)
การบริหารความจุ การวางแผนความจุเป็นงานวิศวกรรม พร้อมการทดสอบโหลด
การปรับปรุงอย่างต่อเนื่อง เพดานของ toil โครงการวิศวกรรมเป็นงานหลัก

การจับคู่นี้เป็นของคู่มือนี้ ไม่ใช่ของแหล่งอ้างอิง ทั้งหนังสือและบทความ Wikipedia ไม่อ้างว่านำ ITIL ไปปฏิบัติ

แบบจำลองการนำไปใช้

บทความ Wikipedia อธิบายแบบจำลององค์กรหกแบบสำหรับ SRE ได้แก่ "Kitchen Sink" โครงสร้างพื้นฐาน เครื่องมือ ผลิตภัณฑ์หรือแอปพลิเคชัน ฝังตัว (embedded) และที่ปรึกษา บทความกล่าวว่าแบบผสมพบได้ทั่วไปในองค์กรใหญ่ แต่ทำเครื่องหมายข้อกล่าวอ้างนั้นว่าต้องการการอ้างอิง แบบใดเหมาะกับคุณขึ้นอยู่กับขนาดและจำนวนบริการ

ข้อจำกัดและข้อวิจารณ์

บทความ Wikipedia ไม่ระบุข้อวิจารณ์ ต้นทุน หรือรูปแบบความล้มเหลว และหนังสืออธิบายความสำเร็จขององค์กรเดียว ข้อจำกัดเชิงปฏิบัติเป็นที่ทราบกันดีจากประสบการณ์ และนำเสนอที่นี่ในฐานะเช่นนั้น SRE ต้องการวิศวกรที่เขียนซอฟต์แวร์ได้และยินดีทำงานปฏิบัติการ เพดาน 50 เปอร์เซ็นต์ต้องการการสนับสนุนจากผู้บริหาร งบประมาณความผิดพลาดใช้ได้ผลก็ต่อเมื่อทีมผลิตภัณฑ์เคารพ และแนวทางนี้ลอกเลียนได้ยากหากไม่มีขนาดและเครื่องมือที่สร้างมันขึ้น องค์กรขนาดเล็กนำแนวคิดมาใช้ได้ เช่น วัตถุประสงค์ งบประมาณ การวัด toil และการทบทวนแบบไม่กล่าวโทษ โดยไม่ต้องตั้งทีม

แนวปฏิบัติที่ดี

  1. เลือกหนึ่งบริการและกำหนดวัตถุประสงค์. เลือกตัวบ่งชี้สองถึงสี่ตัวที่สะท้อนประสบการณ์ผู้ใช้ ตั้งวัตถุประสงค์แรกแบบหลวม ๆ และวัดสองสามเดือนก่อนทำให้เข้มขึ้น
  2. ตกลงนโยบายงบประมาณความผิดพลาด. เขียนว่าจะเกิดอะไรขึ้นเมื่องบใกล้หมดและเมื่อหมด และใครแก้ไขข้อยกเว้นได้ ทำให้เป็นกฎร่วมของฝ่ายผลิตภัณฑ์และปฏิบัติการ
  3. วัด toil. ขอให้ผู้คนบันทึกว่าเวลาของตนไปกับงานปฏิบัติการที่ทำด้วยมือและซ้ำ ๆ เท่าใด ใช้ลักษณะทั้งหกจำแนก ดูแหล่งที่ใหญ่ที่สุด
  4. จำกัดงานด้วยมือ. ตั้งเพดานสำหรับ toil เช่น ครึ่งหนึ่งของเวลาคน และทบทวน เมื่อเกินเพดาน ให้ส่งงานส่วนเกินกลับไปยังทีมที่เป็นเจ้าของสาเหตุหรือลดขอบเขต
  5. ทำ toil ที่ใหญ่ที่สุดให้เป็นอัตโนมัติก่อน. เลือกรายการที่กินเวลามากที่สุดและทำซ้ำได้มากที่สุด ทำให้เป็นอัตโนมัติพร้อมการทดสอบ และวัดสิ่งที่ประหยัดได้ เลือกออกแบบให้ความต้องการหายไปมากกว่าทำให้เป็นอัตโนมัติ
  6. ปกป้องเวลาวิศวกรรม. วางแผนงานโครงการสำหรับวิศวกรปฏิบัติการเป็นงานจริงที่มีเจ้าของและกำหนดเวลา หากไม่มี toil จะขยายตัว
  7. จำกัดการขัดจังหวะ. มุ่งให้มีเหตุการณ์น้อยต่อกะเวรเรียกตัว ปรับการแจ้งเตือนให้ลงมือทำได้ และแก้สาเหตุที่เกิดซ้ำ แนวทางของหนังสือคือไม่เกินราวสองเหตุการณ์ต่อกะ
  8. เขียนคู่มือปฏิบัติ (playbook). สำหรับความล้มเหลวที่พบบ่อย ให้เขียนขั้นตอนการตอบสนองสั้น ๆ ที่ผ่านการทดสอบ หนังสืออ้างว่าช่วยปรับปรุงเวลาซ่อมเมื่อเทียบกับการด้นสด
  9. ทำการเปลี่ยนแปลงให้ทยอยและย้อนกลับได้. ทยอยปล่อย ตรวจจับปัญหาเร็ว และย้อนกลับอย่างปลอดภัย เพราะการเปลี่ยนแปลงเป็นสาเหตุที่พบบ่อยที่สุดของการล่มในประสบการณ์ของหนังสือ ให้ลงทุนที่นี่ก่อน
  10. ทำ postmortem แบบไม่กล่าวโทษสำหรับเหตุการณ์ขัดข้องที่สำคัญ รวมถึงเหตุเฉียดที่ไม่ได้แจ้งเตือน เปลี่ยนการดำเนินการเป็นรายการบัญชีงานค้าง
  11. เริ่มจากแนวคิด ไม่ใช่ทีม. องค์กรขนาดเล็กนำวัตถุประสงค์ งบประมาณ การวัด toil และ postmortem มาใช้กับบุคลากรที่มีอยู่ได้ก่อนตั้งทีมเฉพาะ
  12. เลือกแบบจำลององค์กรอย่างมีจุดมุ่งหมาย. หากสร้างหน้าที่ SRE ให้ตัดสินใจว่าจะให้เครื่องมือ ฝังตัวกับทีมผลิตภัณฑ์ หรือให้คำปรึกษา และทบทวนทางเลือกเมื่อเติบโต

คำถามสำหรับพูดคุยกับทีมของคุณ

เราจะกำหนดวัตถุประสงค์ให้บริการใดก่อน และวัตถุประสงค์นั้นคืออะไร

ขอให้แต่ละคนระบุบริการและตัวบ่งชี้ที่สะท้อนประสบการณ์ของผู้ใช้ดีที่สุด แล้วเปรียบเทียบ ความแตกต่างแสดงลำดับความสำคัญที่ไม่ชัดเจน ผู้อำนวยความสะดวกถามได้ว่าวันนี้เกิดอะไรขึ้นเมื่อบริการช้ากว่าหรือพร้อมใช้งานน้อยกว่าที่ผู้ใช้คาดหวัง ตกลงบริการที่จะเริ่มต้นและสิ่งที่จะวัด

เราจะทำอย่างไรถ้าเราใช้งบประมาณความผิดพลาดทั้งหมดของเดือนนี้หมด

ขอให้ทีมและตัวแทนฝ่ายผลิตภัณฑ์อธิบายการดำเนินการ ใครตัดสินใจ และอะไรได้รับการปกป้อง หลายทีมไม่เคยตกลงกัน พูดคุยว่าการหยุดการปล่อยที่เสี่ยงจะได้รับการยอมรับหรือไม่ ร่างนโยบายหนึ่งหน้า

เวลาในหนึ่งสัปดาห์ของเราเป็น toil เท่าใด และสามแหล่งอันดับแรกคืออะไร

ขอให้ผู้คนประมาณแล้วบันทึกสองสัปดาห์ เปรียบเทียบค่าประมาณกับบันทึก จุดมุ่งหมายคือเห็นรูปร่างของงาน ไม่ใช่โทษใคร เลือกแหล่งที่ใหญ่ที่สุดและถามว่าขจัดได้ด้วยการออกแบบหรือไม่

งานด้วยมือที่เกิดซ้ำงานใดที่สคริปต์หรือการเปลี่ยนแปลงการออกแบบจะขจัดได้

ทำรายการงานที่ผู้คนไม่อยากทำ สำหรับแต่ละงาน ประมาณความถี่และเวลา ตัวเลือกที่ดีที่สุดคืองานที่เกิดบ่อย คงที่ และความเสี่ยงต่ำ ถามว่าอะไรจะทำให้ระบบอัตโนมัติปลอดภัย เช่น ขอบเขตจำกัดและบันทึก เลือกหนึ่งงานเพื่อทำให้เป็นอัตโนมัติ

แต่ละกะเวรเรียกตัวได้รับกี่เหตุการณ์ และมีกี่เหตุการณ์ที่ต้องลงมือ

นับสำหรับไตรมาสที่ผ่านมา หากตัวเลขสูง ให้พูดคุยว่ามาจากที่ใด บทนำแนะนำให้มุ่งที่ราวสองเหตุการณ์ต่อกะ เลือกแหล่งการแจ้งเตือนหนึ่งแหล่งเพื่อแก้ไข

เราจะสูญเสียและได้อะไรหากตั้งทีมความน่าเชื่อถือโดยเฉพาะ

ขอความเห็นอย่างตรงไปตรงมา สิ่งที่ได้อาจเป็นความโฟกัสและทักษะ สิ่งที่เสียอาจเป็นไซโลใหม่หรือการทิ้งงานปฏิบัติการให้ พูดคุยทางเลือก เช่น วิศวกรฝังตัวหรือการหมุนเวียน ตัดสินใจว่าจะลองอะไรในขนาดเล็ก

ในทางปฏิบัติ: ตัวอย่าง ITIL แบบเอไจล์

ผู้จัดจำหน่ายไฟฟ้าระดับภูมิภาคแห่งหนึ่งรันแอปรายงานไฟดับและระบบจัดส่งทีมภาคสนาม ทีมรวมสิบแปดคนสร้างและดำเนินการทั้งสองระบบ เจ้าหน้าที่ปฏิบัติการในทีมใช้เวลาส่วนใหญ่กับงานด้วยมือ คือ รีสตาร์ตงานที่ค้าง ปรับฟีดข้อมูล และตอบสนองต่อการแจ้งเตือน หัวหน้ากลุ่มสังเกตว่าพวกเขามีเวลาเหลือสำหรับการปรับปรุงน้อย และสองคนขอย้ายไปทีมอื่น

หัวหน้าทีมเสนอแนวทางที่ได้แรงบันดาลใจจาก SRE สำหรับแอปรายงานไฟดับ ทีมกำหนดตัวบ่งชี้สองตัว คือสัดส่วนการส่งรายงานที่สำเร็จและเวลาในการแสดงการยืนยัน ทีมตกลงวัตถุประสงค์แบบหลวมและงบประมาณความผิดพลาดรายเดือนกับผู้จัดการบริการลูกค้า และเขียนนโยบายหนึ่งหน้า เมื่อใช้งบเกินสามในสี่ การปล่อยที่เสี่ยงต้องรอ ทีมขอให้วิศวกรบันทึก toil หนึ่งเดือน บันทึกแสดงว่าหนึ่งในสามของเวลาหมดไปกับการรีสตาร์ตงานนำเข้าข้อมูลที่ล้มเหลวและการปรับด้วยมือหลังพายุ เมื่อความต้องการพุ่งสูง พวกเขาตั้งเพดานครึ่งหนึ่งของเวลาสำหรับ toil ตัดสินใจแก้สาเหตุของงานนำเข้าก่อน และทำการปรับหลังพายุให้เป็นอัตโนมัติด้วยสคริปต์ที่มีขอบเขตจำกัดและบันทึก ปรับการแจ้งเตือนให้เฉพาะอาการที่ผู้ใช้เห็นเท่านั้นที่แจ้งวิศวกรเวรเรียกตัว

สี่เดือนต่อมา toil ลดลงเหลือราวหนึ่งในสามของเวลาทีม งานนำเข้าไม่ล้มเหลวอีก และนโยบายงบประมาณความผิดพลาดถูกใช้หนึ่งครั้ง ในเดือนที่ผู้ส่งมอบล่ม เพื่อเลื่อนการปล่อยฟีเจอร์ ความยากลำบากยังเหลืออยู่ ระบบจัดส่งยังไม่มีวัตถุประสงค์ และผู้จัดการบริการลูกค้าถูกล่อใจให้ยกเว้นนโยบายงบประมาณสองครั้งสำหรับฟีเจอร์เร่งด่วน หัวหน้าทีมและผู้จัดการตกลงทบทวนการยกเว้นทุกเดือนและกำหนดวัตถุประสงค์สำหรับระบบจัดส่งต่อไป พวกเขายังเรียนรู้ว่า "เพดาน" เป็นแนวทาง ไม่ใช่คำมั่น หลังพายุใหญ่ toil เพิ่มเกินครึ่งไปมากเป็นเวลาสองสัปดาห์ และพวกเขาต้องตัดสินใจว่าจะตัดอะไร

สี่มุมมอง

ทีมผลิตภัณฑ์และทีมส่งมอบ

ทีมส่งมอบมีส่วนร่วมในการกำหนดวัตถุประสงค์และเคารพงบประมาณ สร้างความสามารถในการปฏิบัติการ (operability) ไว้ในฟีเจอร์ ยอมรับว่า toil กลับมาที่ทีมที่ก่อให้เกิด และช่วยทำให้เป็นอัตโนมัติ ถือว่างบที่หมดเป็นข้อมูลเกี่ยวกับบริการ ไม่ใช่การลงโทษ

ทีมบริการและทีมปฏิบัติการ

ทีมปฏิบัติการอาจทำงาน SRE หรือนำแนวคิดมาใช้ วัด toil ปกป้องเวลาสำหรับวิศวกรรม และผลักงานซ้ำกลับไปยังต้นทาง ใช้วัตถุประสงค์อธิบายว่าทำไมงานบางอย่างควรถูกปฏิเสธ

ภาวะผู้นำและธรรมาภิบาล

ผู้นำต้องสนับสนุนเพดานของ toil และกฎงบประมาณความผิดพลาด หากไม่มีการสนับสนุนก็ล้มเหลว ขอวัตถุประสงค์และสถานะงบประมาณ ไม่ใช่จำนวนเหตุการณ์ขัดข้อง จัดเวลาสำหรับงานวิศวกรรมและพร้อมปฏิเสธฟีเจอร์เมื่องบหมด

ลูกค้าและผู้ใช้

ลูกค้าและผู้ใช้ได้ประโยชน์จากระดับบริการที่ชัดเจนและการกู้คืนที่เร็วขึ้นเมื่อเกิดความล้มเหลว บอกทีมว่าอะไรสำคัญที่สุด เพื่อให้วัตถุประสงค์สะท้อนประสบการณ์ของคุณ คาดหวังบทสนทนาที่ตรงไปตรงมาเรื่องการแลกเปลี่ยนระหว่างฟีเจอร์ใหม่กับความน่าเชื่อถือ

รูปแบบความล้มเหลวที่พบบ่อย

  • ลอกเลียนชื่อตำแหน่ง. เปลี่ยนชื่อฝ่ายปฏิบัติการแต่ไม่มีอะไรเปลี่ยน ให้นำวัตถุประสงค์ งบประมาณ และการวัด toil มาใช้ก่อนแทน
  • งบประมาณความผิดพลาดที่ไม่มีใครเคารพ. ฟีเจอร์ยกเว้นทุกครั้ง ให้ตกลงกฎกับเจ้าของผลิตภัณฑ์และทบทวนการยกเว้นแทน
  • ไม่มีเวลาสำหรับวิศวกรรม. toil เต็มสัปดาห์ ให้ตั้งเพดานและปกป้องเวลาโครงการแทน
  • ทำสิ่งที่ผิดให้เป็นอัตโนมัติ. งานที่เกิดนาน ๆ ครั้งถูกทำให้เป็นอัตโนมัติขณะที่งานที่เกิดบ่อยยังคงอยู่ ให้จัดอันดับตามเวลาและความถี่แทน
  • เป้าหมายความสมบูรณ์แบบ. วัตถุประสงค์เรียกร้อง 100 เปอร์เซ็นต์ ให้ตั้งเป้าแบบหลวมจากความต้องการของผู้ใช้และทำให้เข้มขึ้นด้วยข้อมูลแทน
  • ทีมความน่าเชื่อถือเป็นที่ทิ้งงาน. ฝ่ายพัฒนาส่งงานปฏิบัติการทั้งหมดให้ ให้ส่งงานส่วนเกินกลับไปยังต้นทางแทน
  • ลอกเลียนขนาดของ Google. องค์กรเล็กนำแนวปฏิบัติที่ต้องใช้องค์กรใหญ่มาใช้ ให้นำเฉพาะแนวคิดที่เหมาะ เช่น วัตถุประสงค์และ postmortem แทน
  • เพิกเฉยต่อผู้คน. ภาระเวรเรียกตัวทำให้ผู้คนหมดไฟ ให้จำกัดเหตุการณ์ต่อกะและแบ่งปันตารางเวรแทน

แบบจำลองความเป็นผู้ใหญ่

มิติ เริ่มต้น พัฒนา สร้างมาตรฐาน บริหารจัดการ ประสานกลมกลืน
วัตถุประสงค์และงบประมาณ เป้าหมายความน่าเชื่อถือไม่เป็นทางการ บางบริการมีวัตถุประสงค์ บริการหลักมีวัตถุประสงค์และนโยบายงบประมาณความผิดพลาดที่ตกลงกัน งบประมาณชี้นำการปล่อยและทบทวนการยกเว้นนโยบาย วัตถุประสงค์และงบประมาณสอดคล้องกันข้ามบริการที่พึ่งพากัน
toil และระบบอัตโนมัติ ไม่วัด toil บางทีมประมาณ toil วัดและตั้งเพดาน toil วางแผนงานระบบอัตโนมัติ ติดตามและลดแหล่ง toil และสิ่งที่ประหยัดได้ แบ่งปันระบบอัตโนมัติและลด toil ข้ามทีม
การตอบสนองเหตุฉุกเฉิน การตอบสนองเป็นการด้นสด มีคู่มือปฏิบัติและตารางเวรบางส่วน บทบาท คู่มือปฏิบัติ และ postmortem แบบไม่กล่าวโทษเป็นมาตรฐาน วัดและปรับปรุงภาระเหตุการณ์และเวลาซ่อม ซ้อมและประสานการตอบสนองข้ามทีมและผู้ส่งมอบ
การเปลี่ยนแปลงและความจุ การเปลี่ยนแปลงเสี่ยงและทำด้วยมือ บางการปล่อยเป็นแบบทยอย การทยอยปล่อยและการวางแผนความจุเป็นกิจวัตร วัดความล้มเหลวของการเปลี่ยนแปลงและการพยากรณ์ความจุ แบ่งปันแนวปฏิบัติการเปลี่ยนแปลงและความจุทั่วทั้งองค์กร

รายการตรวจสอบ

  • อย่างน้อยหนึ่งบริการมีตัวบ่งชี้และวัตถุประสงค์แบบหลวม ที่วัดต่อเนื่องตามเวลา
  • ตกลงนโยบายงบประมาณความผิดพลาดกับเจ้าของผลิตภัณฑ์และเขียนไว้
  • วัด toil ด้วยนิยามที่สอดคล้องกัน และทราบแหล่งอันดับแรก
  • มีเพดานของ toil และทบทวน
  • วางแผนและปกป้องเวลาสำหรับโครงการวิศวกรรม
  • วัดภาระเวรเรียกตัว และการแจ้งเตือนลงมือทำได้
  • มีคู่มือปฏิบัติสำหรับความล้มเหลวที่พบบ่อยที่สุดและผ่านการทดสอบแล้ว
  • การปล่อยเป็นแบบทยอยและทดสอบการย้อนกลับแล้ว
  • เหตุการณ์ขัดข้องที่สำคัญและเหตุเฉียดได้ postmortem แบบไม่กล่าวโทษพร้อมการดำเนินการที่มีเจ้าของ
  • เราเลือกอย่างมีจุดมุ่งหมายว่างานความน่าเชื่อถือจะจัดองค์กรอย่างไร

พรอมต์ปัญญาประดิษฐ์

วัตถุประสงค์: จำแนกงานของคุณเป็น toil งานวิศวกรรม หรืองานโสหุ้ย

Here is a list of what our operations engineers did in the last two weeks, with the time spent on each: [paste real data].

Classify each item as toil, engineering work, or overhead, using these definitions. Toil: manual, repetitive, automatable, tactical, without enduring value, and growing linearly with the service. Engineering work: novel, requires judgment, produces permanent improvement. Overhead: administrative work not tied to running a service. Give a one-sentence reason from my text for each. Compute the share of time in each class from my numbers only, and list the three largest toil items. Mark items you could not classify. Do not invent time figures. List what you are unsure of.

วัตถุประสงค์: ร่างนโยบายงบประมาณความผิดพลาด

Draft a one-page error budget policy for [service].

Objective and period: [for example, "99.9% of purchase requests succeed, per month"].
Release rhythm and who decides: [describe].
Customer and product concerns: [list].

Write sections: how the budget is calculated and shown, what happens at three stages of consumption (leave thresholds as [to be agreed]), who can override and how overrides are recorded, how the policy is reviewed, and what we do after an exhausted budget. Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.

วัตถุประสงค์: เลือกรายการ toil ที่จะทำให้เป็นอัตโนมัติก่อน

Here are our top toil items with how often each occurs, time per occurrence, risk if the automation fails, and whether the cause could be designed away: [paste].

Rank them by total time saved per month (computed from my numbers only). For the top three, say whether I should design the need away or automate it, and what safeguards the automation needs (tests, limits, logs). Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.

วัตถุประสงค์: เขียนรายการในคู่มือปฏิบัติ

Write a playbook entry for this recurring failure: [describe symptom and impact].

What I know about causes and fixes: [paste].
Who to escalate to: [role, or "unknown"].

Provide a short entry: how to confirm the failure, the first checks, the usual fix, how to confirm recovery, when to escalate, and what to record. Mark any step you inferred with [CHECK]. Ask clarifying questions first, and list what you are unsure of.

ทักษะปัญญาประดิษฐ์

  • on-call-rotation: ใช้เพื่อออกแบบตารางเวรที่เป็นธรรมพร้อมขอบเขตของเหตุการณ์ต่อกะ
  • runbook: ใช้เพื่อเขียนคู่มือปฏิบัติที่เร่งการซ่อม
  • postmortem: ใช้เพื่อดำเนินการทบทวนแบบไม่กล่าวโทษและติดตามการดำเนินการ
  • chaos-testing: ใช้เพื่อทดสอบว่าการออกแบบความน่าเชื่อถือใช้ได้ผลโดยทำให้เกิดความล้มเหลวอย่างปลอดภัย
  • capacity-planning: ใช้เพื่อวางแผนความจุเป็นงานวิศวกรรมที่ผูกกับความต้องการ

แหล่งอ้างอิงหลัก

  • Introduction (Site Reliability Engineering, Google, sre.google): นิยามของ SRE เพดาน 50 เปอร์เซ็นต์ หลักการ และการแบ่งแยกระหว่างฝ่ายพัฒนากับปฏิบัติการที่ SRE มุ่งหลีกเลี่ยง
  • Eliminating Toil (Site Reliability Engineering, Google, sre.google): นิยามของ toil และเหตุผลในการตั้งเพดาน
  • Embracing Risk (Site Reliability Engineering, Google, sre.google): เศรษฐศาสตร์ของความน่าเชื่อถือและงบประมาณความผิดพลาด
  • Site reliability engineering (Wikipedia): บทสรุปที่กว้างกว่าของสาขาวิชา แบบจำลองการนำไปใช้ การสำรวจการนำไปใช้ และแหล่งอ่านเพิ่มเติม

เอกสารอ้างอิง

  1. Introduction — Google SRE book, sre.google — https://sre.google/sre-book/introduction/
  2. Eliminating Toil — Google SRE book, sre.google — https://sre.google/sre-book/eliminating-toil/
  3. Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
  4. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  5. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  6. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  7. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  8. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management

คู่มือ ITIL แบบเอไจล์ — การบริหารบริการไอทีแบบเอไจล์

ซอร์สโค้ดและการมีส่วนร่วม: github.com/agile-itil. สร้างด้วย: Lily Design System™.

นำโดย: Joel Parker Henderson.