यह क्यों मायने रखता है

कई सेवा प्रबंधन प्रथाएँ ऐसी दुनिया के लिए डिज़ाइन हुईं जहाँ संचालन कर्मचारी वह सॉफ़्टवेयर चलाते थे जो दूसरों ने लिखा था, और संचालन की लागत सेवा के आकार के साथ बढ़ती थी। साइट विश्वसनीयता इंजीनियरिंग (SRE) एक संगठन का उत्तर है कि जब वह मॉडल बहुत बड़े पैमाने से टकराता है तो क्या होता है: सॉफ़्टवेयर इंजीनियरों से संचालन कार्य डिज़ाइन करने और चलाने को कहें, और वह काम प्रणाली से करवाएँ जो लोग अन्यथा हाथ से करते।

इस गाइड के पाठकों के लिए SRE तीन कारणों से उपयोगी है। यह गति और विश्वसनीयता के बीच के समझौते को स्पष्ट बनाता है, ऐसी संख्याओं के साथ जिन्हें उत्पाद और संचालन टीमें दोनों पढ़ सकती हैं। यह पक्का विचार देता है कि कितना हाथ का काम बहुत अधिक है। और यह दिखाता है कि कितनी ITIL प्रथाएँ, जैसे घटना, समस्या, परिवर्तन और क्षमता प्रबंधन, इंजीनियरिंग शब्दों में की जा सकती हैं। SRE इन्हें करने का अकेला तरीक़ा नहीं है, और वह बहुत बड़ी इंटरनेट कंपनी की परिस्थितियों से आता है, इसलिए क्या हस्तांतरित होता है यह आपकी स्थिति पर निर्भर है।

यह विषय मुख्यतः Google की पुस्तक Site Reliability Engineering के तीन अध्यायों पर आधारित है, जिसे SRE पर विकिपीडिया लेख से पूरक किया गया है। पुस्तक एक संगठन में प्रथा का वर्णन करती है और अपने दृष्टिकोण का पक्ष लेती है; विकिपीडिया लेख व्यापक पर पतली तस्वीर देता है और कोई आलोचना नहीं बताता। दोनों को परखने के विचारों के स्रोत के रूप में पढ़ें, मानक के रूप में नहीं।

मूल अवधारणाएँ

SRE क्या है

पुस्तक की भूमिका SRE को "वह जो तब होता है जब आप सॉफ़्टवेयर इंजीनियर से संचालन टीम डिज़ाइन करने को कहते हैं" के रूप में परिभाषित करती है। साइट विश्वसनीयता इंजीनियरिंग पर विकिपीडिया लेख इसे सॉफ़्टवेयर इंजीनियरिंग और आईटी इन्फ्रास्ट्रक्चर सहायता के भीतर ऐसे अनुशासन के रूप में वर्णित करता है जो डिप्लॉय किए सॉफ़्टवेयर और बड़ी सेवाओं की उपलब्धता और प्रदर्शन की निगरानी और सुधार करता है, स्वचालन और कोड के रूप में इन्फ्रास्ट्रक्चर पर ध्यान के साथ। लेख SRE को DevOps का विशिष्ट कार्यान्वयन कहता है, दायरे में अधिक सँकरा क्योंकि वह विश्वसनीय प्रणालियाँ बनाने पर केंद्रित है (देखें विषय 5.2 — DevOps)। पुस्तक DevOps को व्यापक सिद्धांतों के समूह के रूप में वर्णित करती है जिसे SRE विशिष्ट तरीक़े से लागू करता है।

लेख के अनुसार, Google की SRE प्रथा 2003 में शुरू हुई जब बेंजामिन ट्रेनर स्लोस जुड़े और सात प्रोडक्शन इंजीनियरों से टीम बनाई; 2016 तक टीम में 1,000 से अधिक SRE थे, और अन्य बड़ी इंटरनेट कंपनियों ने प्रथा अपना ली थी। 572 पेशेवरों के 2020 के सर्वेक्षण में 10,000 या अधिक कर्मचारियों वाले 64 प्रतिशत संगठनों, 101 से 1,000 वाले 44 प्रतिशत, और 100 या कम वाले 32 प्रतिशत में SRE टीमें मिलीं। सम्मेलन शृंखला SREcon 2014 से हर साल चल रही है।

SRE जिस समस्या को हल करता है

भूमिका पारंपरिक मॉडल का वर्णन करती है: डेवलपर और सिस्टम प्रशासक अलग टीमों में बँटे हैं। वह दो तरह की लागतें बताती है:

  • प्रत्यक्ष लागतें। हाथ का परिवर्तन प्रबंधन और घटना संभालना महँगा हो जाता है, क्योंकि संचालन टीम भार के साथ बढ़ती है।
  • अप्रत्यक्ष लागतें। टीमों की शब्दावली, प्रोत्साहन और जोखिम की धारणाएँ अलग हैं, जिससे रिलीज़ पर टकराव होता है। संचालन लॉन्च द्वार जोड़ता है, और डेवलपर कामचलाऊ रास्तों से जवाब देते हैं।

SRE का उद्देश्य संचालन को इंजीनियरिंग समस्या मानकर इस बँटवारे से बचना है। अध्याय कहता है कि टीम का आकार प्रणाली से धीमे बढ़ता है, क्योंकि इंजीनियरिंग संचालन भार को ट्रैफ़िक के साथ बढ़ने से रोकती है।

सिद्धांत

भूमिका उन क्षेत्रों की सूची देती है जिनके लिए SRE टीमें ज़िम्मेदार हैं: उपलब्धता, विलंबता, प्रदर्शन, दक्षता, परिवर्तन प्रबंधन, निगरानी, आपातकालीन प्रतिक्रिया और क्षमता योजना। विकिपीडिया लेख मूल प्रथाएँ सूचीबद्ध करता है जिनमें दोहराव वाले काम का स्वचालन, सेवा स्तर संकेतकों (SLI), उद्देश्यों (SLO) और त्रुटि बजटों से विश्वसनीयता लक्ष्य परिभाषित करना, जोखिम घटाने के लिए प्रणालियाँ डिज़ाइन करना, ऑब्ज़र्वेबिलिटी और निगरानी, टॉइल का प्रबंधन, परीक्षित घटना प्रबंधन प्रक्रिया, और क्षमता योजना, रिलीज़ प्रबंधन और केऑस इंजीनियरिंग शामिल हैं।

सेवा स्तर उद्देश्य और त्रुटि बजट

SRE विश्वसनीयता को स्पष्ट लक्ष्यों से बाँधता है (पूरे विवरण के लिए देखें विषय 3.7 — सेवा स्तर प्रबंधन)। संक्षेप में:

  • कुछ संकेतक चुनें जो दर्शाएँ कि उपयोगकर्ता किसकी परवाह करते हैं।
  • ऐसा उद्देश्य तय करें जो पूर्णता की माँग न करे।
  • त्रुटि बजट की अनुमति दें: पूर्ण और उद्देश्य के बीच की गुंजाइश।
  • बजट का उपयोग रिलीज़ की गति तय करने में करें: जब तक बजट बचा है रिलीज़ चलती हैं; जब वह ख़र्च हो जाए तो रिलीज़ धीमी होती हैं और प्रयास विश्वसनीयता की ओर जाता है।

"जोखिम को अपनाना" अध्याय कारण समझाता है: उत्पाद टीमें गति पर और विश्वसनीयता टीमें विश्वसनीयता पर मापी जाती हैं, जिससे तनाव बनता है, और बजट दोनों को साझा, वस्तुनिष्ठ माप देता है। वही अध्याय कहता है कि विश्वसनीयता की लागत तेज़ी से बढ़ती है और लक्ष्य सेवा के जोखिम को उससे मिलाना है जो व्यवसाय स्वीकार करेगा (देखें विषय 3.11 — उपलब्धता, क्षमता और प्रदर्शन)।

टॉइल

"टॉइल का उन्मूलन" अध्याय टॉइल को प्रोडक्शन सेवा चलाने से जुड़े संचालन कार्य के रूप में परिभाषित करता है, और कहता है कि यह केवल वह काम नहीं जो किसी को नापसंद हो और बैठकों जैसे ओवरहेड से अलग है। टॉइल की प्रवृत्ति यह होती है:

विशेषता अर्थ
हाथ का हाथ से मानवीय प्रयास चाहिए, भले ही स्क्रिप्ट चरण चलाए
दोहराव वाला बार-बार किया जाता है, नई समस्या नहीं
स्वचालित हो सकने योग्य मशीन इसे कर सकती है, या ज़रूरत को डिज़ाइन से हटाया जा सकता है
तात्कालिक रुकावट-चालित और प्रतिक्रियात्मक, जैसे पेज का जवाब देना
टिकाऊ मूल्य के बिना बाद में सेवा उसी अवस्था में है
वृद्धि के साथ रैखिक प्रयास सेवा के आकार, ट्रैफ़िक या उपयोगकर्ताओं के साथ बढ़ता है

पुस्तक कहती है कि SRE टॉइल को अपने समय के 50 प्रतिशत से नीचे रखने का लक्ष्य रखते हैं, कम से कम आधा इंजीनियरिंग परियोजना कार्य पर, और भूमिका कुल "ops" कार्य पर 50 प्रतिशत की सीमा रखती है, अधिशेष विकास टीमों को लौटाते हुए। वह कहती है कि बहुत अधिक टॉइल करियर में ठहराव, कम मनोबल और थकान पैदा करता है, फ़ीचर कार्य धीमा करता है और पलायन बढ़ाता है; "बड़ी मात्रा में अनुभव होने पर टॉइल विषाक्त हो जाता है," हालाँकि थोड़ी मात्रा सुकून दे सकती है और कुछ अपरिहार्य है। अध्याय ऑन-कॉल द्वारा थोपी गई न्यूनतम सीमा की गणना का तरीक़ा देता है (उदाहरण के लिए अपनी उदाहरण मान्यताओं में छह लोगों के रोटा के लिए 33 प्रतिशत की निचली सीमा) और रिपोर्ट करता है कि रुकावटें टॉइल का सबसे बड़ा स्रोत थीं, उसके बाद ऑन-कॉल प्रतिक्रिया और फिर रिलीज़। वह इंजीनियरिंग कार्य को नया, निर्णय माँगने वाला, स्थायी सुधार देने वाला और रणनीति का अनुसरण करने वाला परिभाषित करता है।

आपातकालीन प्रतिक्रिया और निगरानी

भूमिका कहती है कि निगरानी को अलर्टों की व्याख्या के लिए मनुष्य की आवश्यकता नहीं होनी चाहिए: सॉफ़्टवेयर डेटा की व्याख्या करता है और मनुष्यों को तभी सूचित किया जाता है जब कार्रवाई चाहिए (देखें विषय 3.10 — निगरानी और घटना प्रबंधन)। वह कहती है कि ऑन-कॉल SRE को प्रति शिफ़्ट अधिकतम लगभग दो घटनाएँ मिलनी चाहिए। वह दावा करती है कि प्लेबुक कामचलाऊ से तुलना में मरम्मत के माध्य समय में लगभग तीन गुना सुधार देती हैं। घटना संभालना घटना कमान दृष्टिकोण का अनुसरण करता है, और पोस्टमॉर्टम दोष-रहित होते हैं और सभी महत्वपूर्ण घटनाओं के लिए लिखे जाते हैं (देखें विषय 3.2 — घटना प्रबंधन)।

परिवर्तन प्रबंधन

भूमिका कहती है कि लगभग 70 प्रतिशत आउटेज चालू प्रणाली में बदलावों से आते हैं, और क्रमिक रोलआउट, समस्याओं की त्वरित पहचान और सुरक्षित रोलबैक की सिफ़ारिश करती है। यह पुस्तक का अपना दावा है, Google के अनुभव से, और हर संगठन के लिए सच न हो सकता है। इसका संदेश परिवर्तन पर DORA मार्गदर्शन से मेल खाता है (देखें विषय 3.4 — परिवर्तन सक्षमीकरण और विषय 3.5 — रिलीज़ और तैनाती प्रबंधन)।

SRE और ITIL

SRE को कई ITIL प्रथाओं को करने के इंजीनियरिंग तरीक़े के रूप में पढ़ा जा सकता है:

ITIL प्रथा SRE दृष्टिकोण
घटना प्रबंधन घटना कमान भूमिकाएँ, जीवंत घटना रिकॉर्ड, दोष-रहित पोस्टमॉर्टम
समस्या प्रबंधन बैकलॉग में पोस्टमॉर्टम कार्रवाइयाँ, कारण पर टॉइल का उन्मूलन
परिवर्तन सक्षमीकरण क्रमिक रोलआउट, त्वरित पहचान, सुरक्षित रोलबैक, स्वचालित जाँचें
सेवा स्तर प्रबंधन SLI, SLO, त्रुटि बजट
निगरानी और घटना प्रबंधन लक्षण-आधारित अलर्टिंग, चार स्वर्णिम संकेत
क्षमता प्रबंधन इंजीनियरिंग कार्य के रूप में क्षमता योजना, लोड परीक्षण के साथ
सतत सुधार टॉइल पर सीमा, मुख्य कार्य के रूप में इंजीनियरिंग परियोजनाएँ

मिलान इस गाइड का है, स्रोतों का नहीं। न पुस्तक और न विकिपीडिया लेख ITIL को लागू करने का दावा करता है।

डिप्लॉयमेंट मॉडल

विकिपीडिया लेख SRE के छह संगठनात्मक मॉडल बताता है: "किचन सिंक," इन्फ्रास्ट्रक्चर, औज़ार, उत्पाद या अनुप्रयोग, एम्बेडेड और परामर्श। वह कहता है कि बड़े संगठनों में संकर आम है, पर उस दावे को उद्धरण की ज़रूरत के रूप में चिह्नित करता है। कौन-सा मॉडल आपके अनुकूल है यह आपके आकार और सेवाओं की संख्या पर निर्भर है।

सीमाएँ और आलोचनाएँ

विकिपीडिया लेख कोई आलोचना, लागत या विफलता के तरीक़े नहीं बताता, और पुस्तक एक संगठन की सफलता का वर्णन करती है। व्यावहारिक सीमाएँ अनुभव से अच्छी तरह ज्ञात हैं, और यहाँ उसी रूप में दी गई हैं: SRE को ऐसे इंजीनियर चाहिए जो सॉफ़्टवेयर लिख सकें और संचालन करने को तैयार हों; 50 प्रतिशत की सीमा को प्रबंधन का समर्थन चाहिए; त्रुटि बजट तभी काम करते हैं जब उत्पाद टीमें उनका सम्मान करें; और जिस पैमाने और औज़ारों ने इसे जन्म दिया उनके बिना दृष्टिकोण की नक़ल कठिन है। छोटे संगठन टीम बनाए बिना विचार अपना सकते हैं, जैसे उद्देश्य, बजट, टॉइल मापन और दोष-रहित समीक्षा।

सर्वोत्तम प्रथाएँ

  1. एक सेवा चुनें और उद्देश्य तय करें। उपयोगकर्ता अनुभव दर्शाने वाले दो से चार संकेतक चुनें, ढीला पहला उद्देश्य तय करें, और कसने से पहले कुछ महीने मापें।
  2. त्रुटि बजट नीति पर सहमत हों। लिखें कि बजट लगभग ख़र्च होने पर और ख़र्च होने पर क्या होता है, और कौन ओवरराइड कर सकता है। इसे उत्पाद और संचालन का संयुक्त नियम बनाएँ।
  3. टॉइल मापें। लोगों से दर्ज करने को कहें कि हाथ के, दोहराव वाले संचालन कार्य पर उनका कितना समय जाता है। उसे वर्गीकृत करने के लिए छह विशेषताएँ उपयोग करें। शीर्ष स्रोत देखें।
  4. हाथ के काम पर सीमा लगाएँ। टॉइल की ऊपरी सीमा तय करें, जैसे व्यक्ति के समय का आधा, और समीक्षा करें। सीमा पार होने पर अधिशेष काम कारणों के स्वामी टीमों को लौटाएँ या दायरा घटाएँ।
  5. पहले सबसे बड़े टॉइल को स्वचालित करें। वह मद चुनें जिसमें सबसे अधिक समय जाता है और जो सबसे अधिक दोहराई जाती है, उसे परीक्षणों के साथ स्वचालित करें, और बचत मापें। ज़रूरत को डिज़ाइन से हटाना स्वचालन से बेहतर है।
  6. इंजीनियरिंग समय की रक्षा करें। संचालन इंजीनियरों के लिए परियोजना कार्य की योजना स्वामियों और तारीख़ों के साथ वास्तविक कार्य के रूप में बनाएँ। उसके बिना टॉइल फैलता है।
  7. रुकावटें सीमित करें। प्रति ऑन-कॉल शिफ़्ट कम घटनाओं का लक्ष्य रखें, अलर्ट ट्यून करें ताकि पेज कार्रवाई-योग्य हों, और दोहराते कारण ठीक करें। पुस्तक का मार्गदर्शन प्रति शिफ़्ट अधिकतम लगभग दो घटनाएँ है।
  8. प्लेबुक लिखें। आम विफलताओं के लिए छोटे, परीक्षित प्रतिक्रिया चरण लिखें। पुस्तक दावा करती है कि वे कामचलाऊ की तुलना में मरम्मत का समय सुधारती हैं।
  9. बदलाव क्रमिक और पलटने योग्य बनाएँ। धीरे-धीरे रोलआउट करें, समस्याएँ जल्दी पहचानें, और सुरक्षित रूप से रोलबैक करें। पुस्तक के अनुभव में बदलाव आउटेज का सबसे आम कारण हैं, इसलिए पहले यहाँ निवेश करें।
  10. महत्वपूर्ण घटनाओं के लिए दोष-रहित पोस्टमॉर्टम चलाएँ, उन चूकते-चूकते बचे मामलों सहित जिन्होंने पेज नहीं किया। कार्रवाइयों को बैकलॉग मदों में बदलें।
  11. टीम से नहीं, विचारों से शुरू करें। छोटे संगठन समर्पित टीम बनाने से पहले मौजूदा कर्मचारियों के साथ उद्देश्य, बजट, टॉइल मापन और पोस्टमॉर्टम अपना सकते हैं।
  12. संगठनात्मक मॉडल सोच-समझकर चुनें। यदि आप SRE कार्य बनाते हैं, तो तय करें कि वह औज़ार देगा, उत्पाद टीमों के साथ एम्बेड होगा, या परामर्श देगा, और बढ़ने के साथ चुनाव की समीक्षा करें।

टीम के साथ चर्चा के प्रश्न

हम किस सेवा पर पहले उद्देश्य रखेंगे, और उद्देश्य क्या होगा?

हर व्यक्ति से सेवा और वह संकेतक नामित करने को कहें जो उपयोगकर्ता के अनुभव को सबसे अच्छी तरह दर्शाता है। तुलना करें। अंतर अस्पष्ट प्राथमिकताएँ दिखाते हैं। सूत्रधार पूछ सकता है कि आज जब सेवा उपयोगकर्ताओं की अपेक्षा से धीमी या कम उपलब्ध होती है तो क्या होता है। शुरू करने के लिए सेवा और मापने की चीज़ पर सहमत हों।

यदि हम इस महीने अपना पूरा त्रुटि बजट ख़र्च कर दें तो हम क्या करेंगे?

टीम और उत्पाद प्रतिनिधि से कार्रवाइयाँ, कौन निर्णय करता है, और क्या सुरक्षित रहता है, यह वर्णित करने को कहें। कई टीमें कभी सहमत नहीं हुईं। चर्चा करें कि क्या जोखिम भरी रिलीज़ पर विराम स्वीकार होगा। एक पन्ने की नीति का मसौदा बनाएँ।

हमारे सप्ताह का कितना हिस्सा टॉइल है, और शीर्ष तीन स्रोत क्या हैं?

लोगों से अनुमान लगाने को कहें और फिर दो सप्ताह रिकॉर्ड रखें। अनुमानों की रिकॉर्ड से तुलना करें। उद्देश्य काम का आकार देखना है, दोष देना नहीं। सबसे बड़ा स्रोत चुनें और पूछें कि क्या उसे डिज़ाइन से हटाया जा सकता है।

कौन-सा दोहराव वाला हाथ का काम स्क्रिप्ट या डिज़ाइन बदलाव हटा सकता है?

उन कार्यों की सूची बनाएँ जिनसे लोग डरते हैं। हर एक के लिए आवृत्ति और समय का अनुमान लगाएँ। सबसे अच्छे उम्मीदवार बार-बार होने वाले, स्थिर और कम जोखिम वाले हैं। पूछें कि स्वचालन को क्या सुरक्षित बनाएगा, जैसे सीमाएँ और लॉग। स्वचालित करने के लिए एक चुनें।

हर ऑन-कॉल शिफ़्ट को कितनी घटनाएँ मिलती हैं, और कितनी को कार्रवाई चाहिए?

पिछली तिमाही के लिए गिनें। यदि संख्या ऊँची है, तो चर्चा करें कि वह कहाँ से आती है। भूमिका प्रति शिफ़्ट लगभग दो घटनाओं का लक्ष्य सुझाती है। ठीक करने के लिए एक अलर्ट स्रोत चुनें।

यदि हम समर्पित विश्वसनीयता टीम बनाएँ तो क्या खोएँगे और क्या पाएँगे?

ईमानदार राय माँगें। लाभ ध्यान और कौशल हो सकते हैं; हानि नया साइलो या संचालन कार्य को फेंक देना हो सकती है। विकल्पों पर चर्चा करें जैसे एम्बेडेड इंजीनियर या रोटेशन। तय करें कि छोटे स्तर पर क्या आज़माना है।

व्यवहार में: एक एजाइल ITIL उदाहरण

एक क्षेत्रीय बिजली वितरक आउटेज-रिपोर्टिंग ऐप और फ़ील्ड-क्रू डिस्पैच प्रणाली चलाता है। अठारह लोगों की संयुक्त टीम दोनों को बनाती और चलाती है। टीम के संचालन कर्मचारी अपना अधिकांश समय हाथ के काम में बिताते हैं: अटकी जॉब को दोबारा शुरू करना, डेटा फ़ीड समायोजित करना, और पेजों का जवाब देना। समूह के प्रमुख नोट करते हैं कि उनके पास सुधार के लिए बहुत कम समय बचता है, और उनमें से दो ने अन्य टीमों में जाने को कहा है।

टीम लीड SRE-प्रेरित दृष्टिकोण प्रस्तावित करता है। आउटेज-रिपोर्टिंग ऐप के लिए टीम दो संकेतक तय करती है: सफल होने वाले रिपोर्ट सबमिशन का हिस्सा और पुष्टि दिखाने का समय। वह ग्राहक सेवा प्रबंधक के साथ ढीले उद्देश्य और मासिक त्रुटि बजट पर सहमत होती है, और एक पन्ने की नीति लिखती है: जब बजट के तीन चौथाई से अधिक का उपयोग हो जाए, तो जोखिम भरी रिलीज़ प्रतीक्षा करती हैं। टीम इंजीनियरों से एक महीने टॉइल लॉग करने को कहती है। लॉग दिखाता है कि उनके समय का एक तिहाई विफल होती डेटा-आयात जॉब को दोबारा शुरू करने और तूफ़ानों के बाद हाथ के समायोजनों में जाता है, जब माँग उछलती है। वे टॉइल पर अपने समय के आधे की सीमा तय करते हैं, पहले आयात जॉब का कारण ठीक करने का निर्णय लेते हैं, और तूफ़ान समायोजनों को सीमाओं और लॉग वाली स्क्रिप्ट से स्वचालित करते हैं। पेज ट्यून किए जाते हैं ताकि केवल उपयोगकर्ता-दृश्य लक्षण ऑन-कॉल इंजीनियर को अलर्ट करें।

चार महीने बाद, टॉइल घटकर टीम के समय के लगभग एक तिहाई पर आ जाता है, आयात जॉब अब विफल नहीं होती, और त्रुटि बजट नीति का एक बार उपयोग हुआ है, आपूर्तिकर्ता आउटेज वाले महीने में, फ़ीचर रिलीज़ टालने के लिए। कठिनाइयाँ बाक़ी हैं। डिस्पैच प्रणाली के अभी कोई उद्देश्य नहीं हैं, और ग्राहक सेवा प्रबंधक दो बार तात्कालिक फ़ीचरों के लिए बजट नीति को ओवरराइड करने के लिए ललचाया है। टीम लीड और प्रबंधक ओवरराइड की मासिक समीक्षा और अगले डिस्पैच के उद्देश्य तय करने पर सहमत होते हैं। वे यह भी सीखते हैं कि "सीमा" मार्गदर्शक है, वादा नहीं: बड़े तूफ़ान के बाद, दो सप्ताह टॉइल आधे से काफ़ी अधिक हो गया, और उन्हें तय करना है कि क्या काटें।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें उद्देश्य तय करने में भाग लेती हैं और बजट का सम्मान करती हैं। फ़ीचरों में संचालन-योग्यता बनाएँ, स्वीकार करें कि टॉइल उस टीम को लौटता है जो उसका कारण है, और स्वचालन में मदद करें। ख़र्च हुए बजट को सेवा के बारे में जानकारी मानें, सज़ा नहीं।

सेवा और संचालन टीमें

संचालन टीमें SRE का काम कर सकती हैं या उसके विचार अपना सकती हैं। टॉइल मापें, इंजीनियरिंग के लिए समय की रक्षा करें, और दोहराव वाला काम उसके स्रोत की ओर वापस धकेलें। यह समझाने के लिए उद्देश्य उपयोग करें कि कुछ काम क्यों अस्वीकार होना चाहिए।

नेतृत्व और शासन

नेताओं को टॉइल की सीमा और त्रुटि बजट नियम का समर्थन करना होगा; समर्थन के बिना वे विफल होते हैं। उद्देश्य और बजट की स्थिति माँगें, घटनाओं की गिनती नहीं। इंजीनियरिंग कार्य के लिए समय दें और बजट ख़र्च होने पर फ़ीचरों को ना कहने के लिए तैयार रहें।

ग्राहक और उपयोगकर्ता

ग्राहक और उपयोगकर्ता सेवा के स्पष्ट स्तरों और विफलता पर तेज़ पुनर्प्राप्ति से लाभ पाते हैं। टीम को बताएँ कि सबसे अधिक क्या मायने रखता है, ताकि उद्देश्य आपके अनुभव को दर्शाएँ। नए फ़ीचरों और विश्वसनीयता के बीच समझौतों पर ईमानदार बातचीत की अपेक्षा रखें।

आम विफलता के तरीके

  • पदनाम की नक़ल। संचालन का नाम बदलता है और कुछ नहीं बदलता। इसके बजाय, पहले उद्देश्य, बजट और टॉइल मापन अपनाएँ।
  • ऐसा त्रुटि बजट जिसका कोई सम्मान नहीं करता। फ़ीचर हर बार उसे ओवरराइड करते हैं। इसके बजाय, उत्पाद स्वामियों के साथ नियम पर सहमत हों और ओवरराइड की समीक्षा करें।
  • इंजीनियरिंग के लिए समय नहीं। टॉइल सप्ताह भर देता है। इसके बजाय, उस पर सीमा लगाएँ और परियोजना समय की रक्षा करें।
  • ग़लत चीज़ का स्वचालन। दुर्लभ कार्य स्वचालित होता है जबकि बार-बार वाला बचा रहता है। इसके बजाय, समय और आवृत्ति से क्रम दें।
  • पूर्णता के लक्ष्य। उद्देश्य 100 प्रतिशत माँगते हैं। इसके बजाय, उपयोगकर्ता की ज़रूरतों से ढीले लक्ष्य तय करें और आँकड़ों से कसें।
  • विश्वसनीयता टीम कूड़ेदान के रूप में। विकास सारा संचालन कार्य उसे भेजता है। इसके बजाय, अधिशेष कार्य उसके स्रोत को लौटाएँ।
  • Google के पैमाने की नक़ल। जिन प्रथाओं को बड़ा संगठन चाहिए उन्हें छोटा संगठन अपनाता है। इसके बजाय, जो विचार फिट होते हैं वे लें, जैसे उद्देश्य और पोस्टमॉर्टम।
  • लोगों की अनदेखी। ऑन-कॉल भार लोगों को थका देता है। इसके बजाय, प्रति शिफ़्ट घटनाएँ सीमित करें और रोटा साझा करें।

परिपक्वता मॉडल

आयाम आरंभ विकास मानकीकरण प्रबंधन समन्वय
उद्देश्य और बजट विश्वसनीयता लक्ष्य अनौपचारिक हैं कुछ सेवाओं के उद्देश्य हैं प्रमुख सेवाओं के उद्देश्य और सहमत त्रुटि बजट नीति है बजट रिलीज़ का मार्गदर्शन करते हैं और नीति ओवरराइड की समीक्षा होती है उद्देश्य और बजट निर्भर सेवाओं में संरेखित हैं
टॉइल और स्वचालन टॉइल मापा नहीं जाता कुछ टीमें टॉइल का अनुमान लगाती हैं टॉइल मापा और सीमित है; स्वचालन कार्य की योजना बनती है टॉइल के स्रोत और बचत ट्रैक और घटाई जाती हैं स्वचालन साझा है और टीमों में टॉइल घटाया जाता है
आपातकालीन प्रतिक्रिया प्रतिक्रिया कामचलाऊ है कुछ प्लेबुक और रोटा मौजूद हैं भूमिकाएँ, प्लेबुक और दोष-रहित पोस्टमॉर्टम मानक हैं घटना भार और मरम्मत के समय मापे और सुधारे जाते हैं प्रतिक्रिया का अभ्यास होता है और टीमों तथा आपूर्तिकर्ताओं में समन्वित है
परिवर्तन और क्षमता बदलाव जोखिम भरे और हाथ के हैं कुछ रोलआउट चरणबद्ध हैं क्रमिक रोलआउट और क्षमता योजना नियमित हैं परिवर्तन विफलता और क्षमता पूर्वानुमान मापे जाते हैं परिवर्तन और क्षमता प्रथाएँ संगठन भर में साझा हैं

जाँच-सूची

  • कम से कम एक सेवा के संकेतक और ढीला उद्देश्य हैं, जो समय के साथ मापे जाते हैं।
  • त्रुटि बजट नीति उत्पाद स्वामियों के साथ सहमत और लिखित है।
  • टॉइल एकसमान परिभाषा से मापा जाता है, और शीर्ष स्रोत ज्ञात हैं।
  • टॉइल की ऊपरी सीमा मौजूद है और समीक्षित है।
  • इंजीनियरिंग परियोजनाओं का समय नियोजित और संरक्षित है।
  • ऑन-कॉल भार मापा जाता है, और पेज कार्रवाई-योग्य हैं।
  • सबसे आम विफलताओं के लिए प्लेबुक मौजूद हैं और परीक्षित हैं।
  • रोलआउट क्रमिक हैं और रोलबैक परीक्षित हैं।
  • महत्वपूर्ण घटनाओं और चूकते-चूकते बचे मामलों के दोष-रहित पोस्टमॉर्टम स्वामी वाली कार्रवाइयों के साथ होते हैं।
  • हमने सोच-समझकर चुना है कि विश्वसनीयता कार्य कैसे संगठित है।

AI प्रॉम्प्ट

उद्देश्य: अपने कार्य को टॉइल, इंजीनियरिंग या ओवरहेड में वर्गीकृत करना।

यहाँ पिछले दो सप्ताह में हमारे संचालन इंजीनियरों ने जो किया उसकी सूची है, हर एक पर लगे समय के साथ: [वास्तविक डेटा चिपकाएँ]।

इन परिभाषाओं का उपयोग करके हर मद को टॉइल, इंजीनियरिंग कार्य या ओवरहेड में वर्गीकृत करें। टॉइल: हाथ का, दोहराव वाला, स्वचालित हो सकने योग्य, तात्कालिक, टिकाऊ मूल्य के बिना, और सेवा के साथ रैखिक रूप से बढ़ता। इंजीनियरिंग कार्य: नया, निर्णय माँगता है, स्थायी सुधार देता है। ओवरहेड: प्रशासनिक कार्य जो सेवा चलाने से जुड़ा नहीं। मेरे पाठ से हर एक के लिए एक वाक्य का कारण दें। केवल मेरी संख्याओं से हर वर्ग में समय का हिस्सा गणना करें, और तीन सबसे बड़ी टॉइल मदें सूचीबद्ध करें। जिन्हें आप वर्गीकृत न कर सके उन्हें चिह्नित करें। समय के आँकड़े न गढ़ें। जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।

उद्देश्य: त्रुटि बजट नीति का मसौदा बनाना।

[सेवा] के लिए एक पन्ने की त्रुटि बजट नीति का मसौदा बनाएँ।

उद्देश्य और अवधि: [उदाहरण के लिए, "99.9% ख़रीद अनुरोध सफल, प्रति माह"]।
रिलीज़ की लय और कौन निर्णय करता है: [वर्णन करें]।
ग्राहक और उत्पाद की चिंताएँ: [सूची दें]।

खंड लिखें: बजट की गणना और प्रदर्शन कैसे होता है, उपभोग के तीन चरणों पर क्या होता है (सीमाओं को [तय होना है] छोड़ें), कौन ओवरराइड कर सकता है और ओवरराइड कैसे दर्ज होते हैं, नीति की समीक्षा कैसे होती है, और बजट समाप्त होने के बाद हम क्या करते हैं। संख्याएँ न गढ़ें। पहले स्पष्टीकरण प्रश्न पूछें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।

उद्देश्य: पहले स्वचालित करने के लिए टॉइल मद चुनना।

यहाँ हमारी शीर्ष टॉइल मदें हैं, हर एक कितनी बार होती है, प्रति घटना समय, स्वचालन विफल होने पर जोखिम, और क्या कारण को डिज़ाइन से हटाया जा सकता है: [चिपकाएँ]।

उन्हें केवल मेरी संख्याओं से गणना किए प्रति माह कुल बचे समय के अनुसार क्रम दें। शीर्ष तीन के लिए बताएँ कि मुझे ज़रूरत को डिज़ाइन से हटाना चाहिए या स्वचालित करना चाहिए, और स्वचालन को किन सुरक्षा उपायों की ज़रूरत है (परीक्षण, सीमाएँ, लॉग)। संख्याएँ न गढ़ें। पहले स्पष्टीकरण प्रश्न पूछें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।

उद्देश्य: प्लेबुक प्रविष्टि लिखना।

इस दोहराती विफलता के लिए प्लेबुक प्रविष्टि लिखें: [लक्षण और प्रभाव का वर्णन करें]।

कारणों और सुधारों के बारे में मैं जो जानता/जानती हूँ: [चिपकाएँ]।
किसे एस्केलेट करना है: [भूमिका, या "अज्ञात"]।

संक्षिप्त प्रविष्टि दें: विफलता की पुष्टि कैसे करें, पहली जाँचें, आम सुधार, पुनर्प्राप्ति की पुष्टि कैसे करें, कब एस्केलेट करें, और क्या दर्ज करें। जिस चरण का आपने अनुमान लगाया उसे [जाँचें] से चिह्नित करें। पहले स्पष्टीकरण प्रश्न पूछें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।

AI कौशल

  • on-call-rotation: प्रति शिफ़्ट घटनाओं की सीमाओं के साथ उचित रोटा डिज़ाइन करने के लिए उपयोग करें।
  • runbook: मरम्मत तेज़ करने वाली प्लेबुक लिखने के लिए उपयोग करें।
  • postmortem: दोष-रहित समीक्षाएँ चलाने और कार्रवाइयाँ ट्रैक करने के लिए उपयोग करें।
  • chaos-testing: सुरक्षित रूप से विफलताएँ पैदा करके परखने के लिए उपयोग करें कि विश्वसनीयता डिज़ाइन काम करते हैं।
  • capacity-planning: माँग से जुड़े इंजीनियरिंग कार्य के रूप में क्षमता की योजना बनाने के लिए उपयोग करें।

(ये कौशल स्वयं अंग्रेज़ी में लिखे गए हैं।)

प्रमुख स्रोत

  • भूमिका (Site Reliability Engineering, Google, sre.google): SRE की परिभाषा, 50 प्रतिशत की सीमा, सिद्धांत, और वह dev/ops बँटवारा जिससे वह बचना चाहता है।
  • टॉइल का उन्मूलन (Site Reliability Engineering, Google, sre.google): टॉइल की परिभाषा और उस पर सीमा लगाने के कारण।
  • जोखिम को अपनाना (Site Reliability Engineering, Google, sre.google): विश्वसनीयता का अर्थशास्त्र और त्रुटि बजट।
  • साइट विश्वसनीयता इंजीनियरिंग (विकिपीडिया): अनुशासन, डिप्लॉयमेंट मॉडल, अपनाने के सर्वेक्षण और आगे के पठन का व्यापक सार।

ये स्रोत अंग्रेज़ी में हैं।

संदर्भ

  1. Introduction — Google SRE book, sre.google — https://sre.google/sre-book/introduction/
  2. Eliminating Toil — Google SRE book, sre.google — https://sre.google/sre-book/eliminating-toil/
  3. Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
  4. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  5. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  6. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  7. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  8. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management