निगरानी और घटना प्रबंधन
निगरानी बताती है कि सेवा वैसे काम कर रही है या नहीं जैसे उपयोगकर्ता उसे अनुभव करते हैं, और अच्छा इवेंट प्रबंधन संकेतों की बाढ़ को कम अलर्टों में बदलता है जिन्हें कोई व्यक्ति समझ और उन पर कार्रवाई कर सकता है।
यह क्यों मायने रखता है
जिस सेवा को आप देख नहीं सकते उसे चला नहीं सकते। निगरानी के बिना, टीम विफलताओं के बारे में उपयोगकर्ताओं से और धीमे क्षय के बारे में किसी से नहीं जानती। ख़राब निगरानी में समस्या उलटी होती है: इतने अलर्ट कि ऑन-कॉल इंजीनियर उन पर भरोसा करना बंद कर देता है, और जो मायने रखता है वह शोर में खो जाता है। दोनों छोर नींद, भरोसे और समय की क़ीमत लेते हैं।
निगरानी और इवेंट प्रबंधन यह भी तय करते हैं कि घटना कितनी जल्दी पाई और ठीक की जा सकती है। घटना प्रबंधन में सब कुछ इस पर निर्भर है कि जल्दी पता हो कि कुछ ग़लत है और यह खोजने के लिए पर्याप्त जानकारी हो कि क्यों (देखें विषय 3.2 — घटना प्रबंधन)। जो एजाइल टीमें अक्सर रिलीज़ करती हैं उन्हें इसकी और भी अधिक ज़रूरत है, क्योंकि हर रिलीज़ कुछ तोड़ने का मौक़ा है और हर रोलबैक निर्णय प्रभाव देखने पर निर्भर है।
Google की Site Reliability Engineering पुस्तक में दो अध्याय हैं जो इस विषय को सीधे संबोधित करते हैं: "Monitoring Distributed Systems" और "Practical Alerting from Time-Series Data।" वे एक संगठन की प्रथा का वर्णन करते हैं और जानबूझकर सरल, उपयोगकर्ता-केंद्रित दृष्टिकोण का पक्ष लेते हैं। यह विषय उन्हें मुख्य स्रोत के रूप में उपयोग करता है, क्योंकि इस गाइड के लिए देखे विकिपीडिया लेख प्रथा पर कम देते हैं। यहाँ की ITIL शब्दावली, जैसे इवेंट, अलर्ट और इवेंट प्रबंधन, व्यापक रूप से प्रकाशित वर्णनों से ली गई है जिसे यह गाइड फ़्रेमवर्क स्वामी के पाठ से पुष्ट नहीं कर सकी। SRE अध्यायों को एक सुसमझाए विकल्प के रूप में पढ़ें।
मूल अवधारणाएँ
निगरानी
SRE अध्याय निगरानी को किसी प्रणाली के बारे में वास्तविक-समय के मात्रात्मक आँकड़े जुटाने, संसाधित करने और दिखाने के रूप में परिभाषित करता है। वह कहता है कि निगरानी दीर्घकालिक रुझान विश्लेषण, प्रयोगों में तुलना, अलर्टिंग, डैशबोर्ड, और बाद में तदर्थ डिबगिंग को सहारा देती है। वह ज़ोर देता है कि निगरानी महत्वपूर्ण इंजीनियरिंग प्रयास है और टीमें आम तौर पर कम से कम एक व्यक्ति इसे सौंपती हैं।
इवेंट, अलर्ट और घटनाएँ
ITSM उपयोग में, इवेंट अवस्था में वह परिवर्तन है जो सेवा के प्रबंधन के लिए महत्व रखता है। अधिकांश इवेंट सूचनात्मक होते हैं। कुछ चेतावनी या अपवाद का संकेत देते हैं। अलर्ट, जैसा SRE अध्याय कहता है, मनुष्य के लिए सूचना है, जो टिकट, ईमेल या पेज के रूप में दी जाती है। घटना अनियोजित रुकावट या गुणवत्ता में कमी है (देखें विषय 3.2 — घटना प्रबंधन)। इवेंट प्रबंधन यह तय करने की प्रथा है कि कौन-से इवेंट मायने रखते हैं, उनके बारे में क्या करना है, और किसे बताना है। प्रवाह इवेंट से अलर्ट और कभी-कभी घटना तक है।
ब्लैक-बॉक्स और व्हाइट-बॉक्स निगरानी
अध्याय दो तरह का भेद करता है:
| प्रकार | यह क्या करता है | शक्ति |
|---|---|---|
| ब्लैक-बॉक्स | बाहर से दिखने वाले व्यवहार को परखता है, जैसा उपयोगकर्ता देखता | सक्रिय समस्याएँ पहचानता है; पेजिंग के अनुकूल |
| व्हाइट-बॉक्स | प्रणाली के आंतरिक हिस्सों से उपलब्ध मापन उपयोग करता है, जैसे लॉग या आंतरिक हैंडलर | आसन्न समस्याएँ और पुनःप्रयासों से ढँकी विफलताएँ प्रकट करता है; डिबगिंग के लिए आवश्यक |
पुस्तक दोनों को मिलाती है। ब्लैक-बॉक्स जाँच बताती है कि चेकआउट विफल हो रहा है; व्हाइट-बॉक्स आँकड़े खोजने में मदद करते हैं कि क्यों।
लक्षण और कारण
अध्याय कहता है कि निगरानी को दो प्रश्नों का उत्तर देना चाहिए: क्या टूटा है, और क्यों। वह सलाह देता है कि अलर्ट लक्षणों पर केंद्रित करें, जो उपयोगकर्ता अनुभव करते हैं, और कारणों पर पेज तभी करें जब वे निश्चित और आसन्न हों। अलर्टिंग अध्याय के शब्दों में, एकल मशीन के विफल होने पर अलर्ट पाना अस्वीकार्य है, क्योंकि वह बहुत शोरगुल वाला है। यह अच्छे अलर्टिंग दृष्टिकोण का मर्म है: मनुष्य को तब बताएँ जब उपयोगकर्ताओं को चोट पहुँच रही हो या पहुँचेगी, तब नहीं जब कोई हिस्सा फड़के।
चार स्वर्णिम संकेत
अध्याय उपयोगकर्ता-सामने की प्रणाली के लिए देखने को चार संकेत प्रस्तावित करता है:
- विलंबता: अनुरोध पूरा करने का समय। विफल अनुरोधों को अलग ट्रैक करें, क्योंकि "धीमी त्रुटि तेज़ त्रुटि से भी बदतर है।"
- ट्रैफ़िक: प्रणाली पर माँग।
- त्रुटियाँ: विफल अनुरोध, चाहे स्पष्ट, निहित या नीति द्वारा।
- संतृप्ति: सेवा कितनी "भरी" है। प्रदर्शन अक्सर 100% उपयोग से पहले घटता है।
ये स्वाभाविक रूप से सेवा स्तर संकेतकों से मेल खाते हैं (देखें विषय 3.7 — सेवा स्तर प्रबंधन)। अध्याय यह भी चेतावनी देता है कि माध्य धीमे बाह्य मानों को छिपाते हैं और वितरण देखने के लिए विलंबता बकेट में अनुरोधों की गिनती दर्ज करने का सुझाव देता है।
अच्छा अलर्ट क्या बनाता है
अध्याय अलर्ट लिखने से पहले पूछने के प्रश्न देता है: क्या वह तत्काल, कार्रवाई-योग्य, उपयोगकर्ता-दृश्य स्थिति पहचानता है; क्या उसे सुरक्षित रूप से अनदेखा किया जा सकता है; और क्या प्रतिक्रिया को स्वचालित किया जा सकता है। पेज कार्रवाई-योग्य होने चाहिए, निर्णय माँगने चाहिए, और नई समस्याओं से संबंधित होने चाहिए। वह कहता है कि अलर्ट कभी केवल इसलिए नहीं बजने चाहिए कि "कुछ थोड़ा अजीब लगता है।" जिन पेजों की प्रतिक्रियाएँ रटी हुई और एल्गोरिदमिक हैं, उसके मत में वे लाल झंडा हैं जो स्वचालन या मूल कारण की मरम्मत माँगते हैं।
अलर्टों को रूट करना
अलर्टिंग अध्याय पेज-योग्य अलर्टों को ऑन-कॉल कर्मचारियों को, कम गंभीर को टिकट कतारों को, और बाक़ी को स्थिति डैशबोर्ड को भेजने का वर्णन करता है। वह अलर्टों को रूट करने, दोहराव हटाने और दबाने वाले औज़ारों का वर्णन करता है, और नोट करता है कि अलर्टों को बजने से पहले न्यूनतम अवधि प्रतीक्षा करनी चाहिए क्योंकि वे फड़क सकते हैं। वह चेतावनी देता है कि "आप केवल उन विफलताओं पर अलर्ट कर सकते हैं जिनकी आपने अपेक्षा की थी," इसीलिए ब्लैक-बॉक्स जाँच को व्हाइट-बॉक्स आँकड़ों के साथ मिलाना मायने रखता है।
इसे सरल रखें
अध्याय सरल, तेज़ प्रणालियों के पक्ष में तर्क देता है, उस "जादू" के विरुद्ध जो सीमाएँ सीखता है या कार्य-कारण पहचानता है, और नोट करता है कि जटिल निर्भरता पदानुक्रमों को सीमित सफलता मिली है। वह कहता है कि वास्तविक घटनाएँ पकड़ने वाले नियम सरल रखें, शायद ही प्रयुक्त अलर्ट और अनुपयोगी संकेत हटाएँ, और रखरखाव की लागत को सेवा के आकार से धीमी गति से बढ़ने दें। जिन मामलों का वह वर्णन करता है, जैसे अलर्टों से अभिभूत टीम जिसने अपना उद्देश्य अस्थायी रूप से ढीला किया और टिकाऊ सुधारों के लिए समय खाली करने के लिए ईमेल अलर्ट बंद किए, वे शोर हटाने की इच्छा दिखाते हैं।
डैशबोर्ड और दीर्घकालिक दृश्य
अध्याय डैशबोर्ड को सेवा के प्रमुख मापनों के पहले से बने सारांश दृश्य मानता है और कहता है कि डैशबोर्ड ईमेल अलर्टों से बेहतर हैं, जिन्हें वह बहुत सीमित मूल्य का कहता है। वह समय के साथ पेज की आवृत्ति की समीक्षा की भी सिफ़ारिश करता है, उदाहरण के लिए तिमाही रिपोर्टों में, ताकि नेतृत्व पेजर भार के बारे में सूचित रहे। इससे अलर्ट की गुणवत्ता ऐसी चीज़ बनती है जिसे प्रबंधक देख सकते हैं (टिकाऊ गति पर देखें विषय 1.2 — एजाइल सिद्धांत)।
स्रोतों की सीमाएँ
SRE अध्याय एक काम किए हुए उदाहरण से आगे सीमाएँ नहीं देते, रनबुक या ऑन-कॉल भार की सीमाओं पर चर्चा नहीं करते, और समय के साथ अलर्टों की समीक्षा और सेवानिवृत्ति कैसे करें इसका वर्णन नहीं करते, इसलिए वे आपकी अपनी प्रथा के विषय हैं। वे सशक्त इंजीनियरिंग संसाधनों वाले एक बड़े संगठन से आते हैं। छोटी टीमें सरल औज़ारों से सिद्धांत लागू कर सकती हैं।
सर्वोत्तम प्रथाएँ
- वह निगरानी करें जो उपयोगकर्ता अनुभव करते हैं। कम से कम एक ब्लैक-बॉक्स जाँच जोड़ें जो वास्तविक उपयोगकर्ता क्रिया करती है, जैसे लॉग इन करना या ऑर्डर देना, और विफल होने पर अलर्ट करें।
- चार स्वर्णिम संकेत देखें। हर सेवा के लिए विलंबता, ट्रैफ़िक, त्रुटियाँ और संतृप्ति ट्रैक करें। अन्य मापन तभी जोड़ें जब वे आपके पूछे प्रश्न का उत्तर दें।
- लक्षणों पर अलर्ट करें। तब पेज करें जब उपयोगकर्ताओं को चोट पहुँच रही हो या जल्द पहुँचेगी। आंतरिक स्थितियों, जैसे एकल विफल मशीन, को कम प्राथमिकता की जानकारी मानें जब तक वे निश्चित और आसन्न न हों।
- हर पेज को कार्रवाई-योग्य बनाएँ। अलर्ट बनाने से पहले लिखें कि प्रतिक्रिया देने वाले को क्या करना चाहिए। यदि करने को कुछ नहीं, तो वह पेज नहीं है।
- तात्कालिकता से रूट करें। तत्काल अलर्ट ऑन-कॉल को, कम तत्काल टिकट कतार को, और जानकारी डैशबोर्ड को भेजें। उन लोगों को ईमेल अलर्ट न भेजें जो उन्हें अनदेखा करेंगे।
- केवल औसत नहीं, वितरण का उपयोग करें। विलंबता के लिए उच्च परसेंटाइल या बकेट देखें, ताकि धीमे बाह्य मान दिखाई दें।
- न्यूनतम अवधि तय करें। फड़कने से बचने के लिए अलर्ट करने से पहले स्थिति को थोड़ी देर टिकने की माँग करें। अवधि को वास्तविक आँकड़ों से ट्यून करें।
- शोर वाले अलर्ट सेवानिवृत्त करें। समीक्षा करें कि कौन-से अलर्ट सबसे ज़्यादा बजे और किसी कार्रवाई तक नहीं ले गए। उन्हें हटाएँ या ठीक करें। SRE अध्याय रटी प्रतिक्रियाओं को स्वचालन या मरम्मत का संकेत मानता है।
- अपनी निगरानी को परखें। परीक्षण परिवेश में जानबूझकर कुछ तोड़ें और जाँचें कि सही अलर्ट बजता है। जाँचों में निगरानी प्रणाली को भी शामिल करें, ताकि उसकी विफलता नोटिस हो।
- पेजर भार की समीक्षा करें। हर तिमाही प्रति पाली पेज, कार्यालय समय के बाद के व्यवधान और झूठे अलार्म गिनें। नतीजे प्रबंधकों के साथ साझा करें और योजना में उपयोग करें।
- निगरानी को "पूर्ण" की परिभाषा में रखें। हर नए फ़ीचर के लिए पूछें कि कौन-से संकेत दिखाएँगे कि वह काम करता है और उसे कौन-सा अलर्ट, यदि कोई, चाहिए (देखें विषय 3.5 — रिलीज़ और तैनाती प्रबंधन)।
- इसे सरल रखें। जटिल योजना की जगह कुछ समझने योग्य नियमों को प्राथमिकता दें। अनुपयोगी संकेत हटाएँ और घटनाओं के बाद नियमों की समीक्षा करें।
टीम के साथ चर्चा के प्रश्न
हमें अपनी पिछली तीन घटनाओं के बारे में कैसे पता चला?
हर घटना सूचीबद्ध करें और कि वह पहली बार कैसे नोटिस हुई: अलर्ट, उपयोगकर्ता, सहकर्मी। यदि अधिकांश उपयोगकर्ताओं से आईं, तो निगरानी उन लक्षणों को चूक रही है जो मायने रखते हैं। सूत्रधार पूछ सकता है कि जाँच क्या दिखाती। पहले निगरानी के लिए एक उपयोगकर्ता क्रिया चुनें।
हम कौन-से अलर्ट अनदेखे करते हैं, और क्यों?
ऑन-कॉल इंजीनियरों से वे अलर्ट माँगें जिन्हें वे चुप कराते या छोड़ते हैं। हर एक ठीक करने या हटाने का उम्मीदवार है। पूछें कि लोगों को किसी अलर्ट पर भरोसा या अविश्वास किस वजह से होता है। स्पष्ट उत्तर अक्सर ऐसे अलर्ट प्रकट करता है जो उन स्थितियों पर बजते हैं जिन पर कोई कार्रवाई नहीं कर सकता। तीन सेवानिवृत्त या ठीक करने पर सहमत हों।
ऑन-कॉल पर हमारी सबसे बुरी रात कौन-सी रही, और क्या उसे बेहतर करता?
दोष-रहित कहानियाँ जुटाएँ। पैटर्न खोजें: दोहराए पेज, अस्पष्ट अलर्ट, रनबुक का अभाव, एस्केलेशन नहीं। हर पैटर्न एक सुधार है। पूछें कि कौन-से दो बदलाव सबसे अधिक मदद करेंगे। लक्ष्य हल्का भार और स्पष्ट संकेत है।
यदि हमारी निगरानी प्रणाली विफल हो जाए, तो हमें कैसे पता चलेगा?
पूछें कि निगरानी करने वाले की निगरानी कौन करता है। कई टीमों के पास कोई जाँच नहीं कि निगरानी काम कर रही है। सरल हार्टबीट या अलग प्रणाली से जाँच पर चर्चा करें। जोड़ने के लिए एक जाँच पर सहमत हों।
हमारे डैशबोर्ड क्या दिखाते हैं, और उन्हें कौन देखता है?
डैशबोर्ड सूचीबद्ध करें और पूछें कि पिछले महीने हर एक का उपयोग किसने किया। अनुपयोगी डैशबोर्ड अव्यवस्था हैं; उपयोगी सेवा के बारे में कहानी कहते हैं। पूछें कि हर एक किस प्रश्न का उत्तर देता है। छोटा समूह रखें जो वास्तविक प्रश्नों का उत्तर दे।
हमें कैसे पता चलेगा कि रिलीज़ ने चीज़ों को बदतर बनाया?
कोई हालिया रिलीज़ चुनें और पूछें कि कौन-सा संकेत समस्या दिखाता। यदि उत्तर है "हमें उपयोगकर्ताओं से पता चलता," तो चर्चा करें कि रिलीज़ के बाद कौन-से संकेत देखें और कौन ज़िम्मेदार है। यह प्रश्न निगरानी को तैनाती से जोड़ता है। रिलीज़-उपरांत की छोटी जाँच-सूची लिखें।
व्यवहार में: एक एजाइल ITIL उदाहरण
एक शहर का सार्वजनिक परिवहन प्राधिकरण यात्रा-योजना वेबसाइट और ऐप चलाता है जिसका उपयोग रोज़ 4,00,000 लोग करते हैं। दस लोगों की प्लेटफ़ॉर्म टीम चार की ऑन-कॉल रोटा के साथ सेवा की स्वामी है। टीम के पास सैकड़ों अलर्ट हैं: हर सर्वर पर CPU, डिस्क स्थान, कतार की लंबाई, और त्रुटि गिनतियाँ। ऑन-कॉल इंजीनियरों को सामान्य सप्ताह में 40 पेज मिलते हैं, अधिकतर कार्यालय समय के बाहर, और पिछली तिमाही में दो घटनाओं की पहली रिपोर्ट सोशल मीडिया पर उपयोगकर्ताओं ने की।
टीम प्रमुख और एक इंजीनियर तीन महीने के पेजों की समीक्षा करते हैं। वे पाते हैं कि तीन चौथाई ऐसी स्थितियों के लिए थे जिन्हें कार्रवाई की ज़रूरत नहीं थी या जो अपने-आप ठीक हो गईं। वे SRE पुस्तक के सरल दृष्टिकोण का पालन करने पर सहमत होते हैं: उस पर अलर्ट करें जो उपयोगकर्ता अनुभव करते हैं। वे एक जाँच जोड़ते हैं जो हर मिनट मानक यात्रा की योजना बनाती है और सफलता तथा गति मापती है, और डेटाबेस और कतार की संतृप्ति पर अलर्टों का छोटा समूह रखते हैं। वे बाक़ी को डैशबोर्ड और दैनिक टिकट में ले जाते हैं। बचे हर पेज को रनबुक में छोटी प्रविष्टि मिलती है जो बताती है कि क्या जाँचना है।
एक महीने बाद, पेज घटकर लगभग पाँच प्रति सप्ताह रह जाते हैं, और उसके बाद की दोनों घटनाएँ उपयोगकर्ताओं के शिकायत करने से पहले जाँच ने पकड़ लीं। कुछ समस्याएँ बाक़ी हैं। जाँच केवल एक यात्रा-प्रकार को ढँकती है, और साइकिल यात्राओं को प्रभावित करने वाला दोष एक दिन अनदेखा रहा। एक इंजीनियर यह भी बताता है कि "डैशबोर्ड पर ले जाने" के निर्णय ने धीमी डिस्क समस्या छिपा दी जिसने बाद में विफलता पैदा की। टीम अन्य यात्रा-प्रकारों के लिए जाँच जोड़ती है, रोटा में डैशबोर्ड की दैनिक समीक्षा जोड़ती है, और हर तिमाही पेजर भार की समीक्षा करने पर सहमत होती है।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमें जानती हैं कि सॉफ़्टवेयर को क्या करना है और वह कहाँ विफल हो सकता है। संकेतों को कोड में बनाएँ: उपयोगी लॉग, मापन और स्वास्थ्य जाँचें। प्रमुख उपयोगकर्ता क्रियाओं के लिए जाँचें परिभाषित करें, और निगरानी को "पूर्ण" का हिस्सा मानें। अलर्ट समीक्षाओं में भाग लें ताकि पेज वास्तविक समस्याओं को दर्शाएँ।
सेवा और संचालन टीमें
संचालन टीमें पेजर और डैशबोर्ड उठाती हैं। अलर्ट कम और कार्रवाई-योग्य रखें, तात्कालिकता से रूट करें, और पेजर भार ट्रैक करें। शोर वाले अलर्ट प्रमाण के साथ उन टीमों को लौटाएँ जो उनकी स्वामी हैं, और घटनाओं से जो सीखें कि क्या देखना है वह साझा करें।
नेतृत्व और शासन
नेताओं को और अलर्ट नहीं, पेजर भार और घटना पहचान के आँकड़े माँगने चाहिए। शोर हटाने और उपयोगी संकेत जोड़ने के समय का समर्थन करें। कार्यालय समय के बाद बढ़ते पेजों को सेवा और लोगों के लिए जोखिम मानें।
ग्राहक और उपयोगकर्ता
जब उनके नोटिस करने से पहले समस्याएँ पाई जाती हैं तो ग्राहकों और उपयोगकर्ताओं को लाभ होता है। समस्याएँ ब्योरे के साथ रिपोर्ट करें, जैसे आपने क्या आज़माया और कब, क्योंकि इससे निगरानी ट्यून करने में मदद मिलती है। प्रदाताओं से पूछें कि वे विफलताएँ कैसे और कितनी जल्दी पहचानते हैं, और क्या वे स्थिति की जानकारी प्रकाशित करते हैं।
आम विफलता के तरीके
- हर चीज़ पर अलर्ट। पेजर लगातार बजता है और भरोसा खो जाता है। इसके बजाय, लक्षणों पर पेज करें और बाक़ी टिकट या डैशबोर्ड को भेजें।
- उपयोगकर्ताओं की नहीं, प्रणालियों की निगरानी। सब मशीनें हरी हैं जबकि उपयोगकर्ता लॉग इन नहीं कर सकते। इसके बजाय, वास्तविक उपयोगकर्ता क्रियाओं की ब्लैक-बॉक्स जाँचें जोड़ें।
- कोई कार्रवाई जुड़ी नहीं। पेज आते हैं और करने को कुछ नहीं। इसके बजाय, हर पेज के लिए वर्णित प्रतिक्रिया माँगें, या उसे हटाएँ।
- केवल औसत। उपयोगकर्ताओं का समूह कष्ट पाता है जबकि माध्य ठीक दिखता है। इसके बजाय, उच्च परसेंटाइल या वितरण देखें।
- जटिल, चतुर नियम। सीखी हुई सीमाएँ और निर्भरता वृक्ष प्रतिक्रिया देने वालों को उलझाते हैं। इसके बजाय, सरल, समझने योग्य नियमों को प्राथमिकता दें।
- अनदेखी निगरानी। निगरानी प्रणाली चुपचाप विफल होती है। इसके बजाय, हार्टबीट और परीक्षणों से उसे जाँचें।
- रटी प्रतिक्रियाएँ। लोग हर पेज के बाद वही सुधार दोहराते हैं। इसके बजाय, प्रतिक्रिया को स्वचालित करें या कारण ठीक करें।
- पेजर भार की अनदेखी। रात के पेज सामान्य माने जाते हैं। इसके बजाय, उन्हें मापें और समीक्षा करें, और उच्च भार को जोखिम मानें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वय |
|---|---|---|---|---|---|
| उपयोगकर्ता अनुभव की दृश्यता | उपयोगकर्ता अधिकांश समस्याएँ रिपोर्ट करते हैं | कुछ सेवाओं में उपयोगकर्ता क्रियाओं के लिए जाँचें या मापन हैं | प्रमुख उपयोगकर्ता क्रियाओं की जाँच होती है और हर सेवा के लिए स्वर्णिम संकेत ट्रैक होते हैं | पहचान समय और कवरेज मापे जाते हैं और कमियाँ ठीक होती हैं | निगरानी टीमों, आपूर्तिकर्ताओं और ग्राहकों में साझा है |
| अलर्ट की गुणवत्ता | कई अलर्ट, कम कार्रवाई | कुछ टीमें अलर्ट छाँटती हैं | पेज लक्षण-आधारित, कार्रवाई-योग्य और तात्कालिकता से रूट किए जाते हैं | अलर्ट की सटीकता और शोर मापे और समीक्षित होते हैं | अलर्ट का डिज़ाइन साझा प्रमाण से टीमों में सुधारा जाता है |
| प्रतिक्रिया और स्वचालन | प्रतिक्रियाएँ तुरत-फुरत होती हैं | कुछ रनबुक मौजूद हैं | पेज रनबुक से जुड़े हैं, और रटी प्रतिक्रियाएँ स्वचालित हैं | प्रतिक्रिया समय और स्वचालन उपयोग मापा जाता है | प्रतिक्रियाएँ टीमों और आपूर्तिकर्ताओं में समन्वित हैं |
| लोग और भार | पेजर भार ट्रैक नहीं होता | कुछ टीमें पेज गिनती हैं | पेजर भार की हर तिमाही समीक्षा होती है | भार आँकड़ों से संतुलित और घटाया जाता है | भार और सीख टीमों में साझा हैं और योजना में दिखती हैं |
जाँच-सूची
- हर महत्वपूर्ण सेवा की कम से कम एक वास्तविक उपयोगकर्ता क्रिया की जाँच है।
- हम हर सेवा के लिए विलंबता, ट्रैफ़िक, त्रुटियाँ और संतृप्ति ट्रैक करते हैं।
- हर पेज की लिखित प्रतिक्रिया है और वह उपयोगकर्ता-दृश्य या आसन्न स्थिति से संबंधित है।
- अलर्ट तात्कालिकता से ऑन-कॉल, टिकट या डैशबोर्ड को रूट होते हैं।
- विलंबता के लिए उच्च परसेंटाइल या वितरण दिखाई देते हैं।
- हम समीक्षा करते हैं कि कौन-से अलर्ट सबसे ज़्यादा बजते हैं और जो किसी कार्रवाई तक नहीं ले जाते उन्हें सेवानिवृत्त करते हैं।
- निगरानी प्रणाली की स्वयं जाँच होती है।
- पेजर भार (प्रति पाली पेज, कार्यालय समय के बाद के व्यवधान) की हर तिमाही समीक्षा होती है।
- नए फ़ीचर की "पूर्ण" की परिभाषा में निगरानी शामिल है।
- हर रिलीज़ के बाद कोई छोटी सूची के सामने संकेत जाँचता है।
AI प्रॉम्प्ट
उद्देश्य: शोर और कार्रवाई-योग्यता के लिए अलर्टों की सूची की समीक्षा करना।
यहाँ हमारे अलर्टों की सूची है, पिछले [अवधि] में हर एक कितनी बार बजा और उसके बाद क्या हुआ (कार्रवाई हुई, अनदेखा, अपने-आप हल) के साथ: [तालिका के रूप में चिपकाएँ; वास्तविक आँकड़े उपयोग करें]।
केवल मेरे आँकड़ों का उपयोग करके अलर्टों को समूहित करें: अक्सर बजे बिना कार्रवाई के; बजे और कार्रवाई तक ले गए; शायद ही बजे। पहले समूह के हर एक के लिए अपने स्वामी से पूछने का प्रश्न सुझाएँ (उदाहरण के लिए क्या उसे हटाया जा सकता है, टिकट को रूट किया जा सकता है, या लक्षण-आधारित अलर्ट में बदला जा सकता है)। आवृत्तियाँ या नतीजे न गढ़ें। बताएँ कि कौन-से अतिरिक्त आँकड़े मदद करेंगे, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।
उद्देश्य: उपयोगकर्ता यात्रा के लिए जाँच परिभाषित करना।
[सेवा] में इस उपयोगकर्ता क्रिया के लिए ब्लैक-बॉक्स जाँच परिभाषित करने में मेरी मदद करें: [वर्णन करें, उदाहरण के लिए "उपयोगकर्ता यात्रा खोजता है और परिणाम पाता है"]।
सफलता क्या गिनी जाती है: [वर्णन करें]।
क्या बहुत धीमा है: ["अज्ञात" कहें या संख्याओं में नहीं, शब्दों में वर्णन करें]।
क्रिया किन प्रणालियों को छूती है: [सूची दें]।
वर्णन करें कि जाँच को कौन-से चरण करने चाहिए, क्या दर्ज करना चाहिए (सफलता, लगा समय, और कहाँ विफल हुई), कौन-सी अलर्ट स्थिति प्रस्तावित करें (सीमाएँ [तय होना है] छोड़ें), और प्रतिक्रिया देने वाला पहले क्या जाँचेगा। मान्यताएँ चिह्नित करें। प्रणाली के ब्योरे न गढ़ें। पहले स्पष्टीकरण प्रश्न पूछें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।
उद्देश्य: अलर्ट के लिए प्रतिक्रिया खंड लिखना।
इस अलर्ट के लिए ऑन-कॉल कर्मचारियों के लिए छोटी प्रतिक्रिया प्रविष्टि लिखें।
अलर्ट का नाम और स्थिति: [चिपकाएँ]।
उपयोगकर्ताओं के लिए इसका क्या अर्थ है: [वर्णन करें]।
मैं पहले क्या जाँचना जानता/जानती हूँ: [सूची दें]।
किसे एस्केलेट करना है: [भूमिका, या "अज्ञात" लिखें]।
लिखें: अलर्ट का क्या अर्थ है, पहली तीन जाँचें, कैसे पता करें कि उपयोगकर्ता प्रभावित हैं, कब एस्केलेट करें, और यह नोट कि क्या प्रतिक्रिया को स्वचालित किया जा सकता है। केवल मेरी जानकारी का उपयोग करें; जो भी आपने जोड़ा उसे [CHECK] से चिह्नित करें। पहले स्पष्टीकरण प्रश्न पूछें, और जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।
उद्देश्य: तिमाही पेजर भार समीक्षा तैयार करना।
[टीम] के लिए तिमाही पेजर भार समीक्षा तैयार करने में मेरी मदद करें।
तिमाही का डेटा (सप्ताह के अनुसार पेज, कार्यालय समय के बाद के पेज, बिना कार्रवाई के पेज, निगरानी से बनाम उपयोगकर्ताओं से पहचानी गई घटनाएँ): [वास्तविक आँकड़े चिपकाएँ]।
संदर्भ: [अवधि में बदलावों का वर्णन करें]।
केवल मेरे आँकड़ों का उपयोग करते हुए डेटा का सरल भाषा में सार दें। रुझानों और बाह्य मानों को निष्कर्ष नहीं, प्रश्नों के रूप में उभारें। टीम के लिए तीन प्रश्न और प्रबंधन के लिए एक सुझाएँ। कारण न गढ़ें। यदि डेटा अधूरा है, तो बताएँ कि क्या जुटाना है। जिन बातों के बारे में अनिश्चित हैं उनकी सूची दें।
AI कौशल
- runbook: हर पेज के साथ जाने वाली प्रतिक्रिया लिखने के लिए उपयोग करें।
- on-call-rotation: न्यायसंगत रोटा डिज़ाइन करने और पेजर भार कैसे बाँटा और समीक्षित हो इसकी योजना बनाने के लिए उपयोग करें।
- software-engineering-metrics: सेवा और डिलीवरी प्रदर्शन के मापन चुनने और व्याख्या करने के लिए उपयोग करें।
- performance-testing: समस्याएँ उपयोगकर्ताओं तक पहुँचने से पहले भार के तहत विलंबता और संतृप्ति जाँचने के लिए उपयोग करें।
- chaos-testing: सुरक्षित परिवेश में जानबूझकर विफलताएँ पैदा करके परखने के लिए उपयोग करें कि वे पहचानी और सँभाली जाती हैं।
(ये कौशल स्वयं अंग्रेज़ी में लिखे गए हैं।)
प्रमुख स्रोत
- वितरित प्रणालियों की निगरानी (Site Reliability Engineering, Google, sre.google): परिभाषाएँ, चार स्वर्णिम संकेत, लक्षण बनाम कारण, और सरल अलर्टिंग पर सलाह।
- टाइम-सीरीज़ डेटा से व्यावहारिक अलर्टिंग (Site Reliability Engineering, Google, sre.google): व्यवहार में अलर्टिंग नियम, रूटिंग और फड़कना कैसे काम करते हैं।
- सेवा स्तर उद्देश्य (Site Reliability Engineering, Google, sre.google): संकेतकों, उद्देश्यों और अलर्टों के बीच का संबंध।
- आईटी सेवा प्रबंधन (विकिपीडिया): ITSM में निगरानी और घटनाओं का स्थान।
ये स्रोत अंग्रेज़ी में हैं।
संदर्भ
- Monitoring Distributed Systems — Google SRE book, sre.google — https://sre.google/sre-book/monitoring-distributed-systems/
- Practical Alerting from Time-Series Data — Google SRE book, sre.google — https://sre.google/sre-book/practical-alerting/
- Service Level Objectives — Google SRE book, sre.google — https://sre.google/sre-book/service-level-objectives/
- IT service management — Wikipedia — https://en.wikipedia.org/wiki/IT_service_management
- Network monitoring — Wikipedia — https://en.wikipedia.org/wiki/Network_monitoring
- Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
- Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
- Alarm fatigue — Wikipedia — https://en.wikipedia.org/wiki/Alarm_fatigue
- Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management