یہ کیوں اہم ہے

سروس مینجمنٹ کے بہت سے طریقے ایسی دنیا کے لیے ڈیزائن ہوئے جہاں آپریشنز کا عملہ وہ سافٹ ویئر چلاتا تھا جو دوسروں نے لکھا ہو، اور چلانے کی لاگت سروس کے سائز کے ساتھ بڑھتی تھی۔ سائٹ ریلائیبلٹی انجینئرنگ (SRE) ایک ادارے کا جواب ہے کہ جب وہ ماڈل بہت بڑے پیمانے سے ٹکرائے تو کیا ہوتا ہے: سافٹ ویئر انجینئروں سے آپریشنز کا شعبہ ڈیزائن اور چلانے کو کہیں، اور نظام سے وہ کام کروائیں جو لوگ ورنہ ہاتھ سے کرتے۔

اس گائیڈ کے قارئین کے لیے SRE تین وجوہات سے مفید ہے۔ یہ رفتار اور اعتمادیت کے سمجھوتے کو صریح بناتی ہے، ایسے اعداد کے ساتھ جو پروڈکٹ اور آپریشنز ٹیمیں دونوں پڑھ سکتی ہیں۔ یہ اس کا ٹھوس خیال دیتی ہے کہ کتنا دستی کام بہت زیادہ ہے۔ اور یہ دکھاتی ہے کہ ITIL کے کتنے طریقے، جیسے واقعات، مسائل، تبدیلی اور گنجائش کا انتظام، انجینئرنگ کے الفاظ میں ہو سکتے ہیں۔ SRE انہیں کرنے کا واحد طریقہ نہیں، اور یہ بہت بڑی انٹرنیٹ کمپنی کے حالات سے آئی ہے، اس لیے کیا منتقل ہوتا ہے یہ آپ کی صورتِ حال پر منحصر ہے۔

یہ موضوع بنیادی طور پر Google کی Site Reliability Engineering کتاب کے تین ابواب پر مبنی ہے، جنہیں SRE پر ویکیپیڈیا کے مضمون سے تقویت ملتی ہے۔ کتاب ایک ادارے کا عمل بیان کرتی اور اپنے طریقے کی دلیل دیتی ہے؛ ویکیپیڈیا کا مضمون وسیع مگر پتلی تصویر دیتا ہے اور کوئی تنقید نہیں بتاتا۔ دونوں کو آزمانے کے لیے خیالات کے ماخذ کے طور پر پڑھیں، معیار کے طور پر نہیں۔

بنیادی تصورات

SRE کیا ہے

کتاب کا تعارف SRE کو "جب آپ سافٹ ویئر انجینئر سے آپریشنز ٹیم ڈیزائن کرنے کو کہیں تو جو ہوتا ہے" کے طور پر متعین کرتا ہے۔ سائٹ ریلائیبلٹی انجینئرنگ پر ویکیپیڈیا کا مضمون اسے سافٹ ویئر انجینئرنگ اور آئی ٹی انفراسٹرکچر کی سپورٹ کے اندر ایسا نظم بیان کرتا ہے جو تعینات سافٹ ویئر اور بڑی سروسز کی دستیابی اور کارکردگی کی نگرانی اور بہتری کرتا ہے، خودکاری اور کوڈ کے طور پر انفراسٹرکچر پر توجہ کے ساتھ۔ مضمون SRE کو DevOps کا مخصوص نفاذ کہتا ہے، دائرے میں زیادہ تنگ کیونکہ یہ قابلِ بھروسا نظام بنانے پر مرکوز ہے (دیکھیں موضوع 5.2 — DevOps)۔ کتاب DevOps کو وسیع تر اصولوں کا مجموعہ بتاتی ہے جنہیں SRE مخصوص طریقے سے نافذ کرتی ہے۔

مضمون کے مطابق Google کی SRE کا عمل 2003 میں شروع ہوا جب Benjamin Treynor Sloss شامل ہوئے اور سات پروڈکشن انجینئروں سے ٹیم بنائی؛ 2016 تک ٹیم میں 1,000 سے زیادہ SREs تھے، اور دوسری بڑی انٹرنیٹ کمپنیوں نے یہ عمل اپنایا۔ 572 پیشہ وروں کے 2020 کے سروے نے 10,000 یا زیادہ ملازمین والے اداروں کے 64 فیصد، 101 سے 1,000 والوں کے 44 فیصد، اور 100 یا کم والوں کے 32 فیصد میں SRE ٹیمیں پائیں۔ کانفرنس سیریز SREcon 2014 سے سالانہ چل رہی ہے۔

وہ مسئلہ جو SRE حل کرتی ہے

تعارف روایتی ماڈل بیان کرتا ہے: ڈیولپرز اور سسٹم ایڈمنسٹریٹر الگ ٹیموں میں بٹے ہیں۔ وہ دو قسم کی لاگتیں گنواتا ہے:

  • براہِ راست لاگتیں۔ دستی تبدیلی کا انتظام اور ایونٹس کی ہینڈلنگ مہنگی ہو جاتی ہے، کیونکہ آپریشنز کی ٹیم بوجھ کے ساتھ بڑھتی ہے۔
  • بالواسطہ لاگتیں۔ ٹیموں کی لغت، ترغیبات اور خطرے کے بارے میں مفروضے مختلف ہیں، جو ریلیزز پر تنازع پیدا کرتے ہیں۔ آپریشنز لانچ کے دروازے لگاتا ہے، اور ڈیولپرز توڑ نکال کر جواب دیتے ہیں۔

SRE کا مقصد آپریشنز کو انجینئرنگ کا مسئلہ سمجھ کر اس تقسیم سے بچنا ہے۔ باب کہتا ہے کہ ٹیم کا سائز نظام سے آہستہ بڑھتا ہے، کیونکہ انجینئرنگ آپریشنل بوجھ کو ٹریفک کے ساتھ ساتھ بڑھنے نہیں دیتی۔

اصول

تعارف ان شعبوں کی فہرست دیتا ہے جن کی SRE ٹیمیں ذمہ دار ہیں: دستیابی، تاخیر، کارکردگی، کفایت، تبدیلی کا انتظام، نگرانی، ہنگامی ردِعمل، اور گنجائش کی منصوبہ بندی۔ ویکیپیڈیا کا مضمون بنیادی طریقے گنواتا ہے جن میں بار بار کے کام کی خودکاری، سروس کی سطح کے اشاروں (SLIs)، مقاصد (SLOs) اور غلطی کے بجٹ سے اعتمادیت کے اہداف متعین کرنا، خطرہ گھٹانے کے لیے نظام ڈیزائن کرنا، مشاہدہ پذیری اور نگرانی، مشقت (toil) کا انتظام، آزمایا ہوا واقعات کے انتظام کا عمل، اور گنجائش کی منصوبہ بندی، ریلیز کا انتظام اور کیوس انجینئرنگ شامل ہیں۔

سروس کی سطح کے مقاصد اور غلطی کے بجٹ

SRE اعتمادیت کو صریح اہداف سے جوڑتی ہے (مکمل بیان کے لیے دیکھیں موضوع 3.7 — سروس کی سطح کا انتظام)۔ مختصراً:

  • چند اشارے چنیں جو صارفین کی پروا کی عکاسی کریں۔
  • ایسا مقصد طے کریں جو کاملیت کا مطالبہ نہ کرے۔
  • غلطی کے بجٹ کی اجازت دیں: کامل اور مقصد کے درمیان گنجائش۔
  • ریلیز کی رفتار طے کرنے کے لیے بجٹ برتیں: جب تک بجٹ باقی ہے ریلیزز جاری رہتی ہیں؛ ختم ہونے پر ریلیزز سست ہوتی ہیں اور محنت اعتمادیت کی طرف جاتی ہے۔

"Embracing Risk" کا باب وجہ سمجھاتا ہے: پروڈکٹ ٹیموں کو رفتار پر اور اعتمادیت کی ٹیموں کو اعتمادیت پر ناپا جاتا ہے، جو تناؤ پیدا کرتا ہے، اور بجٹ دونوں کو مشترکہ، معروضی پیمانہ دیتا ہے۔ وہی باب کہتا ہے کہ اعتمادیت کی لاگتیں تیزی سے بڑھتی ہیں اور مقصد سروس کے خطرے کو اس سے ملانا ہے جو کاروبار قبول کرے گا (دیکھیں موضوع 3.11 — دستیابی، گنجائش اور کارکردگی)۔

مشقت (toil)

"Eliminating Toil" کا باب مشقت (toil) کو پروڈکشن سروس چلانے سے جڑا آپریشنل کام متعین کرتا ہے، اور کہتا ہے کہ یہ محض وہ کام نہیں جو کسی کو ناپسند ہو اور میٹنگوں جیسے اوور ہیڈ سے الگ ہے۔ مشقت کی یہ خصوصیات ہوتی ہیں:

خصوصیت مطلب
دستی عملی انسانی محنت چاہیے، چاہے اسکرپٹ مراحل چلائے
دہرایا جانے والا بار بار کیا جاتا ہے، نیا مسئلہ نہیں
خودکار ہو سکنے والا مشین کر سکتی ہے، یا ضرورت کو ڈیزائن سے ختم کیا جا سکتا ہے
حکمتِ عملی سے خالی مداخلت سے چلنے والا اور ردِ عملی، جیسے پیجز کا جواب
پائیدار قدر کے بغیر بعد میں سروس اسی حالت میں ہے
ترقی کے ساتھ خطی محنت سروس کے سائز، ٹریفک یا صارفین کے ساتھ بڑھتی ہے

کتاب کہتی ہے کہ SREs اپنے وقت کے 50 فیصد سے کم مشقت کا ہدف رکھتے ہیں، کم از کم آدھا انجینئرنگ کے پروجیکٹ کام پر، اور تعارف مجموعی "ops" کام پر 50 فیصد حد رکھتا ہے، زائد کو ڈیولپمنٹ ٹیموں کو واپس بھیجتا ہے۔ وہ کہتی ہے کہ بہت زیادہ مشقت کیریئر کا جمود، کم حوصلہ اور تھکن پیدا کرتی ہے، فیچر کے کام کو سست کرتی ہے، اور رخصتیاں چلاتی ہے؛ "بڑی مقدار میں تجربہ ہونے پر مشقت زہریلی ہو جاتی ہے،" اگرچہ تھوڑی مقدار سکون دے سکتی ہے اور کچھ ناگزیر ہے۔ باب اس کم از کم حد کا حساب لگانے کا طریقہ دیتا ہے جو آن کال لگاتی ہے (مثلاً اپنے مثالی مفروضوں کے تحت چھ افراد کی باری کے لیے 33 فیصد کی نچلی حد) اور رپورٹ کرتا ہے کہ مداخلتیں مشقت کا سب سے بڑا ماخذ تھیں، اس کے بعد آن کال کا ردِعمل اور پھر ریلیزز۔ وہ انجینئرنگ کے کام کو نیا، فیصلہ مانگنے والا، مستقل بہتری پیدا کرنے والا، اور حکمتِ عملی کی پیروی کرنے والا متعین کرتا ہے۔

ہنگامی ردِعمل اور نگرانی

تعارف کہتا ہے کہ نگرانی کو الرٹس کی تعبیر کے لیے انسان کی ضرورت نہیں ہونی چاہیے: سافٹ ویئر ڈیٹا کی تعبیر کرتا ہے اور انسانوں کو صرف تب مطلع کیا جاتا ہے جب عمل چاہیے (دیکھیں موضوع 3.10 — نگرانی اور ایونٹ کا انتظام)۔ وہ کہتا ہے کہ آن کال SREs کو ہر شفٹ میں زیادہ سے زیادہ تقریباً دو ایونٹس ملنے چاہییں۔ وہ دعویٰ کرتا ہے کہ پلے بکس فی البدیہہ کے مقابلے میں مرمت کے اوسط وقت میں تقریباً تین گنا بہتری دیتی ہیں۔ واقعات کی ہینڈلنگ واقعے کی کمانڈ کے طریقے پر چلتی ہے، اور ہر اہم واقعے کے لیے الزام تراشی سے پاک پوسٹ مارٹم لکھے جاتے ہیں (دیکھیں موضوع 3.2 — واقعات کا انتظام)۔

تبدیلی کا انتظام

تعارف کہتا ہے کہ تقریباً 70 فیصد آؤٹیجز لائیو نظام میں تبدیلیوں سے آتی ہیں، اور مرحلہ وار رول آؤٹ، مسائل کی تیز شناخت، اور محفوظ رول بیک کی سفارش کرتا ہے۔ یہ کتاب کا اپنا دعویٰ ہے، Google کے تجربے سے، اور ہر ادارے کے لیے درست نہ ہو۔ اس کا پیغام تبدیلی پر DORA کی رہنمائی سے ملتا ہے (دیکھیں موضوع 3.4 — تبدیلی کی سہولت کاری اور موضوع 3.5 — ریلیز اور تعیناتی کا انتظام)۔

SRE اور ITIL

SRE کو کئی ITIL کے طریقوں کو انجام دینے کے انجینئرنگ طریقے کے طور پر پڑھا جا سکتا ہے:

ITIL کا طریقہ SRE کا طریقہ
واقعات کا انتظام واقعے کی کمانڈ کے کردار، لائیو واقعے کا ریکارڈ، الزام تراشی سے پاک پوسٹ مارٹم
مسائل کا انتظام بیک لاگ میں پوسٹ مارٹم کے اقدامات، وجہ پر مشقت ہٹانا
تبدیلی کی سہولت کاری مرحلہ وار رول آؤٹ، تیز شناخت، محفوظ رول بیک، خودکار جانچیں
سروس کی سطح کا انتظام SLIs، SLOs، غلطی کے بجٹ
نگرانی اور ایونٹ کا انتظام علامات پر مبنی الرٹنگ، چار سنہری سگنل
گنجائش کا انتظام انجینئرنگ کے کام کے طور پر گنجائش کی منصوبہ بندی، لوڈ ٹیسٹنگ کے ساتھ
مسلسل بہتری مشقت پر حد، بنیادی کام کے طور پر انجینئرنگ کے پروجیکٹس

نقشہ بندی اس گائیڈ کی ہے، ماخذوں کی نہیں۔ نہ کتاب اور نہ ویکیپیڈیا کا مضمون ITIL کو نافذ کرنے کا دعویٰ کرتے ہیں۔

تعیناتی کے ماڈل

ویکیپیڈیا کا مضمون SRE کے چھ تنظیمی ماڈل بیان کرتا ہے: "Kitchen Sink"، انفراسٹرکچر، اوزار، پروڈکٹ یا ایپلیکیشن، ایمبیڈڈ، اور مشاورتی۔ وہ کہتا ہے کہ بڑے اداروں میں مخلوط عام ہے، مگر اس دعوے پر حوالے کی ضرورت کا نشان لگاتا ہے۔ کون سا ماڈل آپ کو موزوں ہے یہ آپ کے سائز اور سروسز کی تعداد پر منحصر ہے۔

حدود اور تنقیدیں

ویکیپیڈیا کا مضمون کوئی تنقید، لاگت، یا ناکامی کی صورتیں نہیں بتاتا، اور کتاب ایک ادارے کی کامیابی بیان کرتی ہے۔ عملی حدیں تجربے سے معلوم ہیں، اور یہاں اسی طرح پیش ہیں: SRE کو ایسے انجینئر چاہییں جو سافٹ ویئر لکھ سکیں اور آپریشنز کرنے کو تیار ہوں؛ 50 فیصد کی حد کو انتظامیہ کی حمایت چاہیے؛ غلطی کے بجٹ تب ہی کام کرتے ہیں جب پروڈکٹ ٹیمیں ان کا احترام کریں؛ اور اس پیمانے اور اوزار کے بغیر طریقے کی نقل مشکل ہے جس سے وہ پیدا ہوا۔ چھوٹے ادارے ٹیم بنائے بغیر خیالات، جیسے مقاصد، بجٹ، مشقت کی پیمائش، اور الزام تراشی سے پاک جائزہ، اپنا سکتے ہیں۔

بہترین طریقے

  1. ایک سروس چنیں اور مقصد طے کریں۔ دو سے چار اشارے چنیں جو صارف کے تجربے کی عکاسی کریں، ڈھیلا پہلا مقصد طے کریں، اور کَسنے سے پہلے چند مہینے ناپیں۔
  2. غلطی کے بجٹ کی پالیسی پر متفق ہوں۔ لکھیں کہ جب بجٹ تقریباً ختم ہو اور جب ختم ہو تو کیا ہوتا ہے، اور کون اسے اوور رائیڈ کر سکتا ہے۔ اسے پروڈکٹ اور آپریشنز کا مشترکہ قاعدہ بنائیں۔
  3. مشقت ناپیں۔ لوگوں سے کہیں کہ ریکارڈ کریں کہ ان کے وقت کا کتنا حصہ دستی، دہرائے جانے والے آپریشنل کام پر جاتا ہے۔ اسے درجہ بند کرنے کے لیے چھ خصوصیات برتیں۔ اوپر کے ماخذ دیکھیں۔
  4. دستی کام پر حد رکھیں۔ مشقت کے لیے حد طے کریں، جیسے شخص کے وقت کا آدھا، اور اس کا جائزہ لیں۔ جب حد تجاوز ہو تو زائد کام ان ٹیموں کو واپس بھیجیں جو وجوہات کی مالک ہیں یا دائرہ گھٹائیں۔
  5. پہلے سب سے بڑی مشقت خودکار کریں۔ وہ آئٹم چنیں جو سب سے زیادہ وقت لیتا اور سب سے زیادہ دہرایا جاتا ہے، اسے ٹیسٹوں کے ساتھ خودکار کریں، اور بچت ناپیں۔ ضرورت کو خودکار کرنے کی جگہ ڈیزائن سے ختم کرنے کو ترجیح دیں۔
  6. انجینئرنگ کے وقت کی حفاظت کریں۔ آپریشنز انجینئروں کے لیے پروجیکٹ کے کام کو مالکوں اور تاریخوں کے ساتھ حقیقی کام کے طور پر منصوبہ بند کریں۔ اس کے بغیر مشقت پھیل جاتی ہے۔
  7. مداخلتیں محدود کریں۔ ہر آن کال شفٹ میں کم ایونٹس کا ہدف رکھیں، الرٹس ٹھیک کریں تاکہ پیج قابلِ عمل ہوں، اور بار بار کی وجوہات درست کریں۔ کتاب کی رہنمائی زیادہ سے زیادہ تقریباً دو ایونٹ فی شفٹ ہے۔
  8. پلے بکس لکھیں۔ عام ناکامیوں کے لیے مختصر، آزمائے ہوئے ردِعمل کے مراحل لکھیں۔ کتاب دعویٰ کرتی ہے کہ وہ فی البدیہہ کے مقابلے میں مرمت کا وقت بہتر کرتے ہیں۔
  9. تبدیلیاں مرحلہ وار اور قابلِ واپسی بنائیں۔ بتدریج رول آؤٹ کریں، مسائل جلد پکڑیں، اور محفوظ طریقے سے رول بیک کریں۔ چونکہ کتاب کے تجربے میں تبدیلیاں آؤٹیجز کی عام ترین وجہ ہیں، پہلے یہاں سرمایہ کاری کریں۔
  10. اہم واقعات کے لیے الزام تراشی سے پاک پوسٹ مارٹم کریں، بشمول قریب قریب بچ جانے والے جنہوں نے پیج نہیں کیا۔ اقدامات کو بیک لاگ آئٹمز بنائیں۔
  11. ٹیم سے نہیں، خیالات سے شروع کریں۔ چھوٹے ادارے وقف ٹیم بنانے سے پہلے موجودہ عملے کے ساتھ مقاصد، بجٹ، مشقت کے پیمانے اور پوسٹ مارٹم اپنا سکتے ہیں۔
  12. تنظیمی ماڈل دانستہ چنیں۔ اگر آپ SRE کا شعبہ بنائیں تو طے کریں کہ یہ اوزار فراہم کرے گا، پروڈکٹ ٹیموں کے ساتھ ایمبیڈ ہوگا، یا مشورہ دے گا، اور بڑھتے ہوئے انتخاب کا جائزہ لیں۔

ٹیم کے ساتھ بحث کے سوالات

ہم سب سے پہلے کس سروس پر مقصد رکھیں گے، اور مقصد کیا ہوگا؟

ہر شخص سے سروس اور وہ اشارہ بتانے کو کہیں جو صارف کے تجربے کی سب سے اچھی عکاسی کرتا ہے۔ موازنہ کریں۔ فرق غیر واضح ترجیحات دکھاتے ہیں۔ سہولت کار پوچھ سکتا ہے کہ آج کیا ہوتا ہے جب سروس صارفین کی توقع سے سست یا کم دستیاب ہو۔ شروع کے لیے سروس اور ناپنے کی چیز پر متفق ہوں۔

اگر ہم اس مہینے اپنا پورا غلطی کا بجٹ خرچ کر دیں تو ہم کیا کریں گے؟

ٹیم اور پروڈکٹ نمائندے سے اقدامات، فیصلہ کون کرتا ہے، اور کیا محفوظ ہے، بیان کرنے کو کہیں۔ بہت سی ٹیمیں کبھی متفق نہیں ہوئیں۔ بحث کریں کہ آیا خطرناک ریلیزز روکنا قبول ہوگا۔ ایک صفحے کی پالیسی کا مسودہ بنائیں۔

ہمارے ہفتے کا کتنا حصہ مشقت ہے، اور اوپر کے تین ماخذ کیا ہیں؟

لوگوں سے اندازہ لگانے کو کہیں اور پھر دو ہفتے ریکارڈ رکھیں۔ اندازوں کا ریکارڈ سے موازنہ کریں۔ مقصد کام کی شکل دیکھنا ہے، الزام نہیں۔ سب سے بڑا ماخذ چنیں اور پوچھیں کہ کیا اسے ڈیزائن سے ہٹایا جا سکتا ہے۔

کون سا بار بار کا دستی کام اسکرپٹ یا ڈیزائن کی تبدیلی ہٹا سکتی ہے؟

ان کاموں کی فہرست بنائیں جن سے لوگ بیزار ہیں۔ ہر ایک کے لیے تعدد اور وقت کا اندازہ لگائیں۔ بہترین امیدوار بار بار ہونے والے، مستحکم، اور کم خطرے کے ہیں۔ پوچھیں کہ خودکاری کو محفوظ کیا بنائے گا، جیسے حدیں اور لاگ۔ خودکار کرنے کے لیے ایک چنیں۔

ہر آن کال شفٹ کو کتنے ایونٹس ملتے ہیں، اور کتنوں پر عمل چاہیے؟

پچھلی سہ ماہی کے لیے گنیں۔ اگر عدد زیادہ ہے تو بحث کریں کہ یہ کہاں سے آتا ہے۔ تعارف ہر شفٹ تقریباً دو ایونٹس کا ہدف تجویز کرتا ہے۔ ٹھیک کرنے کے لیے الرٹ کا ایک ماخذ چنیں۔

اگر ہم وقف اعتمادیت کی ٹیم بنائیں تو ہم کیا کھوئیں گے اور کیا پائیں گے؟

دیانت دار رائے مانگیں۔ فوائد توجہ اور مہارتیں ہو سکتے ہیں؛ نقصانات نیا سائلو یا آپریشنل کام کا ڈھیر لگانا۔ ایمبیڈڈ انجینئروں یا باری جیسے متبادل پر بحث کریں۔ فیصلہ کریں کہ چھوٹے پیمانے پر کیا آزمائیں۔

عملی مثال: چابک ITIL کی ایک مثال

ایک علاقائی بجلی تقسیم کار کمپنی آؤٹیج رپورٹ کرنے والی ایپ اور فیلڈ عملے کی ڈسپیچ کا نظام چلاتی ہے۔ اٹھارہ افراد کی مشترکہ ٹیم دونوں بناتی اور چلاتی ہے۔ ٹیم میں آپریشنز کا عملہ اپنا زیادہ تر وقت دستی کام پر لگاتا ہے: اٹکی ہوئی جابز ری اسٹارٹ کرنا، ڈیٹا فیڈز ایڈجسٹ کرنا، اور پیجز کا جواب دینا۔ گروپ کا سربراہ نوٹ کرتا ہے کہ ان کے پاس بہتری کے لیے کم وقت بچتا ہے، اور ان میں سے دو نے دوسری ٹیموں میں جانے کو کہا ہے۔

ٹیم لیڈ SRE سے متاثر طریقہ تجویز کرتا ہے۔ آؤٹیج رپورٹنگ ایپ کے لیے ٹیم دو اشارے طے کرتی ہے: کامیاب رپورٹ جمع کرانے کا حصہ اور تصدیق دکھانے کا وقت۔ وہ کسٹمر سروس کے مینیجر کے ساتھ ڈھیلے مقصد اور ماہانہ غلطی کے بجٹ پر متفق ہوتی ہے، اور ایک صفحے کی پالیسی لکھتی ہے: جب بجٹ کا تین چوتھائی سے زیادہ خرچ ہو جائے تو خطرناک ریلیزز انتظار کرتی ہیں۔ ٹیم انجینئروں سے ایک مہینہ مشقت کا لاگ رکھنے کو کہتی ہے۔ لاگ دکھاتا ہے کہ ان کے وقت کا ایک تہائی ناکام ہوتے ڈیٹا امپورٹ جاب کو ری اسٹارٹ کرنے اور طوفانوں کے بعد دستی ایڈجسٹمنٹس پر جاتا ہے، جب طلب بڑھتی ہے۔ وہ مشقت پر اپنے وقت کے آدھے کی حد مقرر کرتے ہیں، پہلے امپورٹ جاب کی وجہ ٹھیک کرنے کا فیصلہ کرتے ہیں، اور طوفان کی ایڈجسٹمنٹس کو ایسے اسکرپٹ سے خودکار کرتے ہیں جس میں حدیں اور لاگ ہے۔ پیجز اس طرح ٹھیک کیے جاتے ہیں کہ صرف صارف کو نظر آنے والی علامات آن کال انجینئر کو الرٹ کریں۔

چار مہینے بعد مشقت ٹیم کے وقت کے تقریباً ایک تہائی تک گر جاتی ہے، امپورٹ جاب اب ناکام نہیں ہوتا، اور غلطی کے بجٹ کی پالیسی ایک بار برتی گئی ہے، فراہم کنندہ کی آؤٹیج والے مہینے میں، فیچر کی ریلیز مؤخر کرنے کے لیے۔ مشکلات باقی ہیں۔ ڈسپیچ سسٹم کے ابھی کوئی مقاصد نہیں، اور کسٹمر سروس کا مینیجر فوری فیچرز کے لیے دو بار بجٹ کی پالیسی اوور رائیڈ کرنے کی طرف مائل ہوا۔ ٹیم لیڈ اور مینیجر ماہانہ اوور رائیڈز کا جائزہ لینے اور اگلے ڈسپیچ کے مقاصد طے کرنے پر متفق ہوتے ہیں۔ انہیں یہ بھی پتا چلتا ہے کہ "حد" رہنما ہے، وعدہ نہیں: بڑے طوفان کے بعد دو ہفتے مشقت آدھے سے بہت بڑھ گئی، اور انہیں فیصلہ کرنا پڑا کہ کیا کاٹیں۔

چار نقطہ ہائے نظر

پروڈکٹ اور ڈیلیوری ٹیمیں

ڈیلیوری ٹیمیں مقاصد طے کرنے میں شریک ہوتی اور بجٹ کا احترام کرتی ہیں۔ فیچرز میں آپریشنل صلاحیت بنائیں، قبول کریں کہ مشقت اس ٹیم کو لوٹتی ہے جو اسے پیدا کرتی ہے، اور خودکاری میں مدد دیں۔ ختم شدہ بجٹ کو سروس کے بارے میں معلومات سمجھیں، سزا نہیں۔

سروس اور آپریشنز ٹیمیں

آپریشنز ٹیمیں SRE کا کام کر سکتی ہیں یا اس کے خیالات اپنا سکتی ہیں۔ مشقت ناپیں، انجینئرنگ کے لیے وقت محفوظ کریں، اور بار بار کا کام اس کے ماخذ کو واپس دھکیلیں۔ مقاصد برتیں تاکہ سمجھائیں کہ کچھ کام کیوں رد ہونا چاہیے۔

قیادت اور گورننس

قائدین کو مشقت پر حد اور غلطی کے بجٹ کے قاعدے کی حمایت کرنی چاہیے؛ حمایت کے بغیر وہ ناکام ہوتے ہیں۔ واقعات کی گنتی نہیں، مقاصد اور بجٹ کی حیثیت مانگیں۔ انجینئرنگ کے کام کے لیے وقت دیں اور جب بجٹ خرچ ہو چکا ہو تو فیچرز کو نہ کہنے کو تیار رہیں۔

گاہک اور صارفین

گاہکوں اور صارفین کو سروس کی واضح سطحوں اور ناکامی پر تیز بحالی سے فائدہ ہوتا ہے۔ ٹیم کو بتائیں کہ آپ کے لیے کیا سب سے اہم ہے، تاکہ مقاصد آپ کے تجربے کی عکاسی کریں۔ نئے فیچرز اور اعتمادیت کے درمیان سمجھوتوں پر دیانت دار گفتگو کی توقع رکھیں۔

ناکامی کی عام صورتیں

  • عنوان کی نقل۔ آپریشنز کا نام بدلتا ہے اور کچھ نہیں بدلتا۔ اس کے بجائے پہلے مقاصد، بجٹ اور مشقت کے پیمانے اپنائیں۔
  • ایسا غلطی کا بجٹ جس کا کوئی احترام نہیں کرتا۔ فیچرز ہر بار اسے اوور رائیڈ کرتے ہیں۔ اس کے بجائے پروڈکٹ مالکوں کے ساتھ قاعدہ طے کریں اور اوور رائیڈز کا جائزہ لیں۔
  • انجینئرنگ کے لیے وقت نہیں۔ مشقت ہفتہ بھر دیتی ہے۔ اس کے بجائے اس پر حد رکھیں اور پروجیکٹ کے وقت کی حفاظت کریں۔
  • غلط چیز خودکار کرنا۔ نایاب کام خودکار ہوتا ہے جبکہ بار بار کا رہتا ہے۔ اس کے بجائے وقت اور تعدد سے درجہ بند کریں۔
  • کاملیت کے اہداف۔ مقاصد 100 فیصد کا مطالبہ کرتے ہیں۔ اس کے بجائے صارفین کی ضرورت سے ڈھیلے اہداف طے کریں اور ڈیٹا سے کَسیں۔
  • اعتمادیت کی ٹیم بطور کچرا دان۔ ڈیولپمنٹ سارا آپریشنل کام اسے بھیجتی ہے۔ اس کے بجائے زائد کام اس کے ماخذ کو واپس کریں۔
  • Google کے پیمانے کی نقل۔ وہ طریقے جنہیں بڑا ادارہ چاہیے چھوٹا ادارہ اپناتا ہے۔ اس کے بجائے وہ خیالات لیں جو میل کھائیں، جیسے مقاصد اور پوسٹ مارٹم۔
  • لوگوں کو نظرانداز کرنا۔ آن کال کا بوجھ لوگوں کو تھکا دیتا ہے۔ اس کے بجائے ہر شفٹ کے ایونٹس محدود کریں اور باری بانٹیں۔

پختگی کا ماڈل

پہلو آغاز ترقی معیار بندی انتظام ہم آہنگی
مقاصد اور بجٹ اعتمادیت کے اہداف غیر رسمی ہیں کچھ سروسز کے مقاصد ہیں اہم سروسز کے مقاصد اور متفقہ غلطی کے بجٹ کی پالیسی ہے بجٹ ریلیزز کی رہنمائی کرتے ہیں اور پالیسی کے اوور رائیڈز کا جائزہ لیا جاتا ہے مقاصد اور بجٹ منحصر سروسز میں ہم آہنگ ہیں
مشقت اور خودکاری مشقت ناپی نہیں جاتی کچھ ٹیمیں مشقت کا اندازہ لگاتی ہیں مشقت ناپی اور اس پر حد ہے؛ خودکاری کا کام منصوبہ بند ہے مشقت کے ماخذ اور بچت ٹریک اور گھٹائی جاتی ہے خودکاری بانٹی جاتی ہے اور مشقت ٹیموں میں گھٹائی جاتی ہے
ہنگامی ردِعمل ردِعمل فی البدیہہ ہے کچھ پلے بکس اور باری موجود ہیں کردار، پلے بکس اور الزام تراشی سے پاک پوسٹ مارٹم معیاری ہیں ایونٹ کا بوجھ اور مرمت کے اوقات ناپے اور بہتر کیے جاتے ہیں ردِعمل کی مشق ہوتی ہے اور وہ ٹیموں اور فراہم کنندگان میں مربوط ہے
تبدیلی اور گنجائش تبدیلیاں خطرناک اور دستی ہیں کچھ رول آؤٹ مرحلہ وار ہیں مرحلہ وار رول آؤٹ اور گنجائش کی منصوبہ بندی معمول ہیں تبدیلی کی ناکامی اور گنجائش کی پیش گوئیاں ناپی جاتی ہیں تبدیلی اور گنجائش کے طریقے ادارے بھر میں بانٹے جاتے ہیں

جانچ فہرست

  • کم از کم ایک سروس کے اشارے اور ڈھیلا مقصد ہے، وقت کے ساتھ ناپا جاتا ہے۔
  • غلطی کے بجٹ کی پالیسی پروڈکٹ مالکوں سے متفق اور لکھی ہوئی ہے۔
  • مشقت مستقل تعریف سے ناپی جاتی ہے، اور اوپر کے ماخذ معلوم ہیں۔
  • مشقت کی حد موجود ہے اور اس کا جائزہ لیا جاتا ہے۔
  • انجینئرنگ کے پروجیکٹس کا وقت منصوبہ بند اور محفوظ ہے۔
  • آن کال کا بوجھ ناپا جاتا ہے، اور پیج قابلِ عمل ہیں۔
  • عام ترین ناکامیوں کے لیے پلے بکس موجود اور آزمائی ہوئی ہیں۔
  • رول آؤٹ مرحلہ وار ہیں اور رول بیک آزمائے ہوئے ہیں۔
  • اہم واقعات اور قریب قریب بچ جانے والوں کے لیے مالک والے اقدامات کے ساتھ الزام تراشی سے پاک پوسٹ مارٹم ہوتے ہیں۔
  • ہم نے دانستہ چنا ہے کہ اعتمادیت کا کام کیسے منظم ہے۔

اے آئی پرامپٹس

مقصد: اپنے کام کو مشقت، انجینئرنگ، یا اوور ہیڈ میں درجہ بند کرنا۔

Here is a list of what our operations engineers did in the last two weeks, with the time spent on each: [paste real data].

Classify each item as toil, engineering work, or overhead, using these definitions. Toil: manual, repetitive, automatable, tactical, without enduring value, and growing linearly with the service. Engineering work: novel, requires judgment, produces permanent improvement. Overhead: administrative work not tied to running a service. Give a one-sentence reason from my text for each. Compute the share of time in each class from my numbers only, and list the three largest toil items. Mark items you could not classify. Do not invent time figures. List what you are unsure of.

مقصد: غلطی کے بجٹ کی پالیسی کا مسودہ بنانا۔

Draft a one-page error budget policy for [service].

Objective and period: [for example, "99.9% of purchase requests succeed, per month"].
Release rhythm and who decides: [describe].
Customer and product concerns: [list].

Write sections: how the budget is calculated and shown, what happens at three stages of consumption (leave thresholds as [to be agreed]), who can override and how overrides are recorded, how the policy is reviewed, and what we do after an exhausted budget. Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.

مقصد: پہلے خودکار کرنے کے لیے مشقت کا آئٹم چننا۔

Here are our top toil items with how often each occurs, time per occurrence, risk if the automation fails, and whether the cause could be designed away: [paste].

Rank them by total time saved per month (computed from my numbers only). For the top three, say whether I should design the need away or automate it, and what safeguards the automation needs (tests, limits, logs). Do not invent numbers. Ask clarifying questions first, and list what you are unsure of.

مقصد: پلے بک کا اندراج لکھنا۔

Write a playbook entry for this recurring failure: [describe symptom and impact].

What I know about causes and fixes: [paste].
Who to escalate to: [role, or "unknown"].

Provide a short entry: how to confirm the failure, the first checks, the usual fix, how to confirm recovery, when to escalate, and what to record. Mark any step you inferred with [CHECK]. Ask clarifying questions first, and list what you are unsure of.

اے آئی سکلز

  • on-call-rotation: ہر شفٹ کے ایونٹس پر حدوں کے ساتھ منصفانہ باری ڈیزائن کرنے کے لیے استعمال کریں۔
  • runbook: وہ پلے بکس لکھنے کے لیے استعمال کریں جو مرمت تیز کرتی ہیں۔
  • postmortem: الزام تراشی سے پاک جائزے چلانے اور اقدامات ٹریک کرنے کے لیے استعمال کریں۔
  • chaos-testing: محفوظ طریقے سے ناکامیاں پیدا کر کے آزمانے کے لیے استعمال کریں کہ اعتمادیت کے ڈیزائن کام کرتے ہیں۔
  • capacity-planning: طلب سے جڑے انجینئرنگ کے کام کے طور پر گنجائش کی منصوبہ بندی کے لیے استعمال کریں۔

اہم ماخذ

  • Introduction (Site Reliability Engineering، Google، sre.google): SRE کی تعریف، 50 فیصد کی حد، اصول، اور وہ ڈیولپمنٹ/آپریشنز کی تقسیم جس سے یہ بچنا چاہتی ہے۔
  • Eliminating Toil (Site Reliability Engineering، Google، sre.google): مشقت کی تعریف اور اس پر حد رکھنے کی وجوہات۔
  • Embracing Risk (Site Reliability Engineering، Google، sre.google): اعتمادیت کی معاشیات اور غلطی کا بجٹ۔
  • Site reliability engineering (Wikipedia): نظم، تعیناتی کے ماڈلز، اپنانے کے سروے، اور مزید مطالعے کا وسیع خلاصہ۔

حوالہ جات

  1. Introduction — Google SRE book, sre.google — https://sre.google/sre-book/introduction/
  2. Eliminating Toil — Google SRE book, sre.google — https://sre.google/sre-book/eliminating-toil/
  3. Embracing Risk — Google SRE book, sre.google — https://sre.google/sre-book/embracing-risk/
  4. Site reliability engineering — Wikipedia — https://en.wikipedia.org/wiki/Site_reliability_engineering
  5. DevOps — Wikipedia — https://en.wikipedia.org/wiki/DevOps
  6. Chaos engineering — Wikipedia — https://en.wikipedia.org/wiki/Chaos_engineering
  7. Infrastructure as code — Wikipedia — https://en.wikipedia.org/wiki/Infrastructure_as_code
  8. Observability (software) — Wikipedia — https://en.wikipedia.org/wiki/Observability_(software)
  9. Incident management — Wikipedia — https://en.wikipedia.org/wiki/Incident_management