كل واجهات البرمجة في MasterLinux تجيب بـ 503، في المناطق الثلاث في الوقت نفسه

تمرّ كل واجهات البرمجة في مدرسة MasterLinux (التسجيلات، المدفوعات، منصة الدروس، التطبيق المحمول، أكشاك الوكالات) عبر بوابات API مطوَّرة داخليًا (ml-passerelle-01 إلى -03، واحدة لكل منطقة). وقبل كل طلب، تسأل البوابة الخدمة الداخلية ml-quotas: «هل لهذا العميل الحق، وفي أي حدود؟».

تعمل ml-quotas (بلغة Go) على GKE في ثلاث مناطق (europe-west1 و europe-west9 و europe-southwest1). وتحمّل سياساتها من قاعدة Cloud Spanner متعددة المناطق (eur3، والقائد (leader) في europe-west1): أي سطر يُكتب فيها يصبح مرئيًا في كل مكان خلال ثوانٍ. والإصدار 2.14.0 («الحصص حسب الوكالة»)، المنشور قبل أسبوعين، يعمل دون حوادث منذ ذلك الحين.

منذ 07:41، تجيب كل واجهات البرمجة بـ 503. 1200 طالب في امتحان عن بُعد عالقون، و مدفوعات الوكالات مرفوضة. تحقّق فريق الشبكات من VPN والربط البيني: لا شيء. ويريد المدير التقني أن يعرف هل يجب «التحويل إلى منطقة أخرى»؛ ويقترح أحد المطوّرين «الرجوع إلى 2.13 فورًا».

أنت مهندس SRE المناوب، على ml-bastion: gcloud و kubectl (السياقات ew1 و ew9 و esw1) و Ansible (~/ansible) وإجراءات الاستغلال (~/runbooks)، مع وصول SSH إلى البوابات.