INC-3266 · P1
منصة MasterLinux بأكملها خارج الخدمة: عنقود GKE الخاص بالإنتاج لم يعد موجودًا
الرباط · مشروع GCP masterlinux-prod (europe-southwest1) · MasterLinux · 10:26
تعمل منصة مدرسة MasterLinux بأكملها (الـ API، موقع الدروس، المختبرات، المدفوعات) على عنقود GKE الإقليمي
ml-gke-prod في المشروع masterlinux-prod (المنطقة europe-southwest1). البنية التحتية موصوفة
بـ Terraform (المستودع infra-gke، والحالة في الحاوية gs://masterlinux-tfstate، وworkspace واحد
لكل بيئة: preprod و prod). تُؤخذ نسخ العنقود الاحتياطية كل ليلة عند 03:00 بواسطة
Backup for GKE (حزمة Terraform منفصلة plateforme-sauvegardes).
هذا الصباح، كان أحد المطوّرين يحضّر إضافة مجموعة عُقد (node pool) في بيئة ما قبل الإنتاج من حاسوبه. عند 10:12،
تحوّلت المراقبة إلى الأحمر: لم تعد أي خدمة تستجيب، وفقد 2300 طالب متصل مختبراتهم.
وفي الواجهة، لم يعد العنقود ml-gke-prod يظهر.
في قناة الحادث، يتحدث البعض عن هجوم («أحدهم حذف العنقود»)، ويتحدث آخرون عن عطل لدى Google.
ويقترح المسؤول التقني «إعادة تشغيل terraform apply فورًا لإعادة إنشاء كل شيء».
أنت مهندس DevOps المناوب، على ml-bastion (gcloud موثَّق بحساب ops، ونسخة من المستودع في
~/infra-gke). أرسل إليك المطوّر سجلّ طرفيّته في ~/incident/INC-3266/.
هذه المحاكاة جزء من باقة محاكاة الإنتاج.
افتح كل محاكاة الإنتاج
AWS وAzure وGoogle Cloud والخوادم المحلية والسحابات المتعددة، من المبتدئ إلى المتطرف: الحوادث الحقيقية لشركات الخدمات الرقمية والشركات الكبرى للمعلوميات، متاحة لمدة سنة.
جرّب أولًا المحاكاة التجريبية المجانية
مسجَّل من قبل؟ سجِّل الدخول.