MasterLinux: اختفى كل الإنتاج على GCP خلال الليل، العنقود والقاعدة والأقراص، ومعها النسخ الاحتياطية

تعمل منصة MasterLinux بأكملها (المتجر، التسجيلات، قاعات المختبرات في المدرسة) على Google Cloud، في المشروع masterlinux-prod (europe-southwest1): عنقود GKE gke-ml-prod، وقاعدة Cloud SQL PostgreSQL 16 sql-ml-prod، والأقراص الدائمة للتطبيقات.

تُنشأ البيئات بواسطة mlprov، الأداة الداخلية للتهيئة (provisioning) لدى فريق المنصة (الخادم ml-provision-01): تناديها الـ CI عبر واجهتها، فتُنشئ المشروع وموارده انطلاقًا من قالب، ثم تقوم عملية دورية، mlprov-reaper، بحذف البيئات المؤقتة التي بلغت أجلها. البنية التحتية الإنتاجية موصوفة أيضًا بـ Terraform (الحالة محفوظة في bucket تابع للمشروع masterlinux-provision، الذي لم يُمسّ).

منذ 02:00، والمراقبة الخارجية حمراء. على الساعة 06:00، يكتشف المداوم أن المشروع فارغ. المتجر مغلق، و2300 طالب في المدرسة فقدوا الوصول إلى مختبراتهم، وتسجيلات دورة نونبر تنتهي يوم الخميس.

الجانب الإيجابي: منذ السنة الماضية، ينسخ فريق الاستغلال نسخًا احتياطية مستقلة خارج Google Cloud، في bucket S3 مقفل (Object Lock) على AWS eu-west-3: تصديرات pg_dump كل ساعة للقاعدة، ونسخ Velero يومية لأحمال Kubernetes.

تكلّفك الإدارة بخلية الأزمة: فهم ما حدث، ومنع استمراره، ثم إعادة بناء الإنتاج واسترجاعه. أنت على ml-bastion (gcloud وTerraform وkubectl وvelero)؛ ويمكنك الانتقال إلى ml-provision-01 (الحساب admin) وإلى ml-restauration-01 (الحساب dba، مع AWS CLI بصلاحية قراءة على bucket النسخ الاحتياطية، وأدوات PostgreSQL).