محاكاة الحوادث
خروج

INC-3528 · P1

Rihla Voyages: مدفوعات الحجوزات تفشل بـ 503 وفاتورة GCP لعطلة نهاية الأسبوع تتجاوز فاتورة سنة كاملة

مراكش · مشروع GCP rihla-prod-2291 (europe-west1) · Rihla Voyages · الاثنين 07:40

Rihla Voyages وكالة أسفار مراكشية على الإنترنت (رياضات، جولات في الصحراء، رحلات جوية نحو مكة لأداء العمرة). على مشروع GCP rihla-prod-2291 (المنطقة europe-west1):

  • خدمة Cloud Run api-paiements تستخلص مبالغ حجوزات الموقع www.rihla.ma؛
  • كل حجز ينشر حدثًا في الموضوع Pub/Sub reservations-evenements؛
  • الـ Cloud Function (الجيل الثاني) fn-enrichir-reservations، التي يطلقها Eventarc على هذا الموضوع، تضيف الطقس وسعر الصرف والنقل من المطار، وتكتب في Cloud SQL sql-rihla-prod.

يوم السبت 17/10 عند 21:38، نشر ياسر الوزاني نسخة جديدة من الدالة («نشر الحدث المُغنى لخدمة الإشعارات»). ويوم الأحد، كان الموقع بطيئًا أحيانًا.

هذا الاثنين منذ 06:50، تُرجع api-paiements أخطاء 503 وأخطاء في القاعدة في عزّ ذروة حجوزات العطل المدرسية. عند 07:15، اتصل البنك بالمسيّرة، لطيفة بنجلون: اقتطاع Google Cloud بأكثر من 38 000 USD لعطلة نهاية الأسبوع (الفاتورة الشهرية المعتادة 1 900 USD). ويريد المحاسب «قطع فوترة المشروع فورًا». ويريد مطوّر «حذف موضوع Pub/Sub هذا الذي يفيض».

أنتِ مهندسة SRE المناوبة (Kenza)، على poste-sre (gcloud، دور Editor على المشروع). يمكنكِ فتح جلسة IAP على bastion-sql (psql نحو Cloud SQL) وعلى runner-build (مستودع الدوال، عمليات النشر)، وفتح Cloud Shell بحساب الفوترة (قراءة تصدير BigQuery). أوقفي النزيف دون فقدان حجز واحد، ثم أعيدي الخدمة إلى حالتها.

هذه المحاكاة مخصّصة للمسجَّلين في أحد التكوينات.

مسجَّل من قبل؟ سجِّل الدخول.