Sahm Logistique: يجب أن يصل تصحيح الفوترة إلى الإنتاج قبل 10:00، لكن الـ CI تفشل، وTerraform يجيب بـ 403، وArgoCD لم يعد يزامن أي شيء

الدار البيضاء · سيدي معروف (مركز البيانات) + GitHub + العنقود k8s-ops · Sahm Logistique · الإثنين 08:50

Sahm Logistique شركة نقل بيضاوية (بريد سريع B2B، 340 شاحنة، 4 منصات بين الدار البيضاء وطنجة وأكادير ووجدة). سلسلة التسليم البرمجي لديها مؤتمتة بالكامل:

GitHub Actions على runners مستضافة ذاتيًا (runner-ci-01 إلى -04، سيدي معروف) تبني الصور وتنشرها، ثم تحدّث المستودع deploiements؛
Atlantis يعلّق بخطط Terraform على الـ PR الخاصة بالبنية التحتية؛
ArgoCD (العنقود k8s-ops) يزامن المستودع deploiements نحو الإنتاج.

حتى لا يدير عشرات الـ tokens، أنشأ فريق المنصة GitHub App واحدة فقط، sahm-plateforme-bot (التثبيت 41872093)، يُستعمل مفتاحها الخاص من طرف الـ CI وAtlantis و ArgoCD. وكل الحركة الخارجة تمرّ عبر الـ proxy proxy-sortie-01 (Squid).

هذا الصباح، يتسبب خلل في الفوترة في فوترة الزبناء بأكثر من اللازم على الوزن الحجمي منذ 03:00. التصحيح (PR #1187، facturation v4.21.3) معتمد: يجب أن يكون في الإنتاج قبل 10:00، موعد الإرسال الآلي لفواتير الشهر إلى 2 100 زبون. ومنذ 08:05، لم يعد أي شيء يمرّ. رئيس المشروع، يوسف الشرايبي، يعيد إطلاق الـ jobs «إلى أن تنجح». ويقترح أحد المطوّرين «وضع 20 retries في كل مكان»، وآخر إنشاء tokens شخصية للالتفاف على المشكلة.

أنت مهندس DevOps المناوب (أنس)، على poste-devops (الـ gh CLI متصل بحسابك). يمكنك الاتصال عبر SSH بـ runner-ci-03 وproxy-sortie-01 وbastion-k8s (kubectl وargocd نحو k8s-ops). أعد تشغيل التسليم دون فتح أي ثغرة.

Sahm Logistique: يجب أن يصل تصحيح الفوترة إلى الإنتاج قبل 10:00، لكن الـ CI تفشل، وTerraform يجيب بـ 403، وArgoCD لم يعد يزامن أي شيء

هذه المحاكاة مخصّصة للمسجَّلين في أحد التكوينات.