Nakhla Pay: الـ API الخاصة بـ Kubernetes لا تجيب منذ 03:12، ولا يمرّ أي نشر ولا أي مهمة مبرمجة

Nakhla Pay مؤسسة أداء مقرّها سلا: دفع لدى التجار، وتحويلات فورية ومحفظة متنقلة لـ 2 300 تاجر. يعمل كل الإنتاج على cluster Kubernetes مثبَّت بـ kubeadm في قاعة خوادم الشركة:

• ثلاثة control planes cp-01 وcp-02 وcp-03، لكلٍّ منها etcd الخاص بها (طوبولوجيا «مكدَّسة» stacked)؛
• عنوان الـ API k8s-api.nakhla.lan:6443 يحمله موزّع الحمل HAProxy lb-01؛
• 14 عقدة عمل (worker).

هذه الليلة، أوقف فريق مركز البيانات cp-03 عند 01:00 لتحديث البرمجيات الثابتة (firmware) (BIOS وBMC ومتحكّم RAID)، وفق التغيير CHG-0918 المصادَق عليه: «الـ cluster يتحمّل فقدان control plane واحد». ومنذ 03:12، لم تعد الـ API تجيب. الـ pods التي أُطلقت سابقًا ما زالت تعمل، لكن لا شيء يتحرك: نشر api-virements المقرَّر عند 08:00 محظور، ومهمة المطابقة البنكية لـ 06:00 لم تنطلق، وذروة 09:00 لن يمكن استيعابها.

يريد مسؤول الإنتاج، رشيد الإدريسي، «إعادة تشغيل cp-03 فورًا، ولا يهمّ الـ firmware»؛ ويقترح زميل «استرجاع etcd من النسخة الاحتياطية لـ 02:00».

أنت سفيان، مهندس المنصة المناوب، على poste-astreinte (kubeconfig إداري، ووصول SSH إلى lb-01 وcp-01 وcp-02، وإلى بطاقة BMC الخاصة بـ cp-03 عبر ipmitool). وجدول التغييرات موجود في ~/INC-3515/changements.txt.