Les paiements SahlPay ralentissent et un nœud Kubernetes tourne à 100 % de CPU depuis 04:12

SahlPay est un portefeuille de paiement mobile marrakchi (420 000 utilisateurs, 3 800 commerçants). Son API de paiement tourne dans le cluster Kubernetes k8s-prod (namespace paiement, déploiement api-paiement), avec l'image registre.sahlpay.ma/paiement/api-paiement:2.14.0, construite et signée avec cosign par la CI GitLab (runner runner-ci) puis poussée dans le registre Harbor registre. La version 2.14.0 est en production depuis jeudi 15/10 ; personne n'a déployé depuis.

Cette nuit vers 04:10, le HPA est passé de 2 à 4 répliques (batch de remboursements), l'autoscaler a ajouté le nœud k8s-node-03. Depuis, le p99 de l'API grimpe à 6 secondes, k8s-node-03 est à 100 % de CPU, et une alerte réseau du SOC signale des connexions sortantes vers 198.51.100.23:3333.

L'équipe plateforme veut « vider le nœud et en finir », un développeur propose de « re-pousser 2.14.0 depuis la CI ». Vous êtes analyste SOC / DevSecOps de garde (Yassine), sur poste-soc (cosign, crane, clé publique cosign.pub de SahlPay). Accès SSH : bastion-k8s (kubectl admin), k8s-node-03, registre (Harbor) et runner-ci. Objectif : comprendre, contenir, rétablir l'image légitime et empêcher que cela recommence, sans détruire les preuves.