Chez Tawfir Pay, les paiements échouent par vagues : les pods sont expulsés de nœud en nœud et un nœud ne répond plus

Tawfir Pay édite un portefeuille mobile utilisé par 900 000 clients (paiement chez les commerçants, transferts, recharges). L'API de paiement paiement-api tourne sur un cluster Kubernetes on-prem (cp-01..03, nœuds de travail wk-01..04, 64 Go chacun), derrière HAProxy (lb-01). Les journaux de tous les pods sont collectés par un DaemonSet Fluent Bit et envoyés vers OpenSearch sur la VM logs-01 (exigence de traçabilité : 90 jours de journaux de transactions).

Changements récents : jeudi, paiement-api v5.8 (nouveau barème des frais) et la mise à jour du chart Fluent Bit en 3.1 « sans changement fonctionnel ». Depuis 03:00 cette nuit, des pods de paiement sont expulsés (« Evicted ») par vagues ; à 07:50, wk-03 est passé NotReady et l'opérateur de nuit l'a « cordonné » en attendant. Les commerçants signalent des paiements refusés, surtout en hypermarché, et c'est samedi.

Vous êtes SRE d'astreinte sur poste-sre (kubectl admin du cluster, SSH sur les machines). Le chef de produit demande de « revenir à la v5.7 tout de suite ». Trouvez la vraie cause et rétablissez le service sans perdre la traçabilité des transactions.