Simulations d’incidents
Quitter

INC-3263 · P2

Les pods du générateur de bulletins PDF meurent en boucle et les relevés de notes n'arrivent plus

Marrakech · projet masterlinux-prod · cluster ml-gke-prod (europe-southwest1) · école MasterLinux · jeudi 10:10

L'école MasterLinux produit ses relevés de notes et attestations en PDF avec le service generateur-rapports (namespace rapports, 3 réplicas) du cluster GKE ml-gke-prod. Les fichiers finaux sont déposés dans un disque persistant monté sur /data/sortie, puis envoyés aux étudiants.

Depuis lundi, l'équipe support reçoit des plaintes : relevés en retard, parfois jamais reçus. Dans la console, des dizaines de pods generateur-rapports-… apparaissent en Evicted. Ce matin, un pod de l'API des notes a été évincé en même temps sur le même nœud. La version 3.8.0 (« nouveau moteur de rendu PDF, deux fois plus rapide ») a été livrée jeudi dernier.

Le développeur pense à une fuite mémoire du nouveau moteur ; l'équipe plateforme propose de « mettre des nœuds plus gros ». Les jurys de Marrakech attendent leurs relevés pour 14:00.

Vous êtes l'ingénieur plateforme, sur ml-poste-01, kubectl connecté au cluster, dans le dépôt ~/rapports qui contient les manifestes.

Cette simulation fait partie d’un pack de simulations de production.

Débloquez toutes les simulations de production

AWS, Azure, Google Cloud, on-premise et multi-cloud, du niveau Débutant à Extrême : les vrais incidents des ESN et des grandes sociétés IT, accessibles pendant un an.

Essayer d’abord la simulation de démonstration gratuite

Déjà inscrit ? Connectez-vous.