Simulations d’incidents
Quitter

INC-3568 · P1

Les fournisseurs de MasterLinux reçoivent des milliers de commandes en double depuis 09:30

Casablanca · datacenter MasterLinux + Azure francecentral · flotte de routage des commandes · 10:05

MasterLinux achète en continu le matériel de ses formations (kits Raspberry Pi pour les labs, livres, bons de certification) auprès d'une dizaine de fournisseurs. Les bons de commande partent automatiquement par le service routage-commandes, qui tourne sur une flotte de huit serveurs derrière le répartiteur HAProxy ml-lb-01 : ml-routage-01 à -04 au datacenter de Casablanca, ml-routage-05 à -08 sur Azure (francecentral). Les commandes et chaque envoi sont tracés dans la base PostgreSQL achats sur ml-db-01. Les drapeaux de fonctionnalité sont lus en direct dans Consul KV.

Ce matin à 09:12, l'équipe a déployé la v5.2 avec Ansible (pipeline « vert »). À 09:30, le chef de produit a activé la nouvelle fonctionnalité d'envoi groupé, commandée par le drapeau MODE_RAPIDE.

Depuis, les fournisseurs appellent : l'un a reçu 1 840 fois la même commande de 40 kits, un autre facture déjà des livres en double. Chaque minute ajoute plusieurs centaines d'envois. Le directeur technique veut revenir en v4.9 partout, tout de suite ; l'équipe sécurité se demande si l'API fournisseurs est attaquée.

Vous êtes l'ingénieur DevOps d'astreinte, sur ml-bastion (Ansible, Consul, Azure CLI, dépôt du service dans ~/src/routage-commandes), avec un accès SSH à ml-db-01 et aux serveurs de routage.

Cette simulation fait partie d’un pack de simulations de production.

Débloquez toutes les simulations de production

AWS, Azure, Google Cloud, on-premise et multi-cloud, du niveau Débutant à Extrême : les vrais incidents des ESN et des grandes sociétés IT, accessibles pendant un an.

Essayer d’abord la simulation de démonstration gratuite

Déjà inscrit ? Connectez-vous.