La boutique MasterLinux n'arrive plus à réserver le stock : toutes les commandes restent « en attente » depuis la nuit

La boutique MasterLinux vend en ligne les kits de laboratoire, les livres et les bons de certification de l'école. Chaque commande passe par l'API ml-commandes-01, qui réserve le stock auprès de l'API interne api.stock.interne.masterlinux.lab avant de confirmer le paiement. En cas d'échec, la commande repart dans la file SQS commandes-a-reserver et sera retentée.

Le nom api.stock.interne.masterlinux.lab est publié dans une zone privée Route 53 par une automatisation DNS maison :

• un planificateur (ml-dnsplan-01) observe les instances saines du service stock et produit des plans numérotés (générations) déposés dans le compartiment S3 masterlinux-dnsauto-plans ;
• deux appliqueurs indépendants, ml-dnsauto-01 (zone eu-west-3a) et ml-dnsauto-02 (zone eu-west-3b), appliquent chaque nouveau plan dans Route 53 ;
• un nettoyeur (sur ml-dnsauto-02) supprime toutes les 5 minutes les plans trop anciens et les enregistrements qu'ils possèdent.

Cette nuit, entre 02:50 et 03:08, l'équipe stock a remplacé progressivement les instances de l'API stock (nouvelle version). À 06:50, le service client signale que plus aucune commande n'est confirmée ; la file dépasse 48 000 messages et les premiers clients annulent. La direction veut le service rétabli avant l'ouverture des magasins à 09:00, et surtout comprendre pour que cela ne recommence pas.

Vous êtes sur ml-bastion (AWS CLI v2, région eu-west-3), avec un accès SSH à ml-commandes-01, ml-dnsauto-01 et ml-dnsauto-02.