Simulations d’incidents
Quitter

INC-3566 · P1

Le site MasterLinux tombe et revient toutes les cinq minutes, sur AWS comme sur Azure : « 503 Service Unavailable »

Rabat · siège MasterLinux + AWS eu-west-3 + Azure francecentral · mardi 09:40

Tout le trafic de MasterLinux (site vitrine, école en ligne, boutique) entre par huit proxys d'entrée maison ml-proxy : quatre sur AWS (ml-edge-aws-01 à 04, eu-west-3) et quatre sur Azure (ml-edge-az-01 à 04, francecentral). Chaque proxy embarque un module anti-robots qui note chaque requête à partir d'un fichier de signatures (la liste des caractéristiques que le modèle sait calculer).

Ce fichier est régénéré toutes les 5 minutes au siège de Rabat par le job gen-signatures de ml-gen-01 : il interroge la base analytique ClickHouse (ml-ana-01 à 03, derrière ml-ana-lb), écrit un JSON et le diffuse à tous les proxys par cfgsync en moins de 30 secondes.

Depuis 08:20, le site tombe pour tout le monde (503) pendant quelques minutes, revient, puis retombe. Les deux clouds sont touchés exactement aux mêmes moments. Sur le canal d'incident, certains parlent déjà de DDoS et proposent d'activer le blocage par pays ; l'équipe données, elle, signale seulement une « migration de droits sans impact » en cours sur le cluster ClickHouse (CHG-5120).

Vous êtes l'ingénieur d'astreinte DevOps, connecté sur ml-bastion, d'où vous pouvez joindre en SSH ml-edge-aws-01, ml-edge-az-01, ml-gen-01 et ml-ana-01.

Cette simulation fait partie d’un pack de simulations de production.

Débloquez toutes les simulations de production

AWS, Azure, Google Cloud, on-premise et multi-cloud, du niveau Débutant à Extrême : les vrais incidents des ESN et des grandes sociétés IT, accessibles pendant un an.

Essayer d’abord la simulation de démonstration gratuite

Déjà inscrit ? Connectez-vous.