Simulations d’incidents
Quitter

INC-3562 · P1

Toutes les API de MasterLinux répondent 503, dans les trois régions en même temps

Rabat · projet masterlinux-prod · europe-west1, europe-west9, europe-southwest1 · école MasterLinux · mardi 08:05

Toutes les API de l'école MasterLinux (inscriptions, paiements, plateforme de cours, application mobile, bornes des agences) passent par des passerelles API maison (ml-passerelle-01 à -03, une par région). Avant chaque requête, la passerelle interroge le service interne ml-quotas : « ce client a-t-il le droit, et dans quelle limite ? ».

ml-quotas (Go) tourne sur GKE dans trois régions (europe-west1, europe-west9, europe-southwest1). Il charge ses politiques depuis une base Cloud Spanner multirégion (eur3, leader en europe-west1) : toute ligne écrite y est visible partout en quelques secondes. La version 2.14.0 (« quotas par agence »), livrée il y a deux semaines, fonctionne sans incident depuis.

Depuis 07:41, toutes les API répondent 503. 1 200 étudiants en examen en ligne sont bloqués, les paiements des agences sont refusés. L'équipe réseau a vérifié le VPN et les interconnexions : rien. Le directeur technique veut savoir s'il faut « basculer sur une autre région » ; un développeur propose de « revenir à la 2.13 tout de suite ».

Vous êtes l'ingénieur SRE d'astreinte, sur ml-bastion : gcloud, kubectl (contextes ew1, ew9, esw1), Ansible (~/ansible) et les procédures d'exploitation (~/runbooks), avec un accès SSH aux passerelles.

Cette simulation fait partie d’un pack de simulations de production.

Débloquez toutes les simulations de production

AWS, Azure, Google Cloud, on-premise et multi-cloud, du niveau Débutant à Extrême : les vrais incidents des ESN et des grandes sociétés IT, accessibles pendant un an.

Essayer d’abord la simulation de démonstration gratuite

Déjà inscrit ? Connectez-vous.