INC-3562 · P1
Toutes les API de MasterLinux répondent 503, dans les trois régions en même temps
Rabat · projet masterlinux-prod · europe-west1, europe-west9, europe-southwest1 · école MasterLinux · mardi 08:05
Toutes les API de l'école MasterLinux (inscriptions, paiements, plateforme de cours, application
mobile, bornes des agences) passent par des passerelles API maison (ml-passerelle-01 à -03, une par
région). Avant chaque requête, la passerelle interroge le service interne ml-quotas : « ce client
a-t-il le droit, et dans quelle limite ? ».
ml-quotas (Go) tourne sur GKE dans trois régions (europe-west1, europe-west9,
europe-southwest1). Il charge ses politiques depuis une base Cloud Spanner multirégion (eur3, leader
en europe-west1) : toute ligne écrite y est visible partout en quelques secondes. La version 2.14.0
(« quotas par agence »), livrée il y a deux semaines, fonctionne sans incident depuis.
Depuis 07:41, toutes les API répondent 503. 1 200 étudiants en examen en ligne sont bloqués, les paiements des agences sont refusés. L'équipe réseau a vérifié le VPN et les interconnexions : rien. Le directeur technique veut savoir s'il faut « basculer sur une autre région » ; un développeur propose de « revenir à la 2.13 tout de suite ».
Vous êtes l'ingénieur SRE d'astreinte, sur ml-bastion : gcloud, kubectl (contextes ew1,
ew9, esw1), Ansible (~/ansible) et les procédures d'exploitation (~/runbooks), avec un accès SSH aux
passerelles.
Cette simulation fait partie d’un pack de simulations de production.
Débloquez toutes les simulations de production
AWS, Azure, Google Cloud, on-premise et multi-cloud, du niveau Débutant à Extrême : les vrais incidents des ESN et des grandes sociétés IT, accessibles pendant un an.
Essayer d’abord la simulation de démonstration gratuite
Déjà inscrit ? Connectez-vous.