INC-3266 · P1
Toute la plateforme MasterLinux est hors ligne : le cluster GKE de production n'existe plus
Rabat · projet GCP masterlinux-prod (europe-southwest1) · MasterLinux · 10:26
Toute la plateforme de l'école MasterLinux (API, site des cours, labs, paiements) tourne sur le cluster
GKE régional ml-gke-prod du projet masterlinux-prod (région europe-southwest1). L'infrastructure est
décrite en Terraform (dépôt infra-gke, état dans le bucket gs://masterlinux-tfstate, un workspace
par environnement : preprod et prod). Les sauvegardes du cluster sont faites chaque nuit à 03:00 par
Backup for GKE (pile Terraform séparée plateforme-sauvegardes).
Ce matin, un développeur préparait l'ajout d'un pool de nœuds en préproduction depuis son poste. À 10:12,
la supervision a basculé au rouge : plus aucun service ne répond, les 2 300 étudiants connectés ont perdu leur
lab. Dans la console, le cluster ml-gke-prod n'apparaît plus.
Dans le canal d'incident, certains parlent d'attaque (« quelqu'un a supprimé le cluster »), d'autres d'une
panne Google. Le responsable technique propose de « relancer terraform apply tout de suite pour tout
recréer ».
Vous êtes l'ingénieur DevOps d'astreinte, sur ml-bastion (gcloud authentifié avec un compte ops,
copie du dépôt dans ~/infra-gke). Le développeur vous a transmis le journal de son terminal dans
~/incident/INC-3266/.
Cette simulation fait partie d’un pack de simulations de production.
Débloquez toutes les simulations de production
AWS, Azure, Google Cloud, on-premise et multi-cloud, du niveau Débutant à Extrême : les vrais incidents des ESN et des grandes sociétés IT, accessibles pendant un an.
Essayer d’abord la simulation de démonstration gratuite
Déjà inscrit ? Connectez-vous.