Simulations d’incidents
Quitter

INC-3266 · P1

Toute la plateforme MasterLinux est hors ligne : le cluster GKE de production n'existe plus

Rabat · projet GCP masterlinux-prod (europe-southwest1) · MasterLinux · 10:26

Toute la plateforme de l'école MasterLinux (API, site des cours, labs, paiements) tourne sur le cluster GKE régional ml-gke-prod du projet masterlinux-prod (région europe-southwest1). L'infrastructure est décrite en Terraform (dépôt infra-gke, état dans le bucket gs://masterlinux-tfstate, un workspace par environnement : preprod et prod). Les sauvegardes du cluster sont faites chaque nuit à 03:00 par Backup for GKE (pile Terraform séparée plateforme-sauvegardes).

Ce matin, un développeur préparait l'ajout d'un pool de nœuds en préproduction depuis son poste. À 10:12, la supervision a basculé au rouge : plus aucun service ne répond, les 2 300 étudiants connectés ont perdu leur lab. Dans la console, le cluster ml-gke-prod n'apparaît plus.

Dans le canal d'incident, certains parlent d'attaque (« quelqu'un a supprimé le cluster »), d'autres d'une panne Google. Le responsable technique propose de « relancer terraform apply tout de suite pour tout recréer ».

Vous êtes l'ingénieur DevOps d'astreinte, sur ml-bastion (gcloud authentifié avec un compte ops, copie du dépôt dans ~/infra-gke). Le développeur vous a transmis le journal de son terminal dans ~/incident/INC-3266/.

Cette simulation fait partie d’un pack de simulations de production.

Débloquez toutes les simulations de production

AWS, Azure, Google Cloud, on-premise et multi-cloud, du niveau Débutant à Extrême : les vrais incidents des ESN et des grandes sociétés IT, accessibles pendant un an.

Essayer d’abord la simulation de démonstration gratuite

Déjà inscrit ? Connectez-vous.