MasterLinux : toute la production GCP a disparu dans la nuit, cluster, base et disques, sauvegardes comprises

Toute la plateforme MasterLinux (boutique, inscriptions, salles de labs de l'école) tourne sur Google Cloud, dans le projet masterlinux-prod (europe-southwest1) : le cluster GKE gke-ml-prod, la base Cloud SQL PostgreSQL 16 sql-ml-prod et les disques persistants des applications.

Les environnements sont créés par mlprov, l'outil interne de provisionnement de l'équipe plateforme (serveur ml-provision-01) : la CI l'appelle par son API, il crée le projet et ses ressources à partir d'un modèle, puis un processus périodique, mlprov-reaper, supprime les environnements temporaires arrivés à échéance. L'infrastructure de production est aussi décrite en Terraform (état conservé dans un bucket du projet masterlinux-provision, qui n'est pas touché).

Depuis 02:00, la supervision externe est rouge. À 06:00, l'astreinte constate que le projet est vide. La boutique est fermée, les 2 300 étudiants de l'école n'ont plus accès à leurs labs, et les inscriptions de la session de novembre se terminent jeudi.

Point positif : l'équipe exploitation copie depuis l'an dernier des sauvegardes indépendantes hors de Google Cloud, dans un bucket S3 verrouillé (Object Lock) sur AWS eu-west-3 : exports pg_dump horaires de la base et sauvegardes quotidiennes Velero des charges Kubernetes.

La direction vous confie la cellule de crise : comprendre ce qui s'est passé, empêcher que cela continue, puis reconstruire et restaurer la production. Vous êtes sur ml-bastion (gcloud, Terraform, kubectl, velero) ; vous pouvez rebondir sur ml-provision-01 (compte admin) et sur ml-restauration-01 (compte dba, AWS CLI en lecture sur le bucket de sauvegarde, outils PostgreSQL).