Simulations d’incidents
Quitter

INC-3526 · P1

Nakhla Mutuelle : l'espace adhérents renvoie des erreurs 500, la base est « inaccessible » et l'Auto Scaling n'arrive plus à lancer une seule instance

Rabat · comptes AWS nakhla-prod et nakhla-securite (eu-west-3) · Nakhla Mutuelle · lundi 08:20

Nakhla Mutuelle est une mutuelle santé rabatie (62 000 adhérents, salariés de PME et professions libérales). Son espace adhérents adherents.nakhla.ma et l'application mobile passent par l'API api-adherents (groupe Auto Scaling asg-api-adherents, EC2) qui lit :

  • la base RDS PostgreSQL db-nakhla-adherents (chiffrée KMS) ;
  • son mot de passe dans Secrets Manager (prod/api-adherents/db) ;
  • les pièces justificatives (ordonnances, factures) dans le bucket S3 nakhla-pieces-justificatives (SSE-KMS) ;
  • et ses volumes EBS chiffrés par le modèle de lancement.

Tout ce chiffrement repose sur une clé KMS gérée par le client, appelée par l'alias alias/nakhla-donnees. L'infrastructure est décrite en Terraform (dépôt infra-nakhla), appliquée par GitHub Actions sur le runner auto-hébergé runner-tf-01, avec le rôle gha-terraform-deploy.

Vendredi 16/10, deux changements ont été fusionnés en fin de journée : un resserrement IAM des rôles applicatifs (PR #409) et un nettoyage Terraform « regrouper le socle de chiffrement dans un module » (PR #412, Driss Amrani). Le pipeline était vert. Week-end calme.

Ce lundi depuis 07:50 : erreurs 500 sur l'espace adhérents, l'application mobile affiche « service indisponible », l'Auto Scaling échoue à chaque tentative d'ajouter des instances pour le pic du lundi, et le service remboursements ne télécharge plus aucune pièce. Les remboursements de la semaine partent jeudi. Le responsable sécurité, Karim Lahlou, est sûr que « c'est le resserrement IAM » et veut rattacher AdministratorAccess au rôle de l'API. Le DSI, Hicham Bennani, propose de « créer une clé neuve et de restaurer le snapshot de la nuit ».

Vous êtes ingénieure cloud d'astreinte (Nadia), sur poste-sre (AWS CLI v2, profil nakhla-prod par défaut, région eu-west-3). Vous pouvez ouvrir une session SSM sur l'instance de l'API, vous connecter au runner Terraform, et passer sur le compte nakhla-securite (CloudTrail organisation, SCP) avec aws-vault. Rétablissez le service sans perdre une seule donnée chiffrée.

Cette simulation est réservée aux élèves inscrits à une formation.

Déjà inscrit ? Connectez-vous.