Rihla Voyages : les paiements de réservations échouent en 503 et la facture GCP du week-end dépasse celle d'une année entière

Rihla Voyages est une agence de voyages en ligne marrakchie (riads, circuits dans le désert, vols vers La Mecque pour la Omra). Sur le projet GCP rihla-prod-2291 (région europe-west1) :

• le service Cloud Run api-paiements encaisse les réservations du site www.rihla.ma ;
• chaque réservation publie un événement dans le sujet Pub/Sub reservations-evenements ;
• la Cloud Function (2e génération) fn-enrichir-reservations, déclenchée par Eventarc sur ce sujet, ajoute la météo, le taux de change et le transfert aéroport, et écrit dans Cloud SQL sql-rihla-prod.

Samedi 17/10 à 21:38, Yassir Ouazzani a déployé une nouvelle version de la fonction (« publier l'événement enrichi pour le service de notifications »). Dimanche, le site a été lent par moments.

Ce lundi depuis 06:50, api-paiements renvoie des 503 et des erreurs de base en plein pic des réservations pour les vacances scolaires. À 07:15, la banque a appelé la gérante, Latifa Benjelloun : prélèvement Google Cloud de plus de 38 000 USD pour le week-end (la facture mensuelle habituelle est de 1 900 USD). Le comptable veut « couper la facturation du projet tout de suite ». Un développeur veut « supprimer ce sujet Pub/Sub qui déborde ».

Vous êtes ingénieure SRE d'astreinte (Kenza), sur poste-sre (gcloud, rôle Éditeur sur le projet). Vous pouvez ouvrir une session IAP sur bastion-sql (psql vers Cloud SQL) et sur runner-build (dépôt des fonctions, déploiements), et ouvrir Cloud Shell avec le compte de facturation (lecture de l'export BigQuery). Arrêtez l'hémorragie sans perdre une seule réservation, puis remettez le service en état.