Simulations d’incidents
Quitter

INC-3164 · P1

En plein pic de commandes, le cluster AKS de la boutique n'ajoute plus aucun nœud et des pods restent en Pending

Casablanca · abonnement Azure « masterlinux-prod » francecentral · la boutique MasterLinux · mardi 11:20

La boutique MasterLinux (kits Raspberry Pi, livres, bons de formation) tourne sur le cluster AKS aks-boutique-prod (groupe rg-boutique-prod, région francecentral). Le pool de nœuds user porte l'API commandes ; l'autoscaler de cluster y est activé (de 3 à 12 nœuds) et l'HPA ajoute des pods quand le processeur dépasse 70 %.

Ce mardi, la campagne « rentrée scolaire » a été envoyée à 10:45. Depuis 11:00, le trafic a triplé et l'HPA demande 18 réplicas au lieu de 6 : une dizaine de pods restent Pending, le temps de réponse du paiement dépasse 9 secondes et le service client reçoit les premières réclamations.

Côté équipe : rien n'a été déployé sur le cluster depuis vendredi. L'équipe gouvernance a, de son côté, « fait du ménage dans les coûts » lundi en fin de journée.

Vous êtes l'ingénieur d'astreinte, sur votre poste avec Azure CLI et kubectl (contexte aks-boutique-prod). Il faut que les nœuds arrivent, vite, sans casser la gouvernance.

Cette simulation fait partie d’un pack de simulations de production.

Débloquez toutes les simulations de production

AWS, Azure, Google Cloud, on-premise et multi-cloud, du niveau Débutant à Extrême : les vrais incidents des ESN et des grandes sociétés IT, accessibles pendant un an.

Essayer d’abord la simulation de démonstration gratuite

Déjà inscrit ? Connectez-vous.