محاكاة الحوادث
خروج

INC-3526 · P1

Nakhla Mutuelle: فضاء المنخرطين يُرجع أخطاء 500، والقاعدة «غير قابلة للوصول»، والـ Auto Scaling لم يعد ينجح في إطلاق instance واحدة

الرباط · حسابا AWS nakhla-prod وnakhla-securite (eu-west-3) · Nakhla Mutuelle · الإثنين 08:20

Nakhla Mutuelle تعاضدية صحية رباطية (62 000 منخرط، أجراء في مقاولات صغرى ومتوسطة ومهن حرة). يمرّ فضاء المنخرطين adherents.nakhla.ma وتطبيق الهاتف عبر الـ API api-adherents (مجموعة Auto Scaling asg-api-adherents، EC2) الذي يقرأ:

  • قاعدة RDS PostgreSQL db-nakhla-adherents (مشفّرة بـ KMS)؛
  • كلمة مرورها في Secrets Manager (prod/api-adherents/db)؛
  • الوثائق المثبِتة (الوصفات الطبية، الفواتير) في الـ bucket S3 nakhla-pieces-justificatives (SSE-KMS)؛
  • ووحدات التخزين EBS المشفّرة عبر قالب الإطلاق (launch template).

كل هذا التشفير يرتكز على مفتاح KMS يديره الزبون، يُستدعى عبر الاسم المستعار (alias) alias/nakhla-donnees. والبنية التحتية موصوفة بـ Terraform (المستودع infra-nakhla)، وتُطبَّق عبر GitHub Actions على الـ runner المستضاف ذاتيًا runner-tf-01، بالدور gha-terraform-deploy.

يوم الجمعة 16/10، دُمج تغييران في نهاية اليوم: تشديد IAM على الأدوار التطبيقية (PR #409) وتنظيف Terraform «تجميع أساس التشفير في module» (PR #412، إدريس عمراني). كان الـ pipeline أخضر. وعطلة نهاية أسبوع هادئة.

هذا الإثنين منذ 07:50: أخطاء 500 على فضاء المنخرطين، وتطبيق الهاتف يعرض «الخدمة غير متاحة»، والـ Auto Scaling يفشل في كل محاولة لإضافة instances لذروة يوم الإثنين، و خدمة التعويضات لم تعد تحمّل أي وثيقة. تعويضات الأسبوع تنطلق يوم الخميس. والمسؤول عن الأمن، كريم لحلو، متأكد من أن «السبب هو تشديد IAM» ويريد ربط AdministratorAccess بدور الـ API. أما مدير نظم المعلومات، هشام بناني، فيقترح «إنشاء مفتاح جديد واستعادة snapshot الليلة».

أنتِ مهندسة السحابة المناوبة (نادية)، على poste-sre (AWS CLI v2، ملف التعريف nakhla-prod افتراضيًا، المنطقة eu-west-3). يمكنكِ فتح جلسة SSM على instance الـ API، والاتصال بالـ runner الخاص بـ Terraform، والانتقال إلى الحساب nakhla-securite (CloudTrail المنظمة، SCP) باستخدام aws-vault. أعيدي الخدمة دون فقدان أي معطى مشفّر.

هذه المحاكاة مخصّصة للمسجَّلين في أحد التكوينات.

مسجَّل من قبل؟ سجِّل الدخول.