اختفت كل سلال المتجر وكل جلساته هذه الليلة

يحتفظ متجر MasterLinux بـ جلسات العملاء وسلالهم في Redis: خادم رئيسي ml-redis-01 ونسختان متماثلتان ml-redis-02 و ml-redis-03، تراقبها ثلاثة Sentinel (واحد لكل عقدة). لا يقرأ التطبيق ولا يكتب إلا على الخادم الرئيسي الذي يعيّنه Sentinel.

هذا الصباح، تغرق خدمة العملاء في الرسائل: فُصل كل العملاء و السلال فارغة، بما فيها تلك المُعدّة مساء أمس لعرض الساعة 09:00. يُظهر منحنى عدد المفاتيح سقوطًا عموديًا من 2,1 مليون إلى 0 عند 03:02. لم يرنّ أي تنبيه: كل العقد تجيب على PING ولم يُبلغ Sentinel عن أي عطل.

توجد نسخة ليلية: كل يوم عند 02:00، تُطلق مهمة مجدولة BGSAVE على نسخة متماثلة و تنسخ الملف إلى /sauvegardes/redis (مشاركة NFS من ml-backup-01، مركّبة على العقد الثلاث).

أنت متصل بالحساب ops على ml-redis-01، مع sudo. افهم ما حدث، واسترجع البيانات قبل العرض، واحرص على ألا يتكرر ذلك.