Qu’est-il arrivé à Vivaldi Social ?

• Des comptes utilisateurs ont disparu sur l’instance Mastodon de Vivaldi Social
• Les administrateurs système ont commencé à enquêter sur le problème
• Les comptes affectés étaient supprimés puis recréés lorsque les utilisateurs se reconnectaient
• Des sauvegardes de base de données ont été utilisées pour récupérer les données perdues
• Un schéma de suppression inhabituel a été identifié
• Les développeurs de Mastodon ont été contactés pour demander de l’aide
• Les comptes continuaient à être supprimés jusqu’au redémarrage de l’instance Docker
• Une attaque possible ou un bug logiciel ont été identifiés comme causes potentielles
• La configuration de la réplication de la base de données a été identifiée comme facteur principal
• Une théorie a été élaborée sur le fait que l’ordre de fusion des comptes était à l’origine du problème
• Un correctif a été fourni pour éviter que cela ne se reproduise à l’avenir
• Le travail de récupération a inclus une restauration sélective et des changements de configuration
• Il y a eu des difficultés techniques pendant le processus de restauration
• Le problème a été résolu et Vivaldi Social fonctionne de nouveau normalement
• En raison d’un bug dans le code et d’un problème de configuration de la base de données, 198 comptes utilisateurs ont été fusionnés en un seul
• La résolution du problème a pris tout le week-end
• L’équipe de développement de Mastodon a fourni un soutien remarquable
• Après la restauration, les problèmes de connexion et les compteurs de profil incorrects ont été corrigés
• L’expérience s’est conclue par un sentiment de satisfaction et de gratitude envers toutes les personnes impliquées
• Cela a aussi été l’occasion de remercier les administrateurs système et de rappeler la Journée d’appréciation des administrateurs système

[GN⁺]

Avis sur Hacker News

• Discussion autour de l’incident concernant Vivaldi Social et des problèmes auxquels ils ont été confrontés.
• L’utilisation de valeurs NULL dans la base de données est mise en avant comme une source potentielle de bugs et de complexité.
• Les processus de sauvegarde et de restauration sont décrits comme difficiles et sujets aux erreurs.
• L’équipe de développement de Mastodon est saluée pour son soutien pendant l’incident.
• Le manque d’atomicité dans certaines opérations est mentionné comme un problème potentiel.
• Le post-mortem est félicité pour sa qualité de rédaction et son caractère informatif.
• L’utilisation d’outils comme spit(1) pour découper de gros dumps SQL est mentionnée.
• La capacité à extraire des stack traces complètes à partir des logs est jugée impressionnante.
• Une question est soulevée sur la manière dont des comptes avec des valeurs NULL dans le champ URI correspondent à la requête.
• Une erreur dans le script de récupération a causé des problèmes aux utilisateurs dont le nom d’utilisateur contenait des symboles.