Greenmask - Outil d’anonymisation de bases PostgreSQL et de génération de données synthétiques

• Utilitaire open source conçu pour le dump de sauvegarde de bases de données, l’anonymisation, la génération de données synthétiques et la restauration
• Stateless, sans nécessité de modifier le schéma de la base de données
• Conçu pour offrir un haut niveau de personnalisation, avec une excellente compatibilité avec les utilitaires PostgreSQL existants, tout en étant rapide et fiable
• Playground : environnement sandbox configuré avec une base de données d’exemple dans Docker, permettant de tester sans travail supplémentaire
• Fonctionnalités principales
  • Deterministic transformers : méthode de transformation déterministe des données basée sur une fonction de hachage, où les mêmes données d’entrée produisent toujours les mêmes données de sortie. La plupart des transformeurs prennent en charge un moteur aléatoire ou de hachage, ce qui convient à la majorité des cas d’usage.
  • Dynamic parameters : chaque transformeur prend en charge des paramètres dynamiques, ce qui permet de le paramétrer à partir des valeurs de colonnes d’une table. Cette fonctionnalité est utile pour gérer les dépendances fonctionnelles entre colonnes et satisfaire les contraintes.
  • Transformation validation and maintainability : fournit des avertissements de validation, des différences de transformation de données et des différences de schéma pendant la configuration, afin de surveiller et maintenir efficacement les transformations tout au long du cycle de vie logiciel. Les différences de schéma aident à prévenir les fuites de données lors des changements de schéma.
  • Partitioned tables transformation inheritance : une fois la configuration de transformation définie, elle peut être appliquée à toutes les partitions d’une table partitionnée (avec le paramètre apply_for_inherited), ce qui simplifie le processus d’anonymisation.
  • Stateless : fonctionne sur des dumps logiques et n’affecte pas le schéma existant de la base de données
  • Cross-platform : grâce à une architecture basée sur Go, supprime les dépendances à la plateforme et permet une compilation et une exécution faciles sur tous les environnements
  • Database type safe : utilise les pilotes de base de données pour la validation des données ainsi que les opérations d’encodage/décodage afin de garantir l’intégrité des données. Cela permet de préserver les types de données
  • Backward compatible : prend entièrement en charge les mêmes fonctionnalités et protocoles que les utilitaires PostgreSQL existants, et les dumps générés par Greenmask peuvent être restaurés avec succès à l’aide de l’utilitaire pg_restore
  • Extensible : les utilisateurs peuvent implémenter des transformations métier dans différents langages de programmation ou utiliser des modèles prédéfinis
  • Integrable : peut être intégré à des systèmes CI/CD pour automatiser facilement les tâches d’anonymisation et de restauration de bases de données
  • Parallel execution : exploite les fonctions de dump et de restauration en parallèle pour réduire considérablement les délais de traitement
  • Storage variety : propose des options de stockage de données locales et distantes, y compris des répertoires et des stockages distants comme S3
  • Prise en charge de Pgzip : avec l’option --pgzip, les processus de dump et de restauration peuvent être accélérés grâce à la compression parallèle