- Réplique facilement les changements survenant dans Postgres vers des files d’attente / brokers de messages comme Kafka, Redpanda, Google PubSub ou Azure Event Hub
- Active le CDC Postgres en s’appuyant en interne sur le logical decoding de Postgres
- Debezium est largement utilisé pour le CDC existant, mais sa courbe d’apprentissage est longue et son déploiement en production demande beaucoup de connaissances préalables
- La configuration est difficile (l’UI est encore en cours de développement), et la prise en charge des formats de données et des transformations n’est pas simple ; en dehors de Kafka, il n’offre pas le même niveau de fonctionnalités pour les autres brokers de messages
- PeerDB vise à proposer une mise en place du CDC Postgres plus simple et plus complète
- Pour permettre aux ingénieurs de mettre en œuvre un CDC Postgres de niveau production en quelques jours, avec une courbe d’apprentissage minimale
- Configuration simple via l’UI de PeerDB
- Configuration des sources et des cibles de données (comme Postgres et Kafka)
- Suivi de la progression du CDC, notamment le débit (par table) et la latence
- Recherche dans les logs
- Alertes Slack/e-mail en cas d’augmentation du replication slot
- Fournit aussi des fonctions avancées comme le tuning des miroirs, la mise en pause et l’ajout de tables à un miroir
- Un CLI est également fourni. Il propose une couche SQL compatible Postgres, pensée pour être conviviale
- Application de transformations au niveau ligne avant le streaming CDC vers Kafka
- Utilisation de scripts Lua
- Chiffrement/masquage des informations personnellement identifiables (PII), prise en charge de divers formats de données (JSON, MsgPack, Flatbuffers, Protobuf, etc.)
- Fournit un éditeur de scripts et des modèles utiles
- Fournit des connecteurs natifs pour des cibles autres que Kafka
- Google Pub/Sub, Azure Event Hubs
1 commentaires
PeerDB - plateforme ETL/ELT pour Postgres
Debezium - open source qui diffuse en streaming les modifications d'une base de données