WarpStream : Kafka est mort, vive Kafka !

• WarpStream est une plateforme de data streaming compatible avec le protocole Kafka, construite directement sur S3
• Fournie sous la forme d’un unique binaire Go stateless, elle ne nécessite ni disque local à gérer, ni brokers à rééquilibrer, ni ZooKeeper à exploiter
• Comme les données transitent directement via S3, elle coûte 5 à 10 fois moins cher que Kafka (et pourrait représenter plus de 80 % du coût d’infrastructure d’un Kafka à grande échelle)
• Kafka est un excellent logiciel conçu en 2011 pour les data centers, mais il n’est pas adapté aux workloads modernes
  • Économie : par conception, la stratégie de réplication de Kafka engendre d’énormes coûts de bande passante entre AZ
  • Surcharge opérationnelle : faire tourner un cluster Kafka nécessite une équipe dédiée ainsi que des outils personnalisés complexes
• WarpStream s’exécute directement sur le stockage objet de plusieurs clouds (AWS S3, GCP GCS, Azure Blob Storage)
• Actuellement en developer preview

[xguru]

Voir aussi la version résumée par GN⁺. https://fr.news.hada.io/topic?id=10254

[pseudojo]

Un outil qui réduit les couches, mais qu’il faut manipuler avec énormément de précautions. Ce type d’outil laisse toujours planer le risque d’une facture exorbitante. (* exception si l’on l’exploite dans son propre datacenter avec MinIO, etc.)

[ehlegeth]

C’est une tentative intéressante qui exploite l’orientation vers le stockage désagrégé.
Je me demande comment ils ont géré des questions comme le caching.

[xguru]

Le titre de l’article de blog est certes un peu putassier, mais cela semble être une tentative intéressante comme alternative légère à Kafka.