« Kafka » est mort, vive « Kafka »

• Cet article présente WarpStream, une plateforme de streaming de données compatible avec le protocole Kafka et construite directement sur S3.
• WarpStream est proposé sous la forme d’un binaire Go unique et sans état, ce qui élimine la nécessité de gérer des disques locaux, de rééquilibrer les brokers et d’exploiter ZooKeeper.
• En diffusant les données directement vers S3, cette plateforme réduit fortement les coûts d’infrastructure et revient 5 à 10 fois moins cher que Kafka dans le cloud.
• L’article critique l’adéquation de Kafka aux charges de travail modernes, en soulignant les coûts élevés de bande passante inter-AZ et la surcharge opérationnelle.
• L’architecture de WarpStream diffère de celle de Kafka. Au lieu de brokers, elle utilise des « agents » sans état, capables d’agir comme « leader » pour n’importe quel topic, de valider les offsets pour n’importe quel groupe de consommateurs ou de faire office de coordinateur du cluster.
• Dans WarpStream, tout le stockage est déporté vers un object storage comme S3, ce qui permet une montée en charge simple et une récupération rapide après incident.
• WarpStream sépare les données et les métadonnées, et stocke les métadonnées de tous les « clusters virtuels » dans une base de données de métadonnées personnalisée.
• La plateforme réduit de 5 à 10 fois le coût total de la plupart des charges de travail Kafka, mais avec une latence plus élevée : un P99 d’environ 400 ms pour les requêtes de production et environ 1 seconde entre le producteur et le consommateur.
• WarpStream est actuellement en phase de developer preview et n’est pas encore prêt pour un usage en production.
• Les créateurs de WarpStream estiment que l’UX développeur de Kafka pose problème, en particulier l’abstraction bas niveau des partitions. Ils prévoient de corriger cela dans de futures mises à jour de WarpStream.
• L’article se conclut en invitant les lecteurs à essayer WarpStream et à faire part de leurs retours.

[GN⁺]

Avis sur Hacker News

• Un article sur la nature dichotomique de Kafka, la technologie de data streaming
• Débat sur le fait de savoir si la plupart des entreprises technologiques utilisent Kafka
• Discussion sur la rentabilité du fait d’envoyer directement chaque message vers S3 et sur le problème d’exploiter un cluster Kafka dans chaque AZ
• Présentation par Ryan Worl, cofondateur et CTO de WarpStream, un système de streaming compatible avec le protocole Kafka construit directement au-dessus de S3
• Mise en avant de la rentabilité de WarpStream, de l’absence de besoin d’exploiter des disques/nœuds avec état, de l’absence de nécessité de rééquilibrage des données ou de ZooKeeper, ainsi que de la réduction des frais de bande passante inter-AZ
• Critique du coût d’exploitation de Kafka sur des VM séparées chez les fournisseurs cloud
• Discussion sur l’utilisation d’adaptateurs de stockage dans des services managés cloud Hadoop/Kafka correctement conçus afin de tirer parti de la redondance du fournisseur
• Plaintes de certains utilisateurs contre l’affirmation de l’article selon laquelle Kafka nécessite une équipe d’experts et un gros budget
• Mise en avant du fait qu’il est possible de modifier le nombre de partitions dans Kafka
• Débat autour de l’affirmation de l’article selon laquelle l’exploitation de Kafka nécessite une équipe d’ingénierie de grande taille
• Questions sur la manière dont WarpStream gère son service, s’il utilise un fournisseur cloud ou du bare metal, et s’il utilise FoundationDB pour le magasin de métadonnées
• Discussion sur le potentiel de l’API de Kafka et sur la possibilité d’abstraire la complexité de la gestion de cluster
• Réduction des coûts liée au déplacement d’un trafic ML à grande échelle vers S3, un utilisateur rapportant environ 90 % d’économies
• Proposition de changer le titre de l’article en « Kafka est mort. Vive WarpStream, le roi. » pour refléter l’adoption de cette nouvelle technologie