Gently down the stream - Apache Kafka pour les enfants

 (gentlydownthe.stream)
18 points par xguru 2021-06-18 | 2 commentaires | Partager sur WhatsApp
  • Apache Kafka expliqué simplement, comme dans un conte

→ avec de courtes animations

→ une présentation web créée avec Reveal.js

  • Kafka, les événements, les topics, les streams, les producers, les consumers / groupes de consumers, les partitions, les connecteurs Kafka, etc., expliqués à travers l’exemple de loutres vivant dans une forêt

Dans une forêt traversée par une rivière, vivaient deux familles de loutres.

Quand les deux familles partageaient des nouvelles, comme des fêtes d’anniversaire ou des visites, elles se rencontraient directement pour en parler. (Tightly Coupled)

À mesure que davantage de loutres emménageaient dans la forêt, le nombre d’événements à partager augmentait de plus en plus. (Scalability Problem)

Comme il devenait difficile pour les loutres de se rencontrer directement pour partager les événements, elles ont eu l’idée de communiquer en utilisant Kafka, la grande rivière qui traversait la forêt. (Stream)

L’idée consistait à écrire les événements transmis sur du papier avec des informations comme l’en-tête, la clé, la valeur ou l’heure, puis à les faire dériver vers le bon sujet. (Record of the Event, Topics)

Au début, elles mettaient le papier dans des bouteilles en verre, mais elles partaient simplement à la dérive. Les loutres ont donc utilisé des Glass Float*, qui ne dérivent pas et restent toujours à leur place. (Persistent)

Il y eut alors deux types de loutres : les Producers et les Consumers.

Cela a bien fonctionné pendant un temps, mais quand les événements se sont multipliés dans la rivière, elles ont commencé à poser de gros rochers pour la diviser et l’utiliser par sections. (Partition)

Chaque famille de loutres est devenue un Consumer Group et a même choisi un Group Leader.

Si une loutre tombait malade, quelqu’un d’autre du groupe recevait les messages à sa place. (Highly Available)

Les familles de loutres pouvaient aussi gérer les imprévus. (Fault Tolerant)

Les loutres ont aussi construit des routes pour que d’autres communautés puissent envoyer des messages dans la rivière Kafka. (Kafka Connector)

  • Glass Float : boule en verre flottante utilisée pour empêcher les filets de pêche de dériver

À lire aussi

2 commentaires

 
nicewook 2021-06-18

Waouh. C’est vraiment trop joli. Et en plus, c’est instructif
 
xguru 2021-06-18

Des livres illustrés dans le même esprit