Annonce de l’introduction de S2

• Introduction de S2

  • S2 est un stockage de données en streaming conçu pour l’ère du cloud, une solution destinée à renforcer le cœur des systèmes de données.
  • Il vise à appliquer l’expérience serverless du stockage d’objets existant aux données de streaming.
  • S2 considère le flux comme un élément fondamental du stockage cloud.

• Et si le flux priorise les objets ?

  • Le stockage d’objets convient aux données au repos, tandis que le stockage de flux est conçu pour répondre aux besoins des données en mouvement.
  • S2 traite les données par enregistrements et, même si plusieurs producteurs écrivent en parallèle, il traite chaque enregistrement de manière séquentielle.
  • Contrairement à S3, S2 permet de suivre les flux en temps réel.

• Serverless – quel coût ?

  • S2 est construit sur la scalabilité illimitée et la durabilité du stockage d’objets.
  • Les utilisateurs peuvent ajuster le compromis entre latence et coût pour chaque flux.
  • Il propose deux classes de stockage, Standard et Express, qui s’appuient respectivement sur AWS S3 Standard et S3 Express One Zone.
  • La classe Express offre une latence comparable à celle des systèmes de streaming cloud basés sur disque.

• Les prochaines étapes de S2

  • S2 s’appuie sur une infrastructure cloud éprouvée et une base de code Rust testée.
  • Il propose actuellement une API gRPC, un SDK Rust et une CLI ; une API REST est également en cours de développement.
  • Il prévoit de garantir la compatibilité avec le protocole Kafka, une architecture multi-régions et un objectif de latence inférieure à 5 millisecondes.
  • S2 est la solution adaptée aux utilisateurs qui veulent un streaming cloud sans limite sur le nombre de flux ni sur le débit.

[GN⁺]

Avis sur Hacker News

• Nommer le produit S2 et le présenter comme une amélioration d’AWS S3 pourrait poser des problèmes de propriété intellectuelle avec Amazon.
• L’API est superbe et j’ai envie de l’utiliser dans mon projet, mais je n’ai pas l’impression qu’elle durera en l’état. S’il y a du succès, AWS a de grandes chances d’en sortir une meilleure version.
  • Cela aurait eu plus de sens s’il avait été lancé comme produit final de type Papertrail.
  • Si l’on pouvait ajouter un backend compatible S3, cela pourrait être un excellent produit indépendant du cloud.
• Cela ressemble à WarpStream, mais semble offrir une API de bas niveau au lieu de la compatibilité Kafka.
  • S’il est adopté sur le long terme, une API de streaming de type S3 serait extrêmement précieuse.
• Je m’étonne qu’on facture 0,05 $/Go au lieu de 0,09 $/Go pour le transfert internet d’AWS. Je me demande s’ils ont accès au tarif interne de transfert d’AWS.
• La technologie est impressionnante, mais c’est dommage qu’aucun code source ne soit publié. Si un hébergement autonome complet était pris en charge avec une licence de type FSL, je considérerais cela comme un service commercial.
• On dirait qu’ils ont choisi de passer leur vie à expliquer que ce n’est pas S3.
• J’aimerais que quelqu’un construise quelque chose qui rende les ‘events’ d’un stream interrogeables avec des requêtes temporelles.
  • Un pattern ou un framework pour créer des données interrogeables en mémoire, plutôt qu’une base de données spécifique, serait peut-être plus pertinent.
• La proposition de valeur d’un modèle où une écriture n’est reconnue qu’après stockage dans S3 me semble confuse.
  • AWS pourrait implémenter un service compatible au niveau protocolaire, comme une réimplémentation de Kafka.
• Je regrette l’absence de SDK Java. Comme la plupart des entreprises utilisent Spring ou des clients Kafka, cela rend même un POC difficile.
• Cela ressemble trop à AWS Kinesis Data Streams. Il est bon qu’AWS ait enfin de la concurrence.