L’acquisition de Quickwit par Datadog
(quickwit.io)- L’équipe Quickwit va rejoindre Datadog pour se concentrer sur le développement de nouveaux produits, et prévoit de publier une nouvelle version de Quickwit sous Apache License 2.0 afin que la communauté puisse poursuivre le projet
- Le point de départ était les limites de scalabilité d’Elasticsearch et ses coûts d’exploitation élevés ; Quickwit visait un moteur de recherche plus de 10 fois plus rentable et capable de monter jusqu’au multi-pétaoctet
- Binance a construit avec Quickwit un service de logs de 100 PB en indexant 1,6 PB par jour, et Mezmo traite lui aussi en production des logs à l’échelle du pétaoctet pour des milliers de clients
- L’intérêt croissant pour l’open source, la hausse du chiffre d’affaires et l’examen d’une Series A se sont poursuivis, mais la structure d’équipe répartie entre Tokyo, Paris et New York a accru la charge liée au passage à l’échelle, poussant l’entreprise à étudier une opportunité d’acquisition
- Des mises à jour majeures sont prévues pour Quickwit et tantivy ; la nouvelle version de Quickwit devrait inclure la collecte distribuée, des agrégations de cardinalité, ainsi que des améliorations de performances et de mémoire
Rejoindre Datadog et poursuivre l’open source
- L’équipe Quickwit va rejoindre Datadog et se concentrer sur la création de nouveaux produits avec Datadog
- Afin que la communauté puisse continuer à faire vivre Quickwit, une nouvelle version sera bientôt publiée sous Apache License 2.0
- Des mises à jour majeures sont prévues à la fois pour Quickwit et tantivy
- La nouvelle version de Quickwit inclura la collecte distribuée, attendue de longue date par la communauté
- Des agrégations de cardinalité, des améliorations de performance et de mémoire, ainsi que d’autres fonctionnalités supplémentaires sont également prévues
Le problème que Quickwit voulait résoudre
- Quickwit est né d’une idée de longue date issue de la collaboration entre trois ingénieurs : Paul, Adrien et François
- En 2020, le projet personnel de Paul, tantivy, a servi de point de départ
- tantivy était déjà connu comme une alternative populaire à Lucene
- Le problème central visé par l’équipe était la scalabilité et le coût d’exploitation d’Elasticsearch
- Elasticsearch ne passait pas efficacement à l’échelle
- Les coûts devenaient trop élevés
- La complexité opérationnelle augmentait
- L’objectif était de créer un moteur de recherche que les opérateurs puissent administrer sereinement, capable de monter à l’échelle multi-pétaoctet et au moins 10 fois plus rentable
Une équipe distribuée et les débuts du développement open source
- Le développement a commencé avec une équipe distribuée : Adrien à San Francisco, Paul à Tokyo et François à Paris
- En tirant parti des différents fuseaux horaires, l’équipe a mis en place un cycle de développement follow-the-sun
- Le choix de Rust a eu un impact majeur sur la rapidité et la stabilité du développement initial
- La première démo, réalisée à partir du dataset Common Crawl, a atteint la page d’accueil de HN
- Il n’y avait quasiment aucun bug ; une erreur Python
"'NoneType' object has no attribute"est citée comme seule exception
- La première version a été lancée le 13 juillet 2021
- L’open source était à la fois un choix stratégique et un choix naturel pour des ingénieurs
- La visibilité sur HN a mené aux premiers échanges avec des utilisateurs, mais à mesure que les conversations se multipliaient, les fonctionnalités manquantes sont apparues, ce qui a nécessité de nombreuses implémentations
Des cas d’usage à grande échelle et des contributions à l’écosystème Rust
- Les rencontres avec les équipes d’ingénierie de Mezmo et Binance ont marqué un tournant, faisant évoluer Quickwit vers un véritable produit à grande échelle
- Binance a construit avec Quickwit un service de logs de 100 PB
- 1,6 PB sont indexés chaque jour
- Mezmo a déployé Quickwit en production pour traiter des logs à l’échelle du pétaoctet pour des milliers de clients
- Tout en offrant la même expérience utilisateur, l’entreprise a fortement réduit les coûts d’infrastructure et la complexité
- Ces partenariats ont contribué à faire de Quickwit un moteur de recherche multi-pétaoctet rentable
- Au cours du développement de Quickwit, l’équipe a également contribué à plusieurs bibliothèques de l’écosystème Rust
- tantivy : bibliothèque de moteur de recherche full-text qui sert de base à Quickwit
- chitchat : protocole d’appartenance de cluster, incluant la détection de pannes, inspiré de Cassandra et DynamoDB
- Bitpacking : algorithme SIMD de compression d’entiers via bitpacking
- Whichlang : bibliothèque de détection de langue rapide et légère pour Rust
- Mrecordlog : write-ahead log efficace conçu pour le multitenant
Pourquoi le choix de Datadog
- À l’été 2024, Quickwit a connu une hausse de l’intérêt pour son open source, une forte croissance de son chiffre d’affaires et un intérêt soutenu de la part des VC
- L’entreprise a estimé qu’il était temps d’ouvrir un nouveau chapitre et d’envisager un tour de Series A
- Mais une équipe déjà répartie entre Tokyo, Paris et New York représentait une lourde contrainte, et l’expansion risquait d’accentuer cette difficulté
- Quickwit a finalement décidé de chercher un nouveau foyer et d’examiner des opportunités d’acquisition
- Parmi les candidats, Datadog s’est nettement distingué
- La capacité de Datadog à offrir une excellente expérience utilisateur
- Le moteur de recherche à l’échelle pétaoctet de Quickwit
- L’opportunité commune de créer une solution puissante déployée dans les environnements clients
- Le scepticisme initial à l’idée de rejoindre un grand groupe s’est dissipé au fil des échanges avec l’équipe Datadog
- Ces discussions ont mis en évidence des qualités intellectuelles, de l’humilité et une culture sincère au sein de l’équipe Datadog
Communauté et clients
- L’équipe Quickwit adresse ses remerciements à ses employés, investisseurs, contributeurs, amis et soutiens
- Parmi les clients cités figurent Mezmo, Formal, Radiant Security, MatterLabs, Fly.io
- La communauté est remerciée pour avoir accompagné le parcours de Quickwit
1 commentaires
Commentaires sur Hacker News
En tant que cofondateur de Quickwit, voir l’acquisition par Datadog arriver en première page de HN donne vraiment l’impression d’avoir bouclé la boucle
Le parcours de Quickwit a été lié à HN dès le début, et son évolution est littéralement consignée dans les posts passés en première page de HN : “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
Chacune de ces apparitions en première page a été un jalon, et nous avons mis beaucoup de cœur dans nos billets d’ingénierie parce que nous voulions apporter quelque chose d’utile à la communauté. Je suis convaincu que HN a joué un rôle majeur dans le succès de Quickwit, en nous apportant visibilité, retours positifs, commentaires critiques et même des leads qui nous ont contactés directement
J’aime bien pg_search https://www.paradedb.com/blog/introducing_search, qui semble avoir été construit au-dessus de Tantivy par une autre entreprise, et c’est là l’un des grands atouts de l’open source. En revanche, je m’inquiète d’un arrêt du développement après cette acquisition. Je me demande en quoi continuer à développer Tantivy publiquement aide les revenus de Datadog
Comme je n’ai jamais vraiment accroché aux produits basés sur Apache Lucene (Solr, Elastic), j’ai été ravi de voir Tantivy sortir en open source. Le scoring BM25, la bonne prise en charge des langues asiatiques, la vitesse et l’utilisation mémoire sont excellents
https://github.com/quickwit-oss/tantivy
Je pense que Datadog a fait un choix intelligent. Tant que Tantivy lui-même reste à jamais sous licence Apache 2 et peut continuer à coexister durablement avec la communauté open source, cela me suffit. Ils méritent de profiter d’un succès commercial
Il semblait que Quickwit allait ajouter une licence enterprise plus tôt cette année avec la PR #5529, mais cette annonce dit au contraire qu’ils vont le relicencier sous Apache License 2.0 pour que la communauté puisse continuer
En substance : “Nous allons nous concentrer sur la création de nouveaux produits avec Datadog, et nous publierons bientôt d’importantes mises à jour de Quickwit et tantivy, puis nous les relicencierons sous Apache License 2.0 afin que la communauté open source puisse continuer.”
Au final, on obtient une version de Quickwit sous une licence plus libre, mais entre les lignes, on a l’impression que le développement va en pratique fortement ralentir. Pour l’avoir utilisé, je n’ai pas grand-chose à lui reprocher en termes de stabilité, mais j’attendais avec intérêt de voir ce qu’ils apporteraient ensuite
Cela dit, ils semblent vouloir publier le produit actuel sous une licence compatible OSI pour que la communauté puisse prendre le relais, et c’est un compromis acceptable. Cela aurait pu être bien pire
Datadog n’est pas non plus une entreprise totalement étrangère à l’open source. Vector, qu’ils ont publié comme outil générique de pipeline d’observabilité, est un produit assez solide : https://vector.dev/
Je trouve ça un peu dommage de voir plusieurs bases de données modernes se faire racheter récemment. Elles avaient un vrai potentiel d’innovation
https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/
Supabase sert actuellement de canal de déploiement initial afin que l’équipe OrioleDB puisse se concentrer sur le moteur de stockage plutôt que sur l’hébergement, tout en recevant beaucoup de retours utilisateurs et de rapports de bugs. L’objectif commun est de faire d’OrioleDB un candidat au poste de moteur de stockage par défaut de Postgres, non seulement pour Supabase mais partout
J’ai rencontré les fondateurs des trois entreprises, et je suis convaincu qu’ils veulent tous sincèrement mettre leur travail entre les mains du monde entier. À noter que ParadeDB reste indépendant et n’a pas l’intention d’être vendu dans un avenir proche
Le compte à rebours est lancé avant que Datadog trouve un moyen de facturer au nœud, au CPU, au conteneur, à la RAM (KB) et au caractère Unicode indexé
Le modèle tarifaire est assez complexe, au point qu’avec le temps on commence à se demander si toutes ces bonnes fonctionnalités valent vraiment ce prix élevé
Mezmo dit avoir mis Quickwit en production pour traiter des milliers de clients et des logs à l’échelle du pétaoctet, tout en réduisant fortement les coûts d’infrastructure et la complexité, donc il doit être difficile de bien vivre le fait que Quickwit ait été vendu à un concurrent juste après
Le bon côté pour tous les autres, c’est que si Datadog gâche tout, cela indique qu’il y aura probablement une vraie demande pour un fork
Articles liés : Binance built a 100PB log service with Quickwit (il y a 6 mois, 228 points, 195 commentaires) https://news.ycombinator.com/item?id=40935701
Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog (il y a 1 an, 145 points, 51 commentaires) https://news.ycombinator.com/item?id=38902042
Ils disent : « Depuis cet été, l’ambiance a changé. La traction open source s’est renforcée, le chiffre d’affaires a fortement augmenté, et les VC se sont montrés plus offensifs. C’était le moment d’ouvrir un nouveau chapitre pour l’entreprise et de lever une Series A » ; mais, d’un point de vue rhétorique, pourquoi à ce moment-là ?
La réponse réaliste est là. Les VC ne se contentent pas d’une entreprise en forte croissance avec une bonne technologie. Ils veulent soit un up-round qui leur permette de revaloriser leur portefeuille, soit pousser à une sortie si le marché n’est pas assez chaud pour soutenir une Series A chère
Si l’on veut construire une entreprise en croissance rentable, l’argent du VC n’est pas la bonne voie
La formulation de la phrase dans le billet de blog peut prêter un peu à confusion. Par « VC », François parlait probablement moins des investisseurs déjà présents chez Quickwit que d’autres VC, au courant de la situation de l’entreprise et qui prenaient contact parce qu’ils voulaient participer à une éventuelle Series A
Globalement, nous avions simplement le sentiment d’être à un « carrefour », et personne ne nous a forcé la main
Je déteste vraiment Datadog. Dans notre boîte, on utilise même le nom Datadog comme une insulte pour désigner une manière de vendre ou de faire du marketing à ne surtout pas reproduire
J’en ai été complètement dégoûté par leurs méthodes commerciales vers 2015–2018. C’était un flot interminable d’appels et d’e-mails, et le coup de grâce a été une présentation Lambda à AWS re:Invent au moment où Lambda venait d’être annoncé. Toute l’équipe y est allée pour voir tôt à quoi ressemblait Lambda, et on s’est retrouvé face à un employé de Datadog qui avait grosso modo repris le billet de blog de Barr, « lambda up and running », en le présentant comme un numéro de stand-up, tout en rappelant sans arrêt qu’il travaillait chez Datadog. L’idée semblait être de nous faire boire, nous mettre de bonne humeur, puis nous faire croire que Datadog était cool
Sérieusement, est-ce que l’entreprise a suffisamment changé depuis pour mériter qu’on la regarde à nouveau ?
Comme le disait mon ancien manager, il n’y a pas de ligne « être une bonne personne » dans un compte de résultat, et quelqu’un doit payer la note. Il est donc facile d’imaginer les scénarios les plus sombres et de s’en inquiéter
Mais l’un des scénarios possibles est aussi l’apparition d’un concurrent open source crédible face à l’écosystème Grafana, et cela pourrait à lui seul empêcher le reste de l’écosystème de se re-licencier. Il est aussi possible que ce soit un cas gagnant-gagnant où les fondateurs trouvent une voie durable sans lutte d’ego, d’argent et de pouvoir. J’ai envie d’être optimiste ; seul le temps le dira
Je viens juste de passer d’Elastic à Quickwit, et ça me déprime. Vous recommandez une autre base de données de logs open source basée sur le stockage objet ?
Il y a environ 3 ans, le produit changeait assez vite et une bonne partie de la documentation était dans git, donc les montées de version mineures étaient un peu pénibles, mais j’imagine que c’est devenu bien plus mature maintenant
C’est construit sur ClickHouse, donc c’est rapide et scalable
https://github.com/SigNoz/signoz
Pour info, je suis mainteneur de SigNoz
C’est un petit binaire autonome qui se lance immédiatement avec la config par défaut et stocke toutes les données dans un seul répertoire. Le support du stockage objet devrait arriver bientôt
Je me demande ce que Datadog va construire avec cette techno. Il y a encore quelques mois, j’ai l’impression que cette boîte se présentait comme le concurrent open source de Datadog
Les secteurs réglementés comme la finance, l’assurance et la santé doivent conserver une visibilité sur l’ensemble de leurs systèmes tout en respectant les exigences de résidence des données, de confidentialité et de conformité. Si les logs doivent rester dans l’environnement du client ou dans une région donnée, il devient plus difficile d’obtenir une observabilité fluide et des insights, et Datadog semble vouloir répondre à ce besoin avec Quickwit sans ajouter plusieurs outils de logs
Qu’est devenu Vector, leur ancien rachat open source ? Ces gens sont encore employés là-bas ?