Vector - pipeline open source de données d’observability haute performance

• Plateforme de pipeline de données d’observability haute performance de bout en bout (agent et agrégateur) permettant aux utilisateurs de contrôler les données observables
• Permet de collecter, transformer et router les logs et les métriques afin de les envoyer à n’importe quel fournisseur souhaité aujourd’hui, ainsi qu’à d’autres fournisseurs qui pourraient être choisis à l’avenir
• Réduit les coûts, apporte un nouvel enrichissement des données, assure la sécurité des données, est open source et peut être jusqu’à 10 fois plus rapide que les autres alternatives

Principes

• Fiabilité - Construit en Rust, avec la fiabilité comme objectif majeur de conception
• De bout en bout - Déployé comme agent ou agrégateur. Vector est une plateforme complète
• Unification - Logs, métriques (bêta), traces (bientôt disponibles). Un seul outil pour toutes les données

Cas d’usage

• Réduire le coût global de l’observability
• Changer de fournisseur sans perturber les workflows
• Améliorer la qualité des données et les insights
• Unifier les agents et éliminer la fatigue liée aux agents
• Améliorer globalement les performances et la fiabilité de l’observability

Communauté

• Des startups et grandes entreprises comme Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, CVS, Trivago, Tuple, Douban, Visa, Mambu, Blockfi, Claranet et Instacart s’appuient sur Vector
• Vector est téléchargé plus de 100 000 fois par jour
• Le plus grand utilisateur de Vector traite plus de 30 To de données par jour
• Vector compte plus de 100 contributeurs et continue de croître

[softer]

Le garde du pipeline de logs

[xguru]

Avis sur Hacker News

• Évaluation positive du logiciel Vector

  • Vector est un excellent logiciel pour exploiter des pipelines de logs à plusieurs Go/s.
  • L’agent Vector collecte les logs des pods et de journald en tant que DaemonSets, puis les envoie à un agrégateur Vector central (Deployment) via le protocole protobuf de Vector.
  • Il prend en charge divers stockages (s3, gcs/bigquery, loki, prom).
  • La documentation est bonne, même s’il peut être difficile de trouver des exemples de schémas courants ; cela s’améliore avec le temps et à mesure que le nombre d’utilisateurs augmente.
  • Une bonne astuce consiste à chercher vector dev sur Google pour obtenir de bons résultats.
  • Récemment, une contribution a été ajoutée pour mieux gérer les compteurs comme alternative à Prometheus pushgateway.

• Vision et attentes autour des systèmes de stockage de logs

  • Un système de traitement et de stockage des logs est presque prêt, avec l’espoir qu’il évolue à moyen et long terme vers un système de stockage de logs interrogeable.
  • Les logs sont traités par des outils comme Vector puis stockés dans un object storage dans un format de fichier largement compris.
  • Les objets de logs sont enregistrés dans un magasin de métadonnées afin de pouvoir être recherchés.
  • Des outils comme Delta Lake ou Iceberg peuvent fonctionner aussi bien à grande qu’à petite échelle.
  • Plusieurs pipelines de traitement de logs peuvent valider leurs données dans le même stockage.
  • Des outils haute performance comme Clickhouse, DuckDB et Spark peuvent les lire.
  • L’utilisation de formats standard permet de changer d’outil ou d’en utiliser plusieurs en parallèle.

• Fiabilité et utilité de Vector

  • Vector est bien plus fiable que beats ou que des forwarders spécifiques à certains éditeurs (chronicle forwarder, fdr).
  • Vrl est utile pour « pré-parser » de gros volumes de logs comme aws cloudtrail et imperva abp.

• Expérience d’utilisation et recommandation de Vector

  • Une personne l’a déjà utilisé et estime que la configuration est simple, tandis que le langage vrl est suffisamment puissant.
  • La fonction check du CLI aide à détecter les problèmes de configuration.
  • Il n’y a pas de problème côté performances, et il est recommandé pour son efficacité en ressources.

• La polyvalence de Vector

  • Vector va bien au-delà du simple « haute performance » : c’est un véritable couteau suisse pour les logs et les métriques.
  • Il sert à convertir des logs en métriques, transformer des métriques dans d’autres formats, pousser les données vers d’autres stockages, les filtrer, etc.
  • C’est le premier choix pour collecter, agréger, filtrer et prétraiter des données d’observabilité.

• Intérêt et attentes autour de Vector

  • Une personne a découvert Vector après avoir mis en place un nouveau pipeline fluent-bit.
  • Vector semble avoir beaucoup de fonctionnalités intéressantes, et l’envie est de l’essayer plus tôt dès qu’il y aura du temps.
  • Cela pourrait être amusant à tester dans un nouveau projet.

• Champ d’application et potentiel de Vector

  • La plupart des exemples et discussions vus à propos de Vector visent des bases de données ou des applications multi-tenant complexes.
  • La question est de savoir si quelqu’un l’a déjà utilisé dans des systèmes distribués comme des véhicules autonomes pour agréger les logs d’exploitation, l’état des systèmes, ainsi que les entrées et sorties de chaque application.

• Cas d’usage réels et autres possibilités avec Vector

  • Une personne utilise Vector pour l’expédition de logs, en remplacement d’une configuration logstash qui n’arrivait pas à faire ce qu’il fallait.
  • Elle commence tout juste à entrevoir les possibilités de Vector et aimerait l’utiliser davantage.
  • Elle cherche des informations sur des usages de Vector au-delà de la simple expédition de logs.

• Problème de confiance vis-à-vis de Datadog

  • Il est difficile de faire confiance au fait que Datadog gère Vector, qui ressemble à un concurrent d’OTEL.

• Fonctionnalités de Vector et observation pour la suite

  • Vector est intéressant, mais il ne peut pas être utilisé pour le moment faute de fonctionnalités de tracing.
  • Le projet sera observé au cours des prochains mois, avec l’espoir qu’il apporte de bonnes fonctionnalités exploitables.