- Un DataDog + PostHog pour les apps LLM, conçu pour être rapide, fiable et extensible
- Permet de tracer, évaluer, annoter et analyser les données LLM
- Une stack basée sur Rust, composée de RabbitMQ (file de messages) + Postgres (stockage) + Clickhouse (analyse) + Qdrant (recherche sémantique)
Ce qui distingue Laminar
- Met l’accent non seulement sur les appels LLM, mais aussi sur le traitement des traces d’exécution complètes (
execution trace)
- Instrumentation basée sur OpenTelemetry : avec seulement 2 lignes de code + un décorateur, exécute automatiquement les appels LLM/base de données vectorielle et trace les fonctions
- Construction d’un collecteur Rust pour les spans OpenTelemetry (Otel) à l’aide des conventions sémantiques GenAI
- Analyse basée sur des événements sémantiques
- Laminar héberge la file de tâches en arrière-plan des pipelines LLM, et les sorties du pipeline sont converties en métriques
- Permet de suivre des « métriques sémantiques » (comme ce que dit réellement un agent IA) et de les relier à l’endroit où elles se produisent dans une trace
- Sépare la logique métier principale de l’app du traitement des événements LLM
Pipeline Builder
- Utilise une interface graphique en graphe où les LLM et les fonctions utilitaires sont représentés comme des nœuds, et les flux de données comme des arêtes
- A construit un moteur d’exécution de tâches personnalisé prenant en charge l’exécution de branches en parallèle, les cycles et les branches
- Les pipelines peuvent être appelés directement comme endpoints d’API
- Laminar trace directement les pipelines afin d’éliminer le surcoût lié à la transmission de gros volumes de sorties sur le réseau
Fonction de recherche dans les traces
- Indexe chaque span dans une base de données vectorielle et effectue une recherche hybride au moment de la requête
- Cette fonctionnalité est encore en bêta, mais deviendra à l’avenir une partie importante de la plateforme
Fonction d’évaluation
- Adopte l’approche de Braintrust et Weights & Biases consistant à « tout exécuter en local puis envoyer les résultats au serveur »
- Permet de tout suivre avec un SDK simple et un bon tableau de bord
- La fonction d’évaluation en est encore à ses débuts, mais elle est activement développée
Objectif de Laminar
- Devenir la « Supabase du LLMOps », une plateforme open source standard et complète pour tout ce qui touche aux LLM/GenAI
Aucun commentaire pour le moment.