CRoM v1.0.2, toolkit open source - moins de consommation de tokens · vitesse améliorée · prévention de la dégradation des longues conversations

Je présente la nouvelle version v1.0.2 de CRoM (Context Rot Mitigation for Efficient LLMs), que j’ai créée moi-même et que je mets à jour régulièrement.

CRoM est un toolkit Python qui atténue les problèmes de Context Rot (flou des consignes, dérive du raisonnement, perte de mémoire) qui apparaissent dans les prompts longs, afin d’aider les LLM à exploiter le contexte de manière plus stable et plus efficace.

🔑 Fonctionnalités principales :
▫️Budget Packer : compresse de façon fiable uniquement le texte important dans la limite du budget de tokens
▫️Hybrid Reranker : réordonnancement de documents basé sur TF-IDF + embeddings denses
▫️Drift Estimator : surveillance des variations sémantiques entre les réponses
▫️Observability : monitoring basé sur les métriques Prometheus
▫️Extension par plugins : prise en charge de FlashRank, LLMLingua et Evidently
▫️Benchmarking : évaluation end-to-end et analyse des performances via CLI

📊 Dans la dernière version v1.0.2, sont inclus la correction d’ImportError et de SyntaxError, une meilleure cohérence de la gestion des versions, l’ajout de tests d’intégration (plus de 10 cas) et une validation des performances sur plus de 1 000 documents.

🔗 Liens
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️Histoire de création : https://medium.com/p/ab356e656d88