Implémentation TypeScript de LLMLingua-2

Projet open source qui porte de Python vers TypeScript LLMLingua, le « compresseur universel de prompts basé sur les LLM » développé par Microsoft, afin de pouvoir l’utiliser dans davantage d’environnements.

Qu’est-ce que LLMLingua ?

• GeekNews : « Microsoft LLMLingua - compresser les prompts pour accélérer l’inférence et réduire les coûts »
• Site officiel de LLMLingua-2
• Une implémentation officielle en Python est actuellement distribuée.

Implémentation TypeScript de LLMLingua-2

• Démo de compression de prompts (GitHub Pages)
  • JavaScript + React + Vite
  • Configuration requise pour tester la démo : un navigateur compatible WebGPU est nécessaire (Google Chrome sur Windows/macOS, etc.)
• Code source : disponible sur GitHub et HuggingFace
• Package (npm) : npm install @atjsh/llmlingua-2

Points forts

• Portage en TypeScript pur du pipeline LLMLingua-2 initialement écrit en Python
• Bibliothèques utilisées pour l’implémentation : js-tiktoken, transformer.js et TensorFlow.js
• La prise en charge de Node.js est en cours de développement supplémentaire (des tests sont toutefois déjà possibles)
• Open source sous licence MIT

Encore à un stade très précoce

• Certaines fonctionnalités comme use_context_level_filter, return_word_label, etc. ne sont pas encore implémentées
• Même la fonctionnalité centrale de compression de prompts peut encore comporter des parties incorrectement implémentées par rapport à LLMLingua-2 d’origine...