- Un langage qui permet de contrôler les modèles de langage plus efficacement que les prompts classiques.
- Basé sur des templates Handlebars, il permet de définir la structure et la méthode de sortie, ainsi que de contrôler le flux logique.
- Utilise un cache clé/valeur à l’intérieur du prompt et ne fait raisonner le modèle que sur les parties souhaitées, ce qui améliore les performances d’inférence.
- Va au-delà du simple contrôle de la structure de sortie et peut même garantir une syntaxe valide, comme du JSON.
- Prend en charge une intégration facile avec les modèles HuggingFace.
3 commentaires
À première vue, cela semble plus flexible et plus facile à utiliser que LMQL, mais j’aimerais bien avoir des retours de personnes qui l’ont réellement utilisé.
Très utile. Ce serait vraiment bien s’il existait une version portée sur Node.js.
Il y a beaucoup d’exemples dans le dépôt, et rien qu’en les parcourant, c’est déjà assez fascinant.
En particulier, dans les cas où une sortie structurée est nécessaire, le fait de faire en sorte que le LLM ne génère que la partie contenu, plutôt que l’ensemble, afin de réduire de moitié le temps de raisonnement, me paraît très pertinent.