llama-tokenizer-js - Tokenizer LLaMA fonctionnant dans le navigateur

• Peut être utilisé pour calculer précisément les tokens côté client
• Facile à utiliser sous la forme d’un fichier unique sans aucune dépendance
• Compatible avec la plupart des modèles basés sur LLaMA
• Peut tokeniser environ 2 000 tokens en moins de 20 ms