tiktoken - Le tokenizer d’OpenAI
(github.com/openai)- Un tokenizer BPE (Byte Pair Encoding) rapide conçu pour être utilisé avec les modèles d’OpenAI
- 3 à 6 fois plus rapide que les tokenizers existants (Huggingface)
- Installable via PyPI
- Open source en Python + Rust
Aucun commentaire pour le moment.