- Llama.ttf est à la fois un fichier de police et un grand modèle de langage (LLM) avec son moteur d’inférence
- Harfbuzz, le moteur de façonnage de polices utilisé par Firefox/Chrome, permet de « façonner » du texte avec du code arbitraire via le shaper Wasm
- Ce code « arbitraire » peut donc être un moteur d’inférence LLM complet, incluant les paramètres entraînés, capable par exemple d’initialiser un LLM et de l’utiliser pour générer du texte
- Ici, le LLM utilisé est Llama, d’où le nom
llama.ttf
- En d’autres termes, il est possible d’exécuter un LLM avec cette police dans des applications basées sur Harfbuzz où Wasm est activé, afin de générer du texte, etc.
- Pas besoin d’attendre qu’un éditeur implémente une fonction de type « Copilot » : tout s’exécute en local
- Avec cette police, on peut même discuter avec la police
- Mode d’emploi :
- Téléchargez le fichier
llama.ttf et utilisez-le comme n’importe quelle autre police
- Compilez Harfbuzz avec
Dwasm=enabled, compilez ensuite wasm-micro-runtime, ajoutez la bibliothèque partagée résultante à la variable d’environnement LD_PRELOAD, puis lancez une application basée sur Harfbuzz comme gedit ou GIMP
- D’autres expérimentations amusantes autour des polices et des LLM sont également présentées
L’avis de GN⁺
- llama.ttf propose une approche innovante permettant d’exécuter un LLM via un fichier de police.
- L’exécution en local offre des avantages en matière de confidentialité et de performances.
- Cela demande de bien comprendre Harfbuzz et Wasm, ce qui peut être un peu difficile pour les ingénieurs débutants.
2 commentaires
Dans le corps du texte, il n’y a rien d’écrit sous le sous-titre « Why? », ce qui est assez drôle 🤣
Commentaires sur Hacker News