11 points par GN⁺ 2024-06-24 | 2 commentaires | Partager sur WhatsApp
  • Llama.ttf est à la fois un fichier de police et un grand modèle de langage (LLM) avec son moteur d’inférence
  • Harfbuzz, le moteur de façonnage de polices utilisé par Firefox/Chrome, permet de « façonner » du texte avec du code arbitraire via le shaper Wasm
    • Ce code « arbitraire » peut donc être un moteur d’inférence LLM complet, incluant les paramètres entraînés, capable par exemple d’initialiser un LLM et de l’utiliser pour générer du texte
    • Ici, le LLM utilisé est Llama, d’où le nom llama.ttf
  • En d’autres termes, il est possible d’exécuter un LLM avec cette police dans des applications basées sur Harfbuzz où Wasm est activé, afin de générer du texte, etc.
    • Pas besoin d’attendre qu’un éditeur implémente une fonction de type « Copilot » : tout s’exécute en local
    • Avec cette police, on peut même discuter avec la police
  • Mode d’emploi :
    • Téléchargez le fichier llama.ttf et utilisez-le comme n’importe quelle autre police
    • Compilez Harfbuzz avec Dwasm=enabled, compilez ensuite wasm-micro-runtime, ajoutez la bibliothèque partagée résultante à la variable d’environnement LD_PRELOAD, puis lancez une application basée sur Harfbuzz comme gedit ou GIMP
  • D’autres expérimentations amusantes autour des polices et des LLM sont également présentées

L’avis de GN⁺

  • llama.ttf propose une approche innovante permettant d’exécuter un LLM via un fichier de police.
  • L’exécution en local offre des avantages en matière de confidentialité et de performances.
  • Cela demande de bien comprendre Harfbuzz et Wasm, ce qui peut être un peu difficile pour les ingénieurs débutants.

2 commentaires

 
qyurila 2024-06-25

Dans le corps du texte, il n’y a rien d’écrit sous le sous-titre « Why? », ce qui est assez drôle 🤣

 
GN⁺ 2024-06-24
Commentaires sur Hacker News
  • Certains estiment qu’il serait bien d’avoir un programme TV hebdomadaire proposant du contenu étrange et amusant.
  • Présentation d’un projet qui, à l’image de Tetris transformé en police, intègre un LLM et un moteur de raisonnement dans une police afin de permettre de dialoguer ou d’écrire.
  • Le projet est jugé impressionnant, mais sa taille de fichier TTF de 280 Go et ses problèmes de compatibilité avec d’autres polices sont pointés du doigt.
  • Partage d’un lien vers un site web qui intègre un jeu dans une police.
  • Explication indiquant que le moteur Harfbuzz offre une fonctionnalité permettant de « façonner » le texte à l’aide d’un shaper Wasm.
  • Notification indiquant que le travail a été archivé, accompagnée de remerciements.
  • Quelqu’un espère qu’il sera possible de construire Harfbuzz et wasm-micro-runtime, puis de les ajouter à la variable d’environnement LD_PRELOAD pour faire facilement une démo.
  • Étonnement de ne jamais avoir imaginé un futur où les PDF pourraient dialoguer.
  • Avis selon lequel c’est la chose la plus cool vue cette semaine.
  • Question sur la raison pour laquelle la police génère toujours la même chaîne de caractères, alors qu’un LLM ne devrait-il pas produire un nouveau « raisonnement ».
  • Quelqu’un se demande s’il serait possible qu’une police génère automatiquement des styles de texte.