Hé, ordinateur, crée-moi une police

• Construction de FontoGen, un modèle de machine learning (ML) génératif pour la création de polices
• Le modèle prend en entrée une description de police et fournit en sortie un fichier de police
• L’auteur, inspiré par l’essor de l’IA en 2023, s’est mis à explorer la génération de SVG à partir de texte, ce qui lui a donné l’idée de la génération de polices
• Le modèle a été construit en s’appuyant sur l’article IconShop2, et il a été constaté qu’il était possible de générer des polices de manière similaire à la génération de SVG
• Le modèle est un modèle sequence-to-sequence entraîné sur une séquence où l’embedding de police suit l’embedding de texte
• Les embeddings de texte ont été générés à l’aide d’un modèle encodeur BERT préentraîné, et les embeddings de police en convertissant les polices en séquences de tokens
• Le modèle est un transformer auto-régressif à encodeur seul, composé de 16 couches et de 8 blocs, pour un total de 73,7 millions de paramètres
• L’auteur a utilisé l’attention BigBird3 pour se concentrer sur le prompt initial et observer les N tokens précédents afin de capturer le style de plusieurs glyphes antérieurs
• Le modèle a été entraîné sur un dataset unique de 71k polices dont les différents types de descriptions ont été résumés en quelques mots-clés à l’aide de GPT-3.5
• L’entraînement a duré 127 heures et a été interrompu lorsque la perte de validation ne s’améliorait presque plus
• L’auteur a triplé les performances en déplaçant autant que possible le travail vers l’étape de prétraitement du dataset
• L’auteur suggère des applications futures potentielles, comme l’intégration du modèle dans des éditeurs de polices existants afin de générer tous les autres glyphes à partir d’un seul glyphe créé par un designer

[dbgus2028]

Crée-moi une police mignonne

[GN⁺]

Avis Hacker News

• L’interpréteur de code de GPT-4 peut convertir des PNG noir et blanc de glyphes en SVG, ce qui peut être utilisé pour générer des polices en combinaison avec des modèles de génération d’images.
• Douglas Hofstadter, l’auteur de Gödel, Escher, Bach, pensait que la création de polices était impossible sans une IA générale.
• Le projet Letter Spirit vise à modéliser la créativité artistique en concevant des polices au style cohérent appelées « gridfonts », contraintes à une grille.
• Des inquiétudes subsistent quant à la précision des polices générées par des modèles de ML, avec des problèmes comme des lignes pas parfaitement parallèles et des angles qui ne sont pas exactement à 90 degrés.
• L’approche consistant à représenter les pixels comme des bins uniques de 150x150 n’est pas jugée idéale ; il est plutôt proposé d’utiliser un convnet et de suivre la sortie.
• Avec ce type d’approche, la création de nouvelles polices, en particulier de polices très stylisées, pourrait devenir plus réalisable.
• Le modèle est au format ckpt et non safetensor, ce qui peut influencer la décision de certains utilisateurs de l’essayer ou non.
• Malgré les difficultés des modèles de diffusion à dessiner du texte, cette méthode fonctionne bien pour cette application.