Le nouveau modèle de texte prédictif d’Apple, basé sur un « Transformer »

• Apple annonce une nouvelle fonctionnalité pour iOS et macOS exploitant un modèle de langage Transformer : fournir des suggestions de texte prédictif pendant que l’utilisateur tape
• L’un des premiers modèles basés sur un Transformer qu’Apple reconnaît publiquement, et qui doit être intégré au système d’exploitation
• Une fonction similaire à la saisie semi-automatique de Gmail, capable de compléter des mots individuels et parfois de suggérer plus de deux mots à la fois
• Le modèle de texte prédictif a été découvert dans AppleSpell, une application interne de macOS qui vérifie les fautes d’orthographe et de grammaire pendant la saisie
• Le modèle se trouve dans /System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle, qui contient plusieurs fichiers de modèle Espresso utilisés pendant la saisie
• Le vocabulaire du modèle de texte prédictif se compose de 15 000 tokens, y compris des tokens spéciaux, des abréviations et des émojis
• L’architecture du modèle de texte prédictif semble basée sur GPT-2, avec des embeddings de tokens, un encodage positionnel, une série de blocs de décodeur et une couche de sortie
• Le modèle de texte prédictif d’Apple compte environ 34 millions de paramètres et 512 unités cachées, ce qui le rend bien plus petit que la plus petite version de GPT-2
• Grâce à sa petite taille, le modèle peut être exécuté rapidement et fréquemment sans trop consommer la batterie de l’appareil, améliorant ainsi l’expérience utilisateur
• En raison de ses limites de taille, il manque de capacités pour rédiger des phrases ou des paragraphes entiers, mais il est suffisamment performant pour proposer le mot suivant, ou parfois les deux suivants, lorsqu’il en a une forte certitude
• Pour celles et ceux qui veulent tester directement la fonctionnalité de texte prédictif, l’auteur fournit un script sur GitHub

[GN⁺]

Avis Hacker News

• L’auteur du billet se dit surpris que son article soit populaire sur Hacker News et indique qu’il répondra aux questions à ce sujet.
• Certains utilisateurs se demandent si le nouveau modèle de texte prédictif d’Apple est meilleur que GPT2, ce dernier ayant tendance à générer du texte hors sujet à partir de la saisie de l’utilisateur.
• Il existe un débat sur la question de savoir si un modèle de texte prédictif doit générer des phrases complètes ou simplement prédire ce que l’utilisateur a l’intention de taper.
• Le réglage de température, qui contrôle la probabilité de choisir des tokens autres que la prédiction principale, n’a pas été mentionné dans les tests. Ce paramètre peut influencer la créativité et la répétitivité des sorties du modèle.
• Certains utilisateurs ont découvert que unilm.bundle était le nouveau modèle de prédiction de texte en observant les logs de la console du simulateur iOS.
• Des spéculations existent sur le fait que les futures versions du modèle d’Apple pourraient passer à un modèle plus petit entraîné sur des données de meilleure qualité, ainsi que sur la possibilité qu’Apple développe sa propre version de Copilot pour Xcode.
• Certains utilisateurs estiment que si l’objectif du texte prédictif est d’accélérer la saisie, l’interface de saisie elle-même peut devenir le goulot d’étranglement, ce qui suggère la nécessité de moyens permettant de saisir du texte plus rapidement.
• Le déploiement de l’IA est également discuté, certains utilisateurs suggérant que l’IA devrait être utilisée pour accomplir de petites tâches fiables plutôt que d’être vendue comme une solution end-to-end.
• Des questions ont été soulevées quant à la capacité du nouveau modèle de texte prédictif à s’améliorer à partir de l’expérience ou de l’historique iMessage.
• Le terme UnilmCtrl est supposé suggérer une dépendance au modèle CTRL de Socher, mais cela n’a pas été confirmé. Certains utilisateurs affirment qu’ils respecteraient davantage Apple si l’entreprise travaillait depuis plus longtemps dans le domaine du NLP.