σ-GPTs : une nouvelle approche des modèles autorégressifs

σ-GPTs : une nouvelle approche des modèles autorégressifs

Vue d’ensemble

• Les modèles autorégressifs (de la famille GPT) génèrent généralement les séquences dans un ordre fixe, le plus souvent de gauche à droite.
• Cet article montre qu’en ajoutant un encodage positionnel à la sortie, il est possible d’ajuster cet ordre dynamiquement pour chaque échantillon.
• Cela permet d’échantillonner et de conditionner des sous-ensembles arbitraires de tokens, ainsi que d’échantillonner dynamiquement plusieurs tokens à la fois selon une stratégie de rejet.
• En conséquence, le nombre d’évaluations du modèle peut être réduit de manière sous-linéaire.

Points clés

• Ajout d’un encodage positionnel : l’ajout d’un encodage positionnel à la sortie permet d’ajuster dynamiquement l’ordre de génération des séquences.
• Évaluation sur divers domaines : l’approche a été évaluée sur plusieurs domaines, notamment la modélisation du langage, la résolution de chemins et la prédiction de la vitesse verticale d’un avion.
• Gain d’efficacité : elle réussit à réduire d’un ordre de grandeur le nombre d’étapes nécessaires à la génération.

L’avis de GN⁺

• Innovation technique : en s’affranchissant de l’ordre fixe traditionnel, cette approche améliore nettement la flexibilité et l’efficacité du modèle grâce à un contrôle dynamique de l’ordre.
• Applications pratiques : les résultats obtenus dans plusieurs domaines suggèrent que cette approche présente un fort potentiel d’application concrète.
• Amélioration des performances : l’évaluation sous-linéaire du modèle peut permettre une amélioration significative des performances.
• Pistes de recherche futures : cette approche pourrait être appliquée à d’autres types de modèles ou à des problèmes plus complexes.
• Regard critique : l’ajustement dynamique de l’ordre ne garantit pas forcément des résultats optimaux dans toutes les situations. Des recherches et validations supplémentaires sont nécessaires.

[GN⁺]

Avis Hacker News

• Premier avis : l’auteur entraîne le modèle en mélangeant aléatoirement les tokens d’entrée et en ajoutant deux encodages positionnels. Cette modification simple permet au modèle de prédire les tokens en parallèle, indépendamment de leur ordre.
• Deuxième avis : cette recherche utilise une approche similaire à celle de l’article sur Taylorformer. Cela aide à prédire des processus continus comme les données de séries temporelles.
• Troisième avis : c’est regrettable que les travaux précédents ne soient pas cités. Cette recherche a déjà été présentée à l’ICML et compte environ 250 citations.
• Quatrième avis : ce concept semble similaire à la dynamique des modèles de génération d’images. L’idée qu’une structure générale apparaisse d’abord, puis que les détails se remplissent naturellement, paraît utile.
• Cinquième avis : il existe sur Twitter une vidéo montrant la génération de texte. (lien fourni)
• Sixième avis : j’aime beaucoup les fonctionnalités proposées par cet article. Cela semble permettre diverses expérimentations, comme la génération de JSON ou de descriptions d’une longueur donnée.
• Septième avis : cette approche semble particulièrement utile pour la génération de code informatique. La sortie actuelle peut varier en fonction de ce qui sera écrit plus tard.
• Huitième avis : on dirait une transposition de l’apprentissage des vision transformers aux transformers de langage. C’est similaire à la manière dont les modèles de vision découpent les images en tuiles et ajoutent un encodage positionnel.
• Neuvième avis : je me demande où se trouve le code. Je n’ai pas complètement compris la double position ni le mélange aléatoire. L’utilisation de concat pour l’encodage positionnel est intéressante.
• Dixième avis : BERT utilisait un masquage aléatoire dans la séquence, mais le temps reste séquentiel.