[2024/06/03 ~ 06/09] Principaux articles ML de la semaine (Top ML Papers of the Week)
(discuss.pytorch.kr)-
Nous avons traduit automatiquement les articles sur les publications ML publiés chaque semaine par DAIR.AI.
-
En regardant les articles sélectionnés cette semaine, on constate qu’une majorité d’entre eux se concentre sur les grands modèles de langage (LLMs). Plus précisément, ils peuvent être résumés comme des travaux sur l’extraction de concepts à partir des grands modèles de langage (Extracting Concepts from GPT-4), l’amélioration de l’efficacité (MatMul-free LLMs), la compréhension du processus de réflexion des modèles (Buffer of Thoughts), la structure géométrique des LLMs (The Geometry of Concepts in LLMs) et leur alignement (Aligning LLMs with Demonstrated Feedback, Towards Scalable Automated Alignment of LLMs). Ces thèmes reflètent les centres d’intérêt actuels du domaine de l’IA autour de la compréhension, de l’amélioration et des possibilités d’application des LLMs. Même sans entrer en détail dans le contenu de chaque article, les titres suffisent déjà à saisir les tendances récentes de la recherche.
-
Cette tendance peut s’expliquer par plusieurs raisons. D’abord, après le succès de grands modèles de langage comme GPT-4, l’intérêt pour ces modèles a explosé dans la recherche en IA. Ces modèles jouent un rôle essentiel non seulement en traitement automatique du langage naturel (NLP), mais aussi pour atteindre des performances de niveau humain dans divers travaux cognitifs. Ensuite, la compréhension et les progrès des LLMs ouvrent des opportunités pour développer des systèmes d’IA capables d’exécuter des tâches plus complexes et plus créatives. Enfin, ces recherches peuvent contribuer à faire progresser les techniques permettant de comprendre et de contrôler le comportement des modèles, ce qui est indispensable pour renforcer la sûreté et l’usage éthique de l’IA. En conséquence, les articles retenus cette semaine reflètent les recherches et expérimentations en cours à la pointe du progrès des technologies d’IA, en particulier des grands modèles de langage.
NLLB : étendre la traduction automatique neuronale à 200 langues / Scaling neural machine translation to 200 languages
Présentation de l’article
Les auteurs proposent un vaste modèle multilingue exploitant le transfer learning sur 200 langues, fondé sur une architecture de mixture of experts à portes clairsemées, entraîné sur des données au moyen d’une approche adaptée aux langues à faibles ressources, et évalué sur 40 000 traductions, avec une amélioration moyenne de 44 % de la qualité de traduction.
Proposes a massive multilingual model that leverages transfer learning across 200 languages; it’s based on a sparsely Gated Mixture of Experts architecture and trained on data via an approach tailored for low-resource languages; evaluates on 40K translations and achieves an average of 44% improvement in translation quality.
Résumé de l’article (Abstract)
Les avancées des techniques neuronales ont ouvert de nouvelles voies de recherche en traduction automatique. Aujourd’hui, les systèmes de traduction automatique neuronale (NMT) peuvent exploiter des capacités hautement multilingues et même effectuer de la traduction zero-shot, offrant des résultats prometteurs en matière de couverture linguistique et de qualité. Cependant, étendre une NMT de qualité nécessite de grands volumes de données bilingues parallèles, qui ne sont pas disponibles de manière équivalente pour les plus de 7 000 langues du monde. Se concentrer sur l’amélioration de la qualité de traduction d’un groupe relativement restreint de langues à fortes ressources se fait au détriment de l’attention portée aux langues à faibles ressources, ce qui risque d’aggraver à long terme les inégalités numériques. Pour rompre avec cette dynamique, nous présentons ici No Language Left Behind (NLLB), un modèle multilingue massif unique qui exploite le transfer learning entre les langues. Nous avons développé un modèle de calcul conditionnel fondé sur l’architecture Sparsely Gated Mixture of Experts, entraîné sur des données obtenues grâce à de nouvelles techniques de mining adaptées aux langues à faibles ressources. En outre, nous avons conçu plusieurs améliorations architecturales et d’entraînement pour lutter contre le surapprentissage lors de l’apprentissage de milliers de tâches. Nous avons évalué les performances de notre modèle sur plus de 40 000 directions de traduction à l’aide d’outils développés spécialement à cet effet : un benchmark automatique (FLORES-200), une métrique d’évaluation humaine (XSTS) et un détecteur de toxicité couvrant toutes les langues de notre modèle. Comparé aux précédents modèles de pointe, notre modèle obtient une amélioration moyenne de 44 % de la qualité de traduction mesurée par BLEU. En montrant comment étendre la NMT à 200 langues et en rendant librement disponibles à des fins non commerciales toutes les contributions liées à cet effort, notre travail pose des bases importantes pour le développement d’un système de traduction universel.
The development of neural techniques has opened up new avenues for research in machine translation. Today, neural machine translation (NMT) systems can leverage highly multilingual capacities and even perform zero-shot translation, delivering promising results in terms of language coverage and quality. However, scaling quality NMT requires large volumes of parallel bilingual data, which are not equally available for the 7,000+ languages in the world. Focusing on improving the translation qualities of a relatively small group of high-resource languages comes at the expense of directing research attention to low-resource languages, exacerbating digital inequities in the long run. To break this pattern, here we introduce No Language Left Behind—a single massively multilingual model that leverages transfer learning across languages. We developed a conditional computational model based on the Sparsely Gated Mixture of Experts architecture, which we trained on data obtained with new mining techniques tailored for low-resource languages. Furthermore, we devised multiple architectural and training improvements to counteract overfitting while training on thousands of tasks. We evaluated the performance of our model over 40,000 translation directions using tools created specifically for this purpose—an automatic benchmark (FLORES-200), a human evaluation metric (XSTS) and a toxicity detector that covers every language in our model. Compared with the previous state-of-the-art models, our model achieves an average of 44% improvement in translation quality as measured by BLEU. By demonstrating how to scale NMT to 200 languages and making all contributions in this effort freely available for non-commercial use, our work lays important groundwork for the development of a universal translation system.
Lien vers l’article
https://www.nature.com/articles/s41586-024-07335-x
Pour aller plus loin
https://github.com/facebookresearch/fairseq/tree/nllb
https://x.com/AIatMeta/status/1798420492774432769
Extraire des concepts à partir de GPT-4 / Extracting Concepts from GPT-4
Présentation de la recherche
Propose une nouvelle méthode scalable basée sur des sparse autoencoders pour extraire environ 16 millions de motifs interprétables à partir de GPT-4 ; la méthode montre une scalabilité prévisible et est plus efficace que les techniques précédentes.
> Proposes a new scalable method based on sparse autoencoders to extract around 16 million interpretable patterns from GPT-4; the method demonstrates predictable scaling and is more efficient than previous techniques.
Résumé de l’article
Les SAE (Sparse AutoEncoder, autoencodeurs clairsemés) offrent une approche non supervisée prometteuse pour extraire des caractéristiques interprétables à partir d’un modèle de langage en reconstruisant les activations depuis une couche goulot d’étranglement clairsemée. Comme les modèles de langage apprennent de nombreux concepts, les autoencodeurs doivent être très grands pour récupérer toutes les caractéristiques pertinentes. Cependant, il est difficile d’étudier les propriétés de passage à l’échelle des autoencodeurs en raison de la nécessité d’équilibrer les objectifs de reconstruction et de parcimonie, ainsi que de la présence de latents morts. Nous proposons d’utiliser des k-sparse autoencoders [Makhzani and Frey, 2013] pour contrôler directement la parcimonie, simplifier le réglage et améliorer le compromis reconstruction-parcimonie. En outre, nous avons identifié des modifications qui entraînent très peu de latents morts, même aux plus grandes échelles testées. Grâce à ces techniques, nous observons des lois de passage à l’échelle nettes en fonction de la taille de l’autoencodeur et de la parcimonie. Nous introduisons également plusieurs nouvelles métriques pour évaluer la qualité des caractéristiques, fondées sur la récupération de caractéristiques hypothétiques, l’explicabilité des schémas d’activation et la parcimonie des effets en aval. Toutes ces métriques s’améliorent généralement avec la taille de l’autoencodeur. Pour démontrer la scalabilité de notre approche, nous entraînons un autoencodeur à 16 millions de latents sur les activations de GPT-4 pour 40 milliards de tokens. Nous publions le code et les autoencodeurs pour les modèles open source, ainsi qu’un visualiseur.
> Sparse autoencoders provide a promising unsupervised approach for extracting interpretable features from a language model by reconstructing activations from a sparse bottleneck layer. Since language models learn many concepts, autoencoders need to be very large to recover all relevant features. However, studying the properties of autoencoder scaling is difficult due to the need to balance reconstruction and sparsity objectives and the presence of dead latents. We propose using k-sparse autoencoders [Makhzani and Frey, 2013] to directly control sparsity, simplifying tuning and improving the reconstruction-sparsity frontier. Additionally, we find modifications that result in few dead latents, even at the largest scales we tried. Using these techniques, we find clean scaling laws with respect to autoencoder size and sparsity. We also introduce several new metrics for evaluating feature quality based on the recovery of hypothesized features, the explainability of activation patterns, and the sparsity of downstream effects. These metrics all generally improve with autoencoder size. To demonstrate the scalability of our approach, we train a 16 million latent autoencoder on GPT-4 activations for 40 billion tokens. We release code and autoencoders for open-source models, as well as a visualizer.
Liens de l’étude et de l’article
https://openai.com/index/extracting-concepts-from-gpt-4/
https://cdn.openai.com/papers/sparse-autoencoders.pdf
Pour aller plus loin
https://github.com/openai/sparse_autoencoder
https://openaipublic.blob.core.windows.net/sparse-autoencoder/…
https://x.com/OpenAI/status/1798762092528586945
Les Transformers sont des SSM : modèles généralisés et algorithmes efficaces grâce à la dualité structurée des espaces d’état / Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
Présentation de l’article
Une nouvelle architecture qui combine des state space models (SSM) et une attention structurée ; elle utilise des états 8 fois plus grands et s’entraîne 50 % plus vite ; la nouvelle couche de dualité des espaces d’état est plus efficace et plus scalable que l’approche utilisée dans Mamba ; elle améliore aussi les résultats sur les tâches qui nécessitent une grande capacité d’état.
> A new architecture that combines state space models (SSMs) and structured attention; it uses 8x larger states and trains 50% faster; the new state space duality layer is more efficient and scalable compared to the approach used in Mamba; it also improves results on tasks that require large state capacity.
Résumé de l’article (Abstract)
Les Transformers ont été l’architecture principale derrière le succès du deep learning en modélisation du langage, mais récemment, des state space models (SSM) comme Mamba ont montré des performances comparables, voire supérieures, à celles des Transformers à petite et moyenne échelle. Nous montrons que ces familles de modèles sont en réalité étroitement liées, et développons un cadre riche de connexions théoriques entre les SSM et des variantes de l’attention, reliés via diverses décompositions d’une classe bien étudiée de matrices semi-séparables structurées. Notre cadre de state space duality (SSD) nous permet de concevoir une nouvelle architecture (Mamba-2) dont la couche centrale est un raffinement du SSM sélectif de Mamba, 2 à 8 fois plus rapide, tout en restant compétitive face aux Transformers en modélisation du langage.
> While Transformers have been the main architecture behind deep learning's success in language modeling, state-space models (SSMs) such as Mamba have recently been shown to match or outperform Transformers at small to medium scale. We show that these families of models are actually quite closely related, and develop a rich framework of theoretical connections between SSMs and variants of attention, connected through various decompositions of a well-studied class of structured semiseparable matrices. Our state space duality (SSD) framework allows us to design a new architecture (Mamba-2) whose core layer is an a refinement of Mamba's selective SSM that is 2-8X faster, while continuing to be competitive with Transformers on language modeling.
Lien de l’article
https://arxiv.org/abs/2405.21060
Pour aller plus loin
https://x.com/_albertgu/status/1797651223035904355
Modélisation du langage scalable sans multiplication de matrices (MatMul) / Scalable MatMul-free Language Modeling
Présentation de l’article
Les auteurs proposent une implémentation qui élimine les opérations de multiplication de matrices dans les LLM tout en conservant les performances à l’échelle du milliard de paramètres, et affirment que l’écart de performance entre les Transformers en pleine précision et les modèles sans MatMul se réduit à mesure que la taille du modèle augmente, tandis que l’utilisation de kernels optimisés en inférence permet de réduire la consommation mémoire de plus de 10x.
> Proposes an implementation that eliminates matrix multiplication operations from LLMs while maintaining performance at billion-parameter scales; the performance between full precision Transformers and the MatMul-free models narrows as the model size increases; claims that by using an optimized kernel during inference, memory consumption is reduced by more than 10x.
Résumé de l’article (Abstract)
En général, la multiplication de matrices (MatMul) domine le coût de calcul total des grands modèles de langage (LLM). Ce coût ne fait qu’augmenter à mesure que les LLM s’étendent à des dimensions d’embedding et des longueurs de contexte plus importantes. Dans ce travail, nous montrons qu’il est possible d’éliminer complètement les opérations MatMul des LLM tout en maintenant de solides performances à l’échelle du milliard de paramètres. Nos expériences montrent que les modèles sans MatMul que nous proposons atteignent des performances comparables à celles des Transformers de pointe, qui nécessitent bien davantage de mémoire en inférence, jusqu’à une échelle d’au moins 2,7 milliards de paramètres. En étudiant les lois d’échelle, nous constatons que l’écart de performance entre nos modèles sans MatMul et les Transformers en pleine précision se réduit à mesure que la taille du modèle augmente. Nous proposons également une implémentation efficace sur GPU de ce modèle, qui réduit l’utilisation mémoire jusqu’à 61 % par rapport à une baseline non optimisée pendant l’entraînement. En exploitant un kernel optimisé pendant l’inférence, la consommation mémoire de notre modèle peut être réduite de plus de 10x par rapport à des modèles non optimisés. Afin de quantifier correctement l’efficacité de notre architecture, nous avons construit sur FPGA une solution matérielle sur mesure qui exploite des opérations légères allant au-delà de ce que les GPU sont capables de faire. Nous avons traité des modèles à l’échelle du milliard de paramètres à 13 W, avec un débit au-delà de la vitesse lisible par un humain, rapprochant ainsi les LLM d’une efficacité de type cérébrale. Ce travail montre non seulement jusqu’où il est possible d’alléger les LLM tout en conservant des performances efficaces, mais indique aussi les types d’opérations que les futurs accélérateurs devront optimiser pour traiter la prochaine génération de LLM légers. L’implémentation du code est disponible sur \url{https://github.com/ridgerchu/matmulfreellm}.
> Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong performance at billion-parameter scales. Our experiments show that our proposed MatMul-free models achieve performance on-par with state-of-the-art Transformers that require far more memory during inference at a scale up to at least 2.7B parameters. We investigate the scaling laws and find that the performance gap between our MatMul-free models and full precision Transformers narrows as the model size increases. We also provide a GPU-efficient implementation of this model which reduces memory usage by up to 61% over an unoptimized baseline during training. By utilizing an optimized kernel during inference, our model's memory consumption can be reduced by more than 10x compared to unoptimized models. To properly quantify the efficiency of our architecture, we build a custom hardware solution on an FPGA which exploits lightweight operations beyond what GPUs are capable of. We processed billion-parameter scale models at 13W beyond human readable throughput, moving LLMs closer to brain-like efficiency. This work not only shows how far LLMs can be stripped back while still performing effectively, but also points at the types of operations future accelerators should be optimized for in processing the next generation of lightweight LLMs. Our code implementation is available at \url{https://github.com/ridgerchu/matmulfreellm}.
Lien vers l’article
https://arxiv.org/abs/2406.02528
Pour aller plus loin
https://github.com/ridgerchu/matmulfreellm
https://x.com/omarsar0/status/1798373841741185261
Buffer of Thoughts : raisonnement augmenté par la pensée avec les grands modèles de langage / Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models
Présentation de l’article
Les auteurs présentent une approche de raisonnement augmenté par la pensée visant à améliorer la précision, l’efficacité et la robustesse du raisonnement basé sur les LLM. Elle s’appuie sur un méta-buffer contenant des pensées de haut niveau (modèles de pensée) distillées à partir de processus de résolution de problèmes, récupère ensuite le modèle de pensée pertinent, puis l’instancie avec des structures de raisonnement spécifiques à la tâche pour le processus de raisonnement augmenté. La méthode démontre des performances SOTA sur 10 tâches difficiles tout en ne nécessitant que 12 % du coût de méthodes de prompting multi-requêtes comme Tree-of-Thoughts.
> Presents a thought-augmented reasoning approach to enhance the accuracy, efficiency, and robustness of LLM-based reasoning; it leverages a meta-buffer containing high-level thoughts (thought templates) distilled from problem-solving processes; the relevant thought template is then retrieved and instantiated with task-specific reasoning structures for the thought-augmented reasoning process; it demonstrates SOTA performance on 10 challenging tasks while requiring 12% of the cost of multi-query prompting methods like Tree-of-Thoughts.
Résumé de l’article (Abstract)
Nous présentons Buffer of Thoughts (BoT), une nouvelle approche de raisonnement augmentée par la pensée, polyvalente, visant à améliorer la précision, l’efficacité et la robustesse des grands modèles de langage (LLM). Plus précisément, nous proposons un méta-buffer pour stocker une série de pensées informatives de haut niveau, appelées modèles de pensée, distillées à partir des processus de résolution de problèmes sur diverses tâches. Ensuite, pour chaque problème, nous récupérons un modèle de pensée pertinent et l’instancions de manière adaptative avec des structures de raisonnement spécifiques afin d’effectuer un raisonnement efficace. Pour garantir l’évolutivité et la stabilité, nous proposons en outre un gestionnaire de buffer chargé de mettre à jour dynamiquement le méta-buffer, augmentant ainsi sa capacité à mesure que davantage de tâches sont résolues. Des expériences approfondies sur 10 tâches complexes à forte intensité de raisonnement montrent des gains de performance significatifs par rapport aux méthodes SOTA précédentes : 11 % sur Game of 24, 20 % sur Geometric Shapes et 51 % sur Checkmate-in-One. Une analyse complémentaire démontre la capacité de généralisation supérieure et la robustesse du modèle avec BoT, tout en ne nécessitant en moyenne que 12 % du coût des méthodes de prompting multi-requête (par ex. tree/graph of thoughts). Nous constatons notamment que notre Llama3-8B+BoT a le potentiel de dépasser le modèle Llama3-70B. Le projet est disponible ici : https://github.com/YangLing0818/buffer-of-thought-llm
> We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm
Lien vers l’article
https://arxiv.org/abs/2406.04271
Pour aller plus loin
https://github.com/YangLing0818/buffer-of-thought-llm
https://x.com/omarsar0/status/1799113545696567416
SaySelf : entraîner les LLM à exprimer leur confiance avec des justifications auto-réflexives / SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales
Présentation de l’article
Il s’agit d’un cadre d’entraînement qui apprend aux LLM à exprimer des estimations de confiance granulaires plus précises ainsi que des justifications auto-réflexives ; il effectue un fine-tuning supervisé sur un jeu de données contenant des résumés des différences entre plusieurs chaînes de raisonnement, puis applique l’apprentissage par renforcement pour calibrer les estimations de confiance, en encourageant le LLM à produire des prédictions exactes avec un haut niveau de confiance et en pénalisant l’excès de confiance sur les sorties erronées.
> A training framework to teach LLMs to express more accurate fine-grained confidence estimates and self-reflective rationales; it performs supervised finetuning on a dataset that contains summaries of the difference between multiple reasoning chains; reinforcement learning is then applied to calibrate confidence estimates, encouraging the LLM to produce accurate, high-confidence predictions and penalize overconfidence in erroneous outputs.
Résumé (Abstract)
Les grands modèles de langage (LLM) génèrent souvent des informations inexactes ou fabriquées et n’indiquent généralement pas leur niveau de confiance, ce qui limite souvent leur adoption à grande échelle. Des travaux antérieurs ont cherché à faire exprimer une confiance par les LLM au moyen de prompts directs ou basés sur l’auto-cohérence, ou en construisant des jeux de données spécifiques pour le fine-tuning supervisé. Les approches fondées sur les prompts offrent des performances inférieures, et les approches fondées sur l’entraînement se limitent à des estimations de confiance binaires ou imprécises au niveau des groupes. Cette étude présente SaySelf avancé, un cadre d’entraînement qui apprend aux LLM à exprimer des estimations de confiance plus précises et plus fines. En plus des scores de confiance, SaySelf lance également un processus qui pousse les LLM à produire des justifications auto-réflexives identifiant clairement les lacunes de leurs connaissances paramétriques et expliquant leur incertitude. Cela est rendu possible en utilisant un LLM pour résumer automatiquement, en langage naturel, les incertitudes liées à des connaissances spécifiques. Le résumé repose sur l’analyse des incohérences entre plusieurs chaînes de raisonnement échantillonnées, et les données obtenues sont utilisées pour le fine-tuning supervisé. En outre, l’apprentissage par renforcement est utilisé avec une fonction de récompense soigneusement conçue afin de calibrer les estimations de confiance, ce qui incite les LLM à fournir des prédictions exactes avec un haut niveau de confiance et pénalise l’excès de confiance dans les sorties erronées. Les résultats expérimentaux sur des jeux de données in-distribution et out-of-distribution montrent que SaySelf est efficace pour réduire l’erreur de calibration de la confiance tout en maintenant les performances sur les tâches. Ils montrent également que les justifications auto-réflexives générées sont raisonnables et peuvent contribuer davantage à la calibration. Le code est disponible à l’adresse https://github.com/xu1868/SaySelf.
> Large language models (LLMs) often generate inaccurate or fabricated information and generally fail to indicate their confidence, which limits their broader applications. Previous work elicits confidence from LLMs by direct or self-consistency prompting, or constructing specific datasets for supervised finetuning. The prompting-based approaches have inferior performance, and the training-based approaches are limited to binary or inaccurate group-level confidence estimates. In this work, we present the advanced SaySelf, a training framework that teaches LLMs to express more accurate fine-grained confidence estimates. In addition, beyond the confidence scores, SaySelf initiates the process of directing LLMs to produce self-reflective rationales that clearly identify gaps in their parametric knowledge and explain their uncertainty. This is achieved by using an LLM to automatically summarize the uncertainties in specific knowledge via natural language. The summarization is based on the analysis of the inconsistency in multiple sampled reasoning chains, and the resulting data is utilized for supervised fine-tuning. Moreover, we utilize reinforcement learning with a meticulously crafted reward function to calibrate the confidence estimates, motivating LLMs to deliver accurate, high-confidence predictions and to penalize overconfidence in erroneous outputs. Experimental results in both in-distribution and out-of-distribution datasets demonstrate the effectiveness of SaySelf in reducing the confidence calibration error and maintaining the task performance. We show that the generated self-reflective rationales are reasonable and can further contribute to the calibration. The code is made public at https://github.com/xu1868/SaySelf.
Lien vers l’article
https://arxiv.org/abs/2405.20974
Pour aller plus loin
https://github.com/xu1868/SaySelf
https://x.com/omarsar0/status/1797682549608833477
Géométrie des concepts catégoriels et hiérarchiques dans les grands modèles de langage / The Geometry of Categorical and Hierarchical Concepts in Large Language Models
Présentation de l’article
Cette étude analyse la structure géométrique des concepts catégoriels et la manière dont leurs relations hiérarchiques sont encodées dans les LLM, et montre que les concepts catégoriels simples sont représentés par des simplexes, tandis que les concepts complexes sont représentés par des polytopes construits comme des sommes directes de simplexes reflétant la structure hiérarchique.
> Studies the geometry of categorical concepts and how the hierarchical relations between them are encoded in LLMs; finds that simple categorical concepts are represented as simplices by the LLMs and complex concepts are represented as polytopes constructed from direct sums of simplices, which reflect the hierarchical structure.
Résumé(Abstract)
Comprendre comment le sens sémantique est encodé dans les espaces de représentation des grands modèles de langage est un problème fondamental de l’interprétabilité. Cet article étudie deux questions fondamentales dans ce domaine. Premièrement, comment les concepts catégoriels, tels que {'mammifère', 'oiseau', 'reptile', 'poisson'}, sont-ils représentés ? Deuxièmement, comment les relations hiérarchiques entre concepts sont-elles encodées ? Par exemple, comment le fait qu’un « chien » soit une sorte de « mammifère » est-il encodé ? Pour répondre à ces questions, les auteurs montrent comment étendre l’hypothèse de représentation linéaire. Ils mettent en évidence une structure remarquablement simple : les concepts catégoriels simples sont représentés comme des simplexes, les concepts liés hiérarchiquement sont orthogonaux dans un sens qu’ils précisent, et, par conséquent, les concepts complexes sont représentés comme des polytopes construits à partir de sommes directes de simplexes, reflétant la structure hiérarchique. Ces résultats théoriques sont validés sur le grand modèle de langage Gemma, en estimant les représentations de 957 concepts liés hiérarchiquement à l’aide de données issues de WordNet.
> Understanding how semantic meaning is encoded in the representation spaces of large language models is a fundamental problem in interpretability. In this paper, we study the two foundational questions in this area. First, how are categorical concepts, such as {'mammal', 'bird', 'reptile', 'fish'}, represented? Second, how are hierarchical relations between concepts encoded? For example, how is the fact that 'dog' is a kind of 'mammal' encoded? We show how to extend the linear representation hypothesis to answer these questions. We find a remarkably simple structure: simple categorical concepts are represented as simplices, hierarchically related concepts are orthogonal in a sense we make precise, and (in consequence) complex concepts are represented as polytopes constructed from direct sums of simplices, reflecting the hierarchical structure. We validate these theoretical results on the Gemma large language model, estimating representations for 957 hierarchically related concepts using data from WordNet.
Lien vers l’article
https://arxiv.org/abs/2406.01506
Pour aller plus loin
https://x.com/omarsar0/status/1798010546522103898
Montrer sans dire : aligner les modèles de langage sur des retours démontrés / Show, Don't Tell: Aligning Language Models with Demonstrated Feedback
Présentation de l’article
Les auteurs proposent une méthode pour aligner les LLM sur un contexte spécifique à partir d’un très petit nombre de démonstrations comme feedback ; elle aligne les sorties des LLM sur les comportements démontrés par l’utilisateur, peut apprendre un alignement fin du style et des tâches dans plusieurs domaines, et surpasse le few-shot prompting, le SFT et les méthodes de self-play sur les benchmarks testés.
> Proposes a method to align LLMs to a specific setting via a very small number of demonstrations as feedback; it aligns LLM outputs to a user’s demonstrated behaviors and can learn fine-grained style and task alignment across domains; outperforms few-shot prompting, SFT, and self-play methods on the tested benchmarks.
Résumé(Abstract)
Les modèles de langage sont alignés pour émuler la voix collective d’un grand nombre de personnes, ce qui produit des sorties qui ne correspondent vraiment à personne en particulier. Il est possible d’éloigner les LLM de sorties génériques via le supervised fine-tuning ou le RLHF, mais cela nécessite des jeux de données d’une taille prohibitive pour de nouvelles tâches ad hoc. Les auteurs soutiennent qu’il est au contraire possible d’aligner un LLM sur un contexte spécifique en exploitant un très petit nombre de démonstrations ($<10$) comme feedback. Leur méthode, Demonstration ITerated Task Optimization (DITTO), aligne directement les sorties du modèle de langage sur les comportements démontrés par l’utilisateur. Issue d’idées provenant de l’apprentissage par imitation en ligne, DITTO génère à faible coût des données de comparaison en ligne en considérant les démonstrations des utilisateurs comme préférables aux sorties du LLM et de ses checkpoints intermédiaires. Les auteurs évaluent la capacité de DITTO à apprendre un alignement fin du style et des tâches dans des domaines tels que les articles de presse, les e-mails et les billets de blog. Ils mènent également une étude utilisateur sollicitant un éventail de démonstrations de la part des participants ($N=16$). Sur l’ensemble des benchmarks et de l’étude utilisateur, les taux de victoire de DITTO dépassent en moyenne de 19 points ceux du prompting en quelques exemples, du supervised fine-tuning et d’autres approches de self-play. En utilisant directement les démonstrations comme feedback, DITTO offre une nouvelle méthode de personnalisation efficace des LLM.
> Language models are aligned to emulate the collective voice of many, resulting in outputs that align with no one in particular. Steering LLMs away from generic output is possible through supervised finetuning or RLHF, but requires prohibitively large datasets for new ad-hoc tasks. We argue that it is instead possible to align an LLM to a specific setting by leveraging a very small number ($<10$) of demonstrations as feedback. Our method, Demonstration ITerated Task Optimization (DITTO), directly aligns language model outputs to a user's demonstrated behaviors. Derived using ideas from online imitation learning, DITTO cheaply generates online comparison data by treating users' demonstrations as preferred over output from the LLM and its intermediate checkpoints. We evaluate DITTO's ability to learn fine-grained style and task alignment across domains such as news articles, emails, and blog posts. Additionally, we conduct a user study soliciting a range of demonstrations from participants ($N=16$). Across our benchmarks and user study, we find that win-rates for DITTO outperform few-shot prompting, supervised fine-tuning, and other self-play methods by an average of 19% points. By using demonstrations as feedback directly, DITTO offers a novel method for effective customization of LLMs.
Lien vers l’article
https://arxiv.org/abs/2406.00888
Pour aller plus loin
https://x.com/arankomatsuzaki/status/1797833884463472653
Vers un alignement automatisé et scalable des LLM : article de synthèse / Towards Scalable Automated Alignment of LLMs: A Survey
Présentation de l’article
Fournit une vue d’ensemble des méthodes utilisées pour l’alignement des LLM et examine les quatre orientations suivantes : 1) l’alignement par biais inductif, 2) l’alignement par imitation du comportement, 3) l’alignement par retour du modèle, 4) l’alignement par retour de l’environnement.
> Provides an overview of methods used for alignment of LLMs; explores the 4 following directions: 1) aligning through inductive bias, 2) aligning through behavior imitation, 3) aligning through model feedback, and 4) aligning through environment feedback.
Résumé de l’article (Abstract)
L’alignement est l’étape la plus critique pour construire des grands modèles de langage (LLM) répondant aux besoins humains. Avec le développement rapide des LLM, qui dépassent progressivement les capacités humaines, les méthodes d’alignement traditionnelles fondées sur l’annotation humaine peinent de plus en plus à répondre aux exigences de passage à l’échelle. Il est donc urgent d’explorer de nouvelles sources de signaux d’alignement automatisés ainsi que de nouvelles approches techniques. Dans cet article, nous passons systématiquement en revue les méthodes d’alignement automatisé récemment apparues, afin d’examiner comment parvenir à un alignement automatisé efficace et scalable lorsque les capacités des LLM dépassent celles des humains. Plus précisément, nous classons les méthodes existantes d’alignement automatisé en quatre grandes catégories selon la source des signaux d’alignement, puis discutons de l’état actuel et du potentiel d’évolution de chacune. Nous examinons également les mécanismes sous-jacents qui rendent possible l’alignement automatisé, ainsi que les facteurs essentiels qui rendent ces technologies réalisables et efficaces au regard du rôle fondamental de l’alignement.
> Alignment is the most critical step in building large language models (LLMs) that meet human needs. With the rapid development of LLMs gradually surpassing human capabilities, traditional alignment methods based on human-annotation are increasingly unable to meet the scalability demands. Therefore, there is an urgent need to explore new sources of automated alignment signals and technical approaches. In this paper, we systematically review the recently emerging methods of automated alignment, attempting to explore how to achieve effective, scalable, automated alignment once the capabilities of LLMs exceed those of humans. Specifically, we categorize existing automated alignment methods into 4 major categories based on the sources of alignment signals and discuss the current status and potential development of each category. Additionally, we explore the underlying mechanisms that enable automated alignment and discuss the essential factors that make automated alignment technologies feasible and effective from the fundamental role of alignment.
Lien vers l’article
https://arxiv.org/abs/2406.01252
Pour aller plus loin
https://x.com/omarsar0/status/1798014572663583165
AgentGym : faire évoluer des agents basés sur des grands modèles de langage dans des environnements variés / AgentGym: Evolving Large Language Model-based Agents across Diverse Environments
Présentation de l’article
Un nouveau framework prenant en charge divers environnements et tâches pour une exploration étendue, en temps réel et concurrente des agents ; il permet de construire un agent généraliste basé sur un LLM doté de capacités d’auto-évolution et d’explorer son potentiel au-delà des données déjà vues, à travers les tâches et les environnements.
> A new framework featuring various environments and tasks for broad, real-time, and concurrent agent exploration; builds a generally capable LLM-based agent with self-evolution abilities and explores its potential beyond previously seen data across tasks and environments.
Résumé de l’article (Abstract)
Construire des agents généralistes capables de traiter des tâches variées et d’évoluer par eux-mêmes dans différents environnements est un objectif de long terme pour la communauté de l’IA. Les grands modèles de langage (LLM) sont considérés comme une base prometteuse pour construire de tels agents grâce à leurs capacités généralisées. Les approches actuelles soit amènent les agents basés sur des LLM à imiter pas à pas des trajectoires fournies par des experts, ce qui nécessite une supervision humaine difficile à faire passer à l’échelle et limite l’exploration de l’environnement ; soit elles laissent les agents explorer et apprendre dans des environnements isolés, ce qui produit des agents spécialisés à la généralisation limitée. Dans cet article, nous faisons un premier pas vers la construction d’agents basés sur des LLM dotés de capacités générales et d’une aptitude à l’auto-évolution. Nous identifions trois ingrédients : 1) des environnements diversifiés pour l’exploration et l’apprentissage des agents, 2) un ensemble de trajectoires pour doter les agents de capacités de base et de connaissances préalables, et 3) une méthode d’évolution efficace et scalable. Nous proposons AgentGym, un nouveau framework offrant une variété d’environnements et de tâches pour une exploration d’agents large, en temps réel, au format unifié et concurrente. AgentGym inclut également une base de données avec des instructions enrichies, une suite de benchmarks et des trajectoires de haute qualité couvrant plusieurs environnements. Nous proposons ensuite une nouvelle méthode, AgentEvol, afin d’étudier le potentiel d’auto-évolution des agents au-delà des données déjà vues, à travers les tâches et les environnements. Les résultats expérimentaux montrent que les agents évolués peuvent atteindre des performances comparables à celles des modèles SOTA. Nous publions la suite AgentGym, qui comprend la plateforme, le jeu de données, le benchmark, les checkpoints et les implémentations d’algorithmes. La suite AgentGym est disponible sur https://github.com/WooooDyy/AgentGym.
> Construire des agents généralistes capables de traiter des tâches variées et d’évoluer par eux-mêmes dans différents environnements est un objectif de long terme pour la communauté de l’IA. Les grands modèles de langage (LLM) sont considérés comme une base prometteuse pour construire de tels agents grâce à leurs capacités généralisées. Les approches actuelles soit amènent les agents basés sur des LLM à imiter pas à pas des trajectoires fournies par des experts, ce qui nécessite une supervision humaine difficile à faire passer à l’échelle et limite l’exploration de l’environnement ; soit elles laissent les agents explorer et apprendre dans des environnements isolés, ce qui produit des agents spécialisés à la généralisation limitée. Dans cet article, nous faisons un premier pas vers la construction d’agents basés sur des LLM dotés de capacités générales et d’une aptitude à l’auto-évolution. Nous identifions trois ingrédients : 1) des environnements diversifiés pour l’exploration et l’apprentissage des agents, 2) un ensemble de trajectoires pour doter les agents de capacités de base et de connaissances préalables, et 3) une méthode d’évolution efficace et scalable. Nous proposons AgentGym, un nouveau framework offrant une variété d’environnements et de tâches pour une exploration d’agents large, en temps réel, au format unifié et concurrente. AgentGym inclut également une base de données avec des instructions enrichies, une suite de benchmarks et des trajectoires de haute qualité couvrant plusieurs environnements. Nous proposons ensuite une nouvelle méthode, AgentEvol, afin d’étudier le potentiel d’auto-évolution des agents au-delà des données déjà vues, à travers les tâches et les environnements. Les résultats expérimentaux montrent que les agents évolués peuvent atteindre des performances comparables à celles des modèles SOTA. Nous publions la suite AgentGym, qui comprend la plateforme, le jeu de données, le benchmark, les checkpoints et les implémentations d’algorithmes. La suite AgentGym est disponible sur https://github.com/WooooDyy/AgentGym.
Lien vers l’article
https://arxiv.org/abs/2406.04151
Pour aller plus loin
https://github.com/WooooDyy/AgentGym
https://x.com/arankomatsuzaki/status/1798904095669121443
Article original
https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-90f
Cet article a été synthétisé à l’aide d’un modèle GPT ; il peut donc contenir des erreurs. Veuillez également consulter l’article original en bas de page. Si vous remarquez un passage maladroit ou incorrect pendant votre lecture, merci de nous le signaler en commentaire ! 🤗
⚠️Publicité⚠️ : avez-vous trouvé utile cet article compilé par 🔥la communauté coréenne des utilisateurs de PyTorch🇰🇷 ? Si vous devenez membre, nous vous enverrons les principaux articles par e-mail 💌 ! (Le réglage par défaut est Weekly, mais vous pouvez aussi passer à Daily.)
Aucun commentaire pour le moment.