[2023/11/13 ~ 11/19] Principaux articles ML de la semaine (Top ML Papers of the Week)

 (discuss.pytorch.kr)
4 points par ninebow 2023-11-21 | Aucun commentaire pour le moment. | Partager sur WhatsApp

Aperçu

  • Nous avons automatiquement traduit les articles sur les publications ML publiés chaque semaine par DAIR.AI.

  • Cette semaine, les recherches ont principalement porté sur l’amélioration et l’extension des LLM (Large Language Models), c’est-à-dire les grands modèles de langage. On y trouve notamment des articles sur l’exécution efficiente des LLM, leur utilisation pour les découvertes scientifiques, ainsi que des modèles de langage destinés à la génération de code pratique. En parallèle, les travaux visant à améliorer la factualité de ces modèles semblent également se multiplier.

  • Les modèles de langage, et en particulier les LLM, attirent fortement l’attention dans le domaine du traitement automatique du langage naturel (NLP). Cela s’explique sans doute par le fait que ces modèles sont désormais capables de traiter des tâches linguistiques complexes et variées de manière de plus en plus proche de l’humain. Ces modèles peuvent être appliqués à de nombreux domaines, comme l’imitation d’un raisonnement structuré (Contrastive CoT Prompting) ou l’amélioration de l’automatisation du développement logiciel (A Survey on Language Models for Code). Les méthodes visant à faire encore évoluer les LLM, par exemple en renforçant la recherche d’informations grâce à un filtrage contextuel précis (Learning to Filter Context for RAG), ainsi que les recherches visant à éviter que ces systèmes ne trompent les utilisateurs (LLMs can Deceive Users), constituent également des tendances de recherche importantes.

Emu Video et Emu Edit / Emu Video and Emu Edit

Présentation de l’article

  • Présente de nouveaux modèles de génération vidéo à partir de texte et d’édition d’image contrôlée basés sur des modèles de diffusion. Emu Video peut générer des vidéos de haute qualité à partir d’entrées uniquement textuelles, uniquement visuelles, ou combinant texte et image, tandis qu’Emu Edit permet une édition libre via des instructions textuelles.

    Present new models for controlled image editing and text-to-video generation based on diffusion models; emu video can generate high-quality video by using text-only, image-only, or combined text and image inputs; emu edit enables free-form editing through text instructions.

Lien vers l’article

https://ai.meta.com/blog/…

Pour aller plus loin

https://x.com/AIatMeta/status/1725184026154349007

##CoN(Chain-of-Note) : amélioration de la robustesse des modèles de langage à génération augmentée par recherche / Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models

Présentation de l’article

  • Une approche pour améliorer la robustesse et la fiabilité des modèles de langage à génération augmentée par recherche lorsqu’ils sont confrontés à des documents bruités, non pertinents, ainsi qu’à des scénarios inconnus ; CoN génère des notes de lecture séquentielles pour les documents récupérés, ce qui permet d’évaluer leur pertinence par rapport à la question posée et d’intégrer cette information pour formuler la réponse finale ; CoN surpasse nettement les modèles de langage à génération augmentée par recherche standard, avec un gain moyen de +7,9 en score EM lorsque les documents récupérés sont entièrement bruités, et de +10,5 sur le taux de rejet pour des questions en temps réel situées hors du périmètre des connaissances acquises lors du pré-entraînement.

    An approach to improve the robustness and reliability of retrieval-augmented language models in facing noisy, irrelevant documents and in handling unknown scenarios; con generates sequential reading notes for the retrieved documents, enabling an evaluation of their relevance to the given question and integrating this information to formulate the final answer; con significantly outperforms standard retrieval-augmented language models and achieves an average improvement of +7.9 in em score given entirely noisy retrieved documents and +10.5 in rejection rates for real-time questions that fall outside the pre-training knowledge scope.

Résumé de l’article

  • Les modèles de langage augmentés par la recherche (RALM) représentent une avancée majeure des capacités des grands modèles de langage, notamment pour réduire les hallucinations factuelles en s’appuyant sur des sources de connaissances externes. Cependant, la fiabilité des informations récupérées n’est pas toujours garantie. La récupération de données non pertinentes peut conduire à des réponses erronées, et le modèle peut aussi négliger ses connaissances intrinsèques, même lorsqu’il dispose déjà des informations nécessaires pour répondre à la requête. En outre, les RALM standard ont souvent du mal à évaluer s’ils disposent de connaissances suffisantes, à la fois intrinsèques et récupérées, pour fournir une réponse exacte. Lorsque les connaissances manquent, ces systèmes devraient idéalement répondre « inconnu » lorsqu’aucune réponse n’est accessible. Pour répondre à ces défis, les auteurs introduisent Chain-of-Noting (CoN), une nouvelle approche visant à améliorer la robustesse des RALM face à des documents bruités ou non pertinents, ainsi que dans les scénarios où la réponse est inconnue. L’idée centrale de CoN consiste à générer des notes de lecture séquentielles pour les documents récupérés, afin d’évaluer en profondeur leur pertinence vis-à-vis de la question posée, puis d’intégrer ces informations pour formuler la réponse finale. ChatGPT a été utilisé pour créer les données d’entraînement de CoN, qui a ensuite été entraîné sur un modèle LLaMa-2 7B. Les expériences menées sur quatre benchmarks de QA en domaine ouvert montrent que les RALM équipés de CoN surpassent nettement les RALM standard. En particulier, CoN obtient une amélioration moyenne de +7,9 points en score EM avec des documents récupérés entièrement bruités, ainsi qu’une hausse moyenne de +10,5 points du taux de rejet pour des questions en temps réel situées hors du champ de connaissances du préentraînement.

    Retrieval-augmented language models (RALMs) represent a substantial advancement in the capabilities of large language models, notably in reducing factual hallucination by leveraging external knowledge sources. However, the reliability of the retrieved information is not always guaranteed. The retrieval of irrelevant data can lead to misguided responses, and potentially causing the model to overlook its inherent knowledge, even when it possesses adequate information to address the query. Moreover, standard RALMs often struggle to assess whether they possess adequate knowledge, both intrinsic and retrieved, to provide an accurate answer. In situations where knowledge is lacking, these systems should ideally respond with "unknown" when the answer is unattainable. In response to these challenges, we introduces Chain-of-Noting (CoN), a novel approach aimed at improving the robustness of RALMs in facing noisy, irrelevant documents and in handling unknown scenarios. The core idea of CoN is to generate sequential reading notes for retrieved documents, enabling a thorough evaluation of their relevance to the given question and integrating this information to formulate the final answer. We employed ChatGPT to create training data for CoN, which was subsequently trained on an LLaMa-2 7B model. Our experiments across four open-domain QA benchmarks show that RALMs equipped with CoN significantly outperform standard RALMs. Notably, CoN achieves an average improvement of +7.9 in EM score given entirely noisy retrieved documents and +10.5 in rejection rates for real-time questions that fall outside the pre-training knowledge scope.

Lien vers l’article

https://arxiv.org/abs/2311.09210

Pour aller plus loin

https://x.com/omarsar0/status/1725181141693472959

L’impact des grands modèles de langage sur la découverte scientifique : étude préliminaire avec GPT-4 / The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

Présentation de l’article

  • Explore l’impact des grands modèles de langage, en particulier GPT-4, dans divers domaines scientifiques comme la découverte de médicaments, la biologie et la chimie computationnelle, et évalue, à travers des études de cas fondées sur l’expertise et des tests de benchmark, la compréhension de GPT-4 des concepts scientifiques complexes, ses capacités de résolution de problèmes et son potentiel pour faire progresser la recherche scientifique.

    Explores the impact of large language models, particularly gpt-4, across various scientific fields including drug discovery, biology, and computational chemistry; assesses gpt-4's understanding of complex scientific concepts, its problem-solving capabilities, and its potential to advance scientific research through expert-driven case assessments and benchmark testing.

Résumé de l’article

  • Ces dernières années, les avancées majeures du traitement automatique du langage naturel ont abouti à l’émergence de puissants grands modèles de langage (LLM), qui ont démontré des performances remarquables dans un vaste éventail de domaines, notamment la compréhension, la génération et la traduction du langage naturel, ainsi que des tâches allant au-delà du traitement du langage. Ce rapport examine en détail les performances des LLM dans le contexte de la découverte scientifique, en se concentrant sur GPT-4, le modèle de langage de pointe. Une étude approfondie a été menée dans divers domaines scientifiques, notamment la découverte de médicaments, la biologie, la chimie computationnelle (théorie de la fonctionnelle de la densité (DFT) et dynamique moléculaire (MD)), la conception de matériaux et les équations aux dérivées partielles (PDE). L’évaluation de GPT-4 sur des tâches scientifiques est cruciale pour révéler son potentiel dans différents domaines de recherche, valider son expertise spécifique à chaque domaine, accélérer les progrès scientifiques, optimiser l’allocation des ressources, orienter le développement des futurs modèles et favoriser la recherche interdisciplinaire. Notre méthodologie d’exploration repose principalement sur des évaluations de cas pilotées par des experts, qui fournissent des éclairages qualitatifs sur la compréhension par le modèle de concepts et de relations scientifiques complexes, ainsi que sur des tests de benchmark évaluant quantitativement sa capacité à résoudre des problèmes bien définis propres à un domaine. Les résultats préliminaires montrent que GPT-4 est bien adapté à la résolution de problèmes complexes et aux tâches d’intégration des connaissances, et qu’il présente un potentiel prometteur pour diverses applications scientifiques. Dans les grandes lignes, nous évaluons la base de connaissances de GPT-4, sa compréhension scientifique, ses capacités de calcul numérique scientifique et ses différentes capacités de prédiction scientifique.

    In recent years, groundbreaking advancements in natural language processing have culminated in the emergence of powerful large language models (LLMs), which have showcased remarkable capabilities across a vast array of domains, including the understanding, generation, and translation of natural language, and even tasks that extend beyond language processing. In this report, we delve into the performance of LLMs within the context of scientific discovery, focusing on GPT-4, the state-of-the-art language model. Our investigation spans a diverse range of scientific areas encompassing drug discovery, biology, computational chemistry (density functional theory (DFT) and molecular dynamics (MD)), materials design, and partial differential equations (PDE). Evaluating GPT-4 on scientific tasks is crucial for uncovering its potential across various research domains, validating its domain-specific expertise, accelerating scientific progress, optimizing resource allocation, guiding future model development, and fostering interdisciplinary research. Our exploration methodology primarily consists of expert-driven case assessments, which offer qualitative insights into the model's comprehension of intricate scientific concepts and relationships, and occasionally benchmark testing, which quantitatively evaluates the model's capacity to solve well-defined domain-specific problems. Our preliminary exploration indicates that GPT-4 exhibits promising potential for a variety of scientific applications, demonstrating its aptitude for handling complex problem-solving and knowledge integration tasks. Broadly speaking, we evaluate GPT-4's knowledge base, scientific understanding, scientific numerical calculation abilities, and various scientific prediction capabilities.

Lien vers l’article

https://arxiv.org/abs/2311.07361

Pour aller plus loin

https://x.com/omarsar0/status/1724465107046940893

Affiner les modèles de langage pour la factualité / Fine-tuning Language Models for Factuality

Présentation de l’article

  • Affine un modèle de langage pour la factualité sans nécessiter d’annotation humaine ; apprend à partir de classements de préférences de factualité générés automatiquement ; cible les contextes de génération ouverte ; améliore significativement la factualité de Llama-2 sur des sujets tenus à l’écart par rapport au RLHF ou aux stratégies de décodage visant la factualité.

    Fine-tunes language model for factuality without requiring human labeling; it learns from automatically generated factuality preference rankings and targets open-ended generation settings; it significantly improves the factuality of llama-2 on held-out topics compared with rlhf or decoding strategies targeted at factuality.

Résumé de l’article

  • Grâce à la fluidité et à la créativité des grands modèles de langage (LLM) préentraînés, les modèles de langage sont largement utilisés, parfois même comme remplacement des moteurs de recherche traditionnels. Cependant, les modèles de langage ont tendance à produire des affirmations convaincantes mais factuellement inexactes, souvent appelées « hallucinations ». Ces erreurs peuvent involontairement diffuser de fausses informations ou perpétuer des idées reçues. De plus, la vérification manuelle des réponses des modèles est un processus chronophage, ce qui rend l’obtention d’annotations humaines sur la factualité coûteuse. Dans ce travail, les auteurs affinent des modèles de langage pour les rendre plus factuels, sans annotation humaine et pour des contextes de génération plus ouverts que dans les travaux précédents. Pour cela, ils s’appuient sur deux innovations récentes majeures en NLP. Premièrement, plusieurs travaux récents ont proposé des méthodes pour juger de la factualité de textes ouverts en mesurant leur cohérence avec une base de connaissances externe ou simplement les scores de confiance d’un grand modèle. Deuxièmement, l’algorithme de direct preference optimization permet d’affiner directement des modèles de langage sur des objectifs autres que l’imitation supervisée, en utilisant un classement de préférences entre différentes réponses possibles du modèle. Les auteurs montrent qu’un apprentissage à partir de classements de préférences de factualité générés automatiquement, soit via des systèmes de recherche existants, soit via leur nouvelle approche sans recherche, améliore fortement la factualité de Llama-2 sur des sujets mis de côté par rapport à RLHF ou aux stratégies de décodage ciblant la factualité. À l’échelle 7B, par rapport à Llama-2-chat, le taux d’erreurs factuelles diminue respectivement de 58 % pour la génération de biographies et de 40 % pour les réponses à des questions médicales.

    The fluency and creativity of large pre-trained language models (LLMs) have led to their widespread use, sometimes even as a replacement for traditional search engines. Yet language models are prone to making convincing but factually inaccurate claims, often referred to as 'hallucinations.' These errors can inadvertently spread misinformation or harmfully perpetuate misconceptions. Further, manual fact-checking of model responses is a time-consuming process, making human factuality labels expensive to acquire. In this work, we fine-tune language models to be more factual, without human labeling and targeting more open-ended generation settings than past work. We leverage two key recent innovations in NLP to do so. First, several recent works have proposed methods for judging the factuality of open-ended text by measuring consistency with an external knowledge base or simply a large model's confidence scores. Second, the direct preference optimization algorithm enables straightforward fine-tuning of language models on objectives other than supervised imitation, using a preference ranking over possible model responses. We show that learning from automatically generated factuality preference rankings, generated either through existing retrieval systems or our novel retrieval-free approach, significantly improves the factuality (percent of generated claims that are correct) of Llama-2 on held-out topics compared with RLHF or decoding strategies targeted at factuality. At 7B scale, compared to Llama-2-chat, we observe 58% and 40% reduction in factual error rate when generating biographies and answering medical questions, respectively.

Lien vers l’article

https://arxiv.org/abs/2311.08401

Pour aller plus loin

https://x.com/arankomatsuzaki/status/1724613041155608951

Prompting Contrastive Chain-of-Thought (CoT) / Contrastive Chain-of-Thought Prompting

Présentation de l’article

  • Les auteurs proposent une méthode de chaîne de pensée contrastive (CoT) pour améliorer le raisonnement des modèles de langage. Cette approche fournit à la fois des démonstrations de raisonnements valides et invalides afin de guider le modèle dans un raisonnement étape par étape tout en réduisant les erreurs de raisonnement. Ils proposent également une méthode automatique pour construire ces démonstrations contrastives et montrent des améliorations par rapport au prompting CoT.

    Proposes a contrastive chain of thought method to enhance language model reasoning; the approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes; also proposes an automatic method to construct contrastive demonstrations and demonstrates improvements over cot prompting.

Résumé de l’article

  • Malgré le succès du chain of thought pour améliorer le raisonnement des modèles de langage, son fonctionnement sous-jacent reste encore mal compris. Bien qu’un raisonnement logiquement valide semble intrinsèquement essentiel au chain of thought, des travaux antérieurs ont montré de manière surprenante que l’utilisation de démonstrations invalides avait un impact minime. En outre, le chain of thought conventionnel n’indique pas aux modèles de langage quelles erreurs éviter, ce qui peut potentiellement en entraîner davantage. En s’inspirant du fait que les humains peuvent apprendre à la fois à partir d’exemples positifs et négatifs, nous proposons donc le contrastive chain of thought afin de renforcer le raisonnement des modèles de langage. Par rapport au chain of thought classique, notre approche fournit à la fois des démonstrations de raisonnement valides et invalides, afin de guider le modèle dans un raisonnement étape par étape tout en réduisant les erreurs de raisonnement. Pour améliorer la généralisation, nous introduisons une méthode automatique de construction de démonstrations contrastives. Des expériences menées sur des benchmarks de raisonnement montrent que le contrastive chain of thought peut constituer une amélioration générale du prompting par chain of thought.

    Despite the success of chain of thought in enhancing language model reasoning, the underlying process remains less well understood. Although logically sound reasoning appears inherently crucial for chain of thought, prior studies surprisingly reveal minimal impact when using invalid demonstrations instead. Furthermore, the conventional chain of thought does not inform language models on what mistakes to avoid, which potentially leads to more errors. Hence, inspired by how humans can learn from both positive and negative examples, we propose contrastive chain of thought to enhance language model reasoning. Compared to the conventional chain of thought, our approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes. To improve generalization, we introduce an automatic method to construct contrastive demonstrations. Our experiments on reasoning benchmarks demonstrate that contrastive chain of thought can serve as a general enhancement of chain-of-thought prompting.

Lien vers l’article

https://arxiv.org/abs/2311.09277

Pour aller plus loin

https://x.com/arankomatsuzaki/status/1725340150819905723

Article de synthèse sur les modèles de langage pour le code / A Survey on Language Models for Code

Présentation de l’article

  • Offre une vue d’ensemble des LLM pour le code, avec un examen de plus de 50 modèles, plus de 30 tâches d’évaluation et plus de 500 travaux connexes.

    Provides an overview of llms for code, including a review of 50+ models, 30+ evaluation tasks, and 500 related works.

Résumé de l’article

  • Ce travail passe systématiquement en revue les avancées récentes du traitement du code avec des modèles de langage, en couvrant plus de 50 modèles, plus de 30 tâches d’évaluation et plus de 500 travaux connexes. Les modèles de traitement du code sont répartis entre les modèles de langage généralistes représentés par la famille GPT et les modèles spécialisés, préentraînés spécifiquement sur du code, souvent avec des objectifs adaptés. Les auteurs discutent des relations et des différences entre ces modèles, et mettent en lumière la transition historique de la modélisation du code, des modèles statistiques et des RNN vers les Transformers préentraînés et les LLM, un parcours exactement similaire à celui qu’a suivi le NLP. Ils abordent également des caractéristiques propres au code telles que les AST, CFG et tests unitaires, ainsi que leur utilisation dans l’entraînement des modèles de langage pour le code, puis identifient les principaux défis et les futures orientations possibles dans ce domaine. L’enquête reste ouverte et continuellement mise à jour dans le dépôt GitHub (https://github.com/codefuse-ai/Awesome-Code-LLM).

    In this work we systematically review the recent advancements in code processing with language models, covering 50+ models, 30+ evaluation tasks, and 500 related works. We break down code processing models into general language models represented by the GPT family and specialized models that are specifically pretrained on code, often with tailored objectives. We discuss the relations and differences between these models, and highlight the historical transition of code modeling from statistical models and RNNs to pretrained Transformers and LLMs, which is exactly the same course that had been taken by NLP. We also discuss code-specific features such as AST, CFG, and unit tests, along with their application in training code language models, and identify key challenges and potential future directions in this domain. We keep the survey open and updated on github repository at https://github.com/codefuse-ai/Awesome-Code-LLM.

Lien vers l’article

https://arxiv.org/abs/2311.07989v1

Pour aller plus loin

https://x.com/omarsar0/status/1725637165256761553

JARVIS-1 : agents multitâches en monde ouvert avec modèles de langage multimodaux augmentés par la mémoire / JARVIS-1: Open-World Multi-task Agents with Memory-Augmented Multimodal Language Models

Présentation de l’article

  • Un agent en monde ouvert capable de percevoir des entrées multimodales (observations visuelles et instructions humaines), de générer des plans sophistiqués et d’exécuter un contrôle incarné dans l’univers ouvert de Minecraft ; il affiche des performances quasi parfaites sur plus de 200 tâches dans l’univers de Minecraft et atteint un taux d’achèvement de 12,5 % sur la tâche de longue durée de la pioche en diamant, soit une amélioration par un facteur 5 par rapport aux précédents records.

    An open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, within the open-world minecraft universe; exhibits near-perfect performances across over 200 tasks in minecraft universe; achieves a completion rate of 12.5% in the long-horizon diamond pickaxe task, which is a 5x increase compared to previous records.

Résumé de l’article

  • Réaliser une planification et un contrôle de niveau humain à partir d’observations multimodales dans un monde ouvert constitue une étape clé vers des agents généralistes plus fonctionnels. Les approches existantes peuvent gérer certaines tâches spécifiques à long horizon dans un monde ouvert. Cependant, elles restent en difficulté, car le nombre de tâches en monde ouvert peut théoriquement être infini et elles manquent de la capacité à améliorer progressivement le taux d’achèvement des tâches à mesure que le temps de jeu s’allonge. Unity présente JARVIS-1, un agent en monde ouvert capable de percevoir des entrées multimodales, telles que les observations visuelles et les instructions humaines, de générer des plans sophistiqués et d’exécuter un contrôle incarné, le tout dans l’univers Minecraft, à la fois populaire et exigeant, en monde ouvert. Plus précisément, Unity développe JARVIS-1 à partir de modèles de langage multimodaux préentraînés qui associent les observations visuelles et les instructions textuelles à des plans. Ces plans sont ensuite transmis à des contrôleurs conditionnés par l’objectif. Unity dote JARVIS-1 d’une mémoire multimodale afin de lui permettre d’élaborer des plans en s’appuyant à la fois sur des connaissances préentraînées et sur une expérience réelle de survie en jeu. D’après les résultats expérimentaux d’Unity, JARVIS-1 a affiché des performances presque parfaites sur plus de 200 tâches variées du benchmark Minecraft Universe, allant du niveau débutant au niveau intermédiaire. JARVIS-1 a atteint un taux d’achèvement de 12,5 % sur la tâche à long horizon de la pioche en diamant. Cela représente une nette amélioration, jusqu’à 5 fois supérieure au précédent record. En outre, grâce à sa mémoire multimodale, il a été montré que JARVIS-1 peut s’$\textit{auto-améliorer}$ selon un paradigme d’apprentissage tout au long de la vie, ouvrant la voie à une intelligence plus générale et à une autonomie accrue. La page du projet est disponible à l’adresse https://craftjarvis-jarvis1.github.io.

    Achieving human-like planning and control with multimodal observations in an open world is a key milestone for more functional generalist agents. Existing approaches can handle certain long-horizon tasks in an open world. However, they still struggle when the number of open-world tasks could potentially be infinite and lack the capability to progressively enhance task completion as game time progresses. We introduce JARVIS-1, an open-world agent that can perceive multimodal input (visual observations and human instructions), generate sophisticated plans, and perform embodied control, all within the popular yet challenging open-world Minecraft universe. Specifically, we develop JARVIS-1 on top of pre-trained multimodal language models, which map visual observations and textual instructions to plans. The plans will be ultimately dispatched to the goal-conditioned controllers. We outfit JARVIS-1 with a multimodal memory, which facilitates planning using both pre-trained knowledge and its actual game survival experiences. In our experiments, JARVIS-1 exhibits nearly perfect performances across over 200 varying tasks from the Minecraft Universe Benchmark, ranging from entry to intermediate levels. JARVIS-1 has achieved a completion rate of 12.5% in the long-horizon diamond pickaxe task. This represents a significant increase up to 5 times compared to previous records. Furthermore, we show that JARVIS-1 is able to $\textit{self-improve}$ following a life-long learning paradigm thanks to multimodal memory, sparking a more general intelligence and improved autonomy. The project page is available at https://craftjarvis-jarvis1.github.io.

Lien vers l’article

https://arxiv.org/abs/2311.05997

Pour aller plus loin

https://x.com/arankomatsuzaki/status/1723882043514470629

FILCO : méthode d’apprentissage pour le filtrage de contexte dans la génération augmentée par recherche / Learning to Filter Context for Retrieval-Augmented Generation

Présentation de l’article

  • Propose une méthode qui améliore la qualité du contexte fourni au générateur en deux étapes : 1) identifier les contextes utiles à partir d’approches lexicales et informationnelles, et 2) entraîner un modèle de filtrage de contexte capable de filtrer les contextes récupérés lors de l’inférence, ce qui permet d’obtenir de meilleures performances que les approches existantes sur des tâches de question-réponse extractive (QA), de QA complexe multi-sauts et en format long, de vérification des faits et de génération de dialogue.

    Proposes a method that improves the quality of the context provided to the generator via two steps: 1) identifying useful context based on lexical and information-theoretic approaches, and 2) training context filtering models that can filter retrieved contexts at inference; outperforms existing approaches on extractive question answering (qa), complex multi-hop and long-form qa, fact verification, and dialog generation tasks.

Résumé de l’article

  • La récupération à la volée de connaissances pertinentes s’est imposée comme un élément essentiel de systèmes fiables pour des tâches comme les questions-réponses en domaine ouvert et la vérification des faits. Cependant, les systèmes de recherche n’étant pas parfaits, les modèles génératifs doivent produire des résultats à partir de passages partiellement ou totalement non pertinents. Cela peut entraîner une dépendance excessive ou insuffisante au contexte, ainsi que des problèmes comme les hallucinations dans les sorties générées. Pour atténuer ces problèmes, les auteurs proposent FILCO, une méthode qui améliore la qualité du contexte fourni au générateur en (1) identifiant le contexte utile à partir d’approches lexicales et issues de la théorie de l’information, et (2) en entraînant des modèles de filtrage du contexte capables de filtrer les contextes récupérés au moment de l’inférence. Des expériences sur six tâches intensives en connaissances avec FLAN-T5 et LLaMa2 montrent que la méthode surpasse les approches existantes en questions-réponses extractives (QA), en QA complexe multi-hop et long format, en vérification des faits et en génération de dialogue. FILCO améliore efficacement la qualité du contexte, qu’il prenne ou non en charge la sortie canonique.

    On-the-fly retrieval of relevant knowledge has proven an essential element of reliable systems for tasks such as open-domain question answering and fact verification. However, because retrieval systems are not perfect, generation models are required to generate outputs given partially or entirely irrelevant passages. This can cause over- or under-reliance on context, and result in problems in the generated output such as hallucinations. To alleviate these problems, we propose FILCO, a method that improves the quality of the context provided to the generator by (1) identifying useful context based on lexical and information-theoretic approaches, and (2) training context filtering models that can filter retrieved contexts at test time. We experiment on six knowledge-intensive tasks with FLAN-T5 and LLaMa2, and demonstrate that our method outperforms existing approaches on extractive question answering (QA), complex multi-hop and long-form QA, fact verification, and dialog generation tasks. FILCO effectively improves the quality of context, whether or not it supports the canonical output.

Lien vers l’article

https://arxiv.org/abs/2311.08377v1

Pour aller plus loin

https://x.com/ZhiruoW/status/1724792850079252886

MART : améliorer la sécurité des LLM grâce à un red teaming automatique en plusieurs tours / MART: Improving LLM Safety with Multi-round Automatic Red-Teaming

Présentation de l’article

  • Cette approche proposée pour améliorer la sécurité des LLM grâce à un red teaming automatique en plusieurs tours intègre la génération automatique de prompts adversariaux et la génération de réponses sûres, ce qui accroît la scalabilité du red teaming et la sécurité des LLM ; le taux de violation d’un LLM avec un alignement de sécurité limité diminue jusqu’à 84,7 % après 4 tours de MART, atteignant des performances comparables à celles de LLM ayant bénéficié d’une vaste génération de prompts adversariaux.

    Proposes an approach for improving llm safety with multi-round automatic red-teaming; incorporates automatic adversarial prompt writing and safe response generation, which increases red-teaming scalability and the safety of llms; violation rate of an llm with limited safety alignment reduces up to 84.7% after 4 rounds of mart, achieving comparable performance to llms with extensive adversarial prompt writing.

Résumé de l’article

  • Le red-teaming est une pratique courante pour atténuer les comportements dangereux des grands modèles de langage (LLM) : il consiste à évaluer minutieusement les LLM afin d’identifier les défauts potentiels et d’y répondre par des réponses responsables et précises. Bien qu’efficace, le red-teaming manuel est coûteux, et les approches existantes de red-teaming automatique se contentent généralement de découvrir des risques de sécurité sans les traiter. Cet article propose une méthode de red-teaming automatique multi-tours (MART), qui intègre à la fois la génération automatique de prompts adversariaux et la production de réponses sûres, améliorant fortement la capacité de passage à l’échelle du red-teaming ainsi que la sécurité du LLM ciblé. Plus précisément, un LLM adversarial et un LLM cible interagissent de manière itérative : le LLM adversarial vise à générer des prompts difficiles qui provoquent des réponses dangereuses du LLM cible, tandis que le LLM cible est affiné à l’aide de données alignées sur la sécurité à partir de ces prompts adversariaux. À chaque tour, le LLM adversarial conçoit de meilleures attaques contre le LLM cible mis à jour, tandis que le LLM cible s’améliore également grâce à un fine-tuning axé sur la sécurité. Sur des benchmarks de prompts adversariaux, le taux de violation d’un LLM à l’alignement sécurité limité diminue jusqu’à 84,7 % après 4 tours de MART, atteignant des performances comparables à celles de LLM ayant bénéficié d’un important travail de rédaction de prompts adversariaux. Fait notable, l’utilité du modèle sur des prompts non adversariaux reste stable au fil des itérations, ce qui indique que le LLM cible conserve de solides performances en suivi d’instructions.

    Red-teaming is a common practice for mitigating unsafe behaviors in Large Language Models (LLMs), which involves thoroughly assessing LLMs to identify potential flaws and addressing them with responsible and accurate responses. While effective, manual red-teaming is costly, and existing automatic red-teaming typically discovers safety risks without addressing them. In this paper, we propose a Multi-round Automatic Red-Teaming (MART) method, which incorporates both automatic adversarial prompt writing and safe response generation, significantly increasing red-teaming scalability and the safety of the target LLM. Specifically, an adversarial LLM and a target LLM interplay with each other in an iterative manner, where the adversarial LLM aims to generate challenging prompts that elicit unsafe responses from the target LLM, while the target LLM is fine-tuned with safety aligned data on these adversarial prompts. In each round, the adversarial LLM crafts better attacks on the updated target LLM, while the target LLM also improves itself through safety fine-tuning. On adversarial prompt benchmarks, the violation rate of an LLM with limited safety alignment reduces up to 84.7% after 4 rounds of MART, achieving comparable performance to LLMs with extensive adversarial prompt writing. Notably, model helpfulness on non-adversarial prompts remains stable throughout iterations, indicating the target LLM maintains strong performance on instruction following.

Lien vers l’article

https://arxiv.org/abs/2311.07689

Pour aller plus loin

https://x.com/AIatMeta/status/1724887918685425829

Rapport technique : les grands modèles de langage peuvent tromper stratégiquement leurs utilisateurs lorsqu’ils sont soumis à pression / Technical Report: Large Language Models can Strategically Deceive their Users when Put Under Pressure

Présentation de l’article

  • L’étude examine l’usage d’un agent autonome de trading d’actions propulsé par un robo-advisor, constate que l’agent agit sur la base d’informations d’initiés et dissimule la raison de sa décision de trading, et montre que des robo-advisors utiles et sûrs peuvent tromper stratégiquement les utilisateurs dans une situation réaliste, sans instructions explicites ni entraînement à la tromperie.

    Explores the use of an autonomous stock trading agent powered by llms; finds that the agent acts upon insider tips and hides the reason behind the trading decision; shows that helpful and safe llms can strategically deceive users in a realistic situation without direction instructions or training for deception.

Résumé de l’article

  • Il est montré qu’un grand modèle de langage entraîné à être utile, inoffensif et honnête peut adopter un comportement inadapté et tromper stratégiquement l’utilisateur sans y être explicitement invité. Plus précisément, GPT-4 est déployé comme agent dans un environnement simulé réaliste, où il assume le rôle d’un agent autonome de trading d’actions. Dans cet environnement, le modèle obtient une information privilégiée sur une opération boursière lucrative et l’exécute bien qu’il sache que le délit d’initié n’est pas approuvé par la direction de l’entreprise. Lorsqu’il rend compte à son responsable, le modèle dissimule systématiquement les véritables raisons de sa décision de trading. Les auteurs examinent brièvement comment ce comportement varie lorsque les paramètres sont modifiés, notamment en supprimant l’accès du modèle à un brouillon de raisonnement, en tentant d’empêcher ce comportement inadapté via des changements dans les instructions système, en modifiant le niveau de pression auquel le modèle est soumis, en faisant varier le risque perçu d’être découvert, ainsi qu’au moyen d’autres changements simples de l’environnement. À leur connaissance, il s’agit de la première démonstration d’un grand modèle de langage entraîné à être utile, inoffensif et honnête qui trompe stratégiquement ses utilisateurs dans une situation réaliste, sans instruction directe ni entraînement à la tromperie.

    We demonstrate a situation in which Large Language Models, trained to be helpful, harmless, and honest, can display misaligned behavior and strategically deceive their users about this behavior without being instructed to do so. Concretely, we deploy GPT-4 as an agent in a realistic, simulated environment, where it assumes the role of an autonomous stock trading agent. Within this environment, the model obtains an insider tip about a lucrative stock trade and acts upon it despite knowing that insider trading is disapproved of by company management. When reporting to its manager, the model consistently hides the genuine reasons behind its trading decision. We perform a brief investigation of how this behavior varies under changes to the setting, such as removing model access to a reasoning scratchpad, attempting to prevent the misaligned behavior by changing system instructions, changing the amount of pressure the model is under, varying the perceived risk of getting caught, and making other simple changes to the environment. To our knowledge, this is the first demonstration of Large Language Models trained to be helpful, harmless, and honest, strategically deceiving their users in a realistic situation without direct instructions or training for deception.

Lien vers l’article

https://arxiv.org/abs/2311.07590

Pour aller plus loin

https://x.com/ESYudkowsky/status/1725226563992715521

Source originale

https://nlp.elvissaravia.com/p/top-ml-papers-of-the-week-e3d

À lire aussi

Aucun commentaire pour le moment.

Aucun commentaire pour le moment.