Présentation
Cette année, six articles ont reçu un prix récompensant des travaux d’exception. Le processus de sélection s’est déroulé comme suit.
Tout d’abord, les articles ont été présélectionnés pour aboutir à 32 candidats potentiels. À cette étape, ont été retenus les articles ayant obtenu les meilleures notes moyennes ainsi que ceux recommandés par le comité de programme. Au final, cet ensemble comprenait des articles couvrant les 16 thèmes traités lors des sessions de présentation orale. Ces articles ont ensuite été transmis au comité des Outstanding Paper Awards.
Le comité a examiné ces articles et a sélectionné les lauréats en fonction de leur clarté exceptionnelle, de leur profondeur d’analyse, de leur créativité et de leur impact durable.
Bien entendu, il n’existe pas de processus parfait pour choisir des articles primés, mais nous pensons que la communauté ICML reconnaîtra la très grande valeur de ces contributions.
- Comité des Outstanding Paper Awards : Danqi Chen, Bohyung Han, Samuel Kaski, Mengdi Wang, Tong Zhang
Les lauréats sont les suivants (par ordre d’ID des articles) :
-
Apprentissage sans taux d’apprentissage par D-Adaptation (Learning-Rate-Free Learning by D-Adaptation)
Aaron Defazio (FAIR), Konstantin Mishchenko (Samsung AI Center)
https://openreview.net/forum?id=GXZ6cT5cvY
Cet article présente une approche intéressante visant à relever le défi consistant à obtenir des bornes optimales sans taux d’apprentissage pour l’optimisation convexe stochastique non lisse. Les auteurs proposent une nouvelle méthode pour optimiser ces problèmes en dépassant les limites du choix traditionnel du taux d’apprentissage. Ce travail constitue une contribution précieuse et pratique au domaine de l’optimisation. -
Un filigrane pour les grands modèles de langage (A Watermark for Large Language Models)
John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein (University of Maryland)
https://openreview.net/forum?id=aX8ig9X2a7
Cet article propose une méthode pour appliquer un filigrane aux sorties des grands modèles de langage, c’est-à-dire pour intégrer dans le texte généré un signal invisible pour l’humain mais détectable algorithmiquement. Le filigrane peut être généré sans réentraîner le modèle de langage, et il peut être détecté sans accès à l’API ni aux paramètres. L’article propose également un test statistique doté d’une valeur de p interprétable pour détecter le filigrane, ainsi qu’un cadre théorique fondé sur la théorie de l’information pour analyser sa sensibilité. La méthode proposée est simple et novatrice, avec une analyse théorique approfondie et des expériences solides. Compte tenu de l’enjeu majeur que représente la détection et l’audit de textes synthétiques générés par des LLM, cet article pourrait avoir un impact important sur la communauté. -
Généralisation sur l’inédit, raisonnement logique et curriculum par degré (Generalization on the Unseen, Logic Reasoning and Degree Curriculum)
Emmanuel Abbe (EPFL, Apple) , Samy Bengio (Apple), Aryo Lotfi (EPFL), Kevin Rizk (EPFL)
https://openreview.net/forum?id=3dqwXb1te4
Ce travail apporte une avancée majeure dans l’apprentissage des fonctions booléennes, en ciblant en particulier le cadre de la généralisation sur l’inédit (GOTU). Il s’agit d’un problème difficile qui soulève la question de la généralisation hors distribution. L’article traite ce sujet important en profondeur et présente une approche bien structurée, étayée par une analyse théorique et de vastes expériences. Cette recherche améliore la compréhension théorique de l’apprentissage des fonctions booléennes et montre comment l’appliquer à des algorithmes concrets. -
Concevoir des stratégies d’exploration-exploitation à l’aide du ratio d’information algorithmique (Designing Exploration-Exploitation Strategies Using the Algorithmic Information Ratio)
Yonathan Efroni (Technion), Gal Dalal (Technion), Shie Mannor (Technion), Ofer Shayevitz (Tel Aviv University)
https://openreview.net/forum?id=tRhQsHnoFw
Cet article traite le problème très général de la conception de stratégies de bandits et d’autres stratégies de décision séquentielle. Il propose d’utiliser une nouvelle quantité, le ratio d’information algorithmique, pour limiter le regret d’une stratégie, puis en dérive des méthodes pour optimiser cette borne. Cette borne est plus serrée que des quantités antérieures similaires issues de la théorie de l’information, et les méthodes obtiennent de bonnes performances dans les cadres de bandits stochastiques comme adversariaux, atteignant les meilleures performances dans tous les mondes. Un aspect particulièrement intéressant est que cet article laisse entrevoir l’ouverture de toute une nouvelle lignée de stratégies d’exploration-exploitation au-delà de Thompson Sampling et de l’UCB, déjà bien établis pour les bandits. L’extension de ce principe à l’apprentissage par renforcement est très prometteuse. Cet article a reçu un soutien unanimement fort de la part des reviewers spécialisés.
Références
Il s’agit du site officiel de l’ICML 2023. Vous pouvez y consulter divers articles et travaux récompensés :
https://icml.cc/Conferences/2023
Plateforme permettant de consulter les reviews et les discussions autour des articles. Vous pouvez accéder à davantage de détails et d’échanges via les liens de chaque article :
https://openreview.net/
- Ce texte est une description générée automatiquement à l’aide de GPT-4 et peut contenir des erreurs.
- Si vous repérez une erreur, merci de la signaler en commentaire !
1 commentaires
Pour aller plus loin