Richard Sutton et Andrew Barto reçoivent le prix Turing 2024

• ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology

• Andrew Barto and Richard Sutton Recognized as Pioneers of Reinforcement Learning

  • L’ACM a désigné Andrew G. Barto et Richard S. Sutton comme lauréats du ACM A.M. Turing Award 2024. Ils ont développé les bases conceptuelles et algorithmiques de l’apprentissage par renforcement.
  • Barto est professeur émérite en information et informatique à l’Université du Massachusetts à Amherst, et Sutton est professeur d’informatique à l’Université de l’Alberta.
  • Le prix Turing est souvent considéré comme le prix Nobel de l’informatique, avec une dotation de 1 million de dollars financée par Google.

• What is Reinforcement Learning?

  • Le domaine de l’intelligence artificielle (IA) se concentre principalement sur la construction d’agents capables de percevoir et d’agir. L’apprentissage par renforcement (RL) est le processus par lequel ces agents apprennent de meilleurs comportements à partir de signaux de récompense.
  • Les bases de l’apprentissage par renforcement remontent au début des années 1980, lorsque Barto et Sutton, à partir d’observations issues de la psychologie, l’ont formalisé comme un cadre général de résolution de problèmes.
  • Ils ont développé des algorithmes d’apprentissage par renforcement en s’appuyant sur des fondements mathématiques basés sur les processus de décision markoviens (MDP).

• Contributions majeures

  • Barto et Sutton ont développé les principales approches algorithmiques de l’apprentissage par renforcement, notamment l’apprentissage par différence temporelle, les méthodes de gradient de politique, et la représentation des fonctions d’apprentissage à l’aide de réseaux de neurones.
  • Leur manuel, "Reinforcement Learning: An Introduction", reste la référence standard du domaine et a été cité plus de 75 000 fois.

• Applications concrètes de l’apprentissage par renforcement

  • L’apprentissage par renforcement a connu de grandes avancées au cours des 15 dernières années en combinaison avec des algorithmes de deep learning. Parmi les exemples les plus connus figurent la victoire d’AlphaGo au go et le développement de ChatGPT.
  • L’apprentissage par renforcement rencontre du succès dans de nombreux domaines, notamment l’apprentissage des compétences motrices en robotique, le contrôle de la congestion réseau, la conception de puces et l’optimisation de la publicité sur Internet.

• Inspiration neuroscientifique de l’apprentissage par renforcement

  • Des recherches récentes montrent que certains algorithmes d’apprentissage par renforcement développés en IA correspondent le mieux à l’explication du système dopaminergique du cerveau humain.

• Explication du ACM A.M. Turing Award

  • Le prix Turing est décerné depuis 1966 afin d’honorer les informaticiens et ingénieurs qui ont contribué au progrès de l’industrie des technologies de l’information.

• Lauréats du ACM A.M. Turing Award 2024

  • Andrew Barto est professeur émérite en information et informatique à l’Université du Massachusetts à Amherst et a reçu de nombreuses distinctions.
  • Richard Sutton est professeur d’informatique à l’Université de l’Alberta, a travaillé dans divers instituts de recherche et a reçu plusieurs récompenses.

[GN⁺]

Commentaires Hacker News

• C’est vraiment génial. Ma femme et moi avons acheté la maison d’Andy Barto et de sa femme

  • Il y a eu une guerre d’enchères pendant le processus d’achat
  • Sachant qu’il était mathématicien, j’ai fait une offre avec un nombre premier
  • Je suis vraiment heureux de voir ses accomplissements reconnus

• Génial ! Il le mérite amplement. Ils proposent gratuitement en PDF les deux éditions du manuel sur le RL

  • Je travaille dans l’IA depuis 1982, et le RL a toujours été pour moi un sujet difficile à maîtriser
  • Le livre de Sutton/Barto, ainsi que le cours Coursera sur le RL du professeur White, m’ont énormément aidé : je recommande
  • Les programmes d’exemple de leur livre sont fournis en Common Lisp et en Python

• C’est le bon moment pour relire The Bitter Lesson

• Sutton est un successeuriste humain et cela lui est égal si tous les humains meurent. On ne peut pas lui faire confiance et ce n’est pas quelqu’un à féliciter

• Il aurait mieux valu remettre le prix à des physiciens

• Je suis surpris que Sutton vive à Edmonton, au Canada, plutôt qu’aux États-Unis

  • Cela montre qu’il accorde plus d’importance à l’intégrité et à la sincérité qu’à l’honneur et à l’argent

• Ils sont excellents, mais malheureusement, le livre sur l’IA de Sutton et Barto est vraiment mauvais

  • Grokking Machine Learning de Trask et quelques mois d’implémentation d’articles de ML seraient meilleurs

• J’ai utilisé leur livre sur le RL dans le cours que j’enseignais

  • C’est magnifiquement écrit et disponible gratuitement
  • Je me concentrais souvent tellement sur la beauté du texte que j’en manquais le contenu réel

• Toutes mes félicitations à Andrew Barto et Richard Sutton pour leur Turing Award

  • Quand j’étais étudiant, leur manuel Reinforcement Learning: An Introduction a été ma porte d’entrée dans ce domaine
  • Le chapitre 6 sur le "Temporal Difference Learning" a fondamentalement changé ma façon de penser la prise de décision séquentielle
  • C’est un classique que je recommande encore très vivement aujourd’hui

• Cela a pris longtemps. Ils ont porté l’idée du début à la fin et l’ont transformée en un champ entier, au lieu d’en faire un simple sous-chapitre dans un livre sur la programmation dynamique

  • J’aimerais que davantage de jeux utilisent réellement le RL — c’est là que tout a commencé — ce serait vraiment génial