Technologies d’IA probabiliste

IA probabiliste

• L’intelligence artificielle désigne la science et l’ingénierie des systèmes artificiels capables d’exécuter des tâches nécessitant l’intelligence humaine. Ces dernières années, des avancées intéressantes ont eu lieu dans les approches centrées sur les données et fondées sur l’apprentissage, et le machine learning comme le deep learning ont ouvert de nouvelles façons pour les systèmes informatiques de percevoir le monde. L’apprentissage par renforcement a permis des percées dans des jeux complexes comme le go ainsi que dans des tâches de robotique.

• Un aspect essentiel de l’intelligence consiste non seulement à faire des prédictions, mais aussi à comprendre l’incertitude associée à ces prédictions et à en tenir compte au moment de prendre des décisions. Cet article porte sur l’« IA probabiliste ».

Approche probabiliste

• La première partie traite de l’approche probabiliste du machine learning. Elle discute de la différence entre l’incertitude « épistémique », due au manque de données, et l’incertitude « aléatoire », qui provient par exemple d’observations bruitées et des résultats. Elle aborde des approches concrètes de l’inférence probabiliste ainsi que des approches modernes d’inférence approchée efficace.

Prise en compte de l’incertitude dans les tâches de décision séquentielle

• La deuxième partie traite de la prise en compte de l’incertitude dans les tâches de décision séquentielle. Elle examine l’apprentissage actif et l’optimisation bayésienne, qui sont des approches de collecte de données proposant des expériences informatives afin de réduire l’incertitude épistémique. Elle s’intéresse à l’apprentissage par renforcement ainsi qu’aux approches modernes de deep RL utilisant l’approximation de fonctions par réseaux de neurones. Elle discute des approches modernes du RL fondé sur des modèles, qui exploitent les incertitudes épistémique et aléatoire pour guider l’exploration tout en prenant en compte la sécurité.

[GN⁺]

Avis sur Hacker News

• Le texte contient d’excellents schémas explicatifs et semble offrir une vue d’ensemble de grande qualité du machine learning sous l’angle des probabilités

  • J’ai récemment été très impressionné par le manuel gratuit de Zhao, "Mathematical Foundation of Reinforcement Learning", ainsi que par ses cours sur YouTube
  • Si vous manquez de temps, cela vaut la peine de parcourir au moins le schéma récapitulatif de Zhao. C’est une bonne carte conceptuelle de l’ensemble du domaine
  • Je recommande aussi de regarder la vidéo d’introduction

• J’ai découvert cette ressource il y a quelques jours et je cherchais une bonne excuse pour l’examiner sérieusement, sachant qu’Andreas Krause a mené des travaux approfondis et intéressants sur les Gaussian Processes et les bandits

• La réalité existentielle est une distribution de potentiels, pas un tableau d’états

  • Le potentiel existe, et la probabilité en est la description mathématique de sa distribution. Toute propriété est une dimension (vecteur)
  • L’état n’est qu’une mesure instantanée de la résolution. Les potentiels interagissent par interférences constructives et destructives
  • Les interférences constructives et destructives se résolvent dans l’état du « maintenant » de la mesure instantanée

• Question de savoir si un LLM, c’est-à-dire un réseau de neurones, peut indiquer la probabilité de la réponse qu’il vient tout juste de produire

  • J’ai étudié ce genre de choses à l’université il y a longtemps et j’avais créé un interpréteur Prolog avec des probabilités et des coefficients de confiance pour chaque terme

• Je pense qu’il faut une interface graphique pour démocratiser l’interprétabilité des modèles et permettre aussi aux gamers de l’explorer

  • En gros, il s’agirait d’entraîner un autre modèle qui transforme le LLM en une forme 3D et le place dans un monde 3D compréhensible par les humains
  • Exemple simple : représenter le LLM comme un champ vert avec des objets, et définir l’humain comme unique agent

• Je pense que les Gaussian Processes avec un noyau approprié sont très puissants, même avec seulement quelques points de données et un petit ensemble de paramètres

  • Je les ai utilisés dans des tâches de vision par ordinateur comme processus non linéaire prévisible pour ajuster les entrées, avec de très bons résultats

• Cela semble être l’une des meilleures références sur le sujet, avec un recoupement partiel. Mention de "An Introduction to Statistical Learning" de Gareth James et autres

  • Je me demande si cette ressource sera plus accessible, et les exemples R/Python aideraient

• Kevin Murphy est en train de renommer sa série Probabilistic Machine Learning

• Gemini 2.0 Experimental 02-05 considère cela comme « seulement » 107K tokens

  • Utile si vous avez besoin d’aide pour le décomposer

• L’approximation de Laplace est une méthode « rapide et simple » pour convertir une distribution de probabilités complexe en une Gaussian simple (courbe en cloche)

  • Elle fonctionne en trouvant le point le plus élevé puis en ajustant la courbure à cet endroit
  • C’est rapide et facile, mais cela peut être très imprécis et donner un excès de confiance si la distribution réelle diffère de la courbe en cloche

• J’ai suivi ce cours à l’ETH Zurich, et c’est l’un de mes préférés

  • J’ai été particulièrement impressionné par la manière de quantifier l’incertitude et de construire les briques de base du reinforcement learning
  • C’est une excellente lecture pour les data scientists et les ingénieurs ML. Ce document correspond à des notes de cours