MIT 6.S184 : introduction au flow matching et aux modèles de diffusion

Introduction au flow matching et aux modèles de diffusion

• Le cours d’informatique 6.S184 du MIT porte sur l’IA générative utilisant des équations différentielles stochastiques.
• Les modèles de diffusion et les modèles basés sur les flux se sont imposés comme l’état de l’art de l’IA générative sur diverses modalités de données, notamment les images, la vidéo et la musique.
• Ce cours vise à construire depuis les bases les fondements mathématiques de ces modèles, et les étudiants finiront par créer eux-mêmes un modèle de diffusion d’images jouet.
• Ce cursus est idéal pour les étudiants qui souhaitent comprendre de manière rigoureuse la théorie et la pratique de l’IA générative.

Notes de cours

• Les notes de cours constituent le cœur du programme et fournissent des explications autonomes pour l’ensemble du contenu.
• Les diapositives servent de support visuel et ne constituent pas une ressource autonome.

Cours

• Cours 1 : modèles de flux et de diffusion

  • Introduction aux modèles génératifs
  • Équations différentielles ordinaires et stochastiques
  • Échantillonnage dans les modèles de flux et de diffusion

• Cours 2 : construction des objectifs d’entraînement

  • Trajectoires de probabilité conditionnelles et marginales
  • Équation de continuité et équation de Fokker-Planck
  • Champ de vecteurs marginal et fonction de score marginale

• Cours 3 : entraînement des modèles de flux et de diffusion

  • Flow matching
  • Score matching
  • Différentes approches des modèles de diffusion

• Cours 4 : construire un générateur d’images

  • Guidage et génération conditionnelle
  • Architectures de réseaux de neurones
  • Panorama des modèles de pointe

• Cours 5 : robotique générative

  • Cours invité de Benjamin Burchfiel
  • Modèles d’action à grande échelle
  • Modèles de diffusion pour la robotique

• Cours 6 : conception générative de protéines

  • Cours invité de Jason Yim
  • Conception de nouvelles protéines à l’aide de l’IA
  • Flow matching pour la génération de structures protéiques

Travaux pratiques

• Trois travaux pratiques accompagnent le cours et proposent de construire pas à pas des modèles de flow matching et de diffusion.
• Les travaux pratiques peuvent être ouverts et réalisés sur Google Colab.

Enseignants

• Peter et Ezra assurent le cours conjointement, tandis que Tommi Jaakkola intervient comme sponsor et conseiller.
• Peter Holderrieth est doctorant, et Ezra Erives est étudiant en master d’ingénierie.

Prérequis

• Des connaissances en algèbre linéaire, en analyse réelle et en probabilités de base sont nécessaires, ainsi qu’une expérience de Python et de PyTorch.

Remarques

• Ce cours ne traite pas des grands modèles de langage (LLM). Les LLM portent sur des données discrètes comme le texte, tandis que ce cours se concentre sur des données d’espaces continus comme les images, la vidéo et les structures protéiques.

Remerciements

• Ce cours n’aurait pas été possible sans le soutien de nombreuses personnes et organisations.
• Les remerciements vont au professeur Tommi Jaakkola, à Lisa Bella et Ellen Reid du MIT EECS, ainsi qu’à de nombreuses autres personnes.

[GN⁺]

Avis sur Hacker News

• Le cours du MIT « 6.S184: Introduction to Flow Matching and Diffusion Models » a été publié sur YouTube

  • Il enseigne les algorithmes d’IA générative pour les images, la vidéo, les protéines, etc., ainsi que les outils mathématiques nécessaires pour les comprendre
  • Les modèles de flux et de diffusion étant des sujets mathématiquement difficiles, beaucoup de cours n’enseignent qu’une intuition de haut niveau
  • Ce cours propose une introduction mathématiquement rigoureuse et autonome, destinée aux débutants en IA
  • J’espère que le cours vous plaira

• Les flux normalisants conditionnels sont l’une des plus belles solutions aux problèmes de conception inverse

  • S’il y a des données, on peut les entraîner
  • L’idée de transformer une distribution de base à l’aide d’une fonction bijective pour la déplacer au bon endroit est très élégante
  • J’ai eu du mal à traiter simultanément des objectifs continus et catégoriels
  • C’est une méthode vraiment formidable

• Les dix dernières années ont été un âge d’or pour l’enseignement du deep learning

  • La concurrence pour proposer gratuitement des contenus pédagogiques de haute qualité est intéressante

• Excellent cours, j’ai hâte de le suivre

  • Ce cours se concentre sur les espaces continus, mais il se passe aussi beaucoup de choses intéressantes en diffusion discrète
  • Je me demande s’il y a un projet de cours de suivi
  • J’ai appris que Peter, l’enseignant, a publié un article sur la diffusion discrète

• Je me demande s’il existe une collection regroupant tous les cours publics sur les technologies d’IA les plus récentes

• Un immense merci à MIT OCW et à ses collaborateurs

  • Je l’utilise comme support complémentaire, et apprendre le même sujet de deux manières différentes est très bénéfique
  • C’est particulièrement utile pour les sujets difficiles à comprendre

• On dirait que les LLMs ont détourné beaucoup d’attention alors que cette technologie est pourtant très utile

• C’est formidable que le MIT propose gratuitement un contenu opportun et pertinent

• Merci infiniment, je me demande s’il existe d’autres cours OCW sur l’IA moderne

• Beau travail, félicitations