- Ce cours proposé par l’université Carnegie Mellon (CMU) est une introduction au fonctionnement des systèmes d’intelligence artificielle modernes
- Axé sur le machine learning et les grands modèles de langage (LLM), il présente les technologies de base qui sous-tendent des systèmes comme ChatGPT, Gemini et Claude
- Les participants apprennent les bases de l’apprentissage supervisé, des réseaux de neurones, des transformers et du post-training, et peuvent implémenter eux-mêmes un LLM open source
- La version en ligne est proposée gratuitement, avec publication des vidéos de cours et des devoirs selon un calendrier décalé de deux semaines par rapport au cours de CMU
- L’usage d’outils d’IA est autorisé, mais il est recommandé de rédiger soi-même le rendu final afin de mieux consolider sa compréhension
Présentation du cours
- Ce cours est centré sur l’intelligence artificielle (IA) au sens moderne, c’est-à-dire principalement le machine learning et les grands modèles de langage (LLM)
- Il traite des technologies fondamentales de systèmes comme ChatGPT, Gemini et Claude
- L’implémentation de base d’un LLM repose sur un petit nombre de techniques et de structures de machine learning, et peut s’écrire en quelques centaines de lignes de code
- Les participants apprennent les principes fondamentaux de l’apprentissage supervisé, des LLM et du post-training, et peuvent implémenter eux-mêmes un chatbot IA
- Les principaux thèmes abordés sont les suivants
- Brève histoire de l’IA
- Apprentissage supervisé : modèles linéaires, fonctions de perte, optimisation, réseaux de neurones
- Grands modèles de langage : self-attention, transformers, tokenizers, inférence efficace
- Post-training : fine-tuning supervisé, alignement et instruction tuning, modèles de raisonnement, sûreté et sécurité
Cours en ligne
- Une version en ligne gratuite est ouverte en parallèle du cours de CMU et propose des contenus publiés avec deux semaines de décalage
- Elle comprend les vidéos de cours, les devoirs (système mugrade), des notebooks Colab, etc.
- Les quiz, l’examen intermédiaire et l’examen final ne sont pas inclus dans la version en ligne
- Via Enroll here, il est possible de recevoir une notification par e-mail lors de la publication des cours et des devoirs
- Les TA, les permanences et l’évaluation des notes concernent uniquement le cours de CMU
Évaluation et prérequis
- Répartition de la note
- Devoirs et programmation : 20 %
- Quiz de devoirs : 40 %
- Examens intermédiaires et final : 40 % (10 % pour chaque partiel, 20 % pour le final)
- Prérequis obligatoires
- Programmation : bonne maîtrise de la programmation orientée objet en Python requise (15-112 ou 15-122)
- Mathématiques : bases en calcul différentiel incluant la dérivation (21-111 ou 21-120), avec notions de base en algèbre linéaire et probabilités recommandées
Devoirs et programmation
- Les devoirs principaux visent une implémentation progressive d’un chatbot IA
- Les rendus se font via le système mugrade, avec versions notebook Colab et Marimo disponibles
- Certains devoirs s’appuient sur les résultats des devoirs précédents
- Liste des devoirs
- HW0 : bases de la notation automatique et de la programmation
- HW1 : algèbre linéaire et PyTorch
- HW2 : différentiation automatique et apprentissage de modèles linéaires
- HW3 : apprentissage de réseaux de neurones
- HW4 : implémentation d’un transformer
- HW5 : implémentation d’un LLM minimal
- HW6 : fine-tuning supervisé et apprentissage d’un chatbot
- HW7 : apprentissage par renforcement
- Après chaque devoir, un quiz de 15 minutes est proposé, basé sur le code ou les concepts du devoir
Examens et calendrier du cours
- Le cours comprend deux examens intermédiaires et un examen final, tous en présentiel et en format fermé
- Partiel 1 : apprentissage supervisé
- Partiel 2 : grands modèles de langage
- Final : évaluation cumulative (avec un poids plus important sur la seconde moitié du cours)
- Le calendrier du cours est mis à jour pendant le semestre, et la version en ligne est publiée deux semaines plus tard
- Ex. : 1/12 « Histoire de l’IA », 1/28 « Modèles linéaires », 2/16 « Partiel 1 », 3/18 « Partiel 2 », 4/20 « Date limite HW7 », etc.
Politique d’utilisation des outils d’IA
- Utilisation d’assistants IA autorisée : les outils d’IA peuvent être utilisés comme aide pour les devoirs et la programmation
- Toutefois, il est fortement recommandé de rédiger soi-même le rendu final
- Lors des évaluations en cours (quiz et examens), l’usage de l’IA et de ressources externes est interdit
- Cette politique vise à améliorer l’efficacité de l’apprentissage
- L’IA est utile comme aide à l’apprentissage, mais une dépendance excessive peut nuire à la compréhension
- Les étudiants qui résolvent eux-mêmes les devoirs ont tendance à obtenir de meilleurs résultats aux quiz et aux examens
Aucun commentaire pour le moment.