- Ce cours proposé par l’université Carnegie Mellon (CMU) est une introduction au fonctionnement des systèmes d’intelligence artificielle modernes
- Axé sur le machine learning et les grands modèles de langage (LLM), il présente les technologies de base qui sous-tendent des systèmes comme ChatGPT, Gemini et Claude
- Les participants apprennent les bases de l’apprentissage supervisé, des réseaux de neurones, des transformers et du post-training, et peuvent implémenter eux-mêmes un LLM open source
- La version en ligne est proposée gratuitement, avec publication des vidéos de cours et des devoirs selon un calendrier décalé de deux semaines par rapport au cours de CMU
- L’usage d’outils d’IA est autorisé, mais il est recommandé de rédiger soi-même le rendu final afin de mieux consolider sa compréhension
Présentation du cours
- Ce cours est centré sur l’intelligence artificielle (IA) au sens moderne, c’est-à-dire principalement le machine learning et les grands modèles de langage (LLM)
- Il traite des technologies fondamentales de systèmes comme ChatGPT, Gemini et Claude
- L’implémentation de base d’un LLM repose sur un petit nombre de techniques et de structures de machine learning, et peut s’écrire en quelques centaines de lignes de code
- Les participants apprennent les principes fondamentaux de l’apprentissage supervisé, des LLM et du post-training, et peuvent implémenter eux-mêmes un chatbot IA
- Les principaux thèmes abordés sont les suivants
- Brève histoire de l’IA
- Apprentissage supervisé : modèles linéaires, fonctions de perte, optimisation, réseaux de neurones
- Grands modèles de langage : self-attention, transformers, tokenizers, inférence efficace
- Post-training : fine-tuning supervisé, alignement et instruction tuning, modèles de raisonnement, sûreté et sécurité
Cours en ligne
- Une version en ligne gratuite est ouverte en parallèle du cours de CMU et propose des contenus publiés avec deux semaines de décalage
- Elle comprend les vidéos de cours, les devoirs (système mugrade), des notebooks Colab, etc.
- Les quiz, l’examen intermédiaire et l’examen final ne sont pas inclus dans la version en ligne
- Via Enroll here, il est possible de recevoir une notification par e-mail lors de la publication des cours et des devoirs
- Les TA, les permanences et l’évaluation des notes concernent uniquement le cours de CMU
Évaluation et prérequis
- Répartition de la note
- Devoirs et programmation : 20 %
- Quiz de devoirs : 40 %
- Examens intermédiaires et final : 40 % (10 % pour chaque partiel, 20 % pour le final)
- Prérequis obligatoires
- Programmation : bonne maîtrise de la programmation orientée objet en Python requise (15-112 ou 15-122)
- Mathématiques : bases en calcul différentiel incluant la dérivation (21-111 ou 21-120), avec notions de base en algèbre linéaire et probabilités recommandées
Devoirs et programmation
- Les devoirs principaux visent une implémentation progressive d’un chatbot IA
- Les rendus se font via le système mugrade, avec versions notebook Colab et Marimo disponibles
- Certains devoirs s’appuient sur les résultats des devoirs précédents
- Liste des devoirs
- HW0 : bases de la notation automatique et de la programmation
- HW1 : algèbre linéaire et PyTorch
- HW2 : différentiation automatique et apprentissage de modèles linéaires
- HW3 : apprentissage de réseaux de neurones
- HW4 : implémentation d’un transformer
- HW5 : implémentation d’un LLM minimal
- HW6 : fine-tuning supervisé et apprentissage d’un chatbot
- HW7 : apprentissage par renforcement
- Après chaque devoir, un quiz de 15 minutes est proposé, basé sur le code ou les concepts du devoir
Examens et calendrier du cours
- Le cours comprend deux examens intermédiaires et un examen final, tous en présentiel et en format fermé
- Partiel 1 : apprentissage supervisé
- Partiel 2 : grands modèles de langage
- Final : évaluation cumulative (avec un poids plus important sur la seconde moitié du cours)
- Le calendrier du cours est mis à jour pendant le semestre, et la version en ligne est publiée deux semaines plus tard
- Ex. : 1/12 « Histoire de l’IA », 1/28 « Modèles linéaires », 2/16 « Partiel 1 », 3/18 « Partiel 2 », 4/20 « Date limite HW7 », etc.
Politique d’utilisation des outils d’IA
- Utilisation d’assistants IA autorisée : les outils d’IA peuvent être utilisés comme aide pour les devoirs et la programmation
- Toutefois, il est fortement recommandé de rédiger soi-même le rendu final
- Lors des évaluations en cours (quiz et examens), l’usage de l’IA et de ressources externes est interdit
- Cette politique vise à améliorer l’efficacité de l’apprentissage
- L’IA est utile comme aide à l’apprentissage, mais une dépendance excessive peut nuire à la compréhension
- Les étudiants qui résolvent eux-mêmes les devoirs ont tendance à obtenir de meilleurs résultats aux quiz et aux examens
1 commentaires
Réactions sur Hacker News
En regardant la politique du cours d’IA, l’usage d’assistants IA est autorisé pour les devoirs et les exercices de programmation, mais il est recommandé de rédiger soi-même la version finale
Pendant les quiz et les examens en cours, l’usage de l’IA ou de ressources externes est interdit
La raison est que l’IA peut être utile comme outil d’apprentissage, mais qu’une dépendance excessive peut nuire à l’apprentissage
Il existe des éléments empiriques montrant que les étudiants qui résolvent les problèmes par eux-mêmes obtiennent de bien meilleurs résultats aux examens
L’idée centrale est qu’ils savent bien que les étudiants utiliseront de toute façon l’IA, mais qu’ils font confiance à leur volonté d’apprendre et de progresser par eux-mêmes
J’ai déjà aidé sur un cours similaire, et si l’IA avait pu aider au débogage, les étudiants auraient pu couvrir davantage de contenu et se concentrer sur des parties intéressantes comme l’implémentation CUDA
Ce nouveau cours a l’air vraiment passionnant, et le professeur Zico est un excellent enseignant
Accélérer la compréhension avec l’IA, puis être évalué sans IA à la fin, c’est une bonne structure pour consolider l’apprentissage
À l’époque, cela me semblait injuste, mais avec le recul c’était une méthode très équitable
Cela paraît encore plus adapté à notre époque
L’enseignant de ce cours est membre du conseil d’administration d’OpenAI
Article lié : Zico Kolter joins OpenAI’s board of directors
C’est dommage que “modern AI” semble ne désigner que les LLM
L’IA moderne couvre un domaine bien plus large, et rien qu’au titre je m’attendais à voir davantage de modèles SOTA variés
Cela dit, les cours de CMU sont généralement excellents, donc ça a quand même l’air d’être un bon cours
S’il existe des ressources couvrant aussi d’autres domaines, cela m’intéresserait beaucoup
Je le suis en version gratuite depuis quelques jours, et le système de devoirs est vraiment excellent
On peut lancer les tests directement en local, donc on apprend bien mieux qu’en se contentant de regarder les cours
Je le recommande à 10/10
Est-ce que tout se fait sur un ordinateur personnel, ou bien un accès à un cluster est fourni ?
Je me demande si ce cours est bon
Ou s’il existe d’autres cours recommandés pour apprendre de manière structurée le fonctionnement des LLM
J’aimerais demander à ceux qui suivent réellement le cours en faisant tous les devoirs
En pratique, combien d’heures par semaine faut-il investir pour aller jusqu’au bout ?
J’attends l’arrivée de l’IA postmoderne
C’est dommage qu’il n’y ait rien sur le raisonnement symbolique (symbolic reasoning)
J’espère la publication d’un manuel à suivre en parallèle du cours
S’il sort, je l’achèterai immédiatement
Ravi de voir le retour de Lisp et Prolog
Cela dit, Lisp et Prolog restent utiles
Pour implémenter des réseaux de neurones from scratch, le C est adapté, et relier les sous-systèmes en Python suffit pour construire des systèmes assez complexes
Ils ont toujours continué à exister discrètement dans leur propre niche