Comprendre le deep learning

Résumé du livre

• Le livre Understanding Deep Learning, écrit par Simon J.D. Prince, doit être publié par MIT Press le 5 décembre 2023.
• Il couvre un large éventail de sujets pour aider à comprendre le deep learning, avec des explications accessibles même à des ingénieurs logiciel débutants.
• Les principaux thèmes abordés incluent l’apprentissage supervisé, les réseaux de neurones, les fonctions de perte, l’entraînement des modèles, la mesure des performances, la régularisation, les réseaux convolutifs, les réseaux résiduels, les transformeurs, les réseaux de neurones sur graphes, l’apprentissage non supervisé, les réseaux antagonistes génératifs, les normalizing flows, les autoencodeurs variationnels, les modèles de diffusion, l’apprentissage par renforcement profond, le fonctionnement du deep learning, ainsi que le deep learning et l’éthique.

Ressources pour les enseignants

• Un corrigé est fourni aux enseignants via MIT Press sur présentation de justificatifs.
• Des exemplaires de cours peuvent être demandés auprès de MIT Press.
• Des illustrations pour chaque chapitre sont proposées aux formats PDF, SVG et PowerPoint.

Ressources pour les étudiants

• Des réponses à une sélection de questions ainsi que des notebooks Python sont fournis, afin d’aider les étudiants à mieux comprendre le deep learning par la pratique.
• Les notebooks couvrent de nombreux sujets, notamment le bagage mathématique, l’apprentissage supervisé, les réseaux de neurones peu profonds, les réseaux de neurones profonds, les fonctions de perte, l’entraînement des modèles, les gradients et l’initialisation, la mesure des performances, la régularisation, les réseaux convolutifs, les réseaux résiduels, les transformeurs, les réseaux de neurones sur graphes, les réseaux antagonistes génératifs, les normalizing flows, les autoencodeurs variationnels, les modèles de diffusion, l’apprentissage par renforcement profond, le fonctionnement du deep learning, ainsi que le deep learning et l’éthique.

Avis de GN⁺

• Ce livre offre une compréhension complète du deep learning, en combinant explications théoriques et cas d’application concrets, ce qui le rend utile pour les apprenants.
• Il fournit aux ingénieurs logiciel débutants des ressources pour apprendre de manière structurée, des concepts fondamentaux du deep learning jusqu’aux sujets avancés, et leur donne l’occasion de développer leur intérêt et leurs connaissances dans ce domaine.
• Le point le plus important est qu’il inclut des notebooks Python pour la pratique ainsi que des ressources pour les enseignants, permettant d’appliquer les connaissances théoriques à la résolution de problèmes concrets.

[GN⁺]

Avis Hacker News

• • Les commentaires se divisent globalement en deux camps : 1) on peut construire des systèmes d’IA sans avoir besoin de ce savoir, 2) ces connaissances de base sont nécessaires pour comprendre ce qui se passe réellement.
  • Les deux points de vue sont justes. Le domaine est en train de se scinder entre ingénieurs ML et scientifiques ML (ou chercheurs).
  • Il est préférable d’avoir les deux profils dans une équipe. Les scientifiques peuvent être lents, et les ingénieurs avanceront en essayant divers API et modèles open source. Mais lorsqu’ils se heurtent à des obstacles ou doivent ajuster des algorithmes, beaucoup d’ingénieurs peuvent avoir des difficultés. Cela exige un état d’esprit R&D peu familier à de nombreux ingénieurs.
  • C’est là que l’importance du scientifique en IA devient évidente.
• • Si l’on commence à étudier l’IA maintenant, peut-on encore se rapprocher du niveau expert ?
  • Inquiétude à l’idée de s’engager dans un parcours qui pourrait nécessiter un master ou un doctorat.
• • Certains se demandent si apprendre ce domaine n’a plus de sens qu’à des fins historiques, ou si cela reste pertinent pour l’emploi à l’avenir.
  • Ils imaginent qu’OpenAI va tout dominer dans l’IA, mais se demandent si cette vision est correcte.
• • Ce livre est impressionnant. J’ai aimé le chapitre sur « l’efficacité déraisonnable du deep learning ». Y a-t-il d’autres livres à surveiller ?
• • Travail dans de célèbres entreprises technologiques depuis des décennies sur diverses plateformes de machine learning. Tout ce sur quoi ils ont travaillé devient vite obsolète. Des algorithmes de ML aux plateformes de calcul, tout est changeant. Comme seules quelques entreprises d’élite portent toutes les innovations en ML, apprendre ce type de contenu peut sembler paradoxal à beaucoup.
• • Il est difficile d’évaluer un livre comme celui-ci... (sur la seule base de la table des matières ?)
  • Qui est l’auteur ?
  • A-t-il d’autres publications bien notées ?
  • Y a-t-il de bonnes critiques de la part de personnes qui connaissent ce domaine ?
  • Y a-t-il de bonnes critiques d’étudiants qui n’y connaissent rien ?
• • Question peut-être idiote : comment achète-t-on réellement le livre ?
• • Le schéma PDF sur « pourquoi le deep learning fonctionne » semble pointer vers « deep learning et éthique », et l’inverse semble aussi vrai.
• • Excellent travail, et le proposer gratuitement est incroyable !!
• • Il n’y a pas de chapitre sur les RNN, mais c’est intéressant de voir un chapitre sur les transformers, la dernière fois que j’ai lu Deep Learning d’Ian Goodfellow, c’était en 2016.