Introduction à l’apprentissage statistique avec Python
(statlearning.com)- Dans un contexte où l’ampleur de la collecte de données ne cesse d’augmenter, An Introduction to Statistical Learning présente l’apprentissage statistique comme un outil d’introduction pratique pour comprendre les données
- L’ouvrage s’adresse aux lecteurs qui veulent apprendre des outils modernes d’analyse de données, en mettant l’accent sur des explications larges et moins techniques plutôt que sur des mathématiques complexes
- L’édition appliquée à R a connu une 1re édition en 2013 puis une 2e en 2021, et l’édition Python (ISLP) a été publiée en 2023
- Chaque édition relie les concepts de chaque chapitre à du code R ou Python grâce à des labs pratiques en fin de chapitre
- Des liens de téléchargement PDF et d’achat sont fournis, ce qui permet aux débutants de choisir entre la 1re édition R, la 2e édition R et l’édition Python selon leurs besoins
Focus de l’ouvrage d’introduction à l’apprentissage statistique
- An Introduction to Statistical Learning part du constat que l’échelle et la portée de la collecte de données continuent de croître dans presque tous les domaines
- L’apprentissage statistique y est présenté comme un ensemble d’outils indispensable pour toute personne cherchant à comprendre les données
- Les thèmes essentiels sont couverts de manière large tout en réduisant la difficulté technique, ce qui rend l’ouvrage accessible aux lecteurs souhaitant utiliser des outils modernes d’analyse de données
Éditions, pratique et ressources
- Les éditions se répartissent entre R et Python
- ISLR 1re édition est l’édition appliquée à R, publiée en 2013
- ISLR 2e édition a été publiée en 2021
- ISLP est l’édition Python, publiée en 2023
- ISLR a été traduit en chinois, italien, japonais, coréen, mongol, russe et vietnamien
- À la fin de chaque chapitre, un lab montre les concepts du chapitre en R ou en Python
- Les sujets abordés dans l’ouvrage sont les suivants
- Qu’est-ce que l’apprentissage statistique ?
- Régression
- Classification
- Méthodes de rééchantillonnage
- Sélection de modèles linéaires et régularisation
- Méthodes au-delà de la linéarité
- Méthodes basées sur les arbres
- Machines à vecteurs de support
- Deep learning
- Analyse de survie
- Apprentissage non supervisé
- Tests multiples
- Les PDF sont disponibles via les liens suivants
1 commentaires
Commentaires sur Hacker News
C’est un peu hors sujet, mais le ratio entre les votes positifs et le nombre de commentaires est intéressant
Les posts sur ChatGPT récoltent généralement des centaines de commentaires, alors qu’ici il n’y a pour l’instant que 7 commentaires pour 100 votes positifs
Le livre a l’air bon, et vu les auteurs il sera presque certainement bon, donc je pense l’acheter, mais ce ratio semble montrer l’état actuel du « ML/IA/data science ». Ça me rend un peu cynique de voir que beaucoup de gens intéressés par la vague IA n’ont pas vraiment travaillé les concepts de base et ne comprennent pas en profondeur les maths/statistiques derrière
Cela dit, moi non plus je n’ai pas laissé un commentaire particulièrement pertinent sur le sujet de ce lien
https://github.com/melling/ISLR
Il y a aussi un cours edX donné par les auteurs : https://www.edx.org/course/statistical-learning
Ce genre de livre est essentiel pour commencer en machine learning/IA, et celui-ci est particulièrement bon. J’ai moi-même commencé le machine learning avec ce livre
Il y a une énorme surchauffe autour de l’IA, et ça risque de ressembler à la bulle Internet. Contrairement à la crypto, l’IA a déjà des usages réels, et cela reste vrai même en laissant de côté les produits basés sur les LLM. Mais il y a aussi beaucoup d’exagération et d’attentes pleines d’espoir, donc quand la bulle éclatera, beaucoup de gens vont en souffrir. Cela dit, à court terme, certains continueront à gagner de l’argent réel, et les gens que je connais qui attisent cette surchauffe le comprennent très bien
Malgré tout, l’IA restera, et même après l’éclatement de la bulle, des usages réels de l’IA subsisteront un peu partout autour de nous
Je comprends ce sentiment, mais dans beaucoup de cas d’usage du machine learning, appeler l’API de ChatGPT est une approche 100 fois meilleure que construire soi-même un modèle, donc il n’est peut-être vraiment pas nécessaire de comprendre les maths
Par exemple, je développe une appli IA de calcul nutritionnel et j’utilise les appels de fonctions de ChatGPT. Si j’ajoute un champ comme un emoji alimentaire, il classe automatiquement n’importe quel aliment avec l’emoji approprié. Pour faire ce genre de chose, on n’a absolument pas besoin de connaître la descente de gradient ni les propriétés de base
C’est comme ça depuis quelques années, et dans la plupart des environnements de travail, cela a un mauvais impact. Je n’envie pas les data scientists en poste qui doivent gérer les attentes
Sur HN, il y a presque uniquement de la surchauffe et très peu de science. Beaucoup de certitude, peu de fondement. Les gens aiment citer des articles, mais ne lisent que le résumé et passent à côté des nuances essentielles. C’est d’autant plus vrai dans un domaine où présenter des limites augmente le risque de rejet, et où les reviewers copient-collent parfois cette partie avant de considérer que le travail est fait
Le monde académique est un peu mieux, mais dans l’ensemble il y a aussi beaucoup de chercheurs qui manquent de bases mathématiques. J’ai connu ou rencontré, même dans des universités ou laboratoires de tout premier plan, des personnes qui ne connaissent pas la différence entre vraisemblance et probabilité. Certaines ne comprennent pas non plus la densité de probabilité, y compris parmi des gens qui travaillent sur les modèles de diffusion. Cela dit, les chercheurs les plus marquants ont en général ces compétences. En contrepartie, ils publient moins vite et leurs travaux peuvent être moins populaires
Aujourd’hui, beaucoup de recherches se concentrent sur le réglage des paramètres et l’injection de ressources de calcul. Je reconnais que le tuning est nécessaire, mais ce n’est pas une innovation de haut niveau, et il faut être honnête sur le fait qu’il est difficile de prouver qu’un modèle ou une architecture est meilleur si les autres n’ont pas été réglés au même degré. J’ai essayé de m’exprimer un peu là-dessus, car cette tendance crée une barrière qui bloque d’autres types de recherche
En résumé, c’est assez juste. Il y a énormément de bruit autour du machine learning/de l’IA, surtout sur HN
J’ajouterais aussi une recommandation pour Statistical Rethinking de Richard McElreath(https://xcelab.net/rm/statistical-rethinking/). C’est plus agréable à lire qu’ISLR et cela introduit aussi les statistiques bayésiennes (les cours sont aussi sur YouTube). Je recommande également Regression and Other Stories de Gelman(https://avehtari.github.io/ROS-Examples/)
Ce livre est une version mise à jour d’un manuel très populaire à l’origine en R. Les professeurs Hastie et Tibshirani sont des figures majeures de l’enseignement en apprentissage statistique
Il existe aussi sur Stanford Online un cours vidéo qui suit ces notes. Je le recommande vivement pour apprendre les aspects théoriques du machine learning classique
On peut télécharger légalement le livre complet ici [pdf] : https://hastie.su.domains/ISLP/ISLP_website.pdf
ISL est le meilleur manuel d’introduction aux méthodes classiques du machine learning. Il est orienté théorie, mais reste suffisamment accessible à un large public d’étudiants ayant les bases en statistiques, algèbre linéaire et programmation
Le fait que les exemples n’existent qu’en R était gênant quand je l’enseignais avec Python. J’aimerais bien qu’ils le convertissent maintenant en série de notebooks Jupyter et qu’ils les diffusent via un service comme Colab
Certains parleront de machine learning “classique”, mais pour moi ces méthodes à faible nombre de paramètres restent, dans bien des cas, très utiles et bien plus faciles à interpréter que les RNN
J’ai voulu comparer les deux versions de lab zero
Je n’ai parcouru que quelques minutes des exercices pratiques en Python, mais par rapport à ce dont je me souviens des exercices en R, cela m’a semblé bien plus complexe et plus long
Je sais que sur HN, on se plaint souvent que R est difficile et confus, mais à mon avis, pour un débutant ou quelqu’un avec un profil plus statistique qui veut se lancer dans des travaux de statistique, R est un langage plus facile
Ce n’est pas surprenant quand on regarde le public visé par chaque langage. À mon avis, il faut accepter les deux et utiliser celui qui convient le mieux à la tâche donnée
Personnellement, je préfère Pattern Recognition and Machine Learning de Bishop ou Probabilistic Machine Learning: An Introduction de Murphy
C’est pour cela que la traduction d’ISLA me semble avoir beaucoup d’importance. Si un étudiant a suffisamment étudié le machine learning / la modélisation statistique, il devrait être assez facile pour lui de transposer un modèle mathématique en modèle computationnel, donc le code n’est pas indispensable. En fait, on peut considérer qu’il faut justement en être capable pour dire qu’on comprend ces modèles
J’aimerais aussi ajouter Elements of Statistical Learning des auteurs d’ISL(R/P). J’ai lu ISL, ESL et Bishop, et j’ai commencé Murphy sans aller jusqu’au bout. Aucune raison particulière, je l’ai simplement laissé de côté en étant trop occupé. Je recommande vivement n’importe lequel de ces manuels
Dans ce cas, vous recommanderiez quand même Bishop, ou est-ce trop théorique ?
Nonparametric Statistics for the Behavioral Sciences, Second Edition, de Sidney Siegel et N. John Castellan, Jr., ISBN 0-07-057357-3, McGraw-Hill, New York, 1988, mérite aussi d’être envisagé
« Non paramétrique » signifie qu’on ne suppose pas une distribution de probabilité fondée sur des paramètres. Autrement dit, on peut parler d’approche distribution-free
Par exemple, on peut s’intéresser aux plans de rééchantillonnage. Les hypothèses sont très limitées, c’est vraiment simple, assez ingénieux, globalement utile, et particulièrement bien adapté au calcul. On peut aussi utiliser le rééchantillonnage pour tirer davantage d’informations de données de tests « A-B »
S’il faut absolument tracer une frontière, on peut dire qu’ISLR est davantage axé sur la prédiction que sur l’inférence ou les tests d’hypothèse
J’ai vraiment adoré la série YouTube sortie avec la version précédente de ce livre : https://www.youtube.com/watch?v=5N9V07EIfIg&list=PLOg0ngHtcq...
On peut la regarder même sans le livre, et il est possible de passer les parties de code. Il y a aussi des éclairages absents du livre, et le tout mêle admirablement une énorme maîtrise technique et une grande capacité à condenser et expliquer les concepts
Pour moi, c’est un peu trop verbeux. Si Landau était encore en vie et réécrivait ce genre de livre, ce serait bien plus court. Est-ce qu’on pourrait obtenir ça avec un LLM ?