La vérité sur la régression linéaire en 2015

 (stat.cmu.edu)
1 points par GN⁺ 2024-08-01 | 1 commentaires | Partager sur WhatsApp
  • Basé sur les notes de cours de 36-401 Modern Regression à Carnegie Mellon à l’automne 2015, il s’agit d’un texte pédagogique pour celles et ceux qui apprennent ou enseignent la régression linéaire
  • Au lieu d’enfermer la régression linéaire dans des hypothèses héritées des années 1960, le texte réduit l’importance de la théorie reposant sur le bruit gaussien (Gaussian noise) et sur un modèle linéaire correctement spécifié
  • Même si cela demande davantage de calcul, il privilégie des méthodes robustes et précise que le texte lui-même n’est peut-être pas allé assez loin dans cette direction
  • Il recoupe en partie le deuxième chapitre de Advanced Data Analysis from an Elementary Point of View, tout en incluant aussi beaucoup de contenu nouveau et plus accessible
  • La table des matières couvre un large spectre : prédiction optimale, méthode des moindres carrés, maximum de vraisemblance, diagnostic, inférence, multicolinéarité, sélection de modèle, moindres carrés pondérés et généralisés, sélection de variables, arbres et bootstrap

Nature du texte et approche

  • Ce document rassemble les notes du cours 36-401, Modern Regression, in fall 2015
  • Tout en reconnaissant qu’il existe déjà de nombreuses ressources sur la régression linéaire, il a été publié avec l’idée qu’il pourrait être utile à celles et ceux qui l’apprennent ou l’enseignent
  • Dans la perspective que la statistique a progressé depuis les années 1960, il met moins l’accent sur la théorie qui s’appuie sur des modèles linéaires correctement spécifiés et sur le bruit gaussien
  • Il est structuré de façon à privilégier des méthodes robustes, plus intensives en calcul, et l’auteur ajoute qu’il n’est peut-être pas allé suffisamment loin dans cette direction
  • Il recoupe en partie Advanced Data Analysis from an Elementary Point of View, en particulier son deuxième chapitre, « The Truth About Linear Regression »
  • Il comprend en même temps beaucoup de contenu nouveau et plus accessible, et les avis comme les corrections, en particulier les corrections d’erreurs, sont bienvenus

Champ couvert et mises à jour

  • La table des matières actuelle va des bases de la modélisation en régression linéaire jusqu’au diagnostic, à l’inférence et aux techniques avancées

  • Modélisation de base et régression simple

    • Optimal Prediction
    • Introducing Statistical Modeling
    • Simple Linear Regression Models, with Hints at Their Estimation
    • The Method of Least Squares for Simple Linear Regression
    • The Method of Maximum Likelihood for Simple Linear Regression
    • Diagnostics and Modifications for Simple Regression
    • Inference on Parameters
    • Predictive Inference for the Simple Linear Model
    • Interpreting Parameters after Transformation
    • F-Tests, R^2, and Other Distractions
    • Simple Linear Regression in Matrix Format

  • Régression multiple et thèmes avancés

    • Multiple Linear Regression
    • Diagnostics and Inference for Multiple Linear Regression
    • Polynomial and Categorical Regression
    • Multicollinearity
    • Tests and Confidence Sets
    • Interactions
    • Outliers and Influential Points
    • Model Selection
    • Review
    • Weighted and Generalized Least Squares
    • Variable Selection
    • Trees
    • The Bootstrap I
    • The Bootstrap II
    • À l’avenir, des contenus de linear spatio-temporal estimation and prediction issus du cours Data Over Space and Time pourront être intégrés au document
    • Des exemples comme le filtre de Wiener et le krigeage sont mentionnés
    • La dernière mise à jour du texte correspond à une réexécution du code après une mise à jour de R et à des corrections de coquilles ; la date indiquée est le 20 octobre 2025

À lire aussi

1 commentaires

 
GN⁺ 2024-08-01
Commentaires Hacker News

  • La régression linéaire est souvent sous-estimée

    1. Les tests statistiques courants sont tous des modèles linéaires : https://lindeloev.github.io/tests-as-linear/
    2. Un modèle linéaire signifie qu’il est linéaire par rapport aux paramètres, pas à la variable de réponse. Par exemple, y = a*sin(x)+bx^2 est aussi un modèle linéaire
    3. En choisissant une base de splines appropriée, on peut aussi modéliser avec un modèle linéaire de nombreuses relations non linéaires entre les variables prédictives et la variable de réponse
    4. Et si cela reste trop peu flexible, d’après le théorème de Taylor, une relation linéaire est souvent une bonne approximation d’une relation non linéaire
    • Je suis entièrement d’accord avec ces points, et les modèles linéaires méritent beaucoup plus de reconnaissance
      Un autre point important, c’est que les humains, surtout en groupe, ne peuvent raisonnablement prendre que des décisions linéaires
      Dans une réunion où l’on fixe l’orientation d’une entreprise, on ne peut guère dire autre chose que : « augmentons les dépenses publicitaires et réduisons les autres coûts d’acquisition, comme les bons de réduction ». Trouver l’équilibre entre « hausse des dépenses publicitaires » et « baisse des autres coûts » est un simple modèle linéaire
      Même avec un excellent modèle non linéaire, l’enjeu n’est pas tant « l’interprétabilité » que la capacité à passer à l’action. Si l’on apporte les résultats d’une régression en réunion, on peut modéliser rapidement plusieurs stratégies et donner une confiance raisonnable sur la direction à prendre
      J’avais du mal à faire remonter des insights actionnables, mais après avoir bien compris la régression, il est devenu étonnamment facile d’ouvrir et de comprendre rapidement des processus métier assez complexes
    • Concernant le point 3, j’ai utilisé techniquement avec pas mal de succès les modèles additifs généralisés dans la plupart de mes travaux académiques et industriels. Autrement dit, ils s’ajustaient bien aux données
      Pourtant, les parties prenantes les comprenaient rarement correctement ou en reconnaissaient rarement la valeur. J’y vois surtout de la paresse et de l’habitude
    • Je serais intéressé par de bonnes références sur le point 3
      Un problème que je vois souvent dans la littérature est que les auteurs surinterprètent la pente de modèles avec un terme quadratique, par exemple Y = age + age^2, aux âges les plus bas ou les plus élevés. Sur un graphique, si l’on ne regarde que la ligne et pas l’intervalle de confiance, on a l’impression d’une baisse chez les plus âgés, mais il peut en réalité s’agir d’une pente négative apparente due au fait que le modèle quadratique ne peut pas représenter une asymptote. Exemple : https://www.researchgate.net/figure/Scatter-plot-of-the-quad...)
      Quand il n’y avait pas de choix théorique imposé, j’ai utilisé des polynômes fractionnaires. Par exemple, avec x^s et s = {−2, −1, −0.5, 0, 0.5, 1, 2, 3}, j’adoptais une stratégie consistant à choisir le polynôme qui s’ajuste le mieux tout en évitant le surapprentissage : https://journal.r-project.org/articles/RN-2005-017/RN-2005-0...
      Ce n’est pas une mauvaise technique, et j’ai aussi essayé d’autres méthodes comme la régression polynomiale par morceaux ou les points de nœud, mais je ne savais pas très bien, par exemple, comment tester une interaction de groupe entre deux splines avec nœuds. C’était pareil avec les modèles additifs : https://bookdown.org/ssjackson300/Machine-Learning-Lecture-N...
    • Avec le bon point de vue, un SVM est aussi un modèle purement linéaire, et, en étant très réductionniste, on peut dire qu’un réseau de neurones ReLU est linéaire par morceaux
      Cela dit, ce genre d’explication peut aussi masquer plus de choses qu’il n’en éclaire. Choisir la transformation adaptée à un cas précis est un problème très difficile. La question reste : pourquoi sin(x) et x^2, et pas tanh(x) et x^(1/2) ?
    • Comme j’ai très peu de connaissances en maths, le point 2 me surprend. Après une rapide recherche, je vois qu’un modèle linéaire devrait donner une droite lorsqu’on le représente graphiquement, mais l’équation donnée en exemple n’est pas une droite
      J’ai l’impression de passer à côté de quelque chose de fondamental

  • La technique la plus importante en régression, c’est savoir reconnaître l’ordonnée à l’origine. Ça paraît trivial, et ça l’est effectivement, mais les choses changent dès qu’on commence à introduire des interactions entre termes. J’ai vu énormément de jeunes doctorants se tromper là-dessus
    Prenons un modèle linéaire simple avec un score de test, l’âge (7 à 16 ans) et une variable catégorielle binaire de diagnostic d’autisme (0 = groupe témoin, 1 = autisme) : score = age + diagnosis + age:diagnosis, c’est-à-dire score = (X1)age + (X2)diagnosis + (X3)age:diagnosis
    Si X2 est significatif, un étudiant naïf dira « il y a une différence entre les groupes ! », mais il oublie qu’il s’agit de la différence prédite entre les groupes lorsque le participant a 0 an. L’âge doit être centré sur la moyenne, la médiane, ou mieux, sur l’âge qui vous intéresse. Dès qu’une interaction entre dans l’équation, toutes les estimations de paramètres « d’ordre inférieur » s’interprètent par rapport à l’ordonnée à l’origine
    On pourrait aussi voir que l’effet de l’âge est significatif et penser qu’il s’applique aux deux groupes, mais X1 ne donne que la pente prédite pour le groupe de référence, le groupe témoin. L’interaction teste si les pentes selon l’âge diffèrent entre les deux groupes. De plus, même si l’interaction n’est pas significative, l’effet de l’âge dans le groupe autisme peut ne pas être significativement différent de zéro. Quand les données se trouvent dans une zone ambiguë, il faut interpréter avec prudence
    Pour certains, cela semblera évident, mais bien comprendre l’espace conditionnel des paramètres en présence de termes d’interaction demande un effort. Ici, j’ai laissé de côté la façon de coder les groupes — par exemple par rapport à la moyenne globale ou en prenant un groupe comme référence — mais la leçon reste la même. Il faut comprendre ce que signifie l’ordonnée à l’origine, et à qui/quoi elle renvoie

    • Les modèles avec termes d’interaction sont toujours difficiles à appréhender intuitivement. En général, écrire les termes du modèle qui s’appliquent à chaque classe de réponse aide à les interpréter
      Il existe aussi ExploreModelMatrix pour aider à faire cela : https://www.bioconductor.org/packages/release/bioc/html/Expl...
    • Si j’ai dit quelque chose de bizarre ci-dessus, dites-le-moi. Je suis toujours en train d’apprendre
      Si vous êtes un bayésien convaincu qui déteste les p-valeurs, très bien aussi. Mais j’ai vu beaucoup d’étudiants intelligents avoir du mal à interpréter naturellement des modèles avec termes d’interaction, et je voulais les orienter dans la bonne direction
    • Ce n’est pas vrai de dire que « X1 ne donne que la pente prédite pour le groupe de référence, le groupe témoin ». Avec la formule telle qu’elle est écrite, X1 vaut pour l’ensemble du groupe. Il n’y a pas de vraie variable muette
      X1*age*isControl+X2*isControl+X3*isAutism+X4*isAutism*age+X5*age
      C’est ce qu’il faut faire pour séparer l’effet de l’âge dans les deux groupes et l’effet de l’âge commun aux deux groupes
    • Cette interprétation me semble correcte
      Un chargement significatif de la variable de diagnostic X2 ne dit rien sur l’effet du diagnostic à un âge donné. Sauf à l’âge de 0 an
      Il faut recentrer le modèle sur l’âge qui vous intéresse

  • Il y a dix ans, j’ai suivi 36-401 et 36-402 à CMU, à l’époque enseignés par Shalizi, et c’étaient deux très bons cours de statistiques. Pour le meilleur ou pour le pire, ils nous forçaient à apprendre base R
    La grande faiblesse de la régression linéaire, que j’ai apprise à la dure, est que les hypothèses académiques nécessaires pour interpréter valablement les coefficients sont faciles à formuler sur de petits jeux de données pédagogiques, mais ne s’appliquent presque jamais à des données réelles et désordonnées

    • Cela dépend des cas. L’hypothèse la plus importante est l’indépendance des observations
      Si elle n’est pas vérifiée, il faut utiliser un modèle à effets mixtes pour tenir compte des réponses corrélées, ou agréger les réponses en moyennes. Calculer des moyennes réduit la variance, mais réduit aussi le nombre de points de données, et dans le calcul de la statistique t du test de Wald, ces deux effets se compensent
      Pour d’autres hypothèses, comme la normalité des résidus, les modèles linéaires tolèrent souvent un certain degré de violation. Cela dit, il est toujours bon de comprendre l’effet de ces violations, par exemple en lançant des simulations ou en regardant l’histogramme des p-valeurs sur des données sous l’hypothèse nulle
    • À l’inverse, avec des données réelles et désordonnées, il suffit souvent d’avoir un modèle suffisamment correct, plutôt que de s’obséder sur telle ou telle p-valeur

  • J’aime le fait que la régression ridge soit présentée dans le contexte de la multicolinéarité
    Aujourd’hui, on dirait que presque tout le monde l’apprend comme une technique de régularisation pour éviter le surapprentissage, mais l’un de ses usages fondamentaux, et probablement son origine, est de répartir équitablement les poids entre des variables prédictives fortement corrélées ou presque linéairement dépendantes. Même avec beaucoup de données, ce type de prédicteurs peut poser de gros problèmes

  • J’aimerais voir quelqu’un comme un chercheur quant chez Citadel enseigner la régression linéaire. Je me demande comment ils l’utilisent, à quoi ils font particulièrement attention, et s’il existe des résultats théoriques qui changent vraiment leur façon d’aborder les problèmes

    • J’ai un peu d’expérience pertinente. Les variantes régularisées sont indispensables. Il y a trop peu d’échantillons, et trop de bruit par échantillon
      Dans un problème connexe, l’estimation des matrices de covariance, les variantes par shrinkage sont populaires. La plus simple est le Linear Shrinkage de Ledoit-Wolf
      À l’exception des réseaux de neurones, j’ai l’impression que la plupart des gens qui font de la régression utilisent de la régression linéaire avec ce genre d’ajustements adaptés au domaine
      En finance en particulier, il est trop facile de se tromper soi-même avec des modèles plus complexes
    • La régression linéaire, et même la régression avec un seul prédicteur, est l’outil principal. C’est comme si le produit croisé x'*y ne suffisait pas ; on divise par le produit scalaire x'*x et c’est juste ce qu’il faut (régression), puis si on divise encore par un autre produit scalaire y'*y, avec la racine carrée en plus, on obtient un coefficient de corrélation, et là ça semble excessif
      Désolé, mais il n’y a pas de grand secret ni de révélation fracassante. Comme Jim Simons l’a dit dans son interview avec Numberphile, c’est un processus lent et pénible d’accumulation de signaux faibles, et de construction et d’amélioration des différentes boîtes du système. Les interfaces entre elles sont, pour l’essentiel, connues
      Dans l’ensemble, la méthode d’ajustement elle-même n’apporte pas un gain énorme. Il suffit au moins de ne pas tout gâcher
      Je n’ai pas travaillé chez Citadel, mais j’ai fait de la R&D quant et du trading pendant ces 20 dernières années

  • En licence, j’ai dû réapprendre la régression linéaire encore et encore dans plusieurs cours. Bien sûr, sous réserve que les hypothèses soient vérifiées, c’est intéressant de pouvoir démontrer son optimalité avec la théorie statistique et probabiliste
    Pendant mon doctorat en informatique, j’ai surtout vu des problèmes de régression utilisant des modèles de deep learning. Je ne m’en suis pas occupé directement, mais ce serait assez chouette s’il existait un moyen de transférer les preuves et théorèmes rigoureux des modèles linéaires classiques vers des modèles de régression profonde

  • « Data Analysis from an Elementary Point of View » de Shalizi est aussi un bon manuel d’introduction : https://www.stat.cmu.edu/~cshalizi/ADAfaEPoV/
    Il met beaucoup l’accent sur les modèles linéaires, les modèles additifs et la simulation, et c’est la bonne direction. 90 % du livre ne sert à rien sans ordinateur, mais c’est la réalité moderne.

  • Il me semble que ce n’est pas dans cet article, mais même en régression linéaire on observe le phénomène de double descente qu’on voit souvent en deep learning.
    Pour l’observer, il faut ajouter une forme de régularisation. Ce serait bien d’ajouter cette discussion.

    • Je me demande si cela renvoie à un article précis. La seconde descente se produit-elle après que le modèle est surparamétré, comme dans les réseaux de neurones ? Je me demande aussi de quel type de régularisation il s’agit.

  • Comme j’enseigne ce mois-ci la régression avec XGBoost, c’est un très bon texte à lire. Contrairement à beaucoup de textes académiques, il est très bien écrit et accessible.
    J’aime particulièrement le chapitre 6, sur le diagnostic visuel. C’est très bien fait.

  • Cela a l’air intéressant ; je me demande si quelqu’un sait comment convertir ce PDF dans un format optimisé pour mobile.