Régression (statistiques)

Le terme provient de la régression vers la moyenne observée par Francis Galton au XIX^e siècle : les enfants de personnes de grande taille avaient eux-mêmes une taille supérieure à celle de la population en moyenne, mais inférieure à celle de leurs parents (toujours en moyenne), sans que la dispersion de taille au sein de la population totale soit réduite pour autant[2] - [3]. Les techniques développées pour quantifier ce phénomène ont engendré des outils de mesure précieux dans tous les champs d’application des statistiques.

On considère une population d’individus (êtres humains, animaux, pays, biens de consommation…) qui peuvent être décrits selon plusieurs critères appelés variables. Il peut s’agir de variables quantitatives (grandeurs numériques telles que la taille, l’âge, le prix, un pourcentage…) ou qualitatives (sexe, catégorie socio-professionnelle, saison, type de produit…)

Certaines variables peuvent être plus difficiles à mesurer que d’autres, pour des raisons techniques, des raisons d’accès (données publiques contre données privées), ou encore du fait d’un délai important entre la mise en place d’une expérience et son aboutissement. Il arrive donc que l’on souhaite estimer ces variables (dites expliquées) à partir des données plus faciles à obtenir (dites explicatives). On trouve aussi parfois les appellations variables dépendantes et indépendantes, mais elles présentent des risques de confusion avec la notion d’indépendance en probabilités, or les variables explicatives ne sont pas forcément mutuellement indépendantes[4].

La construction de la régression repose d’une part sur une modélisation des variables statistiques par des variables aléatoires (réelles ou non), d’autre part sur un recueil de données croisées, c’est-à-dire que pour un même échantillon de population, on dispose d’observations des différentes variables mesurées avec une imprécision éventuelle.

La régression consiste alors à formuler un indicateur sur les valeurs de la variable expliquée dépendant uniquement des valeurs des variables explicatives. Cet indicateur pourra ensuite être utilisé sur une population pour laquelle on ne connait que les valeurs des variables explicatives, afin d’estimer les valeurs de la variable expliquée.

On distingue essentiellement deux cas selon la nature de la variable expliquée, représentée ici par une variable aléatoire Y. Les variables explicatives seront notées X₁, … , X_n. Si certaines d’entre elles sont qualitatives, il est parfois judicieux de vectoriser leurs modalités[5] en distinguant une modalité de référence représentée par le vecteur nul, et en représentant les autres modalités par les vecteurs de base d’un espace euclidien. Sous certaines conditions, on peut aussi quantifier les modalités de ces variables.

La variable expliquée ne s’identifie à la fonction de régression que dans le cas particulier d’une dépendance fonctionnelle. Dans le cas général, on peut interpréter la différence[11] comme une erreur aléatoire, souvent notée avec la lettre grecque ε (epsilon) : ${\displaystyle Y=f(X)+\varepsilon }$.

Si la fonction de régression est définie par l’espérance conditionnelle, le théorème de l'espérance totale assure alors que l’erreur est centrée. Le théorème de la variance totale donne l’égalité ${\displaystyle \mathbb {V} (Y)=\mathbb {V} (\mathbb {E} (Y|X))+\mathbb {E} (\mathbb {V} (Y|X))}$, ce qui permet de montrer que le rapport de corrélation défini par ${\displaystyle \eta ^{2}={\frac {\mathbb {V} (\mathbb {E} (Y|X))}{\mathbb {V} (Y)}}}$ est inférieur à 1, et d’autant plus proche de 1 que la variance de Y conditionnellement à X est faible en moyenne, ce qui en fait un bon indicateur de la qualité de la régression. Inversement, lorsque le rapport de corrélation est proche de 0, cela signifie que la fonction de régression est pratiquement constante, donc que les variables explicatives apportent peu d’information sur l’espérance de la variable expliquée.

Le cas particulier d’une fonction de régression affine (avec une seule variable X) correspond à l’égalité entre le rapport de corrélation ${\displaystyle \eta }$ et le coefficient de corrélation linéaire ${\displaystyle \rho ={\frac {\operatorname {Cov} (X,Y)}{\sqrt {\mathbb {V} (X)\mathbb {V} (Y)}}}}$.

Le modèle de régression le plus connu est le modèle de régression linéaire.

Lorsque le modèle n'est pas linéaire, on peut effectuer une régression approchée par des algorithmes itératifs, on parle de régression non linéaire.

Si on s'intéresse au quantile conditionnel de la distribution de la variable aléatoire ${\displaystyle y}$ sachant le vecteur de variables aléatoires ${\displaystyle x}$, on utilise un modèle de régression quantile[12] - [13].

Si la variable expliquée est une variable aléatoire binomiale, il est courant d'utiliser une régression logistique ou un modèle probit.

Si la forme fonctionnelle de la régression est inconnue, on peut utiliser un modèle de régression non paramétrique.

• Interaction (statistiques)
• Régression linéaire
• Régression linéaire multiple
• Régression polynomiale
• Régression logistique
• Modèle linéaire généralisé
• Régression non paramétrique
• Modèles de régression multiple postulés et non postulés
• Régression circulaire
• Régression elliptique
• Régression locale

• (en) Francis Galton, « Kinship and Correlation (reprinted 1989) », Statistical Science, Institute of Mathematical Statistics, vol. 4, n^o 2,‎ 1989, p. 80–86 (DOI 10.1214/ss/1177012581, JSTOR 2245330)
• (en) Charles Manski, « Regression », Journal of Economic Literature, vol. 29, n^o 1,‎ mars 1991, p. 34-50 (lire en ligne, consulté le 1^er juillet 2011)
• (en) Gareth James, Daniela Witten, Trevor Hastie et Robert Tibshirani, An Introduction to Statistical Learning, Springer Verlag, coll. « Springer Texts in Statistics », 2013
• Gilbert Saporta, Probabilités, analyse de données et Statistique, Paris, TECHNIP, 2011, 622 p. (ISBN 978-2-7108-0980-7, lire en ligne), chapitres 16 à 18