Coefficient de détermination

Dans le cas d'une régression linéaire univariée (une seule variable prédictive) par la méthode des moindres carrés, on montre que la variance (totale) SST est la somme de la variance expliquée par la régression SSE et de la moyenne des carrés des résidus SSR, de sorte que :

${\displaystyle {\dfrac {\mathrm {SSE} }{\mathrm {SST} }}={\dfrac {\mathrm {SST} -\mathrm {SSR} }{\mathrm {SST} }}={\dfrac {\sum _{i=1}^{n}({\hat {y_{i}}}-{\bar {y}})^{2}}{\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}=1-{\dfrac {\sum _{i=1}^{n}(y_{i}-{\hat {y_{i}}})^{2}}{\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}=R^{2}}$

c'est-à-dire que le coefficient de détermination est alors le rapport de la variance expliquée par la régression SSE sur la variance totale SST[1].

Le coefficient de détermination est le carré du coefficient de corrélation linéaire R entre les valeurs prédites ${\displaystyle {\hat {y_{i}}}}$ et les mesures ${\displaystyle y_{i}}$ :

${\displaystyle R^{2}=corr({\hat {y}},y)^{2}}$

Dans le cas univarié, on montre que c'est aussi le carré du coefficient de corrélation entre les valeurs ${\displaystyle x_{i}}$ de la variable prédictive et les mesures ${\displaystyle y_{i}}$. C'est une conséquence immédiate de la relation : ${\displaystyle \sum _{i=1}^{n}({\hat {y_{i}}}-y_{i})^{2}=(1-R^{2})\sum _{i=1}^{n}({\hat {y_{i}}}-{\bar {y}})^{2}}$ démontrée ici et ici.

La propriété précédente permet de voir le coefficient de détermination comme une généralisation du coefficient de corrélation au cas d'une régression linéaire multivariée.