Distance de Cook

La distance de Cook mesure l'effet de la suppression d'une donnée. Les données avec d'importants résidus (Données aberrantes) et/ou fort effet de levier peuvent fausser le résultat et la précision d'une régression. Les points ayant une distance de Cook importante sont considérées comme méritant un examen plus approfondi dans l'analyse. Pour l'expression algébrique, il faut définir d'abord :

${\displaystyle \mathbf {H} \equiv \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }}$

comme une matrice de projection ${\displaystyle (n\times n)}$ (matrice de projection des ${\displaystyle n}$ observations de chaque variable explicative). Ensuite, nous avons ${\displaystyle {\hat {\beta }}^{(-i)}}$, qui est l'estimation MCO de ${\displaystyle \beta }$ qui résulte de l'omission de la ${\displaystyle i}$-ème observation (${\displaystyle i=1,2,\dots ,n}$). Ensuite, nous avons[4] :

${\displaystyle {\hat {\beta }}-{\hat {\beta }}^{(-i)}=\left({\frac {1}{1-h_{i}}}\right)(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {x_{i}} \cdot e_{i}}$

où ${\displaystyle e_{i}\,}$ est le résidu (i.e. la différence entre la valeur observée et la valeur ajustée par le modèle proposé) pour l'individu ${\displaystyle i}$, et ${\displaystyle h_{ii}\,}$, défini comme :

${\displaystyle h_{ii}\equiv \mathbf {x} _{i}^{\top }(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {x} _{i}}$

est l'influence, i.e., le ${\displaystyle i}$-ème élément de la diagonale de ${\displaystyle \mathbf {H} \,}$. Avec cela, nous pouvons définir la distance de Cook comme :

${\displaystyle D_{i}={\frac {e_{i}^{2}}{k\ \mathrm {MSE} }}\left[{\frac {h_{ii}}{(1-h_{ii})^{2}}}\right],}$

où ${\displaystyle k}$ est le nombre de paramètres ajustés, et ${\displaystyle \mathrm {MSE} \,}$ est l'erreur quadratique moyenne du modèle de régression. L'expression suivante est algébriquement équivalente :

${\displaystyle D_{i}={\frac {({\hat {\beta }}-{\hat {\beta }}^{(-i)})^{\top }\mathbf {X} ^{\top }\mathbf {X} ({\hat {\beta }}-{\hat {\beta }}^{(-i)})}{(1+k)s^{2}}},}$

où  ${\displaystyle s^{2}}$ est l'estimateur MCO de la variance du terme d'erreur, défini comme :

${\displaystyle s^{2}\equiv {\frac {\mathbf {e} ^{\top }\mathbf {e} }{n-k}}}$

Et une troisième expression équivalente est :

${\displaystyle D_{i}={\frac {\sum _{j=1}^{n}({\hat {Y}}_{j}\ -{\hat {Y}}_{j(i)})^{2}}{k\ \mathrm {MSE} }},}$

où :

${\displaystyle {\hat {Y}}_{j}\,}$  est la prédiction du modèle de régression complète pour l'observation j ;

${\displaystyle {\hat {Y}}_{j(i)}\,}$ est la prédiction pour l'observation j à partir d'un modèle de régression ajustée dans lequel l'observation i a été omise.

Il y a des opinions différentes au sujet de quel seuil les valeurs à utiliser pour repérer des points sont très influents. Une directive opérationnelle simple de ${\displaystyle D_{i}>1}$ a été suggérée[5]. D'autres ont indiqué que ${\displaystyle D_{i}>4/n}$, où ${\displaystyle n}$ i est le nombre d'observations, pourrait être utilisé[6].

Une approche conservatrice repose sur le fait que la distance de Cook a la forme W/p, où W est formellement identique au test de Wald que l'on utilise pour les tests que ${\displaystyle H_{0}:\beta _{i}=\beta _{0}}$ en utilisant certaines ${\displaystyle {\hat {\beta }}_{[-i]}}$. Rappelant que W/p a une distribution ${\displaystyle F_{p,n-p}}$  (avec p et n-p degrés de liberté), nous voyons que la distance de Cook est équivalent à la statistique F pour tester cette hypothèse, et nous pouvons donc utiliser${\displaystyle F_{p,n-p,1-\alpha }}$ comme un seuil[7].

• Anthony Atkinson, Marco Riani, Deletion Diagnostics, Robust Diagnostics and Regression Analysis, New York, Springer, 2010, p. 22–25. (ISBN 0-387-95017-6).
• Richard M. Heiberger, Burt Holland, Case Statistics, Statistical Analysis and Data Display, Springer Science & Business Media, 2013, p. 312–27. (ISBN 9781475742848).
• William S. Krasker, Edwin Kuh, Roy E. Welsch, Estimation for dirty data and flawed models, Handbook of Econometrics n^o 1, Elsevier, 1983, p. 651–698. doi:10.1016/S1573-4412(83)01015-6.
• Herman Aguinis, Ryan K. Gottfredson, Harry Joo, Best-Practice Recommendations for Defining Identifying and Handling Outliers [PDF], Organizational Research Methods n^o 16 (2), 2013, p. 270–301 (doi:10.1177/1094428112470848)

• Donnée aberrante

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Cook's distance » (voir la liste des auteurs).