Bootstrap (statistiques)

Soit un échantillon ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ de n observations, indépendantes et identiquement distribuées (iid) selon une loi (inconnue) ${\displaystyle F}$. On souhaite estimer la quantité ${\displaystyle \theta =T(F)}$, comme l'espérance de la loi, sa médiane ou encore sa variance. Dans le premier cas, la fonctionnelle ${\displaystyle T}$ est

${\displaystyle T(F)=\int xdF(x)}$

et dans le dernier

${\displaystyle T(F)=\int (x-\mu )^{2}dF(x)}$

avec ${\displaystyle \mu }$ l'espérance, dont l'expression a été donnée plus haut.

Une estimation classique de ${\displaystyle \theta }$ est ${\displaystyle {\hat {\theta }}=T({\hat {F}})}$, où ${\displaystyle {\hat {F}}}$ est une estimation de la fonction de répartition ${\displaystyle F}$. Il reste donc à obtenir cette estimation ${\displaystyle {\hat {F}}}$. Deux cas se présentent :

• cas paramétrique : on suppose que ${\displaystyle F}$ fait partie d'une famille de lois paramétriques, c'est-à-dire indexées par un ensemble de paramètres, disons ${\displaystyle \omega }$. Après l'estimation des paramètres ${\displaystyle \omega }$, par maximum de vraisemblance par exemple, on dispose d'une estimation (paramétrique) de ${\displaystyle F}$. On parle de bootstrap paramétrique ;
• cas non paramétrique : ici, on ne fait aucune hypothèse sur l'appartenance de la loi à une famille paramétrique. On estime ${\displaystyle {\hat {F}}}$ à l'aide de la fonction de répartition empirique. On parle de bootstrap non paramétrique.

L'étape suivante du bootstrap se base sur des simulations : étant donné l'estimation (paramétrique ou non) ${\displaystyle {\hat {F}}}$, on obtient des tirages issus de cette loi qui permettent d'estimer ${\displaystyle {\hat {\theta }}=T({\hat {F}})}$. On parle d´échantillon bootstrap pour désigner un de ces tirages. Attention, ici un tirage ne concerne pas une observation ${\displaystyle x_{i}}$, mais bien un échantillon en entier, composé de n observations indépendantes. La collection des ${\displaystyle {\hat {\theta }}}$ obtenue à partir des échantillons bootstrap s'appelle la distribution bootstrap.

Pour le cas paramétrique, la méthode de bootstrap s'apparente aux méthodes simulées comme les méthodes de Monte-Carlo. Dans le cas non-paramétrique, la méthode du bootstrap revient à utiliser un échantillon bootstrap composé d'un rééchantillonnage avec remise de l'échantillon initial. La méthode nécessite donc des échantillons simulés ; leur nombre, disons ${\displaystyle B}$, doit être assez grand pour assurer la convergence des estimations empiriques de ${\displaystyle T({\hat {F}})}$. Il est d'usage de considérer un échantillon simulé de même taille que l'échantillon initial.

Pour plus de clarté, supposons que l'on veuille estimer l'espérance de la loi, et surtout la précision de l'estimation de cette espérance (c´est-à-dire la variance de l'espérance). Voici comment procéder. On fixe d'abord le nombre ${\displaystyle B}$ d'échantillons. La procédure se déroule comme suit :

• Boucle : pour ${\displaystyle b}$ allant de ${\displaystyle 1}$ à ${\displaystyle B}$ :
  • on tire un échantillon bootstrap[note 2] : ${\displaystyle X_{1}^{\ast },X_{2}^{\ast },\ldots ,X_{n}^{\ast }}$ selon ${\displaystyle {\hat {F}}}$;
  • on calcule la statistique (ici la moyenne empirique) à partir de l'échantillon bootstrap : ${\displaystyle {\hat {\theta }}_{b}=(X_{1}^{\ast }+\cdots +X_{n}^{\ast })/n}$ ;
• La moyenne empirique ${\displaystyle {\bar {\hat {\theta }}}}$ est la moyenne des moyennes empiriques des échantillons bootstraps ${\displaystyle {\hat {\theta }}_{b}}$
• La variance de l'estimateur de la moyenne empirique ${\displaystyle {\hat {\sigma }}^{2}({\bar {\hat {\theta }}})}$ est approchée par la variance empirique de la population bootstrap des ${\displaystyle {\hat {\theta }}_{b}}$.

Dans cette dernière étape, on a à estimer

${\displaystyle {\hat {\sigma }}^{2}({\bar {\hat {\theta }}})={\frac {1}{B}}\sum _{b=1}^{B}\left[{\hat {\theta }}_{b}-{\bar {\hat {\theta }}}\right]^{2}}$,

avec

${\displaystyle {\bar {\hat {\theta }}}={\frac {1}{B}}\sum _{b=1}^{B}{\hat {\theta }}_{b}}$

qui constitue une alternative à l'estimateur classique

${\displaystyle {\hat {\theta }}={\frac {1}{n}}\sum _{i}X_{i}}$.

Pour le bootstrap non-paramétrique, l'étape de simulation est très simple : il s'agit d'un échantillon bootstrap obtenu tout simplement par rééchantillonnage avec remise de l'échantillon initial. Par exemple, pour un échantillon initial (1,2,5,4), un échantillon bootstrap sera par exemple (5,5,4,1) ou encore (4,1,4,2) et ainsi de suite.

• Bibliothèque gratuite pour MATLAB
• Sous R, il existe principalement deux paquets[note 3] :
  • bootstrap basé sur Efron et Tibshirani (1994) ;
  • boot présente plus de fonctionnalités (d’après Davison et Hinkley, 1997).

On utilise 34 des 507 observations concernant les dimensions du corps humains[1]. On extrait le poids (en kilogramme) et la taille (en mètre), afin de calculer l'indice de masse corporelle, défini comme le rapport du poids à la taille au carré. Les données sont reproduites ci-dessous.

On s'intéresse à l'espérance ${\displaystyle \mu }$ de l'IMC. L'estimateur naturel est la moyenne empirique :

${\displaystyle {\hat {\mu }}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$

L'estimateur de la variance de cette moyenne empirique, noté ${\displaystyle {\hat {\sigma }}^{2}({\hat {\mu }})}$, est connu explicitement : il est obtenu à partir de la variance empirique ${\displaystyle {\hat {\sigma }}_{P}^{2}}$, divisée par n, c'est-à-dire :

${\displaystyle {\hat {\sigma }}^{2}({\hat {\mu }})={\frac {{\hat {\sigma }}_{P}^{2}}{n}}={\frac {1}{n(n-1)}}\sum _{i=1}^{n}(x_{i}-{\hat {\mu }})^{2}}$

Les estimations empiriques sont ${\displaystyle {\hat {\mu }}=22,32941}$ et ${\displaystyle {\hat {\sigma }}^{2}({\hat {\mu }})=0,079882}$.

On peut comparer aux résultats obtenus grâce aux techniques bootstrap. On utilise ${\displaystyle B=1000}$ échantillons bootstrap, de dimension ${\displaystyle n=34}$. On rappelle la procédure à suivre :

• pour b allant de 1 à B
  • on construit un échantillon bootstrap par rééchantillonnage avec remise ;
  • on calcule la moyenne (empirique) de cet échantillon bootstrap, notée ${\displaystyle \mu _{b}}$ ;
• on calcule la moyenne empirique et la variance de cette moyenne empirique de la distribution bootstrap.

Ces calculs sont les suivants :

${\displaystyle {\hat {\mu }}_{\ast }={\frac {1}{B}}\sum _{b=1}^{B}\mu _{b}}$

et

${\displaystyle {\hat {\sigma }}^{2}({\hat {\mu }})_{\ast }={\frac {1}{B-1}}\sum _{b=1}^{B}(\mu _{b}-{\hat {\mu }}_{\ast })^{2}}$

La moyenne empirique est ${\displaystyle {\hat {\mu }}_{\ast }=22,33521}$ et la variance de cette estimation de moyenne empirique est de ${\displaystyle {\hat {\sigma }}^{2}({\hat {\mu }})_{\ast }=0,079582}$, valeurs très proches des estimations non bootstrap. Qui plus est, la distribution bootstrap semble normale, comme en témoigne le qq-plot. On pourrait alors construire un intervalle de confiance bootstrap, malgré la taille très modeste de l'échantillon.