Efficacité (statistiques)

En général, l'aplatissement d'un estimateur autour du paramètre θ est une mesure de l'efficacité et de la performance de l'estimateur. Cette performance peut être évaluée par l'erreur quadratique moyenne :

Soit T un estimateur du paramètre θ. L'erreur quadratique moyenne de T est ${\displaystyle MSE(T)=\mathbb {E} [(T-\theta )^{2}]}$.

On a :

$${\displaystyle MSE(T)=\mathbb {E} [(T-\theta )^{2}]=\mathbb {E} [(T-\mathbb {E} [T]+\mathbb {E} [T]-\theta )^{2}]=\mathbb {E} [(T-\mathbb {E} [T])^{2}]+2\mathbb {E} [T-\mathbb {E} [T]](\mathbb {E} [T]-\theta )+(\mathbb {E} [T]-\theta ))^{2}=\mathrm {Var} (T)+(\mathbb {E} [T]-\theta )^{2}}$$

Ainsi, un estimateur T₁ est meilleur qu'un estimateur T₂ si ${\displaystyle MSE(T_{1})<MSE(T_{2})}$[4].

Dans le cas où T₁ et T₂ sont sans biais pour le même paramètre θ, alors il suffit de comparer les variances pour évaluer la performances : T₁ est meilleur que T₂ si Var(T₁) < Var(T₂) pour toutes les valeurs de θ. En effet, pour un estimateur sans biais, le calcul précédent montre que l'erreur quadratique moyenne se réduit alors à la variance[4].

Si un estimateur T sans biais d'un paramètre θ satisfait e(T) = 1 pour toutes les valeurs du paramètre, alors l'estimateur est dit efficace[3].

De façon équivalente, l'estimateur atteint l'égalité dans l'inégalité de Cramér-Rao pour tout θ. La borne inférieure de Cramér-Rao est un minimum pour la variance d'un estimateur non biaisé, représentant le "mieux" qu'un estimateur sans biais peut atteindre.

Un estimateur efficace est aussi l'estimateur sans biais de variance minimale. Celui-ci permet d'avoir l'égalité dans l'inégalité de Cramér-Rao pour toutes les valeurs de paramètres, soit la variance minimale pour tous les paramètres (soit la définition d'un tel estimateur). L'estimateur sans biais de variance minimale, même s'il existe, n'est pas nécessairement efficace, car le minimum de variance ne permet pas forcément d'atteindre le cas d'égalité dans l'inégalité de Cramér-Rao.

Aussi, un estimateur efficace n'existe pas toujours, mais s'il existe, c'est l'estimateur sans biais de variance minimale.

Certains estimateurs peuvent atteindre une efficacité asymptotique, ce qu'on appelle estimateurs asymptotiquement efficaces. Ce peut être le cas de certains estimateurs de maximum de vraisemblance ou d'autres qui tendent vers la borne de Cramér–Rao.

On considère un échantillon de taille N tirée d'une distribution normale de moyenne μ et de variance réduite, i.e., ${\displaystyle X_{n}\sim {\mathcal {N}}(\mu ,1).}$

La moyenne ${\displaystyle {\overline {X}}}$ du tirage ${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$ vérifie

${\displaystyle {\overline {X}}={\frac {1}{N}}\sum _{n=1}^{N}X_{n}\sim {\mathcal {N}}\left(\mu ,{\frac {1}{N}}\right).}$

La variance de la moyenne, qui vaut donc 1/N (le carré de l'erreur standard), est égale à la réciproque de l'information de Fisher de l'échantillon et donc, par l'inégalité de Cramér-Rao, la moyenne est efficace dans le sens où son efficacité est unitaire (100%).

En considérant maintenant la médiane de l'échantillon, ${\displaystyle {\widetilde {X}}}$, on a un estimateur sans biais et consistent pour μ. Pour de grandes valeurs de N, la médiane est proche d'une loi normale d'espérance μ et de variance π/2N[5].

${\displaystyle {\widetilde {X}}\sim {\mathcal {N}}\left(\mu ,{\frac {\pi }{2N}}\right).}$

L'efficacité de la médiane pour de grandes valeurs de N approche donc

${\displaystyle e\left({\widetilde {X}}\right)=\left({\frac {1}{N}}\right)\left({\frac {\pi }{2N}}\right)^{-1}=2/\pi \approx 0.64.}$

En d'autres termes, la variance relative de la médiane vaudra π/2N ≈ 1,57, soit donc 57% plus grande que la variance de la moyenne – l'erreur standard de la médiane sera 25% plus importante que celle de la moyenne[6].

Il s'agit ici de l'efficacité asymptotique — l'efficacité limite quand la taille de l'échantillon tend vers l'infiniment grand. Pour des valeurs finies de N, l'efficacité est plus grande (par exemple, un échantillon de 3 tirages donne une efficacité de 74%).

La moyenne est donc plus efficace que la médiane dans ce cas — ce qui est le plus souvent le cas, la moyenne empirique étant l'estimateur linéaire non biaisé le plus efficace, par le théorème de Gauss-Markov. Cependant, il y aura peut-être des mesures où la médiane a de meilleurs résultats : la médiane est plus résistante aux données aberrantes donc si le modèle gaussien est discutable ou approché, il vaudra mieux utiliser la médiane (voir Statistiques robustes).

On considère un échantillon de taille N d'une distribution pour laquelle on ne connait pas la moyenne.

La variance ${\displaystyle {\overline {X}}}$ du tirage ${\displaystyle X_{1},X_{2},\ldots ,X_{N}}$ est usuellement estimée par l'un des deux estimateurs :

${\displaystyle S_{N}^{2}={\frac {1}{N}}\sum _{n=1}^{N}(X_{n}-{\overline {X}})^{2},\quad {\widetilde {S}}_{N}^{2}={\frac {N}{N-1}}S_{N}^{2}.}$

Le deuxième est souvent privilégié car convergent, sans biais et, sous conditions, asymptotiquement normal, cependant, il est moins efficace :

${\displaystyle {\frac {\mathrm {Var} ({\widetilde {S}}_{N}^{2})}{\mathrm {Var} (S_{N}^{2})}}={\frac {N^{2}}{(N-1)^{2}}}>1.}$

Si T₁ et T₂ sont des estimateurs d'un paramètre θ, on dit que T₁ domine T₂ si

${\displaystyle \forall \theta ,\mathbb {E} [(T_{1}-\theta )^{2}]\leq \mathbb {E} [(T_{2}-\theta )^{2}]}$

avec l'inégalité stricte vérifiée pour au moins une valeur de θ.

L'efficacité relative de deux estimateurs est définie par[7]

${\displaystyle e(T_{1},T_{2})={\frac {\mathbb {E} [(T_{2}-\theta )^{2}]}{\mathbb {E} [(T_{1}-\theta )^{2}]}}={\frac {\operatorname {var} (T_{2})}{\operatorname {var} (T_{1})}}}$

Bien que e est en général une fonction de θ, dans la plupart des cas, la dépendance disparait ; dès lors, de grandes valeurs de e indiquent que T₁ est préférable, peu importe la véritable valeur de θ.

Une alternative à l'efficacité relative pour comparer des estimateurs est le critère de fermeture de Pitman, qui remplace la comparaison des erreurs quadratiques moyennes par la comparaison du nombre d'occurrences où un estimateur produit des estimations plus proches de la valeur véritable par rapport à un autre.

En estimant la moyenne de variables indépendantes identiquement distribuées, on peut tirer avantage de la propriété sur les variances (la variance de la somme est égale à la somme des variances). Dans ce cas, l'efficacité peut être définie comme le carré du coefficient de variation, i.e[8].

${\displaystyle e\equiv \left({\frac {\sigma }{\mu }}\right)^{2}}$

L'efficacité relative de deux tels estimateurs peut alors être interprété comme la taille relative de l'échantillon d'un estimateur pour atteindre l'exactitude pour l'autre. En effet :

${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {s_{1}^{2}}{s_{2}^{2}}}.}$

Ainsi, si ${\displaystyle s_{1}^{2}=n_{1}\sigma ^{2},\,s_{2}^{2}=n_{2}\sigma ^{2}}$, on a ${\displaystyle {\frac {e_{1}}{e_{2}}}={\frac {n_{1}}{n_{2}}}}$, donc l'efficacité relative exprime la taille relative de l'échantillon du premier estimateur requis pour atteindre la variance du second.

L'efficacité d'un estimateur peut changer significativement selon la distribution, avec souvent une perte de qualité. C'est une des motivations des statistiques robustes – un estimateur tel que la moyenne de l'échantillon est un estimateur efficace de la moyenne de la population d'une distribution normale, for exemple, mais inefficace pour une loi mixte de deux distributions normales de même moyenne et de variances égales.

Par exemple, si une distribution est une combinaison de 98% de N(μ, σ) et 2% de N(μ, 10σ), la présence de valeurs extrêmes pour la deuxième (appelés "données contaminantes") réduit significativement l'efefficacité ficience de la moyenne de l'échantillon comme estimateur de μ. Par contraste, la moyenne tronquée est moins efficace pour une distribution normale, mais plus robuste sur les changements dans la distribution, et donc possiblement plus efficace pour une distribution mixte. De façon similaire, la forme de la distribution, comme l'asymétrie ou les queues lourdes, peuvent significativement réduire l'efficacité d'estimateurs qui suppose une distribution symétrique ou des queues fines.

Si l'efficacité est une qualité souhaitable d'un estimateur, elle doit être remise en perspective avec d'autres considérations, et un estimateur efficace pour certaines distributions peuvent être inefficaces pour d'autres. Par exemple, des estimateurs efficaces pour des tirages propres (sans données aberrantes) d'une distribution simple, comme une loi normale (symétrique, unimodale, et à queue fine) peuvent se montrer sensibles à la contamination aux données aberrantes, voire inefficaces pour des distributions plus compliquées. Dans les statistiques robustes, on préfère la robustesse et l'applicabilité à une plus grande variété de distributions, plutôt que l'efficacité sur un type de distribution. Les M-estimateurs sont un exemple de tels estimateurs, avec la robustesse et une haute efficacité relative, mais une efficacité éventuellement plus faible que d'autres estimateurs plus répandus. Ils peuvent toutefois s'avérer complexes à calculer.

Une alternative plus connue est donnée par les L-estimateurs, qui sont des statistiques très simples, faciles à calculer et interpréter, souvent robustes et assez efficaces pour des échantillons de départ.

L'efficacité en statistiques est importante car elles permettent de comparer les performances de plusieurs estimateurs. Bien qu'un estimateur sans biais est usuellement préféré à un biaisé, un estimateur biaisé mais plus efficace peut être préférable à un estimateur sans biais mais moins efficace. Par exemple, cela peut arriver quand les valeurs de l'estimateur biaisé s'accumule autour d'une valeur proche de la valeur exacte. C'est pourquoi on évalue également la performance par le calcul des variances ou des erreurs quadratiques moyennes.