Théorème de Rao-Blackwell

Si ${\displaystyle \delta }$ est un estimateur sans biais et S une statistique exhaustive alors l'estimateur augmenté ${\displaystyle \mathbb {E} (\delta |S)}$ a une variance plus faible que la variance de l'estimateur initial. L'estimateur augmenté est donc toujours plus précis que l'estimateur initial si on l'augmente d'une statistique exhaustive.

Dans le cas multiparamétrique où l'estimateur et le paramètre sont en dimensions plus grandes que 1 on remplace la variance par la matrice de variance-covariance A. Le théorème de Rao-Blackwell donne alors:

Quel que soit A définie positive, l'erreur quadratique en utilisant le produit scalaire défini par A est toujours plus faible pour l'estimateur augmenté que pour l'estimateur initial.

Le fait de pouvoir prendre n'importe quel produit scalaire et non seulement le produit scalaire usuel peut être très utile pour que les différentes composantes ne soient pas normées de la même façon. Ceci peut par exemple être le cas si une erreur sur l'une ou l'autre des composantes "coute plus cher" on pourra choisir une matrice de produit scalaire en fonction. L'estimateur augmenté sera toujours préférable même avec ce produit scalaire non usuel.

En fait le théorème de Rao Blackwell donne légèrement plus vu qu'il dit que quelle que soit la fonction de perte convexe L, ${\displaystyle \mathbb {E} (L(\mathbb {E} (\delta |S),\theta ))\leq \mathbb {E} (L(\delta ,\theta ))}$. L'estimateur augmenté est donc toujours plus précis et ce quelle que soit la définition (raisonnable) que l'on donne à "précis".

On considère donc n variables aléatoires ${\displaystyle X_{i}}$ iid distribués selon des lois de Poisson de paramètre ${\displaystyle \lambda }$ et l'on cherche à estimer ${\displaystyle e^{-\lambda }}$. On peut montrer assez facilement en considérant le critère de factorisation que ${\displaystyle S=\sum _{i=1}^{n}X_{i}}$ est une statistique exhaustive. Pour montrer l'intérêt de ce théorème on prend un estimateur grossier de ${\displaystyle e^{-\lambda }\colon \delta _{0}=\delta (X_{1},0)}$ qui vaut 1 si ${\displaystyle X_{1}=0}$ et 0 sinon. Cet estimateur ne prend en compte qu'une seule valeur de X alors qu'on en dispose de n et il ne donne pour résultat que 0 ou 1 alors que la valeur de ${\displaystyle e^{-\lambda }}$ appartient à l'intervalle ]0,1] et ne vaut sans doute pas 1. (si c'était le cas ${\displaystyle X_{i}}$ vaudrait 0 de façon déterministe et on s'en serait aperçu en regardant les données). Pourtant bien que cet estimateur soit très grossier, l'estimateur augmenté obtenu est très bon et on peut même montrer qu'il est optimal. L'estimateur augmenté vaut:

${\displaystyle \delta _{1}=\mathbb {E} (\delta _{0}|S).\,\!}$

On peut montrer que:

Détails du calcul

${\displaystyle \mathbb {P} (X_{1}=k|\sum _{i=1}^{n}X_{i}=S)={\frac {\mathbb {P} (X_{1}=k\,et\,\sum _{i=1}^{n}X_{i}=S)}{\mathbb {P} (\sum _{i=1}^{n}X_{i}=S)}}={\frac {\mathbb {P} (X_{1}=k\,et\,\sum _{i=2}^{n}X_{i}=S-k)}{\mathbb {P} (\sum _{i=1}^{n}X_{i}=S)}}}$

Et avec l'indépendance de ${\displaystyle X_{i}}$: ${\displaystyle \mathbb {P} (X_{1}=k|\sum _{i=1}^{n}X_{i}=S)={\frac {\mathbb {P} (X_{1}=k)\mathbb {P} (\sum _{i=2}^{n}X_{i}=S-k)}{\mathbb {P} (\sum _{i=1}^{n}X_{i}=S)}}}$

Si ${\displaystyle X_{i}}$ suit une loi de Poisson de paramètre ${\displaystyle \lambda }$ alors la fonction génératrice vaut ${\displaystyle \phi _{X_{i}}(t)=\ e^{\lambda (t-1)}}$. Avec les propriétés de la fonction génératrice on en déduit que la somme de n variables iid suivant des lois de Poisson de paramètre ${\displaystyle \lambda }$ est une loi de Poisson de paramètre ${\displaystyle n\lambda }$. On en déduit les probabilités et ${\displaystyle \mathbb {P} (X_{1}=k|\sum _{i=1}^{n}X_{i}=S)=C_{S}^{k}\,{\frac {(n-1)^{S-k}}{n^{S}}}}$ ${\displaystyle X_{1}}$ suis une loi binomiale B(S,1/n). La valeur en k=0 nous donne l'estimateur ${\displaystyle \delta _{1}}$. En effet, ${\displaystyle \delta _{1}=\mathbb {E} (\delta _{0}|S)=1.\mathbb {P} (X_{1}=0|\sum _{i=1}^{n}X_{i}=S)+0.\mathbb {P} (X_{1}\neq 0|\sum _{i=1}^{n}X_{i}=S)}$

${\displaystyle \delta _{1}=\left(1-{1 \over n}\right)^{S}.\,\!}$

${\displaystyle \delta _{1}}$est tout comme ${\displaystyle \delta _{0}}$un estimateur de ${\displaystyle e^{-\lambda }}$ mais a l'avantage d'être beaucoup plus précis grâce à l'application du théorème de Rao–Blackwell.

On peut montrer que ${\displaystyle \delta _{2}={\frac {S}{n}}}$ est un estimateur optimal de ${\displaystyle \lambda }$ (Voir Théorème de Lehmann-Scheffé) mais que l'estimateur optimal pour ${\displaystyle e^{-\lambda }}$ est différent de ${\displaystyle e^{-\delta _{2}}}$.

En fait bien que ${\displaystyle e^{-\delta _{2}}}$ soit un estimateur convergent de ${\displaystyle e^{-\lambda }}$ c'est un estimateur de relativement mauvaise qualité car il est biaisé et qu'en l'estimant de la sorte on fait une erreur systématique sur l'estimation. De façon générale il peut être intéressant pour estimer ${\displaystyle f(\lambda )}$ de construire un estimateur spécifique plutôt que de calculer la valeur prise par${\displaystyle f}$ par l'estimateur de ${\displaystyle \lambda }$.

• Statistique
• Statistique (indicateur)
• Estimateur (statistique)
• Statistique exhaustive
• Théorème de Lehmann-Scheffé

• A. Montfort Cours de statistique mathématique, 1982, Economica. Paris.

• P. Druilhet « http://www.ensai.com/upload/files/BIBFILE_FILE_KcEegDc.pdf »^{(Archive.org • Wikiwix • Archive.is • Google • Que faire ?)} Cours de statistique interférentielle.