Statistique exhaustive

Soit ${\displaystyle X}$ un vecteur d'observation de taille ${\displaystyle n}$, dont les composantes ${\displaystyle X_{i}}$ sont indépendantes et identiquement distribués (iid). Soit ${\displaystyle \theta }$ un paramètre influant sur la loi de probabilité à laquelle sont soumis les ${\displaystyle X_{i}}$. Une statistique ${\displaystyle S(X)}$ est dite exhaustive (pour le paramètre ${\displaystyle \theta }$) si la probabilité conditionnelle d'observer ${\displaystyle X}$ sachant ${\displaystyle S(X)}$ est indépendante de ${\displaystyle \theta }$. Cela peut se traduire par la formule suivante :

${\displaystyle \mathbb {P} (X=x|S(X)=s,\theta )=\mathbb {P} (X=x|S(X)=s),\,}$

En pratique l'on se sert peu de cette formule pour montrer qu'une statistique est exhaustive et l'on préfère en règle générale utiliser le critère suivant appelé critère de factorisation (parfois aussi appelé critère de Fisher-Neyman):

Soit ${\displaystyle f_{\theta }(x)}$ la densité de probabilité du vecteur d'observation ${\displaystyle X}$. Une statistique ${\displaystyle S}$ est exhaustive si et seulement s'il existe deux fonctions g et h mesurables telles que:

${\displaystyle f_{\theta }(x)=h(x)\,g(\theta ,S(x)),\,\!}$

Si ${\displaystyle X}$ est un vecteur d'observation de ${\displaystyle n}$ variables iid de loi exponentielle de paramètre ${\displaystyle \theta }$ alors ${\displaystyle S(X)=\sum _{i=1}^{n}X_{i}}$ est une statistique exhaustive.

En effet la densité de ${\displaystyle X}$ est donné par: ${\displaystyle f_{\theta }(x)=\prod _{i=1}^{n}{\theta }^{-1}\mathrm {e} ^{-{\frac {x_{i}}{\theta }}}}$ qui peut se factoriser comme: ${\displaystyle f_{\theta }(x)={\theta ^{-n}}\mathrm {e} ^{-{\frac {\sum _{i=1}^{n}x_{i}}{\theta }}}={\theta ^{-n}}\mathrm {e} ^{-{\frac {S(x)}{\theta }}}}$.

Ici on a ${\displaystyle h(x)=1}$ mais ce n'est pas toujours le cas.

Soient ${\displaystyle X_{1},....,X_{n}}$ des variables iid de distribution de Poisson d'espérance ${\displaystyle \lambda }$, alors ${\displaystyle S(X)=\sum _{i=1}^{n}X_{i}}$ est une statistique exhaustive.

La densité de la loi de ${\displaystyle X_{i}}$ est : ${\displaystyle {e^{-\lambda }\lambda ^{x_{i}} \over x_{i}!}\cdot }$

La densité de la loi de ${\displaystyle X}$ est le produit des densités des ${\displaystyle X_{i}}$ car ils sont iid donc : ${\displaystyle e^{-n\lambda }\lambda ^{\sum _{i=1}^{n}x_{i}}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}\,\!}$

Le critère de factorisation est satisfait avec ${\displaystyle h(x)={1 \over x_{1}!x_{2}!\cdots x_{n}!}\,\!}$

Dans le cadre de l'information de Fisher pour une statistique on a les deux résultats suivants :

• Pour une statistique exhaustive on a ${\displaystyle I_{S}(\theta )=I(\theta )}$ ce qui permet de voir une statistique exhaustive comme une statistique comprenant toute l'information du modèle. On a aussi la réciproque à savoir que si ${\displaystyle I_{S}(\theta )=I(\theta )}$ alors S est exhaustif bien que cette caractérisation soit rarement utilisée dans ce sens. La définition reposant sur le critère de factorisation des statistiques exhaustives est souvent plus maniable.

• Quelle que soit la statistique S, ${\displaystyle I_{S}(\theta )\leq I(\theta )}$ avec un cas d'égalité uniquement pour des statistiques exhaustives. On ne peut donc récupérer plus d'information que celle contenue dans une statistique exhaustive. Ceci explique en grande partie l'intérêt des statistiques exhaustives pour l'estimation. La relation d'ordre est ici la relation d'ordre partielle sur les matrices symétriques à savoir qu'une matrice ${\displaystyle A\leq B}$ si ${\displaystyle B-A}$ est une matrice symétrique positive.