Borne de Cramér-Rao

Dans le cas d'une distribution normale multivariée à d dimensions : ${\displaystyle {\boldsymbol {x}}\sim N_{d}\left({\boldsymbol {\mu }}\left({\boldsymbol {\theta }}\right),{\boldsymbol {C}}\left({\boldsymbol {\theta }}\right)\right)}$ les éléments de la matrice d'information de Fisher [1] sont

${\displaystyle I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\mathrm {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)}$

où « tr » désigne la trace.

Prenons ${\displaystyle w[n]}$ un échantillon de ${\displaystyle N}$ observations indépendantes de moyenne inconnue ${\displaystyle \theta }$ et de variance ${\displaystyle \sigma ^{2}}$ connue.

${\displaystyle w[n]\sim \mathbb {N} _{N}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right).}$

L'information de Fisher est alors un scalaire donné par la formule

${\displaystyle I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{N}{\frac {1}{\sigma ^{2}}}={\frac {N}{\sigma ^{2}}},}$

et la borne de Cramér-Rao est donnée par la formule

${\displaystyle \mathrm {var} \left({\hat {\theta }}\right)\geq {\frac {\sigma ^{2}}{N}}.}$

Supposons que X est un vecteur aléatoire qui suit une loi normale d'espérance connue ${\displaystyle \mu }$ et de variance inconnue ${\displaystyle \sigma ^{2}}$. Considérons T l'estimateur de ${\displaystyle \sigma ^{2}}$:

${\displaystyle T={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-\mu \right)^{2}.}$

Alors T est non biaisé pour ${\displaystyle \sigma ^{2}}$, car ${\displaystyle \mathbb {E} [T]=\sigma ^{2}}$. Quelle est la variance de T ?

${\displaystyle \mathrm {Var} (T)={\frac {\mathrm {var} \{(X-\mu )^{2}\}}{n}}={\frac {1}{n}}\left[\mathbb {E} \left\{(X-\mu )^{4}\right\}-\left(\mathbb {E} \left\{(X-\mu )^{2}\right\}\right)^{2}\right]}$

Le premier terme est le quatrième moment centré et vaut ${\displaystyle 3\sigma ^{4}}$, le second est le carré de la variance, soit ${\displaystyle \sigma ^{4}}$. Donc :

${\displaystyle \mathrm {Var} (T)={\frac {2\sigma ^{4}}{n}}.}$

Quelle est l'information de Fisher de cet exemple ? Le score V est défini par :

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\ln L(\sigma ^{2},X)}$

avec L étant la fonction de vraisemblance. Donc, dans ce cas,

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\ln \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]={\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}-{\frac {1}{2\sigma ^{2}}}}$

L'information de n évènements indépendants étant seulement n fois l'information d'un seul évènement, soit ${\displaystyle {\frac {n}{2(\sigma ^{2})^{2}}}}$.

L'inégalité de Cramér-Rao donne :

${\displaystyle \mathrm {var} (T)\geq {\frac {1}{I}}.}$

Dans ce cas, on a donc égalité. On dit alors que l'estimateur est efficace.