Théorie de l'estimation

Dans un signal discret ${\displaystyle x[n]}$ mesuré avec N échantillons indépendants constitués d'une constante A avec un bruit blanc gaussien additif (AWGN) ${\displaystyle w[n]}$ de moyenne nulle et de variance ${\displaystyle \sigma ^{2}}$ connue (i.e., ${\displaystyle w\sim {\mathcal {N}}(0,\sigma ^{2})}$). Le vecteur de paramètres à estimer se réduit uniquement à A. Le signal modèle s'écrit :

${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$

On a alors deux estimateurs possibles pour A :

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$ qui est la moyenne empirique de l'échantillon

Les deux estimateurs ont une espérance de A :

${\displaystyle \mathbb {E} \left[{\hat {A}}_{1}\right]=\mathbb {E} \left[x[0]\right]=A}$

${\displaystyle \mathbb {E} \left[{\hat {A}}_{2}\right]=\mathbb {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathbb {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$

Cependant, en étudiant leurs variances, la différence de qualité entre les deux estimateur apparait :

${\displaystyle \mathrm {Var} \left({\hat {A}}_{1}\right)=\mathrm {Var} \left(x[0]\right)=\sigma ^{2}}$

${\displaystyle \mathrm {Var} \left({\hat {A}}_{2}\right)=\mathrm {Var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {Var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$

La moyenne de l'échantillon semble alors un bien meilleur estimateur car sa variance est plus petite dès que N > 1.

Sur le même exemple, on utilise l'estimateur du maximum de vraisemblance, la fonction densité de probabilité du bruit pour un échantillon w[n] est

${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$

et la probabilité de x[n] devient (x[n] peut être vu comme suivant une loi normale ${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$)

${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$

Par indépendance, la probabilité de x devient

${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$

On prend le logarithme naturel de l'expression :

${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$

dont on tire l'estimateur du maximum de vraisemblance :

${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$

En prenant la dérivée de la log-vraisemblance :

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

qu'on cherche à annuler

${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$

La résolution de cette équation donne l'estimateur du maximum de vraisemblance :

${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$

qui est ici la moyenne empirique.

Pour trouver la borne inférieure de Cramér–Rao (CRLB) de l'estimateur de la moyenne de l'échantillon, on doit d'abord établir l'information de Fisher :

${\displaystyle {\mathcal {I}}(A)=\mathbb {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathbb {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$

et en reprenant le même processus que précédemment :

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$

La dérivée seconde donne :

${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$

et trouver la valeur attendue négative est trivial car la dérivée est une constante déterministe : ${\displaystyle -\mathbb {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

On réinjecte l'information de Fisher dans le calcul :

${\displaystyle \mathrm {Var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$

ce qui donne

${\displaystyle \mathrm {Var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$

En comparant ce résultat à la variance de la moyenne empirique (déterminé auparavant) montre que la moyenne empirique atteint la borne de Cramér–Rao pour toutes valeurs de N et A. Ainsi, la moyenne de l'échantillon est un (et même forcément le seul) estimateur efficace, et est donc l'estimateur sans biais de variance minimale (MVUE), en plus d'être l'estimateur de maximum de vraisemblance.

Un des exemples non triviaux les plus simples d'estimation est celui de l'estimation du maximum d'une distribution uniforme. Il est utilisé classiquement pour illustrer les principes de bases de la théorie de l'estimation, en mettant en lumière des questions d'a priori et des erreurs dans l'utilisation de l'estimation par maximum de vraisemblance et des fonctions de vraisemblance.

Soit une distribution uniforme discrète 1, 2, ..., N de maximum inconnu, alors l'estimateur sans biais à variance minimale du maximum est

${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$

où m est le maximum de l'échantillon et k la taille de l'échantillon, sans remplacement[2] - [3]. Ce cas est connu sous le nom du problème du char d'assaut allemand, car il fut appliqué à l'estimation du nombre maximal de chars allemands produits pendant la Seconde Guerre Mondiale.

La formule peut être comprise de façon intuitive comme :

"le maximum de l'échantillon plus la différence moyenne entre les observations de l'échantillon",

la différence étant ajouté pour compenser le biais négatif du maximum de l'échantillon comme estimateur du maximum de la population[N 1]

Il a une variance de [2]

${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ pour }}k\ll N}$

donc un écart-type proche de N/k, la taille moyenne (de la population) de la différence entre échantillons ; on pourra comparer avec m/k. On peut voir ce résultat comme un cas simple d'estimation de l'espacement maximum.

Le maximum de l'échantillon est l'estimateur du maximum de vraisemblance du maximum de la population, mais comme vu au-dessus, il est biaisé.