Accueil🇫🇷Chercher

Théorie de l'estimation

En statistique, la théorie de l'estimation s'intéresse à l'estimation de paramètres à partir de données empiriques mesurées ayant une composante aléatoire. Les paramètres décrivent un phénomène physique sous-jacent tel que sa valeur affecte la distribution des données mesurées. Un estimateur essaie d'approcher les paramètres inconnus à partir des mesures. En théorie de l'estimation, deux approches sont généralement considérées[1]:

  • l'approche probabiliste (décrite ici) suppose que les données mesurées sont aléatoires avec une distribution de probabilités dépendant des paramètres d'intérêt
  • l'approche ensembliste suppose que le vecteur des données mesurées appartient à un ensemble qui dépend du vecteur des paramètres.

Exemples

On souhaite estimer la proportion d'une population d'électeurs qui va voter pour un candidat donné dans une élection. Cette proportion est le paramètre recherché ; l'estimaion est basé sur un petit échantillon aléatoire de votants. De façon alternative, on veut évaluer la probabilité d'un électeur de voter pour un candidat particulier, en se basant sur des données démographiques, comme son âge.

Avec un radar, on veut trouver la taille des objets (avions, bateaux, etc.) en analysant le temps aller-retour des échos reçus d'ondes pulsées. Comme les ondes réfléchies sont toutes perturbées par un bruit électrique, leurs valeurs mesurées sont aléatoires, et le temps de transit doit être estimé.

De façon générale, les mesures de signaux électriques sont souvent associés à un bruit.

Bases

Pour un modèle donné, plusieurs "ingrédients" statistiques sont requis pour implémenter l'estimateur. Le premier est un échantillon statistique – un ensemble de données discrètes dans un vecteur aléatoire de taille N :

on associe un vecteur de M paramètres :

dont on veut estimer les valeurs. Enfin, il faut la densité de probabilité, discrète ou continue, de la loi sous-jacente de probabilité qui ont généré les données, et donc conditionnelle aux valeurs des paramètres :

Il est aussi possible pour les paramètres d'avoir une loi de probabilité (voir statistiques bayésiennes). Il est alors nécessaire de définir la probabilité bayésienne

Après que le modèle est formé, l'objectif est d'estimer les paramètres, dont on note les estimateurs .

Un estimateur classique est l'estimateur des moindres carrés, qui est celui qui minimise l'erreur entre les paramètres estimés et leurs valeurs réelles

Cette erreur est ensuite élevée au carré et la valeur attendue est minimale pour l'estimateur des moindres carrés.

Estimateurs

Les estimateurs les plus communément utilisés et étudiés sont :

Exemples

Constante inconnue avec bruit blanc gaussien

Dans un signal discret mesuré avec N échantillons indépendants constitués d'une constante A avec un bruit blanc gaussien additif (AWGN) de moyenne nulle et de variance connue (i.e., ). Le vecteur de paramètres à estimer se réduit uniquement à A. Le signal modèle s'écrit :

On a alors deux estimateurs possibles pour A :

  • qui est la moyenne empirique de l'échantillon

Les deux estimateurs ont une espérance de A :

Cependant, en étudiant leurs variances, la différence de qualité entre les deux estimateur apparait :

La moyenne de l'échantillon semble alors un bien meilleur estimateur car sa variance est plus petite dès que N > 1.

Maximum de vraisemblable

Sur le même exemple, on utilise l'estimateur du maximum de vraisemblance, la fonction densité de probabilité du bruit pour un échantillon w[n] est

et la probabilité de x[n] devient (x[n] peut être vu comme suivant une loi normale )

Par indépendance, la probabilité de x devient

On prend le logarithme naturel de l'expression :

dont on tire l'estimateur du maximum de vraisemblance :

En prenant la dérivée de la log-vraisemblance :

qu'on cherche à annuler

La résolution de cette équation donne l'estimateur du maximum de vraisemblance :

qui est ici la moyenne empirique.

Borne inférieure de Cramér–Rao

Pour trouver la borne inférieure de Cramér–Rao (CRLB) de l'estimateur de la moyenne de l'échantillon, on doit d'abord établir l'information de Fisher :

et en reprenant le même processus que précédemment :

La dérivée seconde donne :

et trouver la valeur attendue négative est trivial car la dérivée est une constante déterministe :

On réinjecte l'information de Fisher dans le calcul :

ce qui donne

En comparant ce résultat à la variance de la moyenne empirique (déterminé auparavant) montre que la moyenne empirique atteint la borne de Cramér–Rao pour toutes valeurs de N et A. Ainsi, la moyenne de l'échantillon est un (et même forcément le seul) estimateur efficace, et est donc l'estimateur sans biais de variance minimale (MVUE), en plus d'être l'estimateur de maximum de vraisemblance.

Maximum d'une distribution uniforme

Un des exemples non triviaux les plus simples d'estimation est celui de l'estimation du maximum d'une distribution uniforme. Il est utilisé classiquement pour illustrer les principes de bases de la théorie de l'estimation, en mettant en lumière des questions d'a priori et des erreurs dans l'utilisation de l'estimation par maximum de vraisemblance et des fonctions de vraisemblance.

Soit une distribution uniforme discrète 1, 2, ..., N de maximum inconnu, alors l'estimateur sans biais à variance minimale du maximum est

m est le maximum de l'échantillon et k la taille de l'échantillon, sans remplacement[2] - [3]. Ce cas est connu sous le nom du problème du char d'assaut allemand, car il fut appliqué à l'estimation du nombre maximal de chars allemands produits pendant la Seconde Guerre Mondiale.

La formule peut être comprise de façon intuitive comme :

"le maximum de l'échantillon plus la différence moyenne entre les observations de l'échantillon",

la différence étant ajouté pour compenser le biais négatif du maximum de l'échantillon comme estimateur du maximum de la population[N 1]

Il a une variance de [2]

donc un écart-type proche de N/k, la taille moyenne (de la population) de la différence entre échantillons ; on pourra comparer avec m/k. On peut voir ce résultat comme un cas simple d'estimation de l'espacement maximum.

Le maximum de l'échantillon est l'estimateur du maximum de vraisemblance du maximum de la population, mais comme vu au-dessus, il est biaisé.

Applications

De nombreux domaines utilisent la théorie de l'estimation :

Des mesures sont susceptibles d'être perturbées par un bruit ou une incertitude et c'est grâce à la théorie des probabilités que des solutions optimales sont étudiées afin d'en tirer autant d'information que possible.

Voir aussi

Modèle:Main category

Notes

  1. Le maximum de l'échantillon n'excède jamais le maximum de la population, mais peut lui être inférieur, ce qui en fait un estimateur biaisé : il va tendre à sous-estimer le maximum de la population.

Références

Citations

  1. (en) E. Walter et L. Pronzato, Identification of Parametric Models from Experimental Data, London, England, Springer-Verlag,
  2. (en) Roger Johnson, « Estimating the Size of a Population », Teaching Statistics, vol. 16, no 2 (Summer), , p. 50–52 (DOI 10.1111/j.1467-9639.1994.tb00688.x)
  3. (en) Roger Johnson, Getting the Best from Teaching Statistics, (lire en ligne [archive du ])

Sources

  • (en) E.L. Lehmann et G. Casella, Theory of Point Estimation (ISBN 0387985026)
  • (en) Dale Shermon, Systems Cost Engineering (ISBN 978-0-566-08861-2)
  • (en) John Rice, Mathematical Statistics and Data Analysis (ISBN 0-534-209343))
  • (en) Steven M. Kay, Fundamentals of Statistical Signal Processing: Estimation Theory (ISBN 0-13-345711-7)
  • (en) H. Vincent Poor, An Introduction to Signal Detection and Estimation (ISBN 0-387-94173-8))
  • (en) Harry L. Van Trees, Detection, Estimation, and Modulation Theory, Part 1 (ISBN 0-471-09517-6, lire en ligne)
  • (en) Dan Simon, Optimal State Estimation: Kalman, H-infinity, and Nonlinear Approaches (lire en ligne)
  • (en) Ali H. Sayed, Adaptive Filters, Wiley, NJ, (ISBN 978-0-470-25388-5).
  • (en) Ali H. Sayed, Fundamentals of Adaptive Filtering, Wiley, NJ, (ISBN 0-471-46126-1).
  • (en) Thomas Kailath, Ali H. Sayed et Babak Hassibi, Linear Estimation, Prentice-Hall, NJ, (ISBN 978-0-13-022464-4).
  • (en) Babak Hassibi, Ali H. Sayed et Thomas Kailath, Indefinite Quadratic Estimation and Control: A Unified Approach to H2 and H Theories, Society for Industrial & Applied Mathematics (SIAM), PA, (ISBN 978-0-89871-411-1).
  • (en) V.G.Voinov et M.S.Nikulin, Unbiased estimators and their applications. Vol.1: Univariate case, Kluwer Academic Publishers, (ISBN 0-7923-2382-3).
  • (en) V.G.Voinov et M.S.Nikulin, Unbiased estimators and their applications. Vol.2: Multivariate case, Kluwer Academic Publishers, (ISBN 0-7923-3939-8).

Liens externes

Cet article est issu de wikipedia. Text licence: CC BY-SA 4.0, Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.