Méthode des moments (statistiques)

On suppose que l'échantillon X₁,…, X_n est un échantillon iid (identiquement et indépendamment distribué) selon une famille de lois paramétriques, paramétrée par θ. Toute fonction des données de l'échantillon est donc une fonction F(θ). C'est particulièrement le cas des moments de la famille, si ceux-ci existent.

On sélectionne alors s moments ${\displaystyle G=\left[m_{1}(\theta ),m_{2}(\theta ),\cdots ,m_{s}(\theta )\right]}$, qui définissent un vecteur s×1. Il existe donc une fonction G telle que ${\displaystyle G(\theta )=\left[m_{1}(\theta ),m_{2}(\theta ),\cdots ,m_{s}(\theta )\right]}$. L'équivalent empirique du vecteur ${\displaystyle G}$ est le vecteur composé des s moments d'échantillon, noté ${\displaystyle {\widehat {G}}}$. Cela signifie que l'on remplace le i-ème moment théorique, à savoir ${\displaystyle E_{\theta }(X^{i})}$, par la quantité :

${\displaystyle {\widehat {m}}_{i}={\frac {1}{n}}\sum _{k=1}^{n}x_{k}^{i}}$

L'estimateur de θ par la méthode des moments, noté ${\displaystyle {\widehat {\theta }}}$, consiste à résoudre l'équation vectorielle :

${\displaystyle {\widehat {G}}=G({\widehat {\theta }})}$

Supposons que ${\displaystyle X_{1},...,X_{n}}$ sont des variables aléatoires indépendantes et identiquement distribuées selon la loi Gamma avec pour densité

${\displaystyle f(x;\alpha ,\beta )={x^{\alpha -1}e^{-x/\beta } \over \beta ^{\alpha }\,\Gamma (\alpha )}\,\!\mathbf {1} _{x>0}(x)}$, avec ${\displaystyle \mathbf {1} _{A}}$ la fonction indicatrice de l'ensemble ${\displaystyle A}$.

On cherche à estimer le vecteur des paramètres ${\displaystyle \theta =[\alpha$ ;\beta ]} .

On détermine d'abord les moments théoriques.

Le premier moment, l'espérance, est donné par

${\displaystyle \mathbb {E} (X)\equiv m_{1}=\alpha \beta \,}$

et le second moment, l'espérance du carré de la variable, est

${\displaystyle \mathbb {E} (X^{2})\equiv m_{2}=\beta ^{2}\alpha (\alpha +1).\,}$

On exprime ensuite la relation entre les paramètres et les moments théoriques :

${\displaystyle {\begin{cases}\alpha \beta &=m_{1}\\\beta ^{2}\alpha (\alpha +1)&=m_{2}\end{cases}}}$

la résolution donne :

${\displaystyle \alpha ={m_{1}^{2} \over m_{2}-m_{1}^{2}}\,{\text{ et }}\,\beta ={m_{2}-m_{1}^{2} \over m_{1}}.\,\!}$

Une fois cette relation établie, la méthode des moments consiste à utiliser les moments empiriques, en l'occurrence pour notre exemple les deux premiers, ${\displaystyle {\hat {m}}_{1}}$ et ${\displaystyle {\hat {m}}_{2}}$ :

${\displaystyle {\hat {m}}_{1}={X_{1}+\cdots +X_{n} \over n}\,{\text{ et }}\,{\hat {m}}_{2}={X_{1}^{2}+\cdots +X_{n}^{2} \over n}.\,\!}$

que l'on pose égaux aux moments théoriques :

${\displaystyle {\hat {m}}_{1}=m_{1}\,{\text{ et }}\,{\hat {m}}_{2}=m_{2}\,\!}$

La résolution en ${\displaystyle \alpha }$ et ${\displaystyle \beta }$ fournit alors :

${\displaystyle {\hat {\alpha }}={{\hat {m}}_{1}^{2} \over {\hat {m}}_{2}-{\hat {m}}_{1}^{2}}\,{\text{ et }}\,{\hat {\beta }}={{\hat {m}}_{2}-{\hat {m}}_{1}^{2} \over {\hat {m}}_{1}}.\,\!}$

Dans certains cas, la méthode des moments n'est pas capable d'atteindre la borne de Cramér-Rao : l'estimation est donc dépassée par l'estimation par maximum de vraisemblance qui atteint cette borne asymptotiquement[1].

Toutefois, dans certains cas comme celui de la loi Gamma, le calcul de la fonction de vraisemblance peut poser des problèmes (l'utilisation de l'ordinateur et d'algorithmes numériques est indispensable) tandis que l'estimation des moments est très facilement accessible.

La méthode des moments peut s'utiliser comme point de départ pour maximiser la (log-)vraisemblance : en effet, on doit utiliser dans ce cas des algorithmes numériques, comme la Méthode de Newton, qui nécessitent des points de départ.

Par contre, lorsque la taille de l'échantillon n'est pas suffisamment grande, la loi des grands nombres ne s'applique pas et par conséquent, les moments empiriques n'approchent pas suffisamment bien les moments théoriques. Ainsi, la méthode des moments n'est pas une méthode de confiance dans ce cas: les estimateurs ainsi obtenus peuvent avoir tendance à sortir du support des paramètres. Par exemple, pour la loi gamma, un faible échantillon peut conduire à α < 0.

Enfin, nous avons vu que la méthode des moments consiste à résoudre :

${\displaystyle {\widehat {G}}=G({\widehat {\theta }})}$

ce qui n'est pas toujours possible. On peut alors chercher à minimiser sur θ la forme quadratique suivante

${\displaystyle g'(\theta )Wg(\theta )}$

où

${\displaystyle g(\theta )=G(\theta )-G}$

et où W est une matrice (s × s) de pondération. Résoudre ce système revient à résoudre approximativement ${\displaystyle g({\widehat {\theta }})\approx 0}$. Cette idée est le point de départ de la méthode des moments généralisée.

• Estimateur (statistique)
• Méthode des moments généralisée
• Maximum de vraisemblance
• Ajustement de loi de probabilité