M-estimateur

Les M-estimateurs ont été introduits en 1964 par Peter Huber sous la forme d'une généralisation de l'estimation par maximum de vraisemblance à la minimisation d'une fonction ρ sur l'ensemble des données. Ainsi, le (ou les) M-estimateur associé aux données et à la fonction ρ est estimé par

${\displaystyle {\hat {\theta }}=\operatorname {argmin} _{\theta }\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)}$

Le M de M-estimateur provient donc du maximum de vraisemblance (maximum likelihood-type en anglais) et les estimateurs par maximum de vraisemblance sont un cas particulier des M-estimateurs.

Parmi les exemples connus de M-estimateurs, on peut citer :

• ${\displaystyle \rho (x)=x^{2}}$, ce qui revient à appliquer la méthode des moindres carrés
• ${\displaystyle \rho (x)=|x|}$
• ${\displaystyle \rho _{k}(x)={\begin{cases}{\frac {x^{2}}{2}}&{\text{ si }}|x|<k\\k(|x|-{\frac {k}{2}})&{\text{ si }}|x|\geqslant k\end{cases}}}$ (fonction de Huber (en))
• ${\displaystyle \rho _{c}(x)={\frac {c^{2}}{2}}\ln \left(1+\left({\frac {x}{c}}\right)^{2}\right)}$ (fonction de Lorentz)
• ${\displaystyle \rho _{c}(x)={\frac {x^{2}}{2}}\left(1-{\frac {x^{2}}{2c^{2}}}+{\frac {x^{4}}{6c^{4}}}\right)}$ (bipoids de Tukey)

• Méthode des moindres carrés

• Peter J. Huber, Robust Statistics, Wiley, 1981, 2004