U-statistique

Soit ${\displaystyle m\in \mathbb {N} ^{*}}$ et ${\displaystyle \Phi$ :\mathbb {R} ^{m}\to \mathbb {R} } une fonction symétrique.

Alors l'application qui à un échantillon ${\displaystyle X=(x_{1},\dots ,x_{n})}$ de taille ${\displaystyle n\geq m}$ associe :

${\displaystyle U(X)={\binom {n}{m}}^{-1}\sum _{i_{1}<\dots <i_{m}}\Phi (x_{i_{1}},\dots ,x_{i_{m}})}$

est appelée une U-statistique d'ordre ${\displaystyle m}$ et de kernel ${\displaystyle \Phi }$[1].

Cette statistique est la moyenne de ${\displaystyle \Phi (x_{i_{1}},\dots ,x_{i_{m}})}$ prise sur toutes les parties ${\displaystyle \{x_{i_{1}},\dots ,x_{i_{m}}\}}$ de ${\displaystyle \{x_{1},\dots ,x_{n}\}}$.

On peut aussi définit une U-statistique en tant que fonctionnelle, c'est-à-dire une application partant d'un espace de distributions de probabilité, et à valeurs dans ${\displaystyle \mathbb {R} }$.

Soit ${\displaystyle {\mathcal {D}}}$ l'ensemble des distributions de probabilité sur un ensemble mesurable ${\displaystyle E}$, une U-statistique est une fonctionnelle de la forme :

${\displaystyle U:{\begin{array}{ccl}{\mathcal {D}}&\to &\mathbb {R} \\F&\mapsto &U(F)=\mathbb {E} _{X_{1},\dots ,X_{m}{\overset {\text{iid}}{\sim }}F}[\Phi (X_{1},\dots ,X_{m})]=\int _{E}\dots \int _{E}\Phi (x_{1},\dots ,x_{m})\mathrm {d} F(x_{1})\dots \mathrm {d} F(x_{m})\end{array}}.}$

Cette définition en tant que fonctionnelle est une généralisation de la première. En effet on remarque que si ${\displaystyle {\hat {F}}_{n}}$ est la distribution empirique d'un échantillon ${\displaystyle (x_{1},\dots ,x_{n})}$, alors

${\displaystyle U({\hat {F}}_{n})={\binom {n}{m}}^{-1}\sum _{i_{1}<\dots <i_{m}}\Phi (x_{i_{1}},\dots ,x_{i_{m}})}$

C'est-à-dire que la fonctionnelle ${\displaystyle U}$ évaluée en ${\displaystyle {\hat {F}}_{n}}$ est égale à la statistique ${\displaystyle U}$ appliquée à l'échantillon ${\displaystyle (x_{1},\dots ,x_{n})}$. La définition par une fonctionnelle permet de parler d'une U-statistique évaluée en une distribution qui ne serait pas une distribution empirique, ce que ne permet pas la première définition.

Si ${\displaystyle X_{1},..,X_{r}}$ sont des variables aléatoires identiquement distribuées, si ${\displaystyle \Phi }$ est mesurable, par linéarité de l'espérance, ${\displaystyle U(X)}$ est un estimateur non biaisé de ${\displaystyle \mathbb {E} (\Phi (X_{1},\dots ,X_{r})}$. Ce qui explique le nom U-statistique venant de Unbiased.

• Les U-statistiques sont asymptotiquement normales, l'analogue du théorème central limite pour les U-statistiques a été établi par Hoeffding en 1948 :

Normalité asymptotique des U-statistiques — (Hoeffding, 1948)

Soit ${\displaystyle F}$ une loi de probabilité, ${\displaystyle X_{1},X_{2},\dots }$ une suite de variables aléatoires indépendantes et identiquement distribuées de loi ${\displaystyle F}$ et une U-statistique ${\displaystyle U}$ d'ordre ${\displaystyle m}$ et kernel ${\displaystyle \Phi }$.

Alors, si ${\displaystyle \mathbb {E} (\Phi (X_{1},..,X_{m})^{2})}$ existe,

${\displaystyle {\sqrt {n}}(U(X_{1},..,X_{n})-\theta ){\xrightarrow {\mathcal {L}}}{\mathcal {N}}(0,V)}$

où ${\displaystyle \theta =\mathbb {E} [\Phi (X_{1},..,X_{m}]}$ et ${\displaystyle V=\mathbb {E} [\Phi (X_{1},..,X_{m})^{2}]}$

La variance d'une U-statistique d'ordre ${\displaystyle m}$ et de kernel ${\displaystyle \Phi }$ est donnée par[3] :

${\displaystyle Var[U(X_{1},\dots ,X_{n})]={\binom {n}{m}}^{-1}\sum _{k=1}^{m}{\binom {m}{k}}{\binom {n-m}{m-k}}\sigma _{k}^{2}}$

où pour ${\displaystyle k\leq m}$, ${\displaystyle \sigma _{k}=Var\left[\mathbb {E} \left[\Phi (X_{1},\dots ,X_{m})|X_{1},\dots ,X_{k}\right]\right]}$

Paul Halmos a démontré en 1946 que les seules fonctionnelles admettant un estimateur non biaisé quelle que soit la distribution des données sont les U-statistiques (en tant que fonctionnelles). Alors, l'estimateur non biaisé de variance minimum est la U-statistique correspondante. Plus formellement[4],

Absence de biais des U-statistiques — (Halmos, 1946)

Soit ${\displaystyle U}$ une fonctionnelle. S'il existe un estimateur ${\displaystyle T(X)}$ de ${\displaystyle U}$ non biaisé indépendamment de la distribution de ${\displaystyle X}$, c'est-à-dire telle que pour toute distribution de probabilité ${\displaystyle F}$,

${\displaystyle \mathbb {E} _{X_{1},\dots ,X_{n}{\overset {\text{iid}}{\sim }}F}[T(X_{1},\dots ,X_{n})]=U(F),}$ alors il existe un entier ${\displaystyle m}$ et une fonction symétrique ${\displaystyle \Phi }$ à ${\displaystyle m}$ variables tels que ${\displaystyle U(F)=\mathbb {E} _{X_{1},\dots ,X_{m}{\overset {\text{iid}}{\sim }}F}[\Phi (X_{1},\dots ,X_{m})]}$,

et le U-estimateur ${\displaystyle {\binom {n}{m}}^{-1}\sum _{i_{1}<\dots <i_{m}}\Phi (X_{1},\dots ,X_{m})}$ a la plus petite variance parmi les estimateurs ${\displaystyle T}$ vérifiant ${\displaystyle \mathbb {E} _{X_{1},\dots ,X_{m}{\overset {\text{iid}}{\sim }}F}[T(X_{1},\dots ,X_{n})]=U(F)}$ pour toute distribution ${\displaystyle F}$.

En particulier, Tout U-estimateur de kernel ${\displaystyle \Phi }$ et d'ordre ${\displaystyle m}$ est un estimateur non biaisé de ${\displaystyle \mathbb {E} _{X_{1},\dots ,X_{m}{\overset {\text{iid}}{\sim }}F}[\Phi (X_{1},\dots ,X_{m})]}$.

Ce résultat ne signifie pas que les seuls estimateurs non biaisés sont des U-estimateurs, mais que les seules quantités estimables de manière non biaisée, indépendamment de la distribution des données sont des fonctionnelles associées à des U-statistiques. Par exemple, il n'existe pas d'estimateur non biaisé de la médiane d'une distribution pour toute distribution, car la médiane d'une distribution ne peut pas être écrite comme une U-fonctionnelle. Il est certes possible de trouver des estimateurs de la médiane qui soient sans biais pour certaines distributions (la moyenne empirique est un estimateur sans biais de la médiane de toute distribution symétrique admettant une espérance), mais il existe nécessairement des distributions pour lesquelles ces estimateurs seront biaisés.

De même, les U-estimateurs associés à une U-fonctionnelle ne sont pas nécessairement les estimateurs les plus efficaces. Ce sont simplement les estimateurs efficaces parmi les estimateurs non biaisés indépendamment de la distribution des données. Par exemple, sur des données issues d'une loi de Laplace, la médiane empirique est plus efficace que la moyenne empirique pour estimer l'espérance. Mais cela ne contredit pas le résultat précédent, puisque la médiane empirique n'est pas un estimateur non biaisé indépendamment de la distribution des données.