Mesure empirique

La mesure empirique ${\displaystyle P_{n}}$ est la mesure de probabilité discrète définie par ${\displaystyle P_{n}(A)={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A)}$ où ${\displaystyle \mathbf {1} _{A}}$ est la fonction indicatrice et ${\displaystyle \delta _{X}}$ est la mesure de Dirac. On peut généraliser cette définition à des classes de fonctions mesurables à valeurs réelles en définissant la mesure empirique ${\displaystyle P_{n}}$ par ${\displaystyle P_{n}(f)=\int _{\mathcal {X}}f\mathrm {d} P_{n}={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})}$ pour toute fonction ${\displaystyle f:{\mathcal {X}}\to \mathbb {R} }$ mesurable.

En particulier, la mesure empirique ${\displaystyle P_{n}(A)}$ est la mesure empirique de la fonction indicatrice ${\displaystyle \mathbf {1} _{A}}$.

Propriétés de la mesure empirique classique

• Pour un ensemble mesurable ${\displaystyle A}$, ${\displaystyle nP_{n}(A)}$ est une variable aléatoire binomiale de paramètres ${\displaystyle (n;P(A))}$. En particulier, ${\displaystyle P_{n}(A)}$ est un estimateur non biaisé de ${\displaystyle P(A)}$.
• Si ${\displaystyle (A_{i})_{1\leq i\leq n}}$ forme une partition de ${\displaystyle {\mathcal {X}}}$ alors les variables aléatoires ${\displaystyle X_{i}=nP_{n}(A_{i})}$ sont des multinomiales de paramètres ${\displaystyle n}$ et ${\displaystyle P(A_{i})}$.
• Si on note ${\displaystyle \alpha _{n}^{X}}$ le processus empirique défini par ${\displaystyle \alpha _{n}^{X}(t)={\frac {1}{\sqrt {n}}}\left(\sum _{i=1}\mathbf {1} _{\{X_{i}\leq t\}}-F(t)\right)}$, on peut définir ce dernier via la mesure empirique : ${\displaystyle \alpha _{n}^{X}={\sqrt {n}}(P_{n}-P)\Leftrightarrow P_{n}=P+{\frac {\alpha _{n}^{X}}{\sqrt {n}}}.}$

Propriétés de la mesure empirique généralisée

• Pour une fonction mesurable fixée ${\displaystyle f,P_{n}(f)}$ est une variable aléatoire de moyenne ${\displaystyle \mathbb {E} [f]}$ et de variance ${\displaystyle {\frac {1}{n}}\mathbb {E} [(f-\mathbb {E} [f])^{2}]}$.
• D'après la loi forte des grands nombres, ${\displaystyle P_{n}(f)}$ converge p.s. vers ${\displaystyle \mathbb {E} [f]}$ pour une fonction mesurable ${\displaystyle f}$ fixée.
• La mesure empirique indexée par une classe de fonctions s'exprime avec le processus empirique indexé par une classe de fonctions de la même manière que la mesure empirique : ${\displaystyle \alpha _{n}^{X}(f)={\frac {1}{\sqrt {n}}}\left(\sum _{i=1}^{n}f(X_{i})-\mathbb {E} [f(X_{i})]\right)}$.

En 1957, Sanov[1] établit que la mesure empirique suit le principe des grandes déviations avec pour fonction taux la divergence de Kullback-Leibler. En particulier, la probabilité que la mesure empirique appartienne à un ensemble auquel n'appartient pas la loi mère (i.e. ${\displaystyle P}$) de l'échantillon est exponentiellement décroissante par rapport à la taille de l'échantillon. Une preuve simple faisant appel à des résultats élémentaires de topologie a été proposée en 2006 par Csiszár[2].

Le théorème de Glivenko-Cantelli affirme que la fonction de répartition empirique ${\displaystyle F_{n}(t)=P_{n}(]-\infty ,t])}$ converge uniformément vers la fonction de répartition ${\displaystyle F}$ de la variable étudiée. Pour généraliser ce résultat, on nomme les classes de Glivenko-Cantelli les classes des fonctions mesurables à valeurs réelles pour lesquels la mesure empirique converge uniformément vers la mesure théorique. En d'autres mots, ${\displaystyle {\mathcal {C}}}$ est une classe de Glivenko-Cantelli si

${\displaystyle \lim _{n\to +\infty }||P_{n}-P||_{\mathcal {C}}=\lim _{n\to +\infty }\sup _{C\in {\mathcal {C}}}|P_{n}(C)-P(C)|=0}$.

Le théorème de Donsker affirme lui que le processus empirique ${\displaystyle \alpha _{n}^{X}}$ converge en loi vers un pont brownien. Pour généraliser cela, on nomme classes de Donsker les classes des fonctions auxquelles la mesure empirique centrée et normalisée converge en loi vers un pont brownien. En d'autres mots, ${\displaystyle {\mathcal {C}}}$ est une classe de Donsker si ${\displaystyle \alpha _{n}{\underset {n\to +\infty }{\overset {\mathcal {L}}{\longrightarrow }}}\mathbb {G} {\text{ dans }}\ell ^{\infty }({\mathcal {C}})}$.