Théorème de Glivenko-Cantelli

En statistiques, la fonction de répartition empirique associée à un échantillon est la fonction de répartition de la loi de probabilité qui attribue la probabilité ${\displaystyle 1/n}$ à chacun des ${\displaystyle n}$ nombres de cet échantillon.

Soit ${\displaystyle X_{1},\ldots ,X_{n}}$ un échantillon de variables aléatoires réelles i.i.d. définies sur un espace de probabilité ${\displaystyle (\Omega ,{\mathcal {A}},\mathbb {P} )}$ avec pour fonction de répartition ${\displaystyle F}$. La fonction de répartition empirique ${\displaystyle F_{n}}$ de l'échantillon ${\displaystyle X_{1},\ldots ,X_{n}}$ est définie par :

${\displaystyle \forall x\in \mathbb {R} ,\forall \omega \in \Omega ,F_{n}(x,\omega )={\frac {\mathrm {nombre~d'{\acute {e}}l{\acute {e}}ments} \,\leq x\,\mathrm {dans~l'{\acute {e}}chantillon} }{n}}={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{X_{i}(\omega )\leq x}}$

où ${\displaystyle \mathbf {1} _{A}}$ est la fonction indicatrice de l'événement A. Pour chaque ${\displaystyle \omega }$, l'application ${\displaystyle x\to F_{n}(x,\omega )}$ est une fonction en escalier, fonction de répartition de la loi de probabilité uniforme sur l'ensemble ${\displaystyle \{X_{1}(\omega ),\dots ,X_{n}(\omega )\}}$, notée ici ${\displaystyle \mu _{n}(\omega )}$ et appelée loi empirique. Pour tout n, on a ${\displaystyle \mu _{n}={\tfrac {1}{n}}\,\delta _{X_{1}}\ +\ {\tfrac {1}{n}}\,\delta _{X_{2}}\ +\ \dots \ +\ {\tfrac {1}{n}}\,\delta _{X_{n}},}$, combinaison linéaire de distributions de Dirac. Chaque ${\displaystyle \mu _{n}}$ est une loi de probabilité aléatoire, c'est-à-dire une variable aléatoire de ${\displaystyle \Omega }$ à valeur dans l'espace des mesures sur ${\displaystyle \mathbb {R} }$.

Le théorème de Glivenko-Cantelli énonce la convergence uniforme de la fonction de répartition empirique ${\displaystyle F_{n}}$ vers la fonction de répartition ${\displaystyle F}$ de cette loi de probabilité, pour presque tout ${\displaystyle \omega }$. Le théorème de Glivenko-Cantelli entraîne donc la convergence en loi de ${\displaystyle \mu _{n}}$ vers la loi de probabilité ${\displaystyle \mu }$ correspondant à la fonction de répartition F, une loi de probabilité étant caractérisée par sa fonction de répartition.

Théorème de Glivenko-Cantelli[1] — Presque sûrement, la fonction de répartition empirique ${\displaystyle F_{n}}$ converge uniformément vers la fonction de répartition ${\displaystyle F}$, ou bien, de manière équivalente :

${\displaystyle \mathbb {P} \left(\lim _{n}\ \|F_{n}-F\|_{\infty }=0\right)=1.}$

La fonction de répartition peut s'écrire comme une moyenne de variables aléatoires de Bernoulli, i.e.

${\displaystyle F_{n}(x,\omega )={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{\{X_{i}(\omega )\leq x\}}.}$

Puisque ces variables sont de moyenne ${\displaystyle F(x)}$, la loi forte des grands nombres implique que

${\displaystyle \forall x\in \mathbb {R} ,\quad \mathbb {P} \left(\lim _{n}\ |F_{n}(x,\omega )-F(x)|=0\right)=1,}$

mais il n'en découle pas nécessairement que

${\displaystyle \mathbb {P} \left(\forall x\in \mathbb {R} ,\quad \lim _{n}\ |F_{n}(x,\omega )-F(x)|=0\right)=1,}$

puisqu'une intersection non dénombrable d'ensembles de probabilité 1 (ensembles presque sûrs) n'est pas nécessairement de probabilité 1. Cette intersection serait-elle de probabilité 1 qu'on n'aurait alors prouvé que la convergence simple, au lieu de la convergence uniforme énoncée par le théorème de Glivenko-Cantelli.

Le théorème de Donsker et l'inégalité DKW précisent le théorème de Glivenko-Cantelli en donnant des indications sur la rapidité de convergence, qui est de l'ordre de ${\displaystyle 1/{\sqrt {n}}.}$

Cette preuve utilise le deuxième théorème de Dini[2]. Pour une preuve combinatoire faisant intervenir des inégalités de concentration, voir la preuve des classes de Glivenko-Cantelli. La loi forte des grands nombres nous assure que pour tout ${\displaystyle x\in \mathbb {R} ,F_{n}(x)}$ converge presque-sûrement vers ${\displaystyle F(x)}$ et de plus ${\displaystyle F_{n}}$ est croissante pour tout ${\displaystyle n\in \mathbb {N} ^{*}}$. Néanmoins quelques problèmes se posent pour appliquer ce théorème :

• La fonction de répartition ${\displaystyle F}$ n'est pas nécessairement continue ;
• La convergence n'a pas lieu sur un segment ;
• La loi forte des grands nombres nous donne une convergence sur un ensemble qui dépend de ${\displaystyle x\in \mathbb {R} }$, i.e. ${\displaystyle \forall x\in \mathbb {R} ,\exists A_{x}\in {\mathcal {A}}\ {\textrm {t.q.}}\ \mathbb {P} (A_{x})=1\ \mathrm {et} \ \forall \omega \in A_{x},\lim _{n\to +\infty }F_{n}(x,\omega )=F(x).}$ Pour pouvoir appliquer le second théorème de Dini, il faudrait que ${\displaystyle \exists A\in {\mathcal {A}}\ \mathrm {t.q.} \ \mathbb {P} (A)=1\ \mathrm {et} \ \forall x\in \mathbb {R} ,\forall \omega \in {\mathcal {A}},\lim _{n\to +\infty }F_{n}(x,\omega )=F_{n}(x).}$

On résout les deux premiers points avec l'inverse généralisée de la fonction de répartition (appelée aussi fonction de quantile) ${\displaystyle F^{\leftarrow }}$ et le troisième grâce à la séparabilité de ${\displaystyle \mathbb {R} }$ (i.e. ${\displaystyle \mathbb {R} }$ admet un sous-ensemble dense et au plus dénombrable comme ${\displaystyle \mathbb {Q} }$).

Soient ${\displaystyle U_{1},\dots ,U_{n}}$ des variables i.i.d. uniformes sur ${\displaystyle [0,1]}$ alors la fonction de répartition inverse vérifie la propriété ${\displaystyle X_{i}\ {\overset {\mathcal {L}}{=}}\ F^{\leftarrow }(U_{i})}$[3]. Alors

${\displaystyle {\begin{aligned}\sup _{t\in \mathbb {R} }|F_{n}(t)-F(t)|&=\sup _{t\in \mathbb {R} }\left|{\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{\{X_{i}\leq t\}}-F(t)\right|\\&\sim \sup _{t\in \mathbb {R} }\left|{\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{\{F^{\leftarrow }(U_{i})\leq t\}}-F(t)\right|=\sup _{t\in \mathbb {R} }\left|{\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{\{U_{i}\leq F(t)\}}-F(t)\right|\\&=\sup _{s\in F(\mathbb {R} )}\left|{\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{\{U_{i}\leq s\}}-s\right|\leq \sup _{s\in [0,1]}\left|{\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{\{U_{i}\leq s\}}-s\right|\end{aligned}}}$

Il suffit donc de montrer que le théorème de Glivenko-Cantelli est vrai dans le cas de variables aléatoires uniformes sur ${\displaystyle [0,1]}$. Grâce à la loi forte des grands nombres, on a que :

${\displaystyle \forall s\in [0,1],\exists A_{s}\in {\mathcal {A}}\ {\textrm {t.q.}}\ \mathbb {P} (A_{s})=1\ {\textrm {et}}\ \forall \omega \in A_{s},{\frac {1}{n}}\sum _{k=1}^{n}\mathbf {1} _{\{U_{k}(\omega )\leq s\}}{\underset {n\to +\infty }{\longrightarrow }}s.}$

Il faut donc trouver un ensemble ${\displaystyle A}$ de mesure pleine qui soit uniforme pour tous les ${\displaystyle s\in [0,1]}$. Comme ${\displaystyle \mathbb {Q} }$ est dénombrable et que l'intersection dénombrable d'ensembles de mesure pleine étant de mesure pleine, on en déduit que :

${\displaystyle \exists A\in {\mathcal {A}}\ {\textrm {t.q.}}\ \mathbb {P} (A)=1\ {\textrm {et}}\ \forall s\in [0,1]\cap \mathbb {Q} ,\forall \omega \in A,{\frac {1}{n}}\sum _{k=1}^{n}\mathbf {1} _{\{U_{k}(\omega )\leq s\}}{\underset {n\to +\infty }{\longrightarrow }}s.}$

Montrons que la propriété reste vraie pour tout ${\displaystyle s\in [0,1]}$ : soit ${\displaystyle s\in [0,1]}$ et ${\displaystyle \omega \in A}$ alors on se donne une suite croissante ${\displaystyle (s_{n})_{n\in \mathbb {N} }}$ et décroissante ${\displaystyle (t_{n})_{n\in \mathbb {N} }}$ appartenant à ${\displaystyle [0,1]\cap \mathbb {Q} }$ et de limite ${\displaystyle s}$. Alors pour ${\displaystyle l}$ fixé et ${\displaystyle n\geq 1}$ :

${\displaystyle {\frac {1}{n}}\sum _{k=1}^{n}\mathbf {1} _{\{U_{k}(\omega )\leq s_{l}\}}\leq {\frac {1}{n}}\sum _{k=1}^{n}\mathbf {1} _{\{U_{k}(\omega )\leq s\}}\leq {\frac {1}{n}}\sum _{k=1}^{n}\mathbf {1} _{\{U_{k}(\omega )\leq t_{l}\}},}$

d'où, en faisant tendre ${\displaystyle n\to +\infty }$,

${\displaystyle s_{l}\leq \liminf _{n\to +\infty }{\frac {1}{n}}\sum _{k=1}^{n}\mathbf {1} _{\{U_{k}(\omega )\leq s\}}\leq \limsup _{n\to +\infty }{\frac {1}{n}}\sum _{k=1}^{n}\mathbf {1} _{\{U_{k}(\omega )\leq s\}}\leq t_{l}}$

et on conclut en faisant tendre ${\displaystyle l\to +\infty }$. On a donc montré que

${\displaystyle \forall \omega \in A,{\frac {1}{n}}\sum _{k=1}^{n}\mathbf {1} _{\{U_{k}(\omega )\leq s\}}\to s}$

sur ${\displaystyle [0,1]}$. La convergence est uniforme par le deuxième théorème de Dini.

On pose ${\displaystyle X_{1},\dots ,X_{n}}$ des variables i.i.d. à valeurs dans un espace ${\displaystyle {\mathcal {X}}}$ de loi ${\displaystyle P=\mathbb {P} ^{X}}$ et ${\displaystyle {\mathcal {F}}}$ une classe de fonctions définies sur ${\displaystyle {\mathcal {X}}}$ à valeurs réelles. La classe ${\displaystyle {\mathcal {F}}}$ est appelée classe de Glivenko-Cantelli si elle vérifie

${\displaystyle ||P_{n}-P||_{\mathcal {F}}=\sup _{f\in {\mathcal {F}}}|P_{n}(f)-P(f)|~{\xrightarrow[{n\to +\infty }]{}}~0,}$

avec ${\displaystyle P_{n}}$ la mesure empirique définie par ${\displaystyle P_{n}(f)={\frac {1}{n}}\sum _{i=1}^{n}f(X_{i})}$ et ${\displaystyle P(f)=\mathbb {E} [f(X_{1})]}$. Le théorème de Glivenko-Cantelli revient donc à dire que la classe des fonctions indicatrices ${\displaystyle {\mathcal {F}}=\{x\mapsto \mathbf {1} _{\{x\leq t\}}:t\in \mathbb {R} \}}$ est une classe de Glivenko-Cantelli.

• (en) Galen R. Shorack et Jon A. Wellner, Empirical Processes with Applications to Statistics, SIAM, septembre 2009, 998 p. (ISBN 978-0-89871901-7, lire en ligne)
• (en) A. W. van der Vaart et J. A. Wellner, Weak Convergence and Empirical Processes : With Applications to Statistics, Springer, 1996, 508 p. (ISBN 978-0-387-94640-5, lire en ligne)
• (en) Patrick Billingsley, Probability and Measure, John Wiley & Sons, 2012, 4^e éd., 656 p. (ISBN 978-1-118-34191-9, Modèle:Google Livers), p. 268

• Test de Kolmogorov-Smirnov