Classe de Glivenko-Cantelli

Soient des variables aléatoires ${\displaystyle (X_{i})_{i\in \mathbb {N} ^{*}}}$ i.i.d. définies sur un espace de probabilité ${\displaystyle (\Omega ,{\mathcal {T}},\mathbb {P} )}$ à valeurs dans un espace mesurable ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$ et ${\displaystyle {\mathcal {F}}}$ une classe de fonctions mesurables de ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$ à valeurs réelles. On dit que ${\displaystyle {\mathcal {F}}}$ est une classe de Glivenko-Cantelli si elle vérifie la propriété

${\displaystyle \lim _{n\to +\infty }||P_{n}(f)-P(f)||_{\mathcal {F}}=\lim _{n\to +\infty }\sup _{f\in {\mathcal {F}}}|P_{n}(f)-P(f)|=0,}$

avec ${\displaystyle P_{n}}$ la mesure empirique indexée par ${\displaystyle {\mathcal {F}}}$ et ${\displaystyle P=\mathbb {P} ^{X}}$ la loi des ${\displaystyle X_{i}}$, i.e. ${\displaystyle P(f)=\mathbb {E} [f(X)]}$. Puisqu'une classe de Glivenko-Cantelli ${\displaystyle {\mathcal {F}}}$ dépend de la mesure ${\displaystyle P}$, on peut dire en cas d'éventuelle confusion sur la loi que ${\displaystyle {\mathcal {F}}}$ est une classe de ${\displaystyle P}$-Glivenko-Cantelli.

Le théorème de Glivenko-Cantelli revient à dire que la classe des fonctions indicatrices ${\displaystyle {\mathcal {F}}=\{x\mapsto \mathbf {1} _{\{x\leq t\}}:t\in \mathbb {R} \}}$ est une classe de Glivenko-Cantelli. Ce théorème dit donc que la fonction de répartition empirique converge uniformément vers la fonction de répartition de la variable étudiée. Il existe plusieurs manières de démontrer ce théorème. Il est possible de le montrer de plusieurs manières. On peut se ramener au cas des variables uniformes et démontrer la véracité de ce résultat dans ce cas (voir l'article Théorème de Glivenko-Cantelli). On utilise ici des méthodes combinatoires et des inégalités de concentration[3]. On notera ${\displaystyle ||\cdot ||}$ le supremum de la classe ${\displaystyle {\mathcal {F}}=\{x\mapsto \mathbf {1} _{\{x\leq t\}}:t\in \mathbb {R} \}}$.

1ère étape : première symétrisation

On note ${\displaystyle P_{n}'}$ une copie indépendante de ${\displaystyle P_{n}}$, i.e. la mesure empirique basée sur une copie ${\displaystyle X_{1}',\dots ,X_{n}'}$ indépendante de échantillon ${\displaystyle X_{1},\dots ,X_{n}}$. D'après le lemme de symétrisation,

${\displaystyle \forall n\geq 8\varepsilon ^{-2},\quad \mathbb {P} \left(||P_{n}-P||>\varepsilon \right)\leq 2\mathbb {P} \left(||P_{n}-P_{n}'||>{\frac {1}{2}}\varepsilon \right).}$

2ème étape : seconde symétrisation

Soit ${\displaystyle \sigma _{1},\dots ,\sigma _{n}}$ des variables de Rademacher, i.e. ${\displaystyle \mathbb {P} (\sigma _{i}=1)=\mathbb {P} (\sigma _{i}=-1)=1/2}$. Les variables ${\displaystyle \mathbf {1} _{\{X_{i}\leq t\}}-\mathbf {1} _{\{X_{i}'\leq t\}}}$ ont la même distribution que ${\displaystyle \sigma _{i}\left(\mathbf {1} _{\{X_{i}\leq t\}}-\mathbf {1} _{\{X_{i}'\leq t\}}\right)}$ (il suffit de considérer la distribution conditionnelle par rapport à ${\displaystyle \sigma _{i}}$). Alors

${\displaystyle {\begin{aligned}\mathbb {P} \left(||P_{n}-P_{n}'||>{\frac {1}{2}}\varepsilon \right)&=\mathbb {P} \left(\sup _{t\in \mathbb {R} }\left|n^{-1}\sum _{i=1}^{n}\sigma _{i}(\mathbf {1} _{\{X_{i}\leq t\}}-\mathbf {1} _{\{X_{i}'\leq t\}})\right|>{\frac {1}{2}}\varepsilon \right)\\&\leq \mathbb {P} \left(\sup _{t\in \mathbb {R} }\left|n^{-1}\sum _{i=1}^{n}\sigma _{i}\mathbf {1} _{\{X_{i}\leq t\}}\right|>{\frac {1}{4}}\varepsilon \right)+\mathbb {P} \left(\sup _{t\in \mathbb {R} }\left|n^{-1}\sum _{i=1}^{n}\sigma _{i}\mathbf {1} _{\{X_{i}'\leq t\}}\right|>{\frac {1}{4}}\varepsilon \right)\end{aligned}}}$

Si on note ${\displaystyle P_{n}^{\circ }}$ la mesure signée définie par ${\displaystyle P_{n}^{\circ }(t)=n^{-1}\sum _{i=1}^{n}\sigma _{i}\mathbf {1} _{\{X_{i}\leq t\}}}$ alors l'étape 1 on obtient désormais que

${\displaystyle \forall n\geq 8\varepsilon ^{-2},\quad \mathbb {P} \left(||P_{n}-P||>\varepsilon \right)\leq 4\mathbb {P} \left(||P_{n}^{\circ }||>{\frac {1}{4}}\varepsilon \right).}$

3ème étape : inégalité maximale

Pour borner le membre de droite, on travaille conditionnellement aux observations ${\displaystyle X}$, le hasard provenant de ${\displaystyle \sigma _{i}}$. Conditionnellement aux ${\displaystyle X}$, le supremum ${\displaystyle ||P_{n}^{\circ }||}$ sera le maximum pris sur des intervalles bien choisis. Pour ${\displaystyle j=0,1,\dots ,n}$, on pose ${\displaystyle I_{j}=]-\infty ,t_{j}]}$ avec ${\displaystyle t_{j}}$ des réels choisis vérifiant ${\displaystyle t_{0}<X_{1}<t_{1}<\dots <t_{n-1}<X_{n}<t_{n}}$. Ainsi,

${\displaystyle {\begin{aligned}\mathbb {P} \left(||P_{n}^{\circ }||>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)&=\mathbb {P} \left(\max _{0\leq j\leq n}|P_{n}^{\circ }(I_{j})|>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)\\&\leq \sum _{j=0}^{n}\mathbb {P} \left(|P_{n}^{\circ }(I_{j})|>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)\\&\leq (n+1)\max _{0\leq j\leq n}\mathbb {P} \left(|P_{n}^{\circ }(I_{j})|>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)\end{aligned}}}$

4ème étape : borne exponentielle

D'après l'inégalité de Hoeffding appliquée aux variables ${\displaystyle \sigma _{i}\mathbf {1} _{\{X_{i}\leq t\}}}$ (qui sont à valeurs dans ${\displaystyle \{-1,1\}}$),

${\displaystyle {\begin{aligned}\mathbb {P} \left(|P_{n}^{\circ }(I_{j})|>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)&\leq 2\exp \left(-{\frac {2(n\varepsilon /4)^{2}}{\sum _{i=1}^{n}4\mathbf {1} _{\{X_{i}\leq t\}}}}\right)\\&\leq 2\exp \left(-{\frac {n\varepsilon ^{2}}{32}}\right).\end{aligned}}}$

D'après l'inégalité précédente, ${\displaystyle \mathbb {P} \left(||P_{n}^{\circ }||>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)\leq 2(n+1)\exp \left(-{\frac {n\varepsilon ^{2}}{32}}\right).}$

5ème étape : intégration

En appliquant l'espérance conditionnelle par rapport aux variables ${\displaystyle X_{1},\dots ,X_{n}}$, on obtient que ${\displaystyle \mathbb {P} \left(||P_{n}-P||>\varepsilon \right)\leq 8(n+1)\exp \left(-{\frac {n\varepsilon ^{2}}{32}}\right)}$. Par conséquent,

${\displaystyle \sum _{n\geq 1}\mathbb {P} \left(||P_{n}-P||>\varepsilon \right)<+\infty .}$

Le lemme de Borel-Cantelli permet de conclure.