Approximation forte

Le premier résultat concernant l'approximation forte du processus empirique est dû à Brillinger en 1969[3]. Celui-ci établit que si ${\displaystyle (U_{n})_{n\in \mathbb {N} ^{*}}}$ est une suite de variables i.i.d. de loi uniforme sur ${\displaystyle [0,1]}$ alors il existe une suite de copies ${\displaystyle ({\widetilde {U}}_{n})_{n\in \mathbb {N} ^{*}}}$ et une suite de ponts browniens ${\displaystyle (P_{n}(t))_{n\in \mathbb {N} ^{*}}}$ tel que presque-sûrement

${\displaystyle \sup _{t\in [0,1]}|\alpha _{n}^{\widetilde {U}}(t)-P_{n}(t)|=O\left(n^{-1/4}(\log n)^{1/2}(\log \log n)^{1/4}\right).}$

Dans leurs articles[1] - [2], Komlós, Tusnády et Major ont établi que si ${\displaystyle (U_{n})_{n\in \mathbb {N} ^{*}}}$ est une suite de variables i.i.d. de loi uniforme sur ${\displaystyle [0,1]}$ alors il existe une suite de ponts browniens ${\displaystyle (P_{n}(t))_{n\in \mathbb {N} ^{*}}}$ tel que presque-sûrement

${\displaystyle \mathbb {P} \left(\sup _{t\in [0,1]}|\alpha _{n}^{U}(t)-P_{n}(t)|>n^{-1/2}(C\log n+x)\right)\leq Le^{-\lambda x}}$

où ${\displaystyle C,\lambda ,L}$ sont des constantes universelles positives. Ce qui entraîne d'après le lemme de Borel-Cantelli : presque-sûrement,

${\displaystyle \sup _{t\in [0,1]}|\alpha _{n}^{U}(t)-P_{n}(t)|=O(n^{-1/2}\log n).}$

L'approximation du processus empirique fourni par KMT est encore cette fois optimale.

Jack Kiefer fut le premier mathématicien à considérer le processus empirique ${\displaystyle \alpha _{n}(t)}$ comme un processus à deux paramètres et que celui-ci devait par conséquent être approché par un processus gaussien bidimensionnel. Il prouve notamment que si ${\displaystyle (U_{n})_{n\in \mathbb {N} ^{*}}}$ est une suite de variables i.i.d. de loi uniforme sur ${\displaystyle [0,1]}$, il existe un processus de Kiefer ${\displaystyle (K(t,x))_{0\leq t\leq 1,x\geq 0}}$ vérifiant presque-sûrement, [4]

${\displaystyle \sup _{t\in [0,1]}|{\sqrt {n}}\alpha _{n}(t)-K(t,n)|=O(n^{1/3}(\log n)^{2/3}).}$

Par la suite, le théorème KMT fournit une meilleure approximation du processus empirique par le processus de Kiefer : si ${\displaystyle (U_{n})_{n\in \mathbb {N} ^{*}}}$ est une suite de variables i.i.d. de loi uniforme sur ${\displaystyle [0,1]}$ alors il existe un processus de Kiefer ${\displaystyle (K(y,t))_{0\leq y\leq 1,t\geq 0}}$ tel que[5]

${\displaystyle \mathbb {P} \left(\max _{1\leq k\leq n}\sup _{t\in [0,1]}|k^{1/2}\alpha _{k}(y)-K(y,k)|>(C\log n+x)\log n\right)<Le^{-\lambda x}}$

où ${\displaystyle C,\lambda ,L}$ sont des constantes universelles positives. Ce qui entraîne d'après le lemme de Borel-Cantelli : presque-sûrement,

${\displaystyle \sup _{0\leq y\leq 1}|n^{1/2}\alpha _{n}(y)-K(y,n)|=O(\log ^{2}n).}$

Berthet et Mason ont généralisé en 2006[6] l'approximation forte du processus empirique indexé par une classe de fonctions ${\displaystyle {\mathcal {F}}}$ soumises à des conditions d'entropie. On travaillera avec des variables ${\displaystyle (X_{i})_{i\in \mathbb {N} ^{*}}}$ i.i.d. de loi ${\displaystyle P=\mathbb {P} ^{X}}$ définies sur un espace de probabilité ${\displaystyle (\Omega ,{\mathcal {T}},\mathbb {P} )}$ à valeurs dans un espace ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$, avec une classe de fonctions ${\displaystyle {\mathcal {F}}}$ incluses dans l'ensemble des fonctions mesurables de ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$ à valeurs réelles. On pose les hypothèses suivantes :

Hypothèse ${\displaystyle {\mathcal {F}}.i}$ : ${\displaystyle \forall f\in {\mathcal {F}},||f||_{\mathcal {X}}=\sup _{x\in {\mathcal {X}}}|f(x)|<M/2}$ ;

Hypothèse ${\displaystyle {\mathcal {F}}.ii}$ : ${\displaystyle {\mathcal {F}}}$ est ponctuellement mesurable, i.e. il existe un sous-ensemble dénombrable ${\displaystyle {\widetilde {\mathcal {F}}}\subset {\mathcal {F}}}$ tel que tout élément de ${\displaystyle {\mathcal {F}}}$ puisse s'écrire comme limite d'une suite d'éléments de ${\displaystyle {\widetilde {\mathcal {F}}}}$.

Hypothèse VC : ${\displaystyle \exists c_{0}>0,\nu _{0}>0}$ et une enveloppe de fonction ${\displaystyle F}$ de ${\displaystyle {\mathcal {F}}}$ tel que

${\displaystyle \sup _{Q}N(F,\varepsilon ||F||_{Q,2},\mathrm {d} Q)\leq c_{0}\varepsilon ^{-\nu _{0}},\quad \forall 0<\varepsilon <1,}$

où

• le supremum est pris parmi toutes les mesures de probabilité ${\displaystyle Q}$ de ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$ pour lesquelles ${\displaystyle 0<Q(F^{2})<+\infty }$ ;
• ${\displaystyle N(F,\varepsilon ,d)}$ est le nombre de recouvrement de ${\displaystyle F}$ par des boules de rayon ${\displaystyle \varepsilon }$ pour une distance ${\displaystyle d}$.
• ${\displaystyle \mathrm {d} Q}$ est la semi-métrique ${\displaystyle dQ(f,g)=\left(\int _{\mathcal {X}}(f-g)^{2}\mathrm {d} Q\right)^{1/2}}$ avec ${\displaystyle Q}$ une mesure de probabilité sur ${\displaystyle ({\mathcal {X}},{\mathcal {A}})}$.

Hypothèse BR : ${\displaystyle \exists b_{0}>0,1/2<r_{0}<1,\forall 0<\varepsilon <1,H_{[\ ]}({\mathcal {F}},\varepsilon ,\mathrm {d} P)\leq b_{0}^{2}\varepsilon ^{-2r_{0}}}$ où ${\displaystyle H_{[\ ]}({\mathcal {F}},\varepsilon ,d)}$ est l'entropie avec crochets de ${\displaystyle {\mathcal {F}}}$ de rayon ${\displaystyle \varepsilon }$ avec la distance ${\displaystyle d}$, c'est-à-dire du log du nombre de recouvrement avec crochets avec les mêmes paramètres.

Si ${\displaystyle {\mathcal {F}}}$ vérifie les conditions ${\displaystyle {\mathcal {F}}.i,{\mathcal {F}}.ii}$, VC ou BR alors ${\displaystyle \forall \theta >0}$, il existe ${\displaystyle C_{\theta }>0}$, une suite ${\displaystyle (v_{n})_{n\in \mathbb {N} ^{*}}}$ de réels strictement positifs et de limite nulle, des variables ${\displaystyle (X_{i})_{i\in \mathbb {N} ^{*}}}$ i.i.d. de loi ${\displaystyle P}$ et une suite indépendante ${\displaystyle (\mathbb {G} _{i})_{i\in \mathbb {N} ^{*}}}$ de processus de ${\displaystyle P}$-pont brownien définis sur un même espace de probabilité vérifiant

${\displaystyle \mathbb {P} \left(n^{-1/2}\max _{1\leq k\leq n}\lVert {\sqrt {k}}\alpha _{k}^{X}-\sum _{i=1}^{k}\mathbb {G} _{i}\rVert _{\mathcal {F}}>C_{\theta }v_{n}\right)\leq n^{-\theta }}$

et

${\displaystyle n^{-1/2}\max _{1\leq k\leq n}\lVert {\sqrt {k}}\alpha _{k}^{X}-\sum _{i=1}^{k}\mathbb {G} _{i}\rVert _{\mathcal {F}}=O_{\textrm {p.s.}}(v_{n}).}$

La deuxième relation provient de la première en effectuant un raisonnement par blocs et en appliquant le lemme de Borel-Cantelli.

Remarques :

• L'hypothèse ${\displaystyle {\mathcal {F}}.i}$ est une condition sur l'existence d'une enveloppe de la classe de fonction, i.e. d'une fonction mesurable ${\displaystyle F}$ telle que ${\displaystyle \forall f\in {\mathcal {F}},\quad \forall x\in {\mathcal {X}},\quad |f(x)|\leq F(x)}$ ;
• La seconde condition ${\displaystyle {\mathcal {F}}.ii}$ permet de s'assurer de la bonne définition du processus limite ;
• L'hypothèse VC n'est pas la définition d'une classe VC mais une propriété vérifiée par les classes VC à savoir que ce sont des classes polynomiales, c'est-à-dire que le recouvrement d'une classe VC est polynomiale en son rayon ${\displaystyle \varepsilon }$.