Théorème de Sanov

Soient ${\displaystyle X_{1},\dots ,X_{n}}$ des variables indépendantes et identiquement distribuées à valeurs dans un espace mesurable ${\displaystyle ({\mathcal {X}},{\mathcal {T}})}$ distribuées selon une loi ${\displaystyle P_{X}\in {\mathcal {P}}}$, où ${\displaystyle {\mathcal {P}}}$ désigne l'ensemble des mesures de probabilités sur ${\displaystyle ({\mathcal {X}},{\mathcal {T}})}$. On munit l'espace ${\displaystyle {\mathcal {P}}}$ de la ${\displaystyle \tau }$-topologie, i.e. la topologie engendrée par les ensembles

${\displaystyle U(P,{\mathcal {A}},\varepsilon )=\{P'\in {\mathcal {P}}:|P'(A_{i})-P(A_{i})|<\varepsilon ,i=1,\dots ,k\}}$

avec ${\displaystyle {\mathcal {A}}=(A_{1},\dots ,A_{k})}$ une partition de ${\displaystyle {\mathcal {X}},P\in {\mathcal {P}}}$ et ${\displaystyle \varepsilon >0}$.

On note ${\displaystyle \mathbb {P} _{n}}$ la mesure empirique de l'échantillon ${\displaystyle X_{1},\dots ,X_{n}}$, i.e. la mesure de probabilité discrète définie par

${\displaystyle \mathbb {P} _{n}(A)={\dfrac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A).}$

La mesure empirique ${\displaystyle \mathbb {P} _{n}}$ vérifie le principe des grandes déviations dans ${\displaystyle {\mathcal {P}}}$ équipé de la ${\displaystyle \tau }$-topologie avec la fonction de Kullback-Leibler ${\displaystyle d_{\mathrm {KL} }}$. Autrement dit pour ${\displaystyle \Gamma \subset {\mathcal {P}}}$,

${\displaystyle {\begin{aligned}\liminf _{n\to +\infty }{\frac {1}{n}}\log P_{X}(\mathbb {P} _{n}\in \Gamma )&\geq -\inf _{P\in \mathrm {Int} _{\tau }\Gamma }d_{\mathrm {KL} }(P||P_{X})\\\limsup _{n\to +\infty }{\frac {1}{n}}\log P_{X}(\mathbb {P} _{n}\in \Gamma )&\leq -\inf _{P\in \mathrm {Adh} _{\tau }\Gamma }d_{\mathrm {KL} }(P||P_{X})\end{aligned}}}$

où ${\displaystyle \mathrm {Int} _{\tau }\Gamma }$ et ${\displaystyle \mathrm {Adh} _{\tau }\Gamma }$ désignent respectivement l'intérieur et l'adhérence de ${\displaystyle \Gamma }$ par rapport à la ${\displaystyle \tau }$-topologie.

L'intérêt de ce théorème réside dans le fait que si l'on choisit un ensemble ${\displaystyle \Gamma \subset {\mathcal {P}}}$ qui ne contient pas ${\displaystyle P_{X}}$, on pourra affirmer que la probabilité que la mesure empirique appartienne à cet ensemble est exponentiellement décroissante.

Plusieurs démonstrations de ce résultat ont été établies. Dembo et Zeitouni[2] proposent dans un premier temps la démonstration du théorème de Sanov dans le cas d'un alphabet fini (théorème 2.1.10), i.e. quand ${\displaystyle |{\mathcal {X}}|<+\infty }$ puis généralisent dans le cas des espaces polonais (théorème 6.2.10). En 2006[3], Csiszár publie une preuve simple et autonome de ce résultat. Cet article s'appuie notamment sur les outils utilisés pour la démonstration dans le cas d'un alphabet fini et réussit à l'étendre à n'importe quel espace en utilisant l'équivalence de la définition de la distance de Kullback-Leibler, à savoir

${\displaystyle d_{\mathrm {KL} }(P||Q)=\sup _{(A_{1},\dots ,A_{k})\in \Pi }\sum _{i=1}^{k}P(A_{i})\log \left({\frac {P(A_{i})}{Q(A_{i})}}\right),}$

où ${\displaystyle \Pi }$ est l'ensemble des partitions finies de ${\displaystyle {\mathcal {X}}}$. Cette équivalence est citée par Csiszár[4] qui renvoie au livre de Pinsker[5].