Principe de grandes déviations

Soit une suite de pile ou face indépendants (non biaisés). Notons par X_i le résultat du i-ième lancer, où face donne X_i = -1 et pile donne X_i = 1. Soit M_N, la moyenne après N lancers, c'est-à-dire

${\displaystyle M_{N}:={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$.

Ainsi M_N est compris entre -1 et 1. En utilisant la loi des grands nombres, on déduit que M_N est de plus en plus proche de 0, avec une probabilité croissante, quand N est de plus en plus grand. Donnons une explication plus précise. Pour une valeur 0 < x < 1 fixée, calculons la probabilité ${\displaystyle \mathbb {P} (M_{N}>x)}$. Définissons

${\displaystyle I(x)={\frac {1}{2}}[(1+x)\ln(1+x)+(1-x)\ln(1-x)]}$.

Alors, par l'inégalité de Chernoff, on peut montrer que ${\displaystyle \mathbb {P} (M_{N}>x)<\exp(-NI(x))}$. Cette borne est optimale dans le sens où I(x) ne peut pas être remplacé par un nombre plus grand qui assurerait l'inégalité pour tout N strictement positif (bien que la borne exponentielle puisse toujours être réduite à un facteur sous-exponentiel près de l'ordre de 1/ √N). La probabilité ${\displaystyle \mathbb {P} (M_{N}>x)}$ décroit exponentiellement rapidement quand N est grand, à une vitesse dépendant de x.

Dans l'exemple ci-dessus avec des lancers de pièces, chaque lancer est indépendant des autres, et les probabilités sont les mêmes pour chaque lancer. Autrement dit, les variables aléatoires X_i sont i.i.d. (indépendantes et identiquement distribuées). Pour des variables i.i.d. dont la loi commune vérifie une certaine condition de croissance, la théorie des grandes déviations assure que la limite suivante existe :

${\displaystyle \lim _{N\to \infty }{\frac {1}{N}}\ln \mathbb {P} (M_{N}>x)=-I(x)}$

La fonction I est appelée la "fonction de taux" ou "fonction de Cramér" ou parfois "entropie". L'existence d'une telle limite donne la décroissance exponentielle mentionnée précédemment et implique que, pour N grand, ${\displaystyle \mathbb {P} (M_{N}>x)}$ est de la forme :

${\displaystyle \mathbb {P} (M_{N}>x)\approx \exp[-NI(x)].}$

Remarquons que l'inégalité donnée dans le premier paragraphe, comparée à cette formule asymptotique, n'est plus valide dans des cas plus généraux.

Dans le cas i.i.d., si la loi de probabilité des variables X_i est connue, il existe une expression explicite de la fonction de taux, donnée par la transformée de Cramér définie par

${\displaystyle I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )],}$

où la fonction λ est appelée fonction génératrice des cumulants, donnée par

${\displaystyle \lambda (\theta )=\ln \mathbb {E} [\exp(\theta X)]\,.}$

Ici, ${\displaystyle \mathbb {E} [\,\cdot ]}$ est l'espérance par rapport à la loi de probabilité de X_i et X est l'un des X_i. Si la loi de X est normale, la fonction de taux est une parabole.

Si la condition i.i.d. est affaiblie, en particulier si les variables X_i ne sont pas indépendantes mais satisfont la propriété de Markov, le résultat de grandes déviations précédent peut être généralisé.

La moyenne ${\displaystyle M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}}$ est appelée la moyenne empirique des variables i.i.d. X_i. Notons ${\displaystyle m=\mathbb {E} [X_{i}]}$ la vraie moyenne. Par la loi des grands nombres, pour tout δ > 0, on obtient

${\displaystyle \lim _{N\rightarrow \infty }\mathbb {P} (|M_{N}-m|>\delta )=0}$.

Ainsi l'évènement ${\displaystyle \left\{|M_{N}-m|>\delta \right\}}$ (noté ${\displaystyle \left\{M_{N}\in E\right\}}$ dans la définition formelle) décrit la déviation entre M_N et m.

Cas de la loi normale

Si X_i sont les variables aléatoires i.i.d. de loi normale centrée réduite ${\displaystyle {\mathcal {N}}(0,1)}$ alors M_N est de loi ${\displaystyle {\mathcal {N}}(0,1/N)}$. Ainsi

${\displaystyle \mathbb {P} (|M_{N}|>\delta )=1-{\frac {1}{\sqrt {2\pi }}}\int _{-\delta {\sqrt {N}}}^{\delta {\sqrt {N}}}\mathrm {e} ^{-{\frac {x^{2}}{2}}}\mathrm {d} x.}$

Les grandes déviations sont alors données par :

${\displaystyle \lim _{N\rightarrow \infty }{\frac {1}{N}}\ln \mathbb {P} (|M_{N}|>\delta )=-{\frac {\delta ^{2}}{2}}}$.

Cela signifie que |M_N| dévie de son comportement typique en prenant de grandes valeurs avec une (faible) probabilité d'ordre de exp(-Nδ²/2).

La fonction de taux est reliée à l'entropie en mécanique statistique. Ceci peut être heuristiquement vu de la façon suivante. En mécanique statistique, l'entropie d'un état macroscopique particulier est associé au nombre d'état microscopiques qui correspondent à cet état macroscopique. Dans notre exemple de lancer de pièce, la moyenne M_N peut désigner un état macroscopique particulier. Et la suite de pile ou face qui donne une valeur de M_N constitue un état microscopique particulier le composant. Plus simplement, un état macroscopique ayant un grand nombre d'états microscopiques le composant a une grande entropie. Et un état avec une grande entropie a plus de chance d'être réalisé. L'état macroscopique de moyenne nulle (autant de pile que de face) a le plus grand nombre d'états microscopiques le composant et est l'état avec la plus grande entropie. D'un autre côté, la fonction de taux mesure la probabilité d'apparition d'un état macroscopique particulier. Plus la fonction de taux est petite, plus l'état macroscopique a de chance d'apparaitre. Dans notre pile ou face, la fonction de taux vaut 0 en 0. Dans ce cas, on peut assimiler la fonction de taux à l'opposé de l'entropie.

• S. R. S. Varadhan, Special invited paper: Large deviations, The Annals of Probability 2008, Vol. 36, No. 2, 397–419 DOI: 10.1214/07-AOP348
• Richard S. Ellis, Entropy, Large Deviations and Statistical Mechanics, Springer Publication. (ISBN 3-540-29059-1)
• Alan Weiss (en) et Adam Shwartz, Large Deviations for Performance Analysis, Chapman and Hall (ISBN 0-412-06311-5)
• Amir Dembo et Ofer Zeitouni, Large Deviations Techniques and Applications, Springer (ISBN 0-387-98406-2)
• Mark I. Freidlin et Alexander D. Wentzell., Random Perturbations of Dynamical Systems, Springer (ISBN 0-387-98362-7)

• Inégalité de Chernoff
• Principe de contraction
• Loi des grands nombres
• Théorème de Cramér

• (en) An elementary introduction to the Large Deviations Theory
• (en) Abel Prize 2007 awarded to S.R.S. Varadhan

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Large deviations theory » (voir la liste des auteurs).