Variables indépendantes et identiquement distribuées

Dans l'histoire des probabilités, les premiers raisonnements tels que le problème des partis au XVII^e siècle, ont été faits sur des jeux de hasard. Il est question d'un jeu en plusieurs parties ; même si le terme de variables indépendantes et identiquement distribuées n'est pas utilisé, il en est question : « le hasard est égal[1] ». Dans le problème du jeu de dés posé par le chevalier de Méré, il admet que « les faces du dé sont également possibles et par là-même qu'elles ont la même chance de se produire[1] ».

C'est toujours au XVII^e siècle que Jérome Cardan, Pierre de Fermat et Christian Huygens utilisent la notion d'équiprobabilité, c'est-à-dire que certains événements ont la même probabilité d'apparaître, autrement dit que certaines variables suivent la même loi. La notion d'indépendance n'apparaît que plus tard avec Abraham de Moivre[2].

Dans les mêmes années, des questions se posent en démographie au sujet des rentes viagères[3]. Ces questions statistiques s'appuient sur les travaux probabilistes naissants des jeux de hasard pour évaluer des valeurs des rentes. Leibniz considère ces questions comme analogues aux jeux de hasard, c'est-à-dire dans le cas d’événements indépendants et de même chance : les fréquences des décès sont considérées comme des valeurs de probabilité, la durée comme le gain dans un jeu contre la nature et les calculs sur plusieurs personnes se font par multiplication[3].

Ainsi les exemples du lancer du dé[4], du jeu de pile ou face[5] ou du tirage aléatoire avec remise de boules dans une urne sont des exemples classiques que l'on modélise par des variables indépendantes et identiquement distribuées. Pour ces trois exemples, chaque tirage ou lancer se fait dans les mêmes situations (même dé, même pièce ou même contenu de l'urne grâce au tirage avec remise), ainsi les résultats de chaque tirage suivent la même loi de probabilité. De plus les tirages ou lancers ne dépendent pas des résultats des tirages et lancers précédents (encore dû à la remise des boules), les variables aléatoires sont donc indépendantes.

En statistique, un échantillon est construit en « tirant au hasard » des individus dans une population[6]. Le terme « au hasard » sous-entend l'hypothèse d'équiprobabilité, c'est-à-dire qu'à chaque tirage, les individus ont la même chance d'être prélevés, ce qui assure que les résultats du tirage sont de même loi. Pour avoir l'indépendance, le tirage peut être réalisé avec remise[7]. Dans le cas où la population totale est très grande ou considérée infinie, le fait de tirer avec ou sans remise ne modifie pas l'indépendance des résultats.

De tels résultats obtenus par plusieurs observations successives d'un même phénomène aléatoire sont appelés des échantillons aléatoires[8].

La désignation « indépendantes et identiquement distribuées » regroupe deux notions : l'indépendance et la loi de probabilité. L'indépendance est une propriété qui régit les relations des variables entre elles, tandis que la notion d'identiquement distribuée se réfère à la faculté de chacune des variables de suivre la même loi de probabilité que les autres variables de la suite. Des variables indépendantes et identiquement distribuées sont dites iid[9], i.i.d[10]. ou indépendantes et équidistribuées.

Intuitivement, dans le cas de variable aléatoire réelle, l'indépendance entre deux variables aléatoires signifie que la connaissance de l'une n'influe en rien sur la valeur de l'autre[9].

Donnons les cas particuliers de deux variables aléatoires discrètes ne pouvant prendre qu'un nombre fini de valeurs, et de deux variables aléatoires continues, c'est-à-dire possédant une densité de probabilité.

Une manière plus générale est de considérer les fonctions de répartition : les variables ${\displaystyle X,Y}$ ont même loi si elles ont la même fonction de répartition et sont dites indépendantes[12] si ${\displaystyle F_{X,Y}(x,y)=F_{X}(x)\times F_{Y}(y)}$ pour tous réels ${\displaystyle x,y}$ où ${\displaystyle F_{X,Y},F_{X}}$ et ${\displaystyle F_{Y}}$ sont les fonctions de répartition respectives du couple ${\displaystyle (X,Y)}$ et des variables ${\displaystyle X}$ et ${\displaystyle Y}$. Cette définition se généralise pour ${\displaystyle n}$ variables aléatoires indépendantes, dites mutuellement indépendantes[8].

Plus mathématiquement, des variables iid sont supposées être définies sur le même espace[a 1], c'est-à-dire qu'il existe un espace probabilisé ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ tel que chaque variable aléatoire ${\displaystyle X_{i}}$ est une fonction mesurable ${\displaystyle X_{i}:\Omega \rightarrow \mathbb {R} }$.

De manière plus générale, il est possible de considérer des variables aléatoires à valeurs non réelles, c'est-à-dire dans un espace mesurable général. Dans ce cas, chaque variable aléatoire est une fonction mesurable d'un espace probabilisé ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$ dans un espace mesurable. ${\displaystyle X:(\Omega ,{\mathcal {F}},\mathbb {P} )\longrightarrow (E_{X},{\mathcal {E}}_{X})}$ et ${\displaystyle Y:(\Omega ,{\mathcal {F}},\mathbb {P} )\longrightarrow (E_{Y},{\mathcal {E}}_{Y})}$. Ainsi, on dit que les variables ${\displaystyle X}$ et ${\displaystyle Y}$ sont indépendantes et identiquement distribuées si :

• les événements ${\displaystyle X^{-1}(A)}$ et ${\displaystyle Y^{-1}(B)}$ sont indépendants pour tous ${\displaystyle A\in {\mathcal {E}}_{X}}$ et ${\displaystyle B\in {\mathcal {E}}_{Y}}$,
• les mesures images ${\displaystyle \mathbb {P} _{X}}$ et ${\displaystyle \mathbb {P} _{Y}}$ de ${\displaystyle \mathbb {P} }$ par ${\displaystyle X}$ et par ${\displaystyle Y}$ sont égales.

Ces définitions se généralisent au cas d'une famille quelconque finie, dénombrable ou infinie non-dénombrable de variables aléatoires[13].

Les variables iid apparaissent dans beaucoup de situations et résultats statistiques et probabilistes car elles possèdent de nombreuses propriétés qui permettent de mieux étudier leur loi de probabilité ou leur somme notamment. Dans la suite de cette section, ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont des variables réelles indépendantes et identiquement distribuées.

Si on note ${\displaystyle f_{X}}$ la densité de probabilité du vecteur ${\displaystyle X=(X_{1},X_{2},\dots ,X_{n})}$ et ${\displaystyle f}$ la densité commune des variables ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$, alors[12] : ${\displaystyle f_{X}(t_{1},t_{2},\dots ,t_{n})=f(t_{1})f(t_{2})\dots f(t_{n})}$. Autrement dit, la fonction de densité d'un ${\displaystyle n}$-uplet de variables iid est à variables séparables.

La somme de variables iid possède de bonnes propriétés ; donnons ici les principales. Si l'espérance commune des variables ${\displaystyle X_{i}}$ est ${\displaystyle \mu }$ et la variance commune est ${\displaystyle \sigma ^{2}}$, alors la somme et la moyenne ont pour espérance et pour variance[14] :

${\displaystyle \mathbb {E} (X_{1}+X_{2}+\dots +X_{n})=n\mu }$ et ${\displaystyle \operatorname {Var} (X_{1}+X_{2}+\dots +X_{n})=n\sigma ^{2}}$,

${\displaystyle \mathbb {E} \left({\frac {X_{1}+X_{2}+\dots +X_{n}}{n}}\right)=\mu }$ et ${\displaystyle \operatorname {Var} \left({\frac {X_{1}+X_{2}+\dots +X_{n}}{n}}\right)={\frac {\sigma ^{2}}{n}}}$.

Si on note ${\displaystyle \Psi }$ la fonction caractéristique commune des variables ${\displaystyle X_{i}}$ et ${\displaystyle \Psi _{S_{n}}}$ celle de la somme ${\displaystyle S_{n}=X_{1}+X_{2}+\dots +X_{n}}$, alors[14]

${\displaystyle \Psi _{S_{n}}(t)=\left(\Psi (t)\right)^{n}}$.

La covariance et la corrélation de deux variables aléatoires indépendantes sont nulles : ${\displaystyle \operatorname {Corr} (X_{1},X_{2})=\operatorname {Cov} (X_{1},X_{2})=0}$ c'est-à-dire ${\displaystyle \mathbb {E} (X_{1}X_{2})=\mathbb {E} (X_{1})\mathbb {E} (X_{2})}$. Cependant une covariance nulle n'implique pas toujours l'indépendance des variables aléatoires[15]. Dans le cas où les variables sont les coordonnées d'un vecteur gaussien, leur indépendance est équivalente au fait que leurs covariances deux à deux soient nulles [16].

Si ${\displaystyle X_{1}}$ et ${\displaystyle X_{2}}$ sont iid, alors[17] : ${\displaystyle \operatorname {Cov} (X_{1}+X_{2},X_{1}-X_{2})=0}$.

Exemples de sommes de variables iid.

• Si ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont iid de loi de Bernoulli de paramètre ${\displaystyle p}$, alors[18] ${\displaystyle X_{1}+X_{2}+\dots +X_{n}}$ est de loi binomiale : ${\displaystyle b(n,p)}$.
• Si ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont iid de loi géométrique de paramètre ${\displaystyle p}$, alors[19] ${\displaystyle X_{1}+X_{2}+\dots +X_{n}}$ est de loi binomiale négative : ${\displaystyle NegBin(n,p)}$.
• Si ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont iid de loi de Poisson de paramètre ${\displaystyle \lambda }$, alors[20] ${\displaystyle X_{1}+X_{2}+\dots +X_{n}}$ est de loi de Poisson : ${\displaystyle {\mathcal {P}}(n\lambda )}$.
• Si ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont iid de loi exponentielle de paramètre ${\displaystyle \lambda }$, alors[21] ${\displaystyle X_{1}+X_{2}+\dots +X_{n}}$ est de loi Gamma : ${\displaystyle \Gamma (n,\lambda )}$.
• Si ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont iid de loi normale ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$, alors[22] ${\displaystyle X_{1}+X_{2}+\dots +X_{n}}$ est de loi normale : ${\displaystyle {\mathcal {N}}(n\mu ,n\sigma ^{2})}$.
• Si ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont iid de loi normale de paramètre 0 et 1, alors[23] ${\displaystyle X_{1}^{2}+X_{2}^{2}+\dots +X_{n}^{2}}$ est de loi du χ² : ${\displaystyle \chi ^{2}(n)}$.
• Si ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont iid de loi du χ² de paramètre ${\displaystyle \nu }$, alors[24] ${\displaystyle X_{1}+X_{2}+\dots +X_{n}}$ est de loi du χ² : ${\displaystyle \chi ^{2}(n\nu )}$.

Une généralisation de la notion de variables iid est celle de variables échangeables (en)[13] : les variables aléatoires réelles ${\displaystyle X_{1},X_{2},\dots ,X_{n}}$ sont dites échangeables si la loi de probabilité du n-uplet ${\displaystyle (X_{1},X_{2},\dots ,X_{n})}$ est la même que la loi de ${\displaystyle (X_{\sigma (1)},X_{\sigma (2)},\dots ,X_{\sigma (n)})}$ pour toute permutation ${\displaystyle \sigma }$. Autrement dit, la loi du n-uplet ne dépend pas de l'ordre des variables.

Si des variables réelles sont indépendantes et identiquement distribuées, alors elles sont échangeables[13]. Il existe une réciproque partielle : des variables échangeables sont identiquement distribuées. Cependant, elles ne sont généralement pas indépendantes[25].

Le théorème central limite s'applique pour des variables iid, il existe des versions de ce théorème pour des variables échangeables[26].

La statistique est une science qui étudie et interprète les données. Lorsque l'on possède une série de données, la question se pose de savoir si elles peuvent être modélisées par des variables iid. Autrement dit : sont-elles des valeurs différentes obtenues de manière indépendante d'un même phénomène aléatoire[27] ? Les données peuvent être obtenues par mesures sur des individus ou objets qui doivent alors être choisis au hasard et avec remise[27]; elles peuvent également provenir d'une simulation grâce à un générateur de nombres aléatoires : dans ce cas la graine du générateur doit être choisie aléatoirement et ne doit plus être changée après[27].

Il y a plusieurs méthodes pour tester l'indépendance des variables : la visualisation du corrélogramme (ou graphique d'autocorrélation), la visualisation du graphe de retard (Lag-plot) ou la réalisation de tests statistiques.

Visualiser le graphique d’autocorrélation

Graphique d’autocorrélation. En haut : la série de données. En bas : la fonction d'autocorrélation. La fonction présente des variations positives et négatives, les données ne sont donc pas iid.

Dans le cas où la série est stationnaire, c'est-à-dire que les accroissements sont de covariance nulle, on peut s'intéresser à la fonction d'autocorrélation[28] (ACF). Elle est définie comme la corrélation entre la première valeur et la ${\displaystyle k}$-ième valeur. Cette fonction permet d'évaluer si les données sont issues d'un modèle iid[28], elle est nulle si les données sont parfaitement iid[27].

Il est à noter que plus il y a de valeurs, plus la fonction d'autocorrélation est petite. En fait les valeurs de la fonction d'autocorrélation décroissent en fonction de la taille ${\displaystyle n}$ du nombre de données suivant le ratio ${\displaystyle \textstyle {\frac {\pm 1,96}{\sqrt {n}}}}$.

Il est très utile de pouvoir simuler des valeurs issues de variables aléatoires identiquement distribuées. Lorsque l'on utilise une expérience aléatoire comme un lancer de dé, le résultat n'est en rien déterministe et on obtient alors des valeurs qui dépendent totalement du hasard. Cependant, il est compliqué d'automatiser des mécanismes physiques, on utilise alors des outils adaptés pour effectuer de grands nombres de calculs, comme l'ancienne méthode des tables de nombres aléatoires : la société RAND Corporation propose ainsi en 1955 une table d'un million de valeurs pseudo-aléatoires[a 3]. Le développement de l'informatique au XX^e siècle a permis la création de générateurs de valeurs aléatoires. Le but est de simuler une liste de valeurs iid le mieux possible[a 4]. L'utilisation d'un algorithme déterministe, c'est-à-dire qui n'utilise pas d'expérience aléatoire, permet de simuler une liste de valeurs possédant presque les mêmes propriétés que des valeurs aléatoires. On parle dans ce cas de valeurs pseudo-aléatoires si elles sont[a 4] - [31] :

• Non prévisibles : c'est-à-dire que la suite de valeurs ne peut pas être compressée, au sens où il est impossible de la décrire en utilisant moins de place que celle qu’elle occupe ;
• Équiréparties sur plusieurs entiers prédéfinis : c'est-à-dire que les fréquences d'apparition de chaque entier sont identiques.

Il n'est cependant pas possible d'obtenir un hasard indépendant parfait[a 4], c'est-à-dire équitablement réparties et ne dépendant pas les unes des autres. Deux problèmes se posent : obtenir des valeurs qui suivent la loi de probabilité recherchée et qui sont indépendantes entre elles. Il existe plusieurs méthodes pour simuler des valeurs iid, certaines sont plus rapides mais donnent des résultats moins probants, c'est-à-dire que l'équirépartition et l'imprévisibilité ne sont pas parfaites, on peut parler de hasard faible. D'autres méthodes utilisant des phénomènes physiques permettent d'obtenir de meilleurs résultats, on parle de hasard fort[a 4].

La plupart des générateurs de nombres aléatoires utilisent la loi uniforme continue pour générer d'autres lois de probabilité. Par exemple, si on considère une variable ${\displaystyle U}$ de loi uniforme, alors la variable ${\displaystyle V}$ définie par : ${\displaystyle V=1}$ si ${\displaystyle U<p}$ et ${\displaystyle V=0}$ si ${\displaystyle U\geq p}$, est une variable aléatoire de loi de Bernoulli. Une manière plus générale est construite sur le résultat suivant :

si ${\displaystyle F}$ est la fonction de répartition de la loi de probabilité recherchée et ${\displaystyle U}$ est une variable aléatoire de loi uniforme sur ${\displaystyle [0,1]}$, alors ${\displaystyle F^{-1}(U)}$ est une variable aléatoire qui suit la loi de probabilité voulue[32] - [33]. Ici ${\displaystyle F^{-1}(u)=\sup\{x\in \mathbb {R} ;F(x)\leq u\}}$ est la transformée inverse[33].

Cent premières valeurs dans ${\displaystyle [0,1]}$ du générateur de valeurs pseudo-aléatoires avec ${\displaystyle a=2^{7}-1}$ , ${\displaystyle m=2^{31}-1}$ et ${\displaystyle X_{0}=606842583}$.

Il reste alors à simuler une suite de valeurs de loi uniforme continue sur ${\displaystyle [0,1]}$ et indépendantes. Un des algorithmes classiques est basé sur les congruences de fonctions linéaires. Il permet de construire une suite de valeurs obtenues par itération[31] :

${\displaystyle {\begin{cases}X_{n+1}=aX_{n}\;\operatorname {mod} (m)\\X_{0}{\text{ fixé }}\end{cases}}}$

où :

le module ${\displaystyle m}$ réalise la congruence, c'est-à-dire que toutes les valeurs seront dans l'ensemble ${\displaystyle \{0,1,2,\dots ,m-1\}}$,

le multiplicateur ${\displaystyle a\in \{1,2,\dots ,m-1\}}$ est la fonction linéaire,

la valeur initiale ${\displaystyle X_{0}}$ est appelée la graine ou le germe.

Cet algorithme est chaotique dans le sens où un petit changement de la valeur initiale entraine des résultats différents[34]. Sous de bonnes conditions sur ${\displaystyle a}$ et ${\displaystyle m}$, les valeurs de la suite sont considérées comme des réalisations de variables iid. Par exemple, ${\displaystyle a=2^{7}-1}$ et ${\displaystyle m=2^{31}-1}$ donnent de bons résultats ; la valeur de la graine peut être choisie aléatoirement en utilisant l'horloge interne de l'ordinateur par exemple. Les valeurs pseudo-aléatoires obtenues prennent les valeurs ${\displaystyle 0,1,2,\dots ,m-1}$ de manière équiprobable, ainsi en divisant par la grande valeur ${\displaystyle m}$, on obtient des valeurs considérées uniformes sur ${\displaystyle [0,1]}$[31].

Articles et autres sources