Théorème de la variance totale

Le théorème de la variance totale peut être démontré en utilisant la formule des espérances totales[5]. Tout d'abord

${\displaystyle \operatorname {Var} [Y]=\operatorname {E} [Y^{2}]-[\operatorname {E} [Y]]^{2}}$

par définition de la variance. On applique ensuite la formule des espérances totales à chaque terme en conditionnant par la variable aléatoire X :

${\displaystyle =\operatorname {E} \left[\operatorname {E} [Y^{2}\mid X]\right]-[\operatorname {E} [\operatorname {E} [Y\mid X]]]^{2}}$

On réécrit alors le moment conditionnel d'ordre 2 de Y en termes de sa variance et de son moment d'ordre 1 :

${\displaystyle =\operatorname {E} \left[\operatorname {Var} [Y\mid X]+[\operatorname {E} [Y\mid X]]^{2}\right]-[\operatorname {E} [\operatorname {E} [Y\mid X]]]^{2}}$

Puisque l'espérance est linéaire, les termes peuvent être regroupés :

${\displaystyle =\operatorname {E} [\operatorname {Var} [Y\mid X]]+\left(\operatorname {E} [[\operatorname {E} [Y\mid X]]^{2}]-[\operatorname {E} [\operatorname {E} [Y\mid X]]]^{2}\right)}$

Finalement, les termes entre parenthèses peuvent être vus comme la variance de l'espérance conditionnelle E[Y|X] :

${\displaystyle =\operatorname {E} [\operatorname {Var} [Y\mid X]]+\operatorname {Var} [\operatorname {E} [Y\mid X]]}$

La formule suivante montre comment appliquer la formule générale de la décomposition de la variance[4] (issue de la théorie de la mesure) aux systèmes dynamiques stochastiques. Soit Y(t) la valeur du système au temps t. On suppose que l'on connait les filtrations naturelles ${\displaystyle H_{1t},H_{2t},\ldots ,H_{c-1,t}}$, chacune correspondant à "l'histoire" (trajectoire) d'un ensemble différent de variables du systèmes. Ces ensembles doivent être disjoints. La variance de Y(t) peut être décomposée pour tout temps t, en c ≥ 2 composantes comme suit :

${\displaystyle \operatorname {Var} [Y(t)]=\operatorname {E} (\operatorname {Var} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{c-1,t}])+\sum _{j=2}^{c-1}\operatorname {E} (\operatorname {Var} [\operatorname {E} [Y(t)\mid H_{1t},H_{2t},\ldots ,H_{jt}]\mid H_{1t},H_{2t},\ldots ,H_{j-1,t}])+\operatorname {Var} (\operatorname {E} [Y(t)\mid H_{1t}]).\,}$

La décomposition n'est pas unique, elle dépend de l'ordre dans lequel on a conditionné la suite de décomposition.

Dans le cas où (Y, X) sont tels que l'espérance conditionnelle est linéaire, c'est-à-dire quand

${\displaystyle \operatorname {E} (Y\mid X)=aX+b,\,}$

la bilinéarité de la covariance ${\displaystyle \operatorname {Cov} (.,.)}$ conduit à :

${\displaystyle a={\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}}$

et

${\displaystyle b=\operatorname {E} (Y)-{\operatorname {Cov} (Y,X) \over \operatorname {Var} (X)}\operatorname {E} (X)}$

et la partie expliquée de la variance, divisée par la variance totale est le carré de la corrélation entre Y et X, c'est-à-dire :

${\displaystyle {\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (X,Y)^{2}.\,}$

Par exemple, on est dans cette situation lorsque (X, Y) est un vecteur gaussien.

Plus généralement, quand l'espérance conditionnelle E( Y | X ) est non linéaire en X

${\displaystyle \iota _{Y\mid X}={\operatorname {Var} (\operatorname {E} (Y\mid X)) \over \operatorname {Var} (Y)}=\operatorname {Corr} (\operatorname {E} (Y\mid X),Y)^{2},\,}$ [4]

ce qui peut être estimé comme le R carré d'une régression non linéaire de Y sur X, en utilisant les données tirées de la distribution jointe de (X, Y). Quand E( Y | X ) a une distribution gaussienne (et est une fonction inversible de X), ou si Y a une distribution marginale gaussienne, cette partie expliquée de la variance fixe une borne inférieure sur l'information mutuelle[4] :

${\displaystyle \operatorname {I} (Y;X)\geq \ln([1-\iota _{Y\mid X}]^{-1/2}).\,}$

Une loi similaire existe pour le moment d'ordre 3 μ₃ :

${\displaystyle \mu _{3}(Y)=\operatorname {E} (\mu _{3}(Y\mid X))+\mu _{3}(\operatorname {E} (Y\mid X))+3\,\operatorname {cov} (\operatorname {E} (Y\mid X),\operatorname {var} (Y\mid X)).\,}$

Pour les cumulants d'ordre supérieur, une généralisation simple et élégante existe.