Théorème de Cochran

En mathématiques, plus précisément en théorie des probabilités, le théorème de Cochran concerne la projection d'un vecteur aléatoire gaussien sur des sous-espaces vectoriels orthogonaux de dimensions finies[1]. Il établit la loi et l'indépendance de ces projections et de leurs normes euclidiennes. Ce théorème est utilisé en statistique pour justifier la convergence en loi de tests statistiques et est l'argument clé pour des résultats de base du modèle linéaire.

Énoncé du théorème

La version générale de ce théorème est la suivante :

Théorème de Cochran — Soient $X$ un vecteur aléatoire gaussien de $\mathbb {R} ^{n}$ de loi ${\mathcal {N}}(\mu ,\sigma ^{2}\mathrm {Id} _{n})$ (où $\mu \in \mathbb {R} ^{n}$ , $σ > 0$ et $Id n$ est la matrice identité de taille $n$ ), ainsi que $F 1, ..., F m$ des sous-espaces vectoriels de $\mathbb {R} ^{n}$ , orthogonaux deux à deux et de somme $\mathbb {R} ^{n}$ .

Alors, si l'on note pour $1 \leq i \leq m$ , $P F i$ la matrice de la projection orthogonale sur $F i$ et $d i$ la dimension de $F i$ :

les vecteurs aléatoires $P F 1 X, ..., P F m X$ sont deux à deux indépendants et de lois respectives ${\mathcal {N}}(P_{F_{1}}\mu ,\sigma ^{2}P_{F_{1}}),\ldots ,{\mathcal {N}}(P_{F_{m}}\mu ,\sigma ^{2}P_{F_{m}})$ ;
les variables aléatoires réelles ${\frac {\|P_{F_{1}}(X-\mu )\|^{2}}{\sigma ^{2}}},\ldots ,{\frac {\|P_{F_{m}}(X-\mu )\|^{2}}{\sigma ^{2}}}$ sont deux-à-deux indépendantes et sont de lois respectives $χ 2 (d 1), ..., χ 2 (d m)$ .

Une version simplifiée mais équivalente est l'énoncé suivant :

Théorème de Cochran (simplifié) — Soit $X$ un vecteur aléatoire gaussien de $\mathbb {R} ^{n}$ de loi ${\mathcal {N}}(0_{\mathbb {R} ^{n}},\mathrm {Id} _{n})$ et $F$ un sous-espace vectoriel de $\mathbb {R} ^{n}$ de dimension $d$ , $F ⊥$ son orthogonal et $P F, P F ⊥$ les matrices des projections orthogonales sur $F, F ⊥$ . Alors :

les vecteurs aléatoires $P F X, P F ⊥ X$ sont indépendants et de lois respectives ${\mathcal {N}}(0_{\mathbb {R} ^{n}},P_{F}),{\mathcal {N}}(0_{\mathbb {R} ^{n}},P_{F^{\perp }})$ ;
les variables aléatoires réelles $| P F X | 2,| P F ⊥ X | 2$ sont indépendantes et de lois respectives $χ 2 (d), χ 2 (n - d)$ .

Démonstration

On peut passer de la version simplifiée à la version générale du théorème en appliquant une récurrence sur le nombre de sous-espaces vectoriels (qui interviennent dans l'énoncé) et en effectuant le changement de variable $X'={\frac {X-\mu }{\sigma }}\sim {\mathcal {N}}(0_{\mathbb {R} ^{n}},\mathrm {Id} _{n})$ . Il suffit donc de démontrer la version simplifiée.

On note $Y=\left({\begin{matrix}P_{F}X\\P_{F^{\perp }}X\end{matrix}}\right)=AX$ avec $A=\left({\begin{matrix}P_{F}\\P_{F^{\perp }}\end{matrix}}\right)\in {\mathcal {M}}_{2n,n}(\mathbb {R} )$ . Alors $Y\sim {\mathcal {N}}(0_{\mathbb {R} ^{2n}},AA^{t})$ et par conséquent, $P F X$ et $P F ⊥ X$ sont des vecteurs gaussiens. On a $AA^{t}=\left({\begin{matrix}P_{F}&0\\0&P_{F^{\perp }}\end{matrix}}\right)$ . En effet :

$P_{F}\circ P_{F}=P_{F}$ car $P_{F}$ est une projection
$P_{F^{\perp }}\circ P_{F^{\perp }}=P_{F^{\perp }}$ car $P_{F^{\perp }}$ est une projection
$P_{F}\circ P_{F^{\perp }}=P_{F^{\perp }}\circ P_{F}=0$ car $F$ et $F^{\perp }$ sont orthogonaux.

Ainsi, comme $AA^{t}$ est diagonale par blocs, les vecteurs aléatoires $P F X$ et $P F ⊥ X$ sont indépendants et ont pour lois respectives ${\mathcal {N}}(0_{\mathbb {R} ^{n}},P_{F})$ et ${\mathcal {N}}(0_{\mathbb {R} ^{n}},P_{F^{\perp }})$ .

Pour la norme de la projection, il suffit de prendre $(u 1,..., u d)$ une base orthonormée de $F$ et $(u d + 1,..., u n)$ une base orthonormée de $F ⊥$ . Alors

||P_{F}X||^{2}=\sum _{i=1}^{d}\langle X,u_{i}\rangle ^{2}\qquad {\text{ et }}\qquad ||P_{F^{\perp }}X||^{2}=\sum _{i=d+1}^{n}\langle X,u_{i}\rangle ^{2}.

On écrit $(\langle X,u_{i}\rangle )_{1\leq i\leq n}=U^{t}X$ avec $U$ la matrice de passage de la base canonique à la base $(u 1,..., u n)$ . Ainsi $U^{t}X\sim {\mathcal {N}}(0_{\mathbb {R} ^{n}},U\mathrm {Id} _{n}U^{t})={\mathcal {N}}(0_{\mathbb {R} ^{n}},\mathrm {Id} _{n})$ car $U$ est orthogonale. Donc les variables aléatoires $\langle X,u_{i}\rangle$ sont normales centrées et puisque la matrice de covariance $\mathrm {Id} _{n}$ est diagonale elles sont indépendantes. Par définition de la loi du $χ 2$ ,

||P_{F}X||^{2}\sim \chi ^{2}(d)\qquad {\text{ et }}\qquad ||P_{F^{\perp }}X||^{2}\sim \chi ^{2}(n-d)

Applications

Estimateur non biaisé de la variance

On se donne un échantillon $X = (X 1,..., X n) T$ de loi normale ${\mathcal {N}}(\mu ,\sigma ^{2})$ . On note la moyenne empirique ${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+...+X_{n})={\frac {1}{n}}\sum _{i=1}^{n}X_{i}$ et la variance empirique non biaisée ${\widetilde {S}}_{n}^{2}={\frac {1}{n-1}}\left((X_{1}-{\overline {X}}_{n})^{2}+...+(X_{n}-{\overline {X}}_{n})^{2}\right)={\frac {1}{n-1}}\sum _{i=1}^{n}(X_{i}-{\overline {X}}_{n})^{2}.$ Alors

{\frac {(n-1)}{\sigma ^{2}}}{\widetilde {S}}_{n}^{2}={\frac {1}{\sigma ^{2}}}\left((X_{1}-{\overline {X}}_{n})^{2}+...+(X_{n}-{\overline {X}}_{n})^{2}\right)\sim \chi ^{2}(n-1).

Remarque : on a perdu un degré pour la loi du khi deux.

Démonstration

On applique le théorème de Cochran avec le sous-espace vectoriel $F = Vect(1 n)$ (où $1 n$ est le vecteur colonne de $\mathbb {R} ^{n}$ constitué uniquement de 1) au vecteur aléatoire $Y = 1 / σ (X 1 - μ, ..., X n - μ) t = 1 / σ (X - μ 1 n)$ de loi ${\mathcal {N}}(0_{\mathbb {R} ^{n}},\mathrm {Id} _{n})$ .

La matrice de projection sur $F$ est $P F = 1 n (1 t n 1 n) -1 1 t n = 1 / n 1 n 1 t n$ et celle sur $F ⊥$ est par conséquent $P F ⊥ = Id n - P F$ .
La projection de $Y$ sur $F$ est

$P F Y = 1 / σ (P F X - μ P F 1 n) = 1 / σ (X n - μ, ..., X n - μ) t$ .

La projection de $Y$ sur $F^{\bot }$ est $P_{F^{\perp }}Y=Y-P_{F}Y={\frac {1}{\sigma }}(X_{1}-{\overline {X}}_{n},\dots ,X_{n}-{\overline {X}}_{n})^{t}$ .

D'après le théorème de Cochran, $||P_{F^{\perp }}Y||^{2}={\frac {(n-1)}{\sigma ^{2}}}{\widetilde {S}}_{n}^{2}\sim \chi ^{2}(n-1)$ .

Test du khi deux

Le théorème de Cochran permet d'établir la convergence en loi de certains tests statistiques. C'est le cas du test d'adéquation ou le test d'indépendance. Il est aussi utilisé dans le cadre du modèle linéaire pour obtenir l'indépendance de ${\widehat {\beta }}$ et de ${\widehat {\sigma }}^{2}$ et le fait que ${\frac {n-p}{{\sigma }^{2}}}{\widehat {\sigma }}^{2}$ est de loi $χ 2 (n - p)$ où $p - 1$ est le nombre de variables.