Analyse en composantes principales

Chaque réalisation conjointe des variables est associée à un poids ${\displaystyle p_{i}}$. Ces poids, qui sont des nombres positifs dont la somme vaut 1, sont représentés par une matrice diagonale D de taille K :

${\displaystyle D={\begin{bmatrix}p_{1}&&&0\\&p_{2}&&\\&&\ddots &\\0&&&p_{K}\end{bmatrix}}}$

Dans le cas le plus courant, les poids sont égaux et ${\displaystyle D={1 \over K}I}$ où ${\displaystyle I}$ est la matrice identité. Toutefois, on peut parfois vouloir appliquer des poids différents (cas des échantillons redressés, des données regroupées...).

Le vecteur ${\displaystyle ({\bar {X}}_{1},\cdots ,{\bar {X}}_{N})}$ est le centre de gravité du nuage de points ; on le note souvent g. On a ${\displaystyle g=M^{T}D{\tilde {1}}}$ où ${\displaystyle {\tilde {1}}}$ désigne le vecteur de ${\displaystyle {\mathbb {R} }^{K}}$ dont toutes les coordonnées sont égales à 1.

La matrice M est généralement centrée sur le centre de gravité :

${\displaystyle {\bar {M}}={\begin{bmatrix}X_{1,1}-{\bar {X}}_{1}&\cdots &X_{1,N}-{\bar {X}}_{N}\\\vdots &\ddots &\vdots \\X_{K,1}-{\bar {X}}_{1}&\cdots &X_{K,N}-{\bar {X}}_{N}\end{bmatrix}}=M-{\tilde {1}}g^{T}}$.

Elle peut être aussi réduite :

${\displaystyle {\tilde {M}}={\begin{bmatrix}{X_{1,1}-{\bar {X}}_{1} \over \sigma (X_{1})}&\cdots &{X_{1,N}-{\bar {X}}_{N} \over \sigma (X_{N})}\\\vdots &\ddots &\vdots \\{X_{K,1}-{\bar {X}}_{1} \over \sigma (X_{1})}&\cdots &{X_{K,N}-{\bar {X}}_{N} \over \sigma (X_{N})}\end{bmatrix}}}$.

Le choix de réduire ou non le nuage de points (i.e. les K réalisations de la variable aléatoire (X₁, …, X_N)) est un choix de modèle :

• si l'on ne réduit pas le nuage : une variable à forte variance va « tirer » tout l'effet de l'ACP à elle ;
• si l'on réduit le nuage : une variable qui n'est qu'un bruit va se retrouver avec une variance apparente égale à une variable informative.

Si les variables aléatoires sont dans des unités différentes, la réduction est obligatoire.

Dans le cas de poids uniformes (${\displaystyle D={1 \over K}I}$), une fois la matrice ${\displaystyle M}$ transformée en ${\displaystyle {\bar {M}}}$ ou ${\displaystyle {\tilde {M}}}$, il suffit de la multiplier par sa transposée pour obtenir:

• la matrice de variance-covariance des X₁, …, X_N si M n'est pas réduite : ${\displaystyle {\rm {Covariances}}=1/K\cdot {}{\bar {M}}^{T}\cdot {\bar {M}}}$;
• la matrice de corrélation des X₁, …, X_N si M est réduite : ${\displaystyle {\rm {Corr{\acute {e}}lations}}=1/K\cdot {}{\tilde {M}}^{T}\cdot {\tilde {M}}}$.

Ces deux matrices sont carrées (de taille N), symétriques, et réelles. Elles sont donc diagonalisables dans une base orthonormée en vertu du théorème spectral.

De façon plus générale, dans le cas de poids non uniformes, la matrice de variance-covariance s'écrit ${\displaystyle V=MDM^{T}-gg^{T}={\bar {M}}\cdot D\cdot {\bar {M}}^{T}}$.

De plus, si l'on note ${\displaystyle D_{1/s}}$ la matrice diagonale des inverses des écarts-types:

${\displaystyle D_{1/s}={\begin{bmatrix}1/s_{1}&&0\\&\ddots &\\0&&1/s_{N}\end{bmatrix}}={\begin{bmatrix}1/\sigma (X_{1})&&0\\&\ddots &\\0&&1/\sigma (X_{N})\end{bmatrix}}}$

alors on a:

${\displaystyle {\tilde {M}}={\bar {M}}\cdot D_{1/s}}$.

La matrice des coefficients de corrélation linéaire entre les N variables prises deux à deux, notée R, s'écrit:

${\displaystyle R={\tilde {M}}\cdot D\cdot {\tilde {M}}^{T}=D_{1/s}VD_{1/s}}$.

Etant donné un vecteur unitaire u, nous cherchons finalement u tel que la projection du nuage sur ${\displaystyle u}$ ait une variance maximale. La projection de l'échantillon des X sur u s'écrit :

${\displaystyle \pi _{u}(M)=M\cdot u}$

la variance empirique de ${\displaystyle \pi _{u}(M)}$ vaut donc :

${\displaystyle \pi _{u}(M)^{T}\cdot 1/K\cdot \pi _{u}(M)=u^{T}\cdot \underbrace {M^{T}\cdot 1/K\cdot M} _{C}\cdot u}$

où C est la matrice de covariance.

Comme nous avons vu plus haut que C est diagonalisable dans une base orthonormée, notons P le changement de base associé et ${\displaystyle \Delta ={\textrm {Diag}}(\lambda _{1},\ldots ,\lambda _{N})}$ la matrice diagonale formée de son spectre :

${\displaystyle \pi _{u}(M)^{T}\cdot 1/K\cdot \pi _{u}(M)=u^{T}P^{T}\Delta Pu=(Pu)^{T}\Delta \underbrace {(Pu)} _{v}}$

Les valeurs ${\displaystyle (\lambda _{1},\ldots ,\lambda _{N})}$ de la diagonale de ${\displaystyle \Delta }$ sont rangées en ordre décroissant. Le vecteur unitaire u qui maximise ${\displaystyle v^{T}\Delta v}$ est un vecteur propre de C associé à la valeur propre ${\displaystyle \lambda _{1}}$ ; on a alors :

${\displaystyle v^{T}\cdot \Delta \cdot v=\lambda _{1}}$

La valeur propre ${\displaystyle \lambda _{1}}$ est la variance empirique sur le premier axe de l'ACP.

Il est aussi possible de démontrer ce résultat en maximisant la variance empirique des données projetées sur u sous la contrainte que u soit de norme 1 (par un multiplicateur de Lagrange ${\displaystyle \alpha }$) :

${\displaystyle L(u,\alpha )=u^{T}\cdot C\cdot u-\alpha (u^{T}u-1)}$

On continue la recherche du deuxième axe de projection w sur le même principe en imposant qu'il soit orthogonal à u.

La diagonalisation de la matrice de corrélation (ou de covariance si on se place dans un modèle non réduit), nous a permis d'écrire que le vecteur qui explique le plus d'inertie du nuage est le premier vecteur propre. De même le deuxième vecteur qui explique la plus grande part de l'inertie restante est le deuxième vecteur propre, etc.

Nous avons vu en outre que la variance expliquée par le k-ième vecteur propre vaut λ_k.

Finalement, la question de l'ACP se ramène à un problème de diagonalisation de la matrice de corrélation.

Numériquement, la matrice M étant rectangulaire, il peut être plus économique de la décomposer en valeurs singulières, puis de recombiner la décomposition obtenue, plutôt que de diagonaliser M' M.

Elle s’applique à des tableaux de contingence c'est-à-dire des tableaux croisant deux variables qualitatives. Ce type de tableau est très différent de celui analysé par ACP : en particulier, les lignes et les colonnes jouent des rôles symétriques alors que la distinction entre lignes et colonnes (c'est-à-dire entre individus et variables) est majeure en ACP.

Elle s’applique à des tableaux dans lesquels un ensemble d’individus est décrit par un ensemble de variables qualitatives. Ce type de tableau est donc voisin de celui analysé en ACP, les variables quantitatives étant remplacées par des variables qualitatives. L’ACM est souvent vue comme un cas particulier de l’ACP mais ce point de vue est très réducteur. L’ACM possède suffisamment de propriétés spécifiques pour être considérée comme une méthode à part entière.

On peut aussi présenter l’ACM à partir de l’ACP comme cela est fait dans Pagès 2013. L’intérêt est de relier entre eux les ressorts de l’ACP et ceux de l’ACM ce qui ouvre la voie au traitement simultané des deux types de variables (cf. AFDM et AFM ci-après)

Les données sont constituées par un ensemble d’individus pour lesquels on dispose de plusieurs variables, comme en ACP ou en ACM. Mais, ici, les variables sont aussi bien quantitatives que qualitatives. L’analyse factorielle de données mixtes traite simultanément les deux types de variables en leur faisant jouer un rôle actif. L’AFDM est décrite dans Pagès 2013 et Escofier&Pagès 2008.

Les données sont, ici encore, constituées par un ensemble d’individus pour lesquels on dispose de plusieurs variables. Mais cette fois, outre qu’elles peuvent être quantitatives et/ou qualitatives, les variables sont structurées en groupes. Ce peut être, par exemple, les différents thèmes d’un questionnaire. L’AFM prend en compte cette structure en groupes dans l’analyse de ces données. L’AFM est décrite en détail dans Pagès 2013 et Escofier&Pagès 2008.

Iconographie des corrélations – Géochimie des aérosols marins

Il est souvent difficile d’interpréter les composantes principales lorsque les données comprennent beaucoup de variables d’origines pluridisciplinaires, ou lorsque certaines variables sont qualitatives. Cela conduit l’utilisateur de l’ACP à une délicate élimination de plusieurs variables. Si des observations ou des variables ont un impact excessif sur la direction des axes, il convient de les retirer et de les projeter ensuite en éléments supplémentaires. De plus, il faut éviter d'interpréter les proximités entre les points proches du centre du plan factoriel.

L’iconographie des corrélations, au contraire, qui n’est pas une projection sur un système d’axes (ce n'est donc pas une analyse factorielle), ne présente pas ces inconvénients. On peut donc conserver toutes les variables.

Le principe du diagramme est de souligner les corrélations « remarquables » de la matrice de corrélation, par un trait plein (corrélation positive) ou pointillé (corrélation négative). Une forte corrélation n’est pas « remarquable » si elle n’est pas directe, mais causée par l’effet d’une tierce variable. Inversement de faibles corrélations peuvent être « remarquables ». Par exemple, si une variable Y dépend de plusieurs variables indépendantes, les corrélations de Y avec chacune d’entre elles sont faibles et pourtant « remarquables ».

L'Analyse en Composantes Principales est usuellement utilisée comme outil de compression linéaire. Le principe est alors de ne retenir que les n premiers vecteurs propres issus de la diagonalisation de la matrice de corrélation (ou covariance), lorsque l'inertie du nuage projeté sur ces n vecteurs représente q_n pour cent de l'inertie du nuage original, on dit qu'on a un taux de compression de 1 - q_n pour cent, ou que l'on a compressé à q_n pour cent. Un taux de compression usuel est de 20 %.

Les autres méthodes de compressions statistiques habituelles sont:

• l'analyse en composantes indépendantes ;
• les cartes auto-adaptatives (SOM, self organizing maps en anglais) ; appelées aussi cartes de Kohonen ;
• l'analyse en composantes curvilignes ;
• la compression par ondelettes.

Il est possible d'utiliser le résultat d'une ACP pour construire une classification statistique des variables aléatoires X₁, …, X_N, en utilisant la distance suivante (C_{n, n'} est la corrélation entre X_n et X_n'):

${\displaystyle d(X_{n},X_{n'})={\sqrt {2\,(1-C_{n,n'})}}}$

L'ACP, désignée en général dans le milieu du traitement du signal et de l'analyse d'images plutôt sous son nom de Transformée de Karhunen-Loève (TKL) est utilisée pour analyser les séries dynamiques d'images[9], c'est-à-dire une succession d'images représentant la cartographie d'une grandeur physique, comme les scintigraphies dynamiques en médecine nucléaire, qui permettent d'observer par gamma-caméra le fonctionnement d'organes comme le cœur ou les reins.

Dans une série de P images, chaque pixel est considéré comme un point d'un espace affine de dimension P dont les coordonnées sont la valeur du pixel pour chacune des P images au cours du temps. Le nuage ainsi formé par tous les points de l'image peut être analysé par l'ACP, (il forme un hyper-ellipsoïde à P dimensions) ce qui permet de déterminer ses axes principaux.

En exprimant tous les points dans le repère orthogonal à P dimensions des axes de l'ACP, on passe ainsi de la série temporelle d'origine (les pixels représentent la valeur en fonction du temps) à une nouvelle série (également de P images) dans l'espace de Karhunen-Loève : c'est la Transformée de Karhunen-Loève, qui est une opération réversible : on parle de « TKL » et de « TKL inverse » ou « TLK^-1 ».

La compression est possible car l'information est contenue presque entièrement sur les premiers axes de l'ACP. Mais la notion de « compression » sous-entend que les autres images correspondant aux autres axes sont volontairement ignorées. La TKL étant réversible, la suppression arbitraire des axes les moins énergétiques constitue alors un filtrage permettant de réduire le bruit temporel de la série d'images.

Concrètement, l'application de TKL + suppression des axes les moins significatifs + TKL^-1 permet de supprimer le fourmillement apparent (bruit temporel) d'une série animée d'images.

En imagerie médicale fonctionnelle, on améliore ainsi la qualité visuelle de la visualisation scintigraphique du cycle cardiaque moyen.

Par ailleurs, l'analyse de l'importance respective des valeurs propres de l'ACP permet d'approcher le nombre de fonctionnements physiologiques différents. On a ainsi pu montrer que le cœur sain peut être entièrement représenté avec 2 images (2 axes de l'ACP contiennent toute l'information utile), alors que pour certaines pathologies l'information utile s'étale sur 3 images[10].

Comme pour l'application précédente, la longueur d'onde remplaçant juste le temps, la TKL a été proposée à plusieurs reprises pour extraire l'information utile d'une série d'images monochromes représentant les intensités pour des longueurs d'onde différentes. De telles images peuvent être issues de microscopie optique classique, confocale ou SNOM (Microscope optique en champ proche)[11].

De la même manière, la TKL permet de mettre en évidence des cinétiques différentes lors de l'analyse topographique dynamique, c'est-à-dire l'analyse de l'évolution du relief au cours du temps. Elle permet alors de déceler des phénomènes invisibles par simple observation visuelle, mais se distinguant par une cinétique légèrement différente (par exemple pollution d'une surface rugueuse par un dépôt)[12].

L'ACP est une des techniques permettant la réduction de dimension, très utile en Apprentissage Automatique pour améliorer la qualité des modèles, et faciliter leur calcul[13].

Avec scikit-learn et le dataset Iris [14]

import plotly.express as px
df = px.data.iris()
features = ["sepal_width", "sepal_length", "petal_width", "petal_length"]
fig = px.scatter_matrix(
    df,
    dimensions=features,
    color="species"
)
fig.update_traces(diagonal_visible=False)
fig.show()

Affichage des données brutes du dataset (4 variables)

Dataset Iris de sklearn

import plotly.express as px
from sklearn.decomposition import PCA
df = px.data.iris()
features = ["sepal_width", "sepal_length", "petal_width", "petal_length"]
pca = PCA()
components = pca.fit_transform(df[features])
labels = {
    str(i): f"PC {i+1} ({var:.1f}%)"
    for i, var in enumerate(pca.explained_variance_ratio_ * 100)
}
fig = px.scatter_matrix(
    components,
    labels=labels,
    dimensions=range(4),
    color=df["species"]
)
fig.update_traces(diagonal_visible=False)
fig.show()

Affichage des données PCA du dataset. La PC1 explique à elle seule 92,5% de la variance du dataset. Avec PC1 et PC2, on peut expliquer 97,8% de la variance du jeu de données. On peut donc utiliser seulement 2 variables pour expliquer le jeu de données sans trop d'erreur.

Décomposition PCA du dataset sklearn Iris

Le package R FactoMineR inclut, en particulier, outre l'ACP, toutes les extensions décrites plus haut : AFC, ACM, AFDM et AFM). Ce logiciel est relié au livre Husson, Lê & Pagès 2009.

Citons également les packages ade4[15] et adegraphics qui permettent d'analyser et visualiser (ACP inter, intra classe, etc.) des données issues de problématiques biologiques.

L'objectif est de réaliser une ACP sur des données physico-chimiques récoltées par 30 stations le long du Doubs[16].

Il y a 7 variables physico-chimiques d’intérêt, mesurées au niveau des 30 stations : le pH, la dureté de l’eau, le phosphate, le nitrate, l'ammoniaque, l'oxygène et la demande biologique en oxygène. Quelles données sont corrélées ? Peut-on représenter la pollution le long de la rivière ?

Les données étant exprimées dans des unités différentes, nous avons intérêt à réaliser une ACP normée (centrée et réduite) sur les 7 variables physico-chimiques.

library(ade4)
library(adegraphics)
data(doubs)
ACP <- dudi.pca(doubs$env[,5:11], center = T, scale = T, scannf=FALSE, nf = 2)
#On récupère les 5 variables physico-chimiques, on centre les données, on les réduit, on définit le nombre d'axes pour l'ACP à 2)
ACP$eig #On récupère les valeurs propres
s.corcircle(ACP$co, xax = 1, yax = 2) #On affiche le cercle des corrélations sur le premier plan factoriel de l'ACP
s.label(ACP$li, xax = 1, yax = 2) #On affiche les stations dans le premier plan factoriel de l'ACP
s.value(doubs$xy,ACP$li[,1], symbol = "circle", col = c("blue","brown"))#Les stations sont symbolisées par des cercles pour la valeur du 1er axe de l'ACP (la pollution). Les stations peu polluées sont en bleu, les stations plus polluées sont en marron

L'interprétation de l'ACP sur le premier axe du ${\displaystyle s.corcircle}$[17] montre une corrélation négative entre le taux d'oxygène et la présence de polluants. Avec ${\displaystyle s.value}$[18], on peut représenter les stations avec leurs valeurs sur cet axe de pollution, symbolisées par des cercles de différentes couleurs.

• Figures pour l'exemple d'ACP sous R
• 
  Stations le long du Doubs.
• 
  Le cercle de corrélation (corcircle) tracé pour le premier plan factoriel de l'ACP sur les données du Doubs. Le premier axe montre une corrélation négative entre l'oxygène et 3 polluants connus : nitrates (nit), phosphates (pho), ammoniaque (amm). On peut dire que cet axe est caractérisé par la pollution. Les eaux riches en oxygène n'ont pas de polluants et inversement. Le deuxième axe est un axe caractérisé essentiellement par le pH.
• 
  Après interprétation du cercle des corrélations, on peut dire que les stations 25, 23, 24 sont les plus polluées. La station 15 a un pH élevé.
• 
  Chaque station est remplacée par un cercle prenant la valeur du résultat de l'ACP sur le premier axe. Le cercle des corrélations a indiqué qu'il s'agit d'un axe de pollution. On remarque que la deuxième partie du fleuve est plus polluée que la première partie. La station 25 a la valeur de pollution maximale. Cela est cohérent avec les observations du 1er plan factoriel de l'ACP.

• Jean-Paul Benzécri ; Analyse des données. T2 (leçons sur l'analyse factorielle et la reconnaissance des formes et travaux du Laboratoire de statistique de l'Université de Paris 6. T. 2 : l'analyse des correspondances), Dunod Paris Bruxelles Montréal, 1973
• Jean-Paul Benzécri et Al. Pratique de l'analyse des données. T1 (analyse des correspondances. Exposé élémentaire), Dunod Paris, 1984,
• Jean-Paul Benzécri et Al. Pratique de l'analyse des données. T2 (abrégé théorique. Études de cas modèle), Dunod Paris, 1984
• Brigitte Escofier et Jérôme Pagès, Analyses factorielles simples et multiples : objectifs, méthodes et interprétation, Paris, Dunod, Paris, 2008, 4^e éd. (1^re éd. 1988), 318 p. (ISBN 978-2-10-051932-3)
• François Husson, Sébastien Lê et Jérôme Pagès, Analyse des données avec R, Presses Universitaires de Rennes, 2009, 224 p. (ISBN 978-2-7535-0938-2)
• Ludovic Lebart, Morineau Alain, Piron Marie; Statistique exploratoire multidimensionnelle, Dunod Paris, 1995
• Jérôme Pagès, Analyse factorielle multiple avec R, Les Ulis, EDP sciences, Paris, 2013, 253 p. (ISBN 978-2-7598-0963-9)
• Mathieu Rouaud ; Probabilités, statistiques et analyses multicritères Un livre de 290 pages qui traite de l'ACP (les principes et de nombreux exemples concernant, entre autres, les isolants thermiques et les eaux minérales). Version numérique libre et gratuite.
• Michel Volle, Analyse des données, Economica, 4^e édition, 1997, (ISBN 2-7178-3212-2)

• Valeurs propres
• Compression statistique
• Équilibre biais / variance
• Analyse de la variance
• Partitionnement de données
• Exploration de données
• Iconographie des corrélations
• Michel Loève
• Kari Karhunen
• Théorème de Karhunen-Loève (en)
• Analyse discriminante linéaire

• FactoMineR, une bibliothèque de fonctions R destinée à l'analyse des données