Régression des moindres carrés partiels

fig.01 Approche PLS : réseau de causalité entre quatre groupes de variables (d'après M.Tenenhaus[b 5])

Le modèle de l'approche PLS s'applique sur des blocs de variables continues appelées variables manifestes, chacun de ces blocs sont des observations effectuées sur les mêmes individus. On pense dans ce modèle que chaque bloc de variables peut être résumé par une variable latente. Les variables manifestes peuvent engendrer les variables latentes, elles sont appelées alors variables manifestes formatives, ou bien elles peuvent être engendrées par les variables latentes auquel cas elles sont dénommées variables manifestes réflectives[i 3]. Les variables latentes dites endogènes sont expliquées par les autres variables latentes, les variables latentes explicatives sont dénommées exogènes[i 3].

Comme les régressions linéaires, la régression PLS prend pour hypothèse le modèle (1)

${\displaystyle \mathrm {Y} =\mathrm {X} \mathrm {B} +\varepsilon }$

On recherche deux séries de matrices T et U de « scores » (cotes), P et Q de « loadings » (charges) tels que

${\displaystyle {\begin{aligned}\mathrm {X} &=\mathrm {T} \mathrm {P} '+\mathrm {E} \\\mathrm {Y} &=\mathrm {U} \mathrm {Q} '+\mathrm {F} \\\mathrm {T} &=\mathrm {X} \mathrm {W} ^{*}{\text{,}}\end{aligned}}}$

D'autre part, les cotes de X sont de bons prédicteurs de Y, ce qui s'écrit (4)

${\displaystyle {\begin{aligned}\mathrm {Y} &=\mathrm {T} \mathrm {Q} '+\mathrm {G} {\text{,}}\end{aligned}}}$

où

• X est une matrice n×m de prédicteurs,
• Y est une matrice n×p de variables réponses,
• T et U sont des matrices n×l de cotes, composantes ou facteurs,
• P et Q sont les matrices m×l et p×l des charges,
• et les matrices E et F sont les termes d'erreur, présumés être i.i.d. normaux.

S. Wold et coll. expliquent ainsi les différentes matrices de la régression PLS :

Les matrices de cotes T multipliées par les matrices de charges P' sont un bon résumé de X garantissant que les termes de résidus E soient faibles. De même U et Q' sont de bons résumés de Y, minimisant F. Les cotes de X sont aussi de bons prédicteurs de Y (voir équ.(4) ci-dessus)[i 4].

Les résidus G expriment l'écart entre l'observation et le modèle. On retrouve le modèle de régression multivarié (1)

${\displaystyle {\begin{aligned}\mathrm {Y} &=\mathrm {X} \mathrm {W} ^{*}\mathrm {Q} '+\mathrm {F} \\{\text{où }}\mathrm {B} &=\mathrm {W} ^{*}\mathrm {Q} '{\text{,}}\end{aligned}}}$

fig.02 : Algorithme général de la régression PLS d'après Svante Wold et coll[i 4].

L'algorithme PLS, inspiré de l'approche PLS et de NIPALS, est itératif[i 5]. Chaque étape de l'itération produit une composante.

L'algorithme classique de la régression PLS multivariée (PLS2) est défini ci-dessous[b 6] :

Si ${\displaystyle a\leqslant \mathrm {rang} (\mathrm {X} )}$

Étape1 – ${\displaystyle \mathrm {X} _{0}\longleftarrow \mathrm {X} }$, ${\displaystyle \mathrm {Y} _{0}\longleftarrow \mathrm {Y} }$

Étape2 – ${\displaystyle {\text{pour }}h=1,2,\dots ,a}$

Étape2.1 – ${\displaystyle u_{h}\longleftarrow \mathrm {Y} _{h-1}[,1]}$

Étape2.2 – répéter jusqu'à convergence de ${\displaystyle w_{h}}$

Étape2.2.1 – ${\displaystyle w_{h}\longleftarrow \mathrm {X} '_{h-1}u_{h}/u'_{h}u_{h}}$

Étape2.2.2 – normer ${\displaystyle w_{h}}$ à 1

Étape2.2.3 – ${\displaystyle t_{h}\longleftarrow \mathrm {X} _{h-1}w_{h}/w'_{h}w_{h}}$

Étape2.2.4 – ${\displaystyle c_{h}\longleftarrow \mathrm {Y} '_{h-1}t_{h}/t'_{h}t_{h}}$

Étape2.2.5 – ${\displaystyle u_{h}\longleftarrow \mathrm {Y} _{h-1}c_{h}/c'_{h}c_{h}}$

Étape2.3 – ${\displaystyle p_{h}\longleftarrow \mathrm {X} '_{h-1}t_{h}/t'_{h}t_{h}}$

Étape2.4 – ${\displaystyle \mathrm {X} _{h}\longleftarrow \mathrm {X} _{h-1}-t_{h}p'_{h}}$

Étape2.5 – ${\displaystyle \mathrm {Y} _{h}\longleftarrow \mathrm {Y} _{h-1}-t_{h}c'_{h}}$

La qualité de l'estimation est estimée par validation croisée, ou bien à l'aide du R² ou du Q² de Stone-Geisser[b 7].

L'interprétation se fait de la même manière qu'en analyse en composante principale, à l'aide de graphes montrant les observations sur les axes des variables latentes[i 6]. Les paramètres t et u sont porteurs des similarités/dissimilarités entre les objets (individus)[i 4]. Toujours d'après S. Wold et coll, les poids w et c donnent des informations sur les corrélations entre Y et X. Les résidus de Y servent à apprécier l'ajustement au modèle, les résidus de X servent à détecter les valeurs aberrantes.

Géométriquement, la régression PLS est une projection sur un hyperplan de l'espace des X, de telle manière que ce plan soit une bonne estimation du nuage de points des X et dont les coordonnées des projections (les p) soient de bons prédicteurs des Y[i 4].