Pseudo-inverse

Soient ${\displaystyle f}$ une application linéaire entre deux espaces vectoriels ${\displaystyle E}$ et ${\displaystyle F}$ et ${\displaystyle g}$ une application linéaire de ${\displaystyle F}$ dans ${\displaystyle E}$. Ces deux applications sont pseudo-inverses l'une de l'autre si les deux conditions suivantes sont satisfaites :

${\displaystyle f\circ g\circ f=f}$ et ${\displaystyle g\circ f\circ g=g}$.

Dans ce cas, les propriétés suivantes sont vérifiées :

• l'espace ${\displaystyle E}$ est la somme directe du noyau de ${\displaystyle f}$ et de l'image de ${\displaystyle g}$ ;
• l'espace ${\displaystyle F}$ est la somme directe du noyau de ${\displaystyle g}$ et de l'image de ${\displaystyle f}$ ;
• les applications ${\displaystyle f}$ et ${\displaystyle g}$ induisent des isomorphismes réciproques entre leurs images ;
• si l'application ${\displaystyle f}$ est inversible, alors son inverse est l'application ${\displaystyle g}$.

Cette définition se traduit naturellement sous forme matricielle dans le cas d'espaces vectoriels de dimension finie.

Réciproquement, soit ${\displaystyle f}$ une application linéaire entre deux espaces vectoriels ${\displaystyle E}$ et ${\displaystyle F}$, dont le noyau admette un supplémentaire ${\displaystyle K}$ dans ${\displaystyle E}$ et dont l'image admette un supplémentaire ${\displaystyle N}$ dans ${\displaystyle F}$. Alors la restriction de ${\displaystyle f}$ à ${\displaystyle K}$ induit un isomorphisme entre ${\displaystyle K}$ et son image. L'application réciproque de l'image de ${\displaystyle f}$ vers ${\displaystyle K}$ s'étend de façon unique par l'application nulle sur ${\displaystyle N}$, en une application linéaire ${\displaystyle g}$ de ${\displaystyle F}$ dans ${\displaystyle E}$ qui est par construction pseudo-inverse de ${\displaystyle f}$.

Il y a donc correspondance biunivoque entre les pseudo-inverses d'une application linéaire et les couples de supplémentaires pour son noyau et son image.

Remarque : ceci s'applique évidemment aux cas où l'un des supplémentaires ${\displaystyle K}$ et ${\displaystyle N}$ est réduit à l'origine ou à l'espace vectoriel tout entier, ce qui a lieu en particulier lorsque ${\displaystyle f}$ est inversible : ${\displaystyle K}$ est alors égal à ${\displaystyle E}$ et ${\displaystyle N}$ est réduit à l'origine.

Il n'y a pas de choix canonique d'un supplémentaire en général, mais une structure d'espace euclidien ou hermitien sur les espaces vectoriels source et but permet d'en déterminer un par la définition de l'orthogonal. Cette définition du pseudo-inverse correspond au « pseudo-inverse de Moore-Penrose » pour les matrices.

Étant donné une matrice ${\displaystyle A}$ à coefficients réels ou complexes avec ${\displaystyle n}$ lignes et ${\displaystyle p}$ colonnes, son pseudo-inverse ${\displaystyle A^{+}}$ est l'unique matrice à ${\displaystyle p}$ lignes et ${\displaystyle n}$ colonnes vérifiant les conditions suivantes :

1. ${\displaystyle AA^{+}A=A\,}$ ;
2. ${\displaystyle A^{+}AA^{+}=A^{+}}$ (${\displaystyle A^{+}}$ est un inverse pour le semi-groupe multiplicatif) ;
3. ${\displaystyle (AA^{+})^{*}=AA^{+}}$ (${\displaystyle AA^{+}}$ est une matrice hermitienne) ;
4. ${\displaystyle (A^{+}A)^{*}=A^{+}A}$ (${\displaystyle A^{+}A}$ est également hermitienne).

Ici, la notation ${\displaystyle M^{*}}$ désigne la matrice adjointe à ${\displaystyle M}$, donc la transposée pour le cas réel.

Cette matrice peut s'obtenir comme une limite :

${\displaystyle A^{+}=\lim _{\delta \to 0}(A^{*}A+\delta I)^{-1}A^{*}=\lim _{\delta \to 0}A^{*}(AA^{*}+\delta I)^{-1}}$

qui existe même si les matrices produits (${\displaystyle AA^{*}}$) et (${\displaystyle A^{*}A}$) ne sont pas inversibles.

${\displaystyle {\begin{aligned}(A^{+})^{+}&=A\\({}^{t}\!A)^{+}&={}^{t}\!(A^{+})\\({\overline {A}})^{+}&={\overline {A^{+}}}\\(A^{*})^{+}&=(A^{+})^{*}\\\end{aligned}}}$

Identités valables pour toute matrice ${\displaystyle A}$
(à coefficients réels ou complexes)

L’opération de pseudo-inversion :

• est involutive ;
• commute avec la transposition et la conjugaison ;
• est un antimorphisme sur le produit, sous certaines hypothèses : soient ${\displaystyle A}$ et ${\displaystyle B}$ deux matrices dont le produit ${\displaystyle AB}$ existe. Si l’une au moins est unitaire, ou si les deux matrices sont de rang égal à leur dimension commune, alors ${\displaystyle (AB)^{+}=B^{+}A^{+}}$ ;
• n’est pas continue en 0 (la matrice nulle). En effet, elle est homogène de degré –1 : pour tout scalaire ${\displaystyle \alpha }$ non nul, ${\displaystyle (\alpha A)^{+}={\frac {1}{\alpha }}A^{+}}$. Plus généralement, elle n’est continue qu’au voisinage des matrices inversibles (ou de rang maximum pour des matrices non carrées[4]).

Dans le cas matriciel, ${\displaystyle P=AA^{+}}$ et ${\displaystyle Q=A^{+}A}$ sont des projecteurs orthogonaux, c'est-à-dire des matrices hermitiennes (${\displaystyle P=P^{*}}$, ${\displaystyle Q=Q^{*}}$) et idempotentes (${\displaystyle P^{2}=P}$ et ${\displaystyle Q^{2}=Q}$), et l'on a les résultats suivants[5] :

• ${\displaystyle PA=A=AQ}$ et ${\displaystyle A^{+}P=A^{+}=QA^{+}}$ ;
• ${\displaystyle P}$ est le projecteur orthogonal sur l'image de ${\displaystyle A}$ (égale à l'orthogonal du noyau de ${\displaystyle A^{*}}$) ;
• ${\displaystyle Q}$ est le projecteur orthogonal sur l'image de ${\displaystyle A^{*}}$ (égal à l'orthogonal du noyau de ${\displaystyle A}$) ;
• ${\displaystyle I-P}$ est le projecteur orthogonal sur le noyau de ${\displaystyle A^{*}}$ ;
• ${\displaystyle I-Q}$ est le projecteur orthogonal sur le noyau de ${\displaystyle A}$.

Si la matrice ${\displaystyle A}$, avec ${\displaystyle n}$ lignes et ${\displaystyle p}$ colonnes, est de rang ${\displaystyle k}$, alors elle peut s'écrire comme un produit de matrices de même rang ${\displaystyle A=BC}$, où ${\displaystyle B}$ possède ${\displaystyle n}$ lignes et ${\displaystyle k}$ colonnes et ${\displaystyle C}$ possède ${\displaystyle k}$ lignes et ${\displaystyle p}$ colonnes. Dans ce cas les produits (${\displaystyle CC^{*}}$) et (${\displaystyle B^{*}B}$) sont inversibles et la relation suivante est vérifiée :

${\displaystyle A^{+}=C^{*}(CC^{*})^{-1}(B^{*}B)^{-1}B^{*}}$.

Des approches optimisées existent pour le calcul de pseudo-inverses de matrices par blocs.

Algorithmiquement, le pseudo-inverse s'obtient à partir de la décomposition en valeurs singulières : muni de cette décomposition ${\displaystyle A=U\sigma V^{*}}$, on calcule

${\displaystyle A^{+}=V\sigma ^{+}U^{*}}$,

où ${\displaystyle \sigma ^{+}}$est le pseudo-inverse de ${\displaystyle \sigma }$. La matrice ${\displaystyle \sigma }$ est constituée de deux blocs : une matrice diagonale et une matrice nulle. Son pseudo-inverse est une matrice dont les éléments non nuls sont obtenus en inversant les éléments non nuls (de la diagonale) de ${\displaystyle \sigma }$, et en prenant le transposé de la matrice ainsi obtenue.

À partir d'une matrice dont le pseudo-inverse est connu, il existe des algorithmes spécialisés qui effectuent le calcul plus rapidement pour des matrices en rapport avec la première. En particulier, si la différence n'est que d'une ligne ou colonne changée, supprimée ou ajoutée, des algorithmes itératifs peuvent exploiter cette relation.

${\displaystyle X^{+}=\left\{{\begin{array}{rl}0&{\mbox{si}}\ X=0\,\\{\frac {1}{\left\Vert X\right\Vert ^{2}}}X^{*}&{\mbox{sinon}}.\\\end{array}}\right.}$

Pseudo-inverse d'un vecteur colonne

• Le pseudo-inverse d’une matrice nulle est sa transposée (également nulle).
• Le pseudo-inverse d’un vecteur colonne non nul est son vecteur adjoint divisé par sa norme au carré.
• Plus généralement, si le rang de ${\displaystyle A}$ est égal à son nombre de lignes[1], la matrice ${\displaystyle B}$ peut être choisie égale à l’identité et dans ce cas :

  ${\displaystyle A^{+}=A^{*}(AA^{*})^{-1}}$.

• De même, si le rang de ${\displaystyle A}$ est égal à son nombre de colonnes,

  ${\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}}$.

• A fortiori si la matrice ${\displaystyle A}$ est inversible, son pseudo-inverse est son inverse.
• Si le pseudo-inverse de ${\displaystyle A^{*}A}$ est connu, on peut en déduire ${\displaystyle A^{+}}$ par l’égalité :

  ${\displaystyle A^{+}=(A^{*}A)^{+}A^{*}}$ ;

• De même, si ${\displaystyle (AA^{*})^{+}}$ est connu, le pseudo-inverse de ${\displaystyle A}$ est donné par :

  ${\displaystyle A^{+}=A^{*}(AA^{*})^{+}}$.

Régularisation Tychonoff

• (en) « Pseudoinverse », sur PlanetMath
• (en) Eric W. Weisstein, « Pseudoinverse », sur MathWorld
• (en) Eric W. Weisstein, « Moore-Penrose Matrix Inverse », sur MathWorld
• (en) Systèmes linéaires & Pseudo-Inverse

• (de) W. Mackens et H. Voß , « Mathematik I für Studierende der Ingenieurwissenschaften »
• (de) A. Kielbasinski et H.Schwetlick, « Numerische lineare Algebra », Deutscher Verlag der Wissenschaften, 1988