Régularisation de Tikhonov

L'approche classique pour résoudre un système d'équations linéaires surdéterminées exprimées par

${\displaystyle A\mathbf {x} =\mathbf {b} }$

est connue comme la méthode des moindres carrés et consiste à minimiser le résidu

${\displaystyle \|A\mathbf {x} -\mathbf {b} \|^{2}}$

où ${\displaystyle \|\cdot \|}$ est la norme euclidienne. Cependant, la matrice A peut-être mal conditionnée ou non inversible, conduisant à un grand nombre de solutions.

Dans le but de privilégier une solution particulière dotée de propriétés qui semblent pertinentes, un terme de régularisation est introduit dans la minimisation :

${\displaystyle \|A\mathbf {x} -\mathbf {b} \|^{2}+\|\Gamma \mathbf {x} \|^{2}}$

La « matrice de Tikhonov » Γ doit être judicieusement choisie pour le problème considéré. Le vecteur x est celui que l'on cherche à exprimer, souvent comme une approximation discrétisée d'une fonction continue. Dans de nombreux cas, la matrice Γ est la matrice identité Γ = I, ce qui favorise les solutions dont les normes sont petites. Dans d'autres cas des opérateurs passe-haut, par exemple un opérateur de différence ou un opérateur de Fourier pondéré peut être utilisé pour éliminer les variations rapides de la fonction lorsque l'on a de bonnes raisons de croire que le vecteur x est l'approximation d'une fonction continue.

Cette régularisation améliore le conditionnement du problème, permettant ainsi de trouver une solution numérique.

Une solution numérique que l'on va appeler ${\displaystyle {\hat {x}}}$ est donnée par :

${\displaystyle {\hat {x}}=(A^{T}A+\Gamma ^{T}\Gamma )^{-1}A^{T}\mathbf {b} }$

L'effet de la régularisation dépend du choix de la matrice Γ. Lorsque Γ est nulle, on en revient au cas de la solution, non régularisée, des moindres carrés, pourvu que (A^TA)⁻¹ existe.

Le problème de régularisation généralisée s'écrit

${\displaystyle \|A\mathbf {x} -\mathbf {b} \|_{P}^{2}+\|\mathbf {x} -\mathbf {x} _{0}\|_{Q}^{2}\,}$

où :

• x₀ désigne l'espérance de x,
• Q = Γ^TΓ désigne l'inverse de la matrice de covariance de x,
• P désigne l'inverse de la matrice de covariance de b,
• ${\displaystyle \left\|\cdot \right\|_{P}^{2}}$ désigne x^T P x, soit le carré de la norme pondérée.

Sa solution généralisée est alors :

${\displaystyle {\hat {\mathbf {x} }}=\mathbf {x} _{0}+(A^{T}PA+Q)^{-1}A^{T}P(\mathbf {b} -A\mathbf {x} _{0}).\,}$