Analyse en composantes indépendantes

Quand l'information mutuelle est choisie comme fonction de contraste particulière, l'analyse en composantes indépendantes du vecteur aléatoire ${\displaystyle {\underline {x}}=\left(x_{1},x_{2},\dots ,x_{p}\right)}$ revient à identifier le modèle génératif linéaire instantané non bruité suivant :

${\displaystyle {\underline {x}}=A{\underline {s}}}$

où les composantes ${\displaystyle s_{i}}$ du vecteur ${\displaystyle {\underline {s}}=\left(s_{1},s_{2},\dots ,s_{n}\right)}$ sont mutuellement indépendantes et la matrice ${\displaystyle A}$ est de taille fixe ${\displaystyle p\times n}$. Néanmoins, les conditions d'identifiabilité suivantes doivent être vérifiées pour que l'on soit assuré de pouvoir retrouver le modèle (théoriquement):

• au plus une des sources (composantes de ${\displaystyle {\underline {s}}}$) peut suivre une distribution normale (gaussienne),
• le rang de la matrice ${\displaystyle A}$ doit être égal au nombre de sources (à retrouver).

La première condition résulte de la nullité des moments et cumulants d'ordres supérieurs à deux pour une distribution gaussienne. L'indépendance revient alors à une simple décorrélation et l'hypothèse d'indépendance statistique ne permet pas de séparer les sources gaussiennes. Il est cependant possible de retrouver les autres sources non gaussiennes.

La seconde condition impose d'observer au moins autant de données qu'il y a de sources à identifier. Les travaux sur les représentations parcimonieuses ont cependant montré qu'il était possible d'extraire plus de sources que d'observations disponibles. Réciproquement, il est toujours possible de réduire la dimension des observations disponibles, au moyen d'une analyse en composantes principales (ACP) par exemple.

Quand ces deux conditions d'identifiabilité sont vérifiées, il reste cependant deux indéterminations:

• Changer l'ordre des sources ne modifie pas leur indépendance mutuelle. En conséquence, les sources identifiées par ACI ne sont pas ordonnées (au contraire de l'ACP où les sources sont ordonnées selon les valeurs propres de la matrice de variance/covariance)
• L'indépendance statistique est conservée quand les composantes sont multipliées par une constante non nulle. Autrement dit, il y a une indétermination sur l'amplitude des sources.

Ces deux indéterminations ne sont pas propres au modèle linéaire instantané non bruité et se vérifient dans le cas général.

Plus réaliste que le modèle précédent, cela revient à identifier le modèle suivant :

${\displaystyle {\underline {x}}=A{\underline {s}}+\sigma }$

où ${\displaystyle \sigma }$ est le bruit.

Le mélange peut être convolutif. Néanmoins on peut alors se ramener à un modèle linéaire, en utilisant une transformée de Fourier par exemple.

Il s'agit du cas le plus général où les observations résultent d'une transformation non linéaire des sources:

${\displaystyle {\underline {x}}=F({\underline {s}})}$

où ${\displaystyle F(.)}$ est une fonction non linéaire quelconque. Nous ne connaissons pas de méthode générale dans ce cas. Certains auteurs ont néanmoins proposé des méthodes pour des cas particuliers. Il s'agit d'un domaine de recherche très actif. Dans le cas le plus général, le problème étant mal-posé la solution est loin d'être unique[10].

Architecture de l'algorithme HJ[5].

Le premier algorithme d'ACI (du nom de deux de ses auteurs[2] - [4] - [5] - [6]) procède d'une approche neuromimétique: il s'agit d'une utilisation des outils du traitement du signal pour modéliser un phénomène inspiré du fonctionnement neuronal. Cet algorithme était de type Robins-Monro, et recherchait itérativement des zéros communs de deux fonctions[11]. Il est basé sur un réseau de neurones récursif dont les poids sont les termes non diagonaux de la matrice de séparation ${\displaystyle W}$, les termes diagonaux étant contraints à la nullité. L'estimation des sources est ainsi donnée par :

${\displaystyle {\underline {y}}=(I+W)^{-1}{\underline {x}}}$

Avec la règle d'adaptation suivante pour les termes non diagonaux :

${\displaystyle \Delta w_{ij}=f(y_{i})\times g(y_{j})}$

${\displaystyle f(.)}$ et ${\displaystyle g(.)}$ étant des fonctions non linéaires impaires différentes à choisir en fonction des densités de probabilité des sources à estimer. Des travaux ultérieurs[12] ont justifié la forme de cette règle d'apprentissage et ont montré que la fonction non linéaire devait être choisie au sens du maximum de vraisemblance. La mesure d'indépendance sous-jacente à cet algorithme est l'annulation des cumulants d'ordre supérieur.

Cette famille d'algorithmes a été proposée par Comon en 1991. Ces algorithmes procèdent en balayant toutes les paires de sorties à tour de rôle. L'algorithme CoM peut calculer soit tous les cumulants des observations (comme JADE), soit à la demande, à chaque fois qu'une rotation optimale est calculée. Le choix peut être fait de manière à minimiser la complexité numérique.

Plusieurs versions ont été proposées, suivant le contraste utilisé. En 1991, il s'agissait par exemple de la somme des modules carrés des cumulants marginaux des sorties: ce contraste est maintenant appelé CoM2. Plus tard, un autre contraste, CoM1, a été proposé par Moreau: la somme des modules des cumulants marginaux des sorties. Lorsque les sources ont des cumulants marginaux toutes de même signe, il a été montré que la valeur absolue peut être retirée. Cette simplification a donné lieu à une autre solution algébrique compacte, développée par Comon.

D'autres formes plus générales de contraste basés sur les cumulants ont été ensuite proposées dans la littérature[13].

(Joint Approximate Diagonalization of Eigenmatrices)

Un tenseur de cumulants (à l'ordre quatre) est une matrice à quatre dimensions contenant tous les cumulants croisés d'ordre quatre. C'est aussi une application linéaire d'un espace de matrice de taille ${\displaystyle N\times N}$ dans un autre espace de matrice de même taille. La diagonalisation de cette application linéaire permet d'effectuer la séparation voulue sous certaines conditions[14]. En effet, l'indépendance statistique est vue ici comme la recherche à tendre vers la nullité de tous les moments et cumulants (à tous les ordres), ce qui revient à annuler tous les éléments non diagonaux de la matrice associée à l'application linéaire sus-citée. Cardoso et Souloumiac ont proposé[15] une méthode de diagonalisation jointe permettant de mettre en pratique ce principe. Cela revient à minimiser la somme du carrés de tous les cumulants (à l'ordre quatre) « hors diagonale » (cumulant entre deux signaux différents). En pratique, JADE nécessite le calcul de tous les cumulants d'ordre quatre, et a donc une complexité en ${\displaystyle O(n^{4})}$.

Hyvärinen et Oja proposent d'estimer les composantes indépendantes au moyen d'une mesure de « non gaussianité »[9]. En effet, le théorème central limite stipule que la somme de variables indépendantes tend asymptotiquement vers une distribution normale. Dans le cas considéré, les estimations sont une telle somme de variables indépendantes (${\displaystyle {\underline {y}}=WA{\underline {s}}}$) et tendent donc vers une distribution gaussienne. En cherchant à maximiser la non gaussianité de ${\displaystyle {\underline {y}}}$, chacune de ses composantes tendra vers une estimation des sources indépendantes (aux deux indéterminations près). Plusieurs mesures de « non gaussianité » ont été proposées, la plus usitée étant la néguentropie qui est la différence entre l'entropie d'une variable gaussienne et l'entropie du vecteur mesuré. Hyvärinen a proposé différentes approximations de cette mesure permettant une mise en œuvre algorithmique du principe exposé.

Pour éviter que toutes les estimations convergent vers la même source, il est nécessaire d'imposer l'orthogonalité des ${\displaystyle y_{i}}$ (sous contrainte de blanchiment, cela revient à décorréler les données, au moyen d'une analyse en composantes principales par exemple). Deux méthodes existent pour imposer cette orthogonalité. La version dite « par déflation » estime itérativement les sources et orthogonalise chaque estimation au moyen d'un procédé de Gram-Schmidt. La version « symétrique » orthogonalise simultanément toutes les estimations.

« Fast-ICA » met ainsi en évidence de forts liens entre l'analyse en composantes indépendantes et la poursuite de projection.

Formulé par Linsker[16], ce principe stipule que l'implémentation d'un modèle des capacités cognitives des mammifères au moyen d'un réseau de neurones artificiel doit être telle que le taux d'information transmis d'une couche de neurones à la suivante soit maximal. Ce taux d'information peut notamment être mesuré par l'entropie lorsque l'on se place dans le formalisme de Shannon.

Nadal et Parga ont montré[17] que sous certaines conditions, ce principe était équivalent au principe de réduction de redondance[18] qui énonce que le but des systèmes sensoriels des mammifères est de coder efficacement les stimuli (visuels, sonores...). En se plaçant à nouveau dans le formalisme de Shannon, cela revient à minimiser la redondance d'information de leur environnement et obtenir un codage factoriel (i.e un codage qui minimise les dépendances statistiques entre dimensions, aussi appelé codage à entropie minimale).

Bell et Sejnowsky ont exploité cette équivalence[19] en l'écrivant:

${\displaystyle {\frac {\partial I(y,x)}{\partial w}}={\frac {\partial H(y)}{\partial w}}}$

où ${\displaystyle I(y,x)\,}$ est l'information mutuelle entre les sorties ${\displaystyle y\,}$ et les entrées ${\displaystyle x\,}$ d'un réseau de neurones, ${\displaystyle w\,}$ les paramètres de ce réseau et ${\displaystyle H(y)\,}$ l'entropie des sorties. La relation ci-dessus exprime exactement que rendre maximale l'information mutuelle des sorties des réseaux (i.e obtenir un code factoriel le plus efficace possible) est identique à rendre maximale l'information qui « passe » à travers le réseau.

Ils en déduisirent une règle d'apprentissage des paramètres du réseau qui, après quelques simplifications et l'exploitation d'une règle du type « gradient relatif »[20], revient à :

${\displaystyle \Delta W=[I-Ktanh(y)y^{T}-yy^{T}]W}$

K étant une matrice diagonale dont les éléments valent 1 pour les sources sur-gaussiennes et -1 pour les sources sous-gaussiennes.

Il a été montré une équivalence de cette approche et de l'approche par maximum de vraisemblance.