Réseau neuronal à capsules

La première conceptualisation de capsules au sein d'un réseau neuronal date de 2011 par les travaux de Geoffrey E. Hinton et son équipe dans le cadre d'auto-encodeur[3]. Ces travaux sont déjà motivés à résoudre les problèmes d'invariance du CNN, notamment à la translation via son opération de pooling, ce qui entraîne de la perte d'informations, que ce soit en réduisant la quantité de détails à gérer pour les couches suivantes mais aussi en faisant disparaître des connaissances sur la position des motifs reconnus. Pour résoudre cela, les capsules vont chercher à encapsuler les résultats d'opérations internes plus complexes qu'une simple convolution et générer des vecteurs aux caractères plus informatifs.

En 2017, Sara Sabour et al. proposent une version moderne de l'architecture du réseau neuronal à capsules en proposant d'utiliser des opérations de convolution aussi à l'intérieur des capsules ainsi qu'un algorithme de routing pour mieux lier les capsules entre elles au moment de la rétropropagation durant l'entraînement du réseau[1]. De plus, là où les travaux de capsules dans des auto-encodeurs avaient pour but la reconstruction d'image, dans ces derniers travaux, le réseau développé peut être découpé en deux parties, une première de classification et une seconde de reconstruction qui sert aussi à régulariser l'entraînement.

Une capsule est un ensemble de neurones de même type liés sous forme de vecteur. Le type de ces neurones peut aussi bien être un simple scalaire[3] que le résultat d'un opération de convolution[1] - [4]. Là où l'activation, ou probabilité d'observation, d'un neurone artificiel traditionnel s'exprime par la valeur du scalaire à sa sortie, l'activation d'une capsule est représentée par la norme de son vecteur. L'activation des différents neurones composant le vecteur d'une capsule vont quant à eux représenter divers attributs du motif reconnu, comme sa position, sa taille ou encore son orientation.

Deux types de couche de capsules peuvent être dénombrés. Le premier type, nommé PrimaryCaps[1] propose des capsules procédant à des opérations de convolutions et qui ont ainsi pour but d'extraire des motifs complexes et leurs attributs à reconnaître dans l'image passée en entrée du réseau. Le second type, nommé DigitCaps[1], termine le réseau et effectue des opérations semblables à une couche entièrement connectée et produit en sortie un nombre de vecteur égal au nombre de classe que le réseau doit reconnaître étant donné que le vecteur ayant la plus grande norme représente la classification de l'image d'entrée.

Les capsules d'une couche supérieure prennent les sorties des capsules de la couche inférieure et vont se lier aux capsules formant des clusters, c'est-à-dire les capsules ayant des activations similaires pour une même image d'entrée. Les capsules d'une couche supérieure vont ainsi assembler et mettre en relation les différentes caractéristiques spatiales extraites par les capsules des couches inférieures.

C'est grâce aux différentes particularités des capsules que certains problèmes des CNNs sont résolus. Pour un CNN, la reconnaissance d'un visage dans une image, par exemple, se fait uniquement par l'activation de différents résultats de convolution qui reconnaitront pour l'un un œil, l'autre un nez et un dernier une bouche, peu importe leur position dans l'image à cause de l'invariance à la translation produite par le pooling, mais aussi de la position des yeux par rapport au nez, par rapport à la bouche. Un CNN reconnaitra donc un visage dans une image s'il identifie un œil en bas à droite de l'image, un nez en son centre et une bouche en haut à gauche par exemple. À l'inverse, grâce aux propriétés des capsules, un CapsNet, en plus de lui aussi identifier la présence des différentes parties du visage, estimera, grâce aux valeurs des vecteurs des capsules, la taille, la position et l'orientation de ces différentes parties, mais aussi leur position les uns par rapport aux autres grâce à l'enchaînement de couches de capsules et n'identifiera ainsi un visage que si les yeux sont reconnus au dessus du nez, lui-même au dessus de la bouche[2].

L'algorithme de routing par accord constitue l'algorithme de rétropropagation entre les couches de capsules. Il s'agit d'un algorithme itératif qui a pour but de lier les capsules de couches inférieures avec celles de couches supérieures si l'activation des vecteurs de ces dernières est plus importante lorsqu'elles reçoivent les sorties des premières. L'algorithme a donc des conséquences similaires à un mécanisme d'attention que l'on peut retrouver dans d'autres architectures d'apprentissage profond en permettant aux capsules de couches supérieures ou bien de s'intéresser à certaines capsules de la couche inférieure ou bien de les ignorer[4].

Le vecteur ${\displaystyle {\hat {u}}_{j|i}}$ d'une capsule ${\displaystyle j}$ à partir du vecteur de sortie d'une capsule ${\displaystyle i}$ de la couche précédente ${\displaystyle u_{i}}$ est calculée à l'aide d'une matrice de translation et de rotation ${\displaystyle W_{ij}}$ :

${\displaystyle {\widehat {u}}_{j|i}=W_{ij}*u_{i}}$.

Le vecteur de sortie ${\displaystyle s_{j}}$ d'une capsule ${\displaystyle j}$ est donc la somme des vecteurs ${\displaystyle {\hat {u}}_{j|i}}$ avec les ${\displaystyle i}$ capsules de la couche précédente associés à un coefficient ${\displaystyle c_{i}j}$ :

${\displaystyle s_{j}=\sum _{i}c_{ij}*{\hat {u}}_{j|i}}$.

Là où la matrice de poids ${\displaystyle W_{i}j}$ est entraîné normalement à partir de l'algorithme de rétropropagation du gradient, la matrice de poids ${\displaystyle c_{i}j}$ est quant à elle entraînée à partir de l'algorithme de routing par accord [1] :

procédure ROUTING(ûj|i, r, l)
    Pour toutes capsules i dans la couche l et pour toutes capsules j dans la couche (l + 1) : bij ← 0 
    Pour r itérations faire :                            
        Pour toutes capsules i dans la couche l : ci ← softmax(bij)
        Pour toutes capsules j dans la couche (l + 1) : sj ← Σi(cij * ûj|i)                          
        Pour toutes capsules j dans la couche (l + 1) : vj ← squash(sj)
        Pour toutes capsules i dans la couche l et pour toutes capsules dans la couche (l + 1) : bij ← bij + ûj|i • vj
    retourne vj

avec ${\displaystyle b_{i}j}$ représentant la probabilité qu'une capsule ${\displaystyle i}$ de couche ${\displaystyle l}$ soit connectées avec une capsule ${\displaystyle j}$ de couche ${\displaystyle l+1}$. La valeur de ce paramètre est mise à jour selon un nombre d'itération ${\displaystyle r}$ fixé au début de l'entraînement dont la valeur est souvent de 3[1] - [2]. La fonction softmax sur le paramètre ${\displaystyle b_{i}j}$ est calculée :

${\displaystyle softmax(b_{ij})={\frac {\exp(b_{ij})}{\sum _{k}\exp(b_{ik})}}}$.

Une nouvelle fonction d'activation spécifique aux capsules a aussi été développé afin que la norme du vecteur les composant soit comprise entre 0 et 1 :

${\displaystyle squash(s_{j})={\frac {\left\vert \left\vert s_{j}\right\vert \right\vert ^{2}}{1+\left\vert \left\vert s_{j}\right\vert \right\vert ^{2}}}*{\frac {s_{j}}{\left\vert \left\vert s_{j}\right\vert \right\vert }}}$.

L'architecture moderne d'un réseau neuronal à capsules[1] garde son comportement d'auto-encodeur de ses premiers travaux[3]. Elle est bien composée de deux parties, une première faisant office d'encodeur et de classifieur et une seconde de décodeur et de reconstruction.

La partie encodeur est généralement composée d'une première étape constituée de plusieurs couches de convolution afin d'extraire les premiers motifs et caractéristiques spatiales de l'image d'entrée et qui serviront à la deuxième étape composée d'une ou plusieurs couches[5] de PrimaryCaps afin d'apprendre des motifs plus complexes et les mettre en relation grâce à l'algorithme de routing. La dernière étape, constituée d'une couche de DigitCaps, sert à la classification du réseau mais constitue aussi le point d'entrée de la partie décodeur.

La partie décodeur récupère la valeur d'une des capsules de la couche DigitCaps de l'encodeur, durant l'entraînement, il s'agit de la capsule associée à la bonne classe de l'image d'entrée, en dehors de l'entraînement, on choisit la capsule qui a été choisie pour la classification, à savoir celle avec la plus grande norme. Il s'agit ensuite d'appliquer dessus un enchaînement, soit de couches entièrement connectées, soit de couches de déconvolution afin de calculer une sortie à la dimensionnalité égale à celle de l'image d'entrée. Le but de cette partie de décodeur est de faire en sorte que la sortie soit l'image d'entrée reconstruite à partir de la capsule choisie[1] - [5].

La partie encodeur du réseau de neurone à capsules suit un entraînement supervisé étant donné que l'on doit connaître la classe associée à l'image d'entrée. La partie décodeur quant à elle, à l'instar d'un auto-encodeur, est entraîné de manière non supervisée puisqu'on demande uniquement au réseau de reconstruire l'image d'entrée, sans label associé[1].

La fonction de perte de la partie encodeur, marge loss, peut elle aussi être décomposée en deux parties, une première qui est calculée lorsque la bonne capsule obtient la norme la plus grande mais où sa probabilité de classification est tout de même inférieure à une valeur arbitraire fixée ${\displaystyle m^{+}}$. L'autre partie est calculée dans le cas où la mauvaise capsule a été choisie avec une probabilité supérieure à une valeur ${\displaystyle m^{-}}$ :

${\displaystyle L_{k}=\underbrace {T_{k}*max(0,m^{+}-\left\vert \left\vert v_{k}\right\vert \right\vert )^{2}} _{Bonne\ Classification}+\alpha *\underbrace {(1-T_{k})*max(0,\left\vert \left\vert v_{k}\right\vert \right\vert -m^{-})^{2}} _{Mauvaise\ Classification}\ \ \ \ \ T_{k}={\begin{cases}1,&{\text{capsule de classe }}k{\text{ est présente}}\\0,&{\text{sinon}}\end{cases}}}$

avec α le traditionnel pas d'apprentissage.

La fonction de perte de la partie décodeur est quant à elle un simple calcul de l'erreur quadratique entre l'image d'entrée et l'image reconstruite en sortie et fait aussi office de régularisation afin de mieux aider le réseau à classifier la bonne capsule[1].

Ces deux fonctions de perte sont pondérées de sorte que le poids de la partie décodeur ne représente que 0,000 5 % de l'erreur globale du réseau au moment de la rétropropagation.