Transformeur

Les RNNs chainés traitent les jetons (tokens en anglais) séquentiellement, en maintenant un vecteur d'état qui contient une représentation des données vues après chaque jeton. Pour traiter le n-ième jeton, le modèle combine l'état représentant la séquence d'entrée jusqu'au (n-1)-ième jeton avec l'information du nouveau jeton pour créer un nouvel état représentant la séquence d'entrée jusqu'au n-ième jeton. Théoriquement, l'information d'un jeton peut se propager loin vers le début de la séquence d'entrée, si à chaque point l'état continue à encoder de l'information relative au jeton. Mais en pratique, ce mécanisme est imparfait : à cause du problème de l'évanescence du gradient, l'état du modèle à la fin du traitement d'une longue séquence d'entrée n'arrive pas à se rappeler d'information précise à propos des premiers jetons.

Ce problème fut résolu par l'introduction des mécanismes d'attention. Ces mécanismes permettent à un modèle de regarder directement, et d'extraire, l'état de n'importe quel jeton précédent dans la séquence. La couche d'attention peut accéder à tous les précédents états et leur donner un poids selon leur pertinence par rapport au jeton courant, fournissant ainsi une information saillante sur les jetons éloignés.

Un exemple remarquable de l'utilité de l'attention est la traduction. Dans un système de traduction d'une phrase en anglais vers une phrase équivalente en français, le premier mot français de la séquence de sortie dépend le plus probablement du début de la séquence d'entrée. Cependant, dans un modèle classique d'encodeur-décodeur à base de LSTMs, dans le but de produire le premier mot de la séquence de mots en français, le modèle reçoit seulement le vecteur d'état du dernier mot en anglais. Théoriquement, ce vecteur peut encoder l'information de toute la phrase en anglais, donnant ainsi au modèle toute la connaissance nécessaire, mais en pratique cette information n'est souvent pas bien préservée. En introduisant un mécanisme d'attention, le modèle peut à la place apprendre des états liés aux jetons anglais précédents lorsqu'il produit le début d'une sortie en français, donnant ainsi une meilleure compréhension de ce qu'il traduit.

Ajoutés aux RNNs, les mécanismes d'attention ont amené de larges gains de performance. L'introduction du transformeur a mis en lumière le fait que les mécanismes d'attention étaient suffisamment puissants pour se suffire à eux-mêmes, sans nécessiter de RNNs avec attention. Le transformeur utilise un mécanisme d'attention sans RNN et traite tous les jetons en même temps en calculant les poids d'attention liés entre eux. Le fait que les transformeurs ne s'appuient pas sur un traitement séquentiel, et qu'ils permettent de mettre facilement en œuvre de la parallélisation, permet aux transformeurs d'être entrainés plus efficacement sur de grands jeux de données.

Les modules élémentaires d'un transformeur sont les unités d'un produit matriciel pondéré. Lorsqu'une séquence est fournie au modèle transformeur, les poids d'attention sont calculés entre eux simultanément. L'unité d'attention fournit des enchâssements (embeddings) pour chaque jeton qui contiennent non seulement de l'information sur le jeton courant lui-même, mais aussi une information pondérée des autres jetons pertinents.

Concrètement, pour chaque unité d'attention, le transformeur apprend trois matrices de poids ; les poids de la requête (query) ${\displaystyle W_{Q}}$, les poids de la clé (key) ${\displaystyle W_{K}}$, et les poids de la valeur (value) ${\displaystyle W_{V}}$. Pour chaque jeton ${\displaystyle i}$ de la séquence d'entrée, le vecteur d'enchâssement du mot (word embedding) ${\displaystyle x_{i}}$ est multiplié avec chacune des trois matrices pour produire un vecteur de requête ${\displaystyle q_{i}=x_{i}W_{Q}}$, un vecteur de clé ${\displaystyle k_{i}=x_{i}W_{K}}$, et un vecteur de valeur ${\displaystyle v_{i}=x_{i}W_{V}}$.

Les poids d'attention sont calculés en utilisant les vecteurs de requête et de clé : le poids d'attention ${\displaystyle a_{ij}}$ du jeton ${\displaystyle i}$ sur le jeton ${\displaystyle j}$ est la résultante du produit matriciel entre ${\displaystyle q_{i}}$ et ${\displaystyle k_{j}}$. Les poids d'attention sont divisés par la racine carrée de la dimension des vecteurs clé, ${\displaystyle {\sqrt {d_{k}}}}$, ce qui stabilise les gradients durant l'entrainement, puis passent à travers une fonction softmax qui normalise les poids de manière que leur somme soit égale à ${\displaystyle 1}$. Le fait que ${\displaystyle W_{Q}}$ et ${\displaystyle W_{K}}$ soient des matrices différentes permet à l'attention d'être non symétrique: si un jeton ${\displaystyle i}$ affecte un autre jeton ${\displaystyle j}$ (i.e. que ${\displaystyle q_{i}\cdot k_{j}}$ soit grand), cela n'implique pas forcément que le jeton ${\displaystyle j}$ affecte le jeton ${\displaystyle i}$ (i.e. ${\displaystyle q_{j}\cdot k_{i}}$ est grand). La sortie de l'unité d'attention pour le jeton ${\displaystyle i}$ est la somme pondérée des vecteurs de valeurs de tous les jetons, pondérée par ${\displaystyle a_{ij}}$, l'attention du jeton ${\displaystyle i}$ sur chaque autre jeton.

Le calcul d'attention pour l'ensemble des jetons peut être exprimé comme un calcul d'une grande matrice, ce qui est utile pour l'entrainement car les optimisations de calcul dans les opérations matricielles rendent l'opération rapide.

${\displaystyle {\begin{aligned}{\text{Attention}}(Q,K,V)={\text{softmax}}\left({\frac {QK^{\mathrm {T} }}{\sqrt {d_{k}}}}\right)V\end{aligned}}}$

Un ensemble composé des matrices ${\displaystyle \left(W_{Q},W_{K},W_{V}\right)}$ est appelé une tête d'attention. L'initialisation de la valeur des poids de ces matrices étant aléatoire, certaines valeurs initiales peuvent déstabiliser le processus d'apprentissage. D'où l'utilisation de plusieurs têtes d'attention dans chaque couche d'un transformeur pour rendre plus robuste l'apprentissage.

Étant donné que les transformeurs possèdent plusieurs têtes d'attention, ils ont la possibilité d'être traités en parallèle, ce qui rend le traitement de la séquence d'entrée rapide. Les multiples sorties de l'attention multi-tête sont ensuite concaténées pour être passées aux couches de réseaux de neurones à propagation avant.

La grande majorité des transformeurs performants sont pré-entrainés sur de grands ensembles de données, avant d'être affinés sur le problème visé ("fine-tuning"). Ce pré-entrainement est ainsi en général effectué sur des problèmes d'apprentissage auto-supervisé pour ne pas être limité par le besoin de données labellisées.

En vision, la première proposition à démontrer ce que peuvent apporter les transformeurs par rapport aux réseaux convolutifs, est une application directe de l'encodeur d'un transformeur classique sur une séquence de morceaux des images. Ce réseau, baptisé ViT[2], a pu dépasser la performance atteinte par les CNNs (Convolutional Neural Networks en anglais) de l'époque. Il a été pré-entrainé avec un jeu de données propriétaire de Google, JFT-3B, contenant quelques 3 milliards d'images.