Grand modèle de langage

Les LLM sont pré-entraînés sur de grands ensembles de données textuelles comme Common Crawl, The Pile, MassiveText[7], Wikipedia ou GitHub. Ces ensembles de données contiennent jusqu'à 10 000 milliards de mots.

Le stock de données linguistiques de haute qualité se situe entre 4,6 et 17 billions de mots, soit un ordre de grandeur similaire à celui des plus grands ensembles de données textuelles disponibles[8].

En général, on peut caractériser un LLM avec quatre paramètres : la taille du modèle, la taille du jeu de données d'apprentissage, le coût de l'apprentissage et la performance après apprentissage. On constate empiriquement que ces paramètres sont liées par des lois statistiques simples, appelées "lois d'échelle".

Une loi de mise à l'échelle particulière (" Chinchilla scaling ") pour le LLM entraîné de manière autorégressive pour une époque, avec un calendrier de taux d'apprentissage log-log, stipule que[9]:

$${\displaystyle {\begin{cases}C=C_{0}ND\\L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$

où les variables sont :

• ${\displaystyle C}$ est le coût d'entraînement du modèle, en FLOPs ;
• ${\displaystyle N}$ est le nombre de paramètres du modèle ;
• ${\displaystyle D}$ est le nombre de jetons dans l'ensemble d'apprentissage ;
• ${\displaystyle L}$ est la perte de log-vraisemblance négative moyenne par jeton (nats /jeton), obtenue par le LLM entraîné sur l'ensemble de données de test ;

et les paramètres statistiques sont :

• ${\displaystyle C_{0}=6}$, ce qui signifie qu'il en coûte 6 FLOP par paramètre pour s'entraîner sur un jeton. Notez que le coût d'entraînement est beaucoup plus élevé que le coût d'inférence, puisqu’il en coûte 1 à 2 FLOP par paramètre pour inférer sur un jeton ;
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$ .

Sur un certain nombre de repères en langage naturel impliquant des tâches telles que la réponse aux questions, les modèles ne fonctionnent pas mieux que le hasard jusqu'à ce qu'ils atteignent une certaine échelle (dans ce cas, mesurée par le calcul d'entraînement), moment auquel leurs performances augmentent fortement. Ce sont des exemples de capacités émergentes.

Généralement les performances de grands modèles de langage sur diverses tâches peuvent être extrapolées sur la base des performances de modèles plus petits similaires. Cependant, les grands modèles subissent parfois un « déphasage discontinu » où le modèle acquiert soudainement des capacités substantielles non vues dans les modèles plus petits. Celles-ci sont connues sous le nom de « capacités émergentes » et ont fait l'objet d'études approfondies. Les chercheurs notent que de telles capacités « ne peuvent pas être prédites simplement en extrapolant les performances de modèles plus petits »[10]. Ces capacités sont découvertes plutôt que programmées ou conçues, dans certains cas seulement après le déploiement public du LLM[6]. Des centaines de capacités émergentes ont été décrites. Les exemples incluent l'arithmétique en plusieurs étapes, la passation d'examens de niveau universitaire, l'identification du sens voulu d'un mot[10], l'incitation à la chaîne de pensée[10], le décodage de l'alphabet phonétique international, le décryptage des lettres d'un mot, l'identification du contenu offensant dans les paragraphes de l’hinglish (une combinaison de l'hindi et de l'anglais) et la génération d'un équivalent anglais aux proverbes kiswahili[11].

Les LLM génèrent parfois des affirmations fausses qui ne semblent pas être justifiées par leurs données d'entraînement, on parle alors d'« hallucination »[12].

Les LLM sont des fonctions mathématiques dont l'entrée et la sortie sont des listes de nombres. Pour que ceux-ci marchent avec des mots une conversion est nécessaire.

Cette conversion est effectuée à l'aide d'un tokenizer. Un tokenizer est une fonction bijective qui établit une correspondance entre des textes et des listes d'entiers. Le tokenizer est généralement d'abord adapté à l'ensemble de données d'entraînement complet, puis gelé, avant que le LLM ne soit entraîné. Un choix courant est le codage par paires d'octets.

Une autre fonction des tokenizers est la compression de texte, qui épargne du temps de calcul. Des mots ou expressions courants tels que « où est » peuvent être encodés dans une seule unité lexicale (ou jeton), au lieu d'être encodés dans 7 caractères. La série OpenAI GPT utilise un tokenizer où une unité lexicale correspond à environ 4 caractères, soit environ 0,75 mots dans un texte anglais courant[13]. Un texte anglais peu courant est moins prévisible, donc moins compressible, nécessitant ainsi plus de jetons pour être encodé.

Un tokenizer convertit une suite de caractères en un nombres entier dans la plage ${\displaystyle \{0,1,2,...,V-1\}}$, on appelle ${\displaystyle V}$ la taille de vocabulaire.

Certains sont capables de gérer des textes arbitraires en opérant généralement directement sur Unicode, mais d'autres non. Lorsqu'il rencontre du texte non encodable, un tokenizer génère une unité lexicale spéciale (par exemple 0) qui représente un "texte inconnu". Ceci est souvent écrit comme [UNK], comme dans l'article du modèle BERT.

Une autre unité lexicale spéciale couramment utilisée est [PAD] (souvent 1), pour "padding". Ceci est utilisé car les LLM sont généralement utilisés sur différents lots de texte à la fois, et ces textes ne sont pas codés à la même longueur. Étant donné que les LLM exigent généralement que l'entrée soit un tableau de taille fixe, les textes les plus courts doivent être complétés.

La sortie d'un LLM est un vecteur ${\displaystyle y\in \mathbb {R} ^{V}}$où ${\displaystyle V}$ est sa taille de vocabulaire (défini ci-dessus). Le vecteur ${\displaystyle y}$ est ensuite passé par une fonction softmax pour obtenir ${\displaystyle softmax(y)}$ ;

• le vecteur ${\displaystyle y}$ est généralement appelé le vecteur logit non normalisé ;
• le vecteur ${\displaystyle softmax(y)}$ est appelé le vecteur de probabilité.

Puisque le vecteur ${\displaystyle softmax(y)}$ a ${\displaystyle V}$ entrées, toutes non négatives, et dont la somme est égale à 1, on peut l'interpréter comme une distribution de probabilité sur le vocabulaire du LLM (indexé par ${\displaystyle \{0,1,2,...,V-1\}}$).

Les premiers LLM ont été entraînés sur des corpus contenant de l'ordre de milliards de mots.

GPT-1, le premier modèle de la série numérotée de modèles de transformateurs génératifs pré-formés d'OpenAI, a été entrainé en 2018 sur BookCorpus, composé de 985 millions de mots[15]. La même année, BERT a été entraîné sur une combinaison de BookCorpus et de Wikipedia anglais, totalisant 3,3 milliards de mots. Depuis lors, les corpus d'entraînement pour les LLM ont augmenté de plusieurs ordres de grandeur, atteignant jusqu'à des billions de jetons.

Les premiers LLM sont coûteux à entraîner en termes de calcul. Une étude de 2020 a estimé le coût de l'entraînement d'un modèle de 1,5 milliard de paramètres (2 ordres de grandeur inférieurs à l'état de l'art à l'époque) à 1,6 million de dollars. Les progrès des logiciels et du matériel ont considérablement réduit les coûts, avec un article de 2023 faisant état d'un coût de 72 300 heures A100-GPU pour entraîner un modèle de 12 milliards de paramètres.

Pour le LLM basé sur Transformer, il en coûte 6 FLOP par paramètre pour s'entraîner sur un jeton. Notez que le coût de l'entraînement est beaucoup plus élevé que le coût d'inférence, où il en coûte 1 à 2 FLOP par paramètre pour inférer sur un jeton.

Le réglage fin est la pratique consistant à modifier un modèle de langage pré-entraîné existant en l'entraînant (de manière supervisée) sur une tâche spécifique (par exemple, l'analyse des sentiments, la reconnaissance d'entités nommées ou le marquage d'une partie du discours). C'est une forme d'apprentissage par transfert. Cela implique généralement l'introduction d'un nouvel ensemble de poids reliant la couche finale du modèle de langage à la sortie de la tâche en aval. Les poids d'origine du modèle de langage peuvent être "figés", de sorte que seule la nouvelle couche de poids les reliant à la sortie est apprise pendant l'apprentissage. Alternativement, les poids d'origine peuvent recevoir de petites mises à jour (éventuellement avec des couches antérieures gelées).

Popularisé par GPT-3[10], un problème populaire à résoudre pour les LLMs est le suivant : on donne un texte que le modèle doit résoudre en fournissant une complétion (via l'inférence). On nomme cette approche prompt en quelques coups" car le prompt comprend un petit nombre d'exemples de prompt/complétion similaires (problème, solution). Par exemple, une tâche d'analyse des sentiments consistant à étiqueter le sentiment d'une critique de film pourrait être généré comme suit[10] :

Critique : Ce film est nul.
Sentiment : négatif
Critique : Ce film est fantastique !
Sentiment :

Si le modèle affiche "positif", alors il a correctement résolu la tâche. Dans le prompt à partir de zéro, aucun exemple de résolution n'est fourni. Un exemple de prompt à partir de zéro pour la même tâche d'analyse des sentiments serait

Le sentiment associé à la critique de film "Ce film est fantastique !" est

Il a été démontré que les performances en quelques coups de LLM permettent d'obtenir des résultats compétitifs sur les tâches de traitement du langage, dépassant parfois les approches de réglage fin de pointe antérieures. Des exemples de telles tâches traitement du langage sont la traduction, la réponse aux questions, les tâches de complétion, le décryptage des mots et l'utilisation d'un nouveau mot dans une phrase. La création et l'optimisation de telles génération s'appellent l'ingénierie des prompts.

Le réglage des instructions est une forme de réglage fin conçu pour faciliter des interactions d'incitation au prompt à partir de zéro plus naturelles et plus précises. Étant donné une entrée de texte, un modèle de langage pré-formé générera une complétion qui correspond à la distribution du texte sur lequel il a été entraîné. Un modèle de langage naïf donné l'invite "Écrire un essai sur les principaux thèmes de Hamlet ." pourrait fournir un achèvement tel que « Une pénalité de retard de 10 % par jour sera appliquée aux soumissions reçues après le 17 mars ». Dans le réglage des instructions, le modèle de langage est entraîné sur de nombreux exemples de tâches formulées sous forme d'instructions en langage naturel, ainsi que des réponses appropriées.

Diverses techniques de réglage des instructions ont été appliquées dans la pratique. Un exemple, "self-instruct", affine le modèle de langage sur un ensemble d'exemples d'apprentissage qui sont eux-mêmes générés par un LLM ( amorcé à partir d'un petit ensemble initial d'exemples générés par l'homme).

Le protocole InstructGPT d'OpenAI implique un réglage fin supervisé sur un ensemble de données de paires générées par l'homme (invite, réponse), suivi d'un apprentissage par renforcement à partir de la rétroaction humaine (RLHF), dans lequel un modèle de récompense a été appris supervisé sur un ensemble de données de préférences humaines, puis ce modèle de récompense a été utilisé pour entraîner le LLM lui-même par une optimisation proximale des politiques.

La mesure la plus couramment utilisée de la performance d'un modèle de langage est sa perplexité sur un corpus de texte donné. La perplexité est une mesure de la capacité d'un modèle à prédire le contenu d'un ensemble de données ; plus la probabilité que le modèle attribue à l'ensemble de données est élevée, plus la perplexité est faible. Mathématiquement, la perplexité est définie comme l'exponentielle de la moyenne de log-vraisemblance négative par jeton :

$${\displaystyle \log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(Pr({\text{token}}_{i}|{\text{context for token}}_{i}))}$$

ici ${\displaystyle N}$ est le nombre de jetons dans le corpus de texte, et le "contexte du jeton i" dépend du type spécifique de LLM utilisé. Si le LLM est autorégressif, alors le "contexte pour le jeton i" est le segment de texte apparaissant avant le jeton i. Si le LLM est masqué, alors "contexte pour le jeton i" est le segment de texte entourant le jeton i.

Étant donné que les modèles de langage peuvent suradapter à leurs données d'apprentissage, les modèles sont généralement évalués en fonction de leur perplexité sur un ensemble de tests de données invisibles. Cela présente des défis particuliers pour l'évaluation de grands modèles de langage. Au fur et à mesure qu'ils sont entraînés sur des corpus de texte de plus en plus volumineux largement extraits du Web, il devient de plus en plus probable que les données d'entraînement des modèles incluent par inadvertance des parties d'un ensemble de tests donné.

Un grand nombre d'ensembles de données de test et de benchmarks ont également été développés pour évaluer les capacités des modèles de langage sur des tâches en aval plus spécifiques. Les tests peuvent être conçus pour évaluer une variété de capacités, y compris les connaissances générales, le raisonnement de bon sens et la résolution de problèmes mathématiques.

Une grande catégorie d'ensembles de données d'évaluation est les ensembles de données de questions-réponses, consistant en des paires de questions et de réponses correctes, par exemple, ("Les Sharks de San Jose ont-ils remporté la Coupe Stanley?" , "Non"). Une tâche de réponse aux questions est considérée comme un « livre ouvert » si l'invite du modèle comprend un texte à partir duquel la réponse attendue peut être dérivée (par exemple, la question précédente pourrait être jointe à un texte qui comprend la phrase « Les Sharks ont atteint la coupe Stanley finales une fois, perdant contre les Penguins de Pittsburgh en 2016." ). Sinon, la tâche est considérée comme "livre fermé", et le modèle doit s'appuyer sur les connaissances retenues pendant l'entrainement. Voici quelques exemples d'ensembles de données de réponse aux questions couramment utilisés : TruthfulQA, Web Questions, TriviaQA et SQuAD.

Les ensembles de données d'évaluation peuvent également prendre la forme d'une complétion de texte, le modèle sélectionnant le mot ou la phrase la plus probable pour compléter une invite, par exemple : "Alice était amie avec Bob. Alice est allée rendre visite à son amie, ____".

Certains repères composites ont également été développés, qui combinent une diversité d'ensembles de données et de tâches d'évaluation différents. Les exemples incluent GLUE, SuperGLUE, MMLU, BIG-bench et HELM.

Auparavant, il était courant de rapporter les résultats sur une partie non conservée d'un ensemble de données d'évaluation après avoir effectué un réglage fin supervisé sur le reste. Il est maintenant plus courant d'évaluer un modèle pré-formé directement par des techniques d'incitation, bien que les chercheurs varient dans les détails de la façon dont ils formulent des invites pour des tâches particulières, en particulier en ce qui concerne le nombre d'exemples de tâches résolues qui sont associés à l'invite (c. valeur de n dans l'invite n -shot).

En raison du rythme rapide d'amélioration des grands modèles de langage, les repères d'évaluation ont souffert de courtes durées de vie, les modèles de pointe « saturant » rapidement les repères existants, dépassant les performances des annotateurs humains, conduisant à des efforts pour remplacer ou augmenter le repère avec tâches plus exigeantes.

Certains ensembles de données ont été construits de manière contradictoire, en se concentrant sur des problèmes particuliers sur lesquels les modèles de langage existants semblent avoir des performances inhabituellement médiocres par rapport aux humains. Un exemple est l'ensemble de données TruthfulQA, un ensemble de données de questions-réponses composé de 817 questions auxquelles les modèles de langage sont susceptibles de répondre de manière incorrecte en imitant les faussetés auxquelles ils ont été exposés à plusieurs reprises pendant l'entraînement. Par exemple, un LLM peut répondre « Non » à la question « Pouvez-vous apprendre de nouveaux tours à un vieux chien ? » en raison de son exposition à l'idiome anglais , vous ne pouvez pas apprendre de nouveaux tours à un vieux chien, même si ce n'est pas littéralement vrai.

Un autre exemple d'ensemble de données d'évaluation contradictoire est Swag et son successeur, HellaSwag, des collections de problèmes dans lesquels l'une des multiples options doit être sélectionnée pour compléter un passage de texte. Les complétions incorrectes ont été générées par échantillonnage à partir d'un modèle de langage et filtrage avec un ensemble de classificateurs. Les problèmes qui en résultent sont insignifiants pour les humains, mais au moment où les ensembles de données ont été créés, les modèles de langage de pointe étaient peu précis. Par exemple:

Nous voyons un panneau indiquant un centre de remise en forme. Nous voyons ensuite un homme parler à la caméra et assis et allongé sur un ballon d'exercice. L'homme...
a) montre comment augmenter l'efficacité de l'exercice en faisant monter et descendre des balles.
b) bouge tous ses bras et ses jambes et développe beaucoup de muscles.
c) joue ensuite la balle et nous assistons à une démonstration de graphisme et de taille de haie.
d) effectue des redressements assis tout en étant sur le ballon et en parlant.

BERT sélectionne b) comme l'achèvement le plus probable, bien que la bonne réponse soit d).

• Stephen Ornes, « Modèles massifs de langage. D'où viennent les coups de génie de l'IA ? », Pour la science, n^o 549,‎ juillet 2023, p. 46-51

• Modèles de fondation
• Modèle de langage
• Intelligence artificielle générale
• GPT-3