GPT-3

Une prépublication arXiv du 28 mai 2020 par un groupe de 31 ingénieurs et chercheurs de OpenAI[note 1] présentait le développement de GPT-3, un modèle linguistique de troisième génération[4] - [5]. L'équipe a augmenté la capacité de GPT-3 de plus de deux ordres de grandeur par rapport à celle de son prédécesseur, GPT-2[6]. Le nombre plus élevé de paramètres de GPT-3 lui confère une plus grande précision par rapport aux versions précédentes de plus faible capacité[7]. La capacité de GPT-3 est dix fois supérieure à celle du NLG de Turing de Microsoft[5].

60 % de l'ensemble de données pondérées de pré-apprentissage pour le modèle GPT-3 proviennent d'une version filtrée du corpus Common Crawl (en) consistant en 410 milliards d'unités textuelles sous-lexicales encodées par l'algorithme BPE[4]. Les autres sources sont 19 milliards d'unités du corpus WebText2 représentant 22 % du total pondéré, 12 milliards d'unités du corpus Books1 représentant 8 %, 55 milliards du corpus Books2 représentant 8 % et 3 milliards d'unités de Wikipedia représentant 3 %[4]. GPT-3 a été entrainé sur des centaines de milliards de mots et est capable de programmer en CSS, JSX, Python, entre autres[8].

Les données d'apprentissage de GPT-3 étant globales, il ne nécessite pas d'apprentissage supplémentaire pour des tâches linguistiques distinctes[8]. Le 11 juin 2020, OpenAI a annoncé que les utilisateurs pouvaient demander l'accès à son API GPT-3 - un ensemble d'outils d'apprentissage machine - pour qu'OpenAI augmente sa valeur d'usage[9] - [10]. L'invitation décrivait comment cette API disposait d'une interface texte qui permettait d'effectuer presque « n'importe quelle tâche en anglais », au lieu du cas d'utilisation unique habituel[9]. Selon un utilisateur, qui avait accès à une version préliminaire privée de l'API GPT-3 d'OpenAI, GPT-3 pouvait écrire un texte cohérent avec seulement quelques instructions simples[11].

Parce que GPT-3 peut « générer des articles de presse que les évaluateurs humains ont du mal à distinguer des articles écrits par des humains »[5], GPT-3 pourrait avoir des applications nuisibles[4]. Dans leur article du 28 mai 2020, les chercheurs ont décrit en détail ces effets potentiels du GPT-3[5] qui comprennent « la désinformation, le spam, l'hameçonnage, l'abus des processus légaux et gouvernementaux, la rédaction frauduleuse d'essais universitaires sous prétexte d'ingénierie sociale »[4]. Les auteurs attirent l'attention sur ces dangers pour demander des recherches sur l'atténuation des risques[4].

L'artiste Mario Klingemann a utilisé GPT-3 pour générer des pastiches de grands auteurs (en anglais)[2].

Parmi les utilisations possibles figurent des recherches en langue naturelle dans des documents. Par exemple GPT-3 peut répondre en langue naturelle à la question « pourquoi le pain est gonflé » en se basant sur l'article Wikipédia « pain »[12].

Il est possible d'avoir des discussions rapides, complexes et cohérentes en langue naturelle dans le but de générer des idées, recommander des livres et des films, raconter des histoires interactives ou encore participer à une réunion[12]. GPT-3 peut fournir une assistance aux clients automatique en ligne sur les sites internet par exemple[12].

GPT-3 permet d'analyser et synthétiser du texte sous forme de tableaux, de résumer des discussions, d'élargir des contenus à partir d'idées de base[12].

GPT-3 peut être utilisé pour traduire des textes d'une langue à l'autre[12]. Il peut également transformer un texte en langue courante en un texte juridique[13].

GPT-3 peut être utilisé pour générer des codes informatiques à partir d'instructions en langue naturelle par exemple des boutons, des tableaux de données, ou même la recréation de la page d'accueil de Google[14]

GPT-3 peut être utilisé pour aider à la rédaction de textes et d'autres supports marketing par les startups Copy.ai[15], Jasper.ai[16], TextCortex AI[17] et Hypotenuse AI[18].

À l'instar de modèles concurrents comme BERT de Google ou XLM-R de Facebook, GPT-3 n'est pas capable de raisonnement, par exemple de raisonnement par analogie ; en effet, il n'a pas de représentation du monde[19].

Du fait de sa taille, GPT-3 ne peut pas être exécuté sur un ordinateur personnel. Le stockage des paramètres à lui seul requiert au moins 175 gigaoctets de mémoire vive, ce qui en 2020 excède largement la capacité des machines typiquement disponibles sur le marché, ou constructibles à partir de matériel grand public.

Contrairement à GPT-2, le précédent modèle de langage développé par OpenAI, GPT-3 est livré sous forme d'une API et le code source n'est pas ouvert.

En 2020, la start-up française Nabla a conçu un agent conversationnel médical en anglais basé sur GPT-3, malgré les contre-indications d'OpenAI. Lors des phases de test, le chatbot a conseillé à un patient simulé de se suicider[20] - [21].

Wu Dao (chinois traditionnel : 悟道 ; pinyin : wùdào ; litt. « chemin de la conscience »), est un projet chinois environ dix fois plus volumineux[22].

Bloom est un projet financé au moins en partie par le gouvernement français, et publié sous une licence nommée « RAIL » (Responsible AI License)[23].

GPT-J, un modèle conçu sur une architecture similaire, mais publié sous license libre et de taille suffisamment petite pour être exécutable par un ordinateur personnel.

• BERT (modèle de langage)
• ChatGPT
• Intelligence artificielle
• Intelligence artificielle générale

• Vidéo de démonstration en anglais d'une conversation avec GPT-3