Hallucination (intelligence artificielle)
Dans le domaine de l’intelligence artificielle, une hallucination est une réponse manifestement fausse qui est présentée comme un fait certain[1]. Par exemple, un chatbot qui invente un chiffre d’affaires pour une entreprise sans avoir de données à ce sujet[2]. Ce phénomène est appelé « hallucination » par analogie avec le phénomène de l’hallucination en psychologie humaine.
Le terme hallucination en intelligence artificielle a pris de l'importance vers 2022 parallèlement au déploiement des modèles de langage basés sur l'apprentissage profond tels que ChatGPT[3].
En traitement du langage naturel
Si le terme hallucination avait déjà été utilisé pour désigner certaines erreurs de modèles de classification d'images[4], c'est l'apparition des modèles de langage de grande taille (abrégé LLM de l'anglais large language model) qui en généralise l'usage.
En août 2022, Meta averti lors de la sortie de BlenderBot 3 que le système est sujet aux « hallucinations » que Meta définit comme des « déclarations confiantes qui ne sont pas vraies »[1]. Le 15 novembre 2022, Meta dévoile une démo de Galactica, conçue pour « stocker, combiner et raisonner sur les connaissances scientifiques ». Le contenu généré par Galactica est accompagné de l'avertissement « les sorties peuvent ne pas être fiables ! Les modèles de langage ont tendance à halluciner le texte ». Meta retire la démo de Galactica le 17 novembre en raison de son caractère offensant et de son inexactitude[5].
Le 30 novembre 2022, OpenAI publie en version bêta ChatGPT qui est basé sur le modèle de fondation GPT-3.5 (une révision de GPT-3). Le professeur Ethan Mollick de Wharton qualifie ChatGPT de « stagiaire omniscient, désireux de plaire, qui vous ment parfois ». L’experte en science des données Teresa Kubacka raconte avoir délibérément inventé l'expression « électromagnon inversé cycloïdal » et testé ChatGPT en l'interrogeant sur ce phénomène inexistant. ChatGPT a inventé une réponse plausible appuyée par des citations plausibles qui l'ont obligée à vérifier si elle avait accidentellement tapé le nom d'un phénomène réel. D'autres chercheurs tels qu'Oren Etzioni rejoignent les conclusions de Kubacka pour dire que de tels logiciels peuvent souvent vous donner « une réponse très convaincante qui est tout simplement fausse »[6]. Lorsque Fast Company demande à ChatGPT de générer un article de presse sur le dernier trimestre financier de Tesla ; ChatGPT crée un article cohérent, mais invente les chiffres financiers qu'il contient[2].
Selon un document interne de Microsoft, ces systèmes d’IA sont « conçus pour être persuasifs, pas véridiques ». Cela signifie que les résultats peuvent sembler très réalistes mais inclure des affirmations qui ne sont pas vraies[7].
En 2023, les analystes considèrent les hallucinations comme un problème majeur de ces technologies, un dirigeant de Google identifiant la réduction des hallucinations comme une tâche « fondamentale » pour le concurrent de ChatGPT, Google Bard[8] - [9].
Méthodes d'atténuation
Le phénomène d'hallucination n'est pas encore totalement compris[10]. Par conséquent, des recherches sont toujours en cours pour tenter d'atténuer son apparition[11]. En particulier, il a été montré que les modèles de langage non seulement hallucinent mais amplifient également les hallucinations, même pour ceux qui ont été conçus pour atténuer ce problème[12].
Opposition Ă la terminologie
Certains chercheurs en IA s'opposent à l'utilisation du mot hallucination pour les modèles d'apprentissage profond car cela sous-entend qu’ils ont une forme de conscience, ce qui n’est pas le cas[13]. Les grands modèles de langage sont comme des « perroquets stochastiques »[14], en analysant les relations entre les mots d’un grand corpus de données textuelles, ils sont capables de générer un texte nouveau qui imite le style et le ton d’un humain sans comprendre le sens du texte généré[15].
Notes et références
- (en) « Meta warns its new chatbot may forget that it's a bot », sur ZDNET (consulté le )
- (en) Connie Lin, « How to trick OpenAI’s ChatGPT »
, sur Fast Company, - Terry Yue Zhuo, Yujin Huang, Chunyang Chen et Zhenchang Xing, « Exploring AI Ethics of ChatGPT: A Diagnostic Analysis », arXiv:2301.12867 [cs],‎ (lire en ligne, consulté le )
- (en-US) Tom Simonite, « AI Has a Hallucination Problem That's Proving Tough to Fix », Wired,‎ (ISSN 1059-1028, lire en ligne, consulté le )
- (en-US) Benj Edwards, « New Meta AI demo writes racist and inaccurate scientific literature, gets pulled », sur Ars Technica, (consulté le )
- (en) « A new AI chatbot might do your homework for you. But it's still not an A+ student », sur npr.org
- (en-US) Karen Weise et Cade Metz, « When A.I. Chatbots Hallucinate », The New York Times,‎ (ISSN 0362-4331, lire en ligne, consulté le )
- (en) Kif Leswing, « Microsoft's Bing A.I. made several factual errors in last week's launch demo », CNBC,‎ (lire en ligne, consulté le )
- (en) « Google cautions against 'hallucinating' chatbots, report says », Reuters,‎ (lire en ligne, consulté le )
- Ji, Lee, Frieske et Yu, « Survey of Hallucination in Natural Language Generation », ACM Computing Surveys, Association for Computing Machinery, vol. 55, no 12,‎ , p. 1–38 (DOI 10.1145/3571730, arXiv 2202.03629, S2CID 246652372, lire en ligne [PDF], consulté le )
- Nie, Yao, Wang et Pan, « A Simple Recipe towards Reducing Hallucination in Neural Surface Realisation », Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, Association for Computational Linguistics,‎ , p. 2673–2679 (DOI 10.18653/v1/P19-1256, S2CID 196183567, lire en ligne, consulté le )
- Dziri, Milton, Yu et Zaiane, « On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models? », Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Association for Computational Linguistics,‎ (DOI 10.18653/v1/2022.naacl-main.38, S2CID 250242329, lire en ligne, consulté le )
- « Emily M. Bender (she/her) (@emilymbender@dair-community.social) », sur Distributed AI Research Community, (consulté le )
- Emily M. Bender, Timnit Gebru, Angelina McMillan-Major et Shmargaret Shmitchell, « On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 », Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, Association for Computing Machinery, fAccT '21,‎ , p. 610–623 (ISBN 978-1-4503-8309-7, DOI 10.1145/3442188.3445922, lire en ligne, consulté le )
- « « Parole de machines », d’Alexei Grinbaum : la chronique « philosophie » de Roger-Pol Droit », Le Monde.fr,‎ (lire en ligne, consulté le )