Décodage d'expériences visuelles depuis le cerveau humain
Pouvoir analyser, comprendre et décoder les informations transitant dans le cerveau humain est un défi auquel de plus en plus de monde parmi la communauté scientifique mais aussi industrielle s'intéressent[1]. En effet, la compréhension d'un phénomène aussi complexe que celui du fonctionnement d'un cerveau pourrait révolutionner complètement la façon dont nous appréhendons le monde[1].
Dans cet objectif, un grand nombre de scientifiques s'intéressent plus particulièrement au lobe occipital. Cette région du cerveau, permettant la reconnaissance des orientations et des contours, est la plus propice à ce genre d'analyse car idéalement située. Elle offre ainsi aux scientifiques l'opportunité de peut-être un jour, en comprendre le fonctionnement. Ouvrant ainsi la porte à la compréhension d'autres régions du cerveau aujourd'hui trop complexes pour les appréhender[2].
Historique
Depuis plus de 30 ans[3] l'Homme s'attache à analyser le fonctionnement du cerveau humain. Dans cet objectif on a mis au point divers procédés visant à répondre à cette problématique. Parmi ces derniers on peut citer l'imagerie par résonance magnétique fonctionnelle (IRMf), la tomographie par émission de positons, la tomographie par émission de positons, l'électroencéphalogramme, le magnétoencéphalographie ou encore l'imagerie optique (Optical Intrinsic Imaging Techniques).
Cependant le déchiffrement à proprement parler du cerveau a vraiment pris son envol il y a environ 10 ans, lorsque les scientifiques ont réalisé que beaucoup d'informations restaient inexploitées lors d'une analyse par résonance magnétique fonctionnelle[2].
Premiers pas
La première étude visant à décoder le cerveau a été menée par Jim Haxby au Dartmouth College dans le New Hampshire en 2001. La première approche était d'associer une zone du cerveau qui s'active en réponse à un concept (visage, bâtiment, vêtement etc). De cette manière, on peut savoir si le sujet pensait à une maison ou une voiture par exemple[2]. Néanmoins il est évident que cette technique ne met pas en avant le déchiffrement d'une expérience visuelle et ne reste efficace que lorsque l'on contrôle le panel d'images proposées au sujet. À priori il serait impossible de dissocier une maison bleue d'une maison rose par exemple.
À la suite de ces différentes observations, les chercheurs ont essayé de déchiffrer à partir du cerveau des images simples que le sujet regardait. Ces dernières correspondant à une alternance de lignes noires et blanches avec une orientation particulière. Cette démarche a été adoptée car il était facile d'analyser la partie du cerveau responsable de ce traitement, celle-ci correspondant au cortex visuel primaire chargé entre autres du codage des orientations de contour, et donc précisément le schéma de nos images de références.
Premiers décodeurs
C'est en 2008 que le premier décodeur à proprement parler a vu le jour. Ce dernier permettant en effet de retrouver une image parmi un panel de 120 images de référence.
En 2011, une équipe japonaise a également mis en avant avec succès qu'il était possible d'entraîner un décodeur grâce à un cerveau, puis d'utiliser ce décodeur pour déchiffrer l'activité cérébrale d'un autre cerveau dans le but de reconstituer de nouvelles images qui n'avaient pas encore servi à l’étalonnage de cet autre cerveau. La technique utilisée se base sur l'analyse de l'activité cérébrale et prédit l'intensité de chaque voxel en utilisant celle déjà observée sur le sujet initial dans le but de reconstituer l'image visualisée. Chaque voxel représentant l'activité de centaines de milliers de neurones réunis. Par conséquent, chacun n'est pas représenté comme un filtre unique, mais plutôt comme une banque de milliers de ces filtres[4].
Reconstitutions actuelles
Introduction
Pour comprendre le modèle de codage, il est utile de voir le processus de perception comme un filtre sur l'entrée visuelle afin d'en extraire des informations utiles. Le cortex visuel humain se compose de milliards de neurones. Chaque neurone peut être considéré comme un filtre qui prend un stimulus visuel comme entrée, et produit une réponse de dopage en sortie. Dans le cortex visuel, ces filtres de neurones sont très tôt sélectifs et ce pour les fonctions simples, telles que la position spatiale, la direction du mouvement et la vitesse. C'est sur ce processus de filtrage que se base le modèle développé ci-dessous.
À l'heure actuelle, le meilleur outil visant à analyser l'activité cérébrale de manière non invasive est l'IRMf. En effet, il dispose d'une bonne résolution spatiale qui permet donc d'analyser de manière suffisamment précise les différentes zones du cerveau qui sont actives lors de telles expériences. néanmoins, cet outil reste relativement lent et beaucoup d'expériences visuelles sont dynamiques, par exemple la perception, les rêves ou encore les hallucinations en sont quelques-unes. D'où le problème de rapidité d'analyse concernant l'IRMf[5].
Des études récentes, se basant sur l'utilisation de l'imagerie par résonance magnétique fonctionnelle dans le but de modéliser l'activité cérébrale sollicitée lors de la visualisation de patterns statiques, ont mis en évidence la possibilité de reconstruire ces mêmes patterns à partir de l'activité cérébrale[5].
Reconstruction de film
L'une des techniques offrant les résultats les plus probants se base sur l'approche de Bayes visant à reproduire les images en se basant sur l'activité cérébrale de manière statistique. Afin d'analyser de manière précise cette activité, le cerveau est subdivisé en région appelée voxels, l'équivalent 3D d'un pixel.
Plutôt que d'analyser quelle partie du cerveau répond le plus fortement à un visage par exemple, les chercheurs utilisent également les régions à faibles réponses afin d'identifier des patterns d'activité cérébrale plus subtiles. Ces enregistrements sont stockés dans un classificateur de patterns qui apprend à reconnaître l'image ou le concept auquel le pattern est associé.
Concrètement cette démarche s'organise en 5 points [6]:
- Le sujet regarde plusieurs heures de trailers de films durant lesquels son activité cérébrale est enregistrée grâce à l'IRMf
- Grâce à ces données, le logiciel procède à la création d'un dictionnaire, le but étant ici de créer un modèle capable de prédire l'activité cérébrale associée à une nouvelle image arbitraire.
- Le sujet effectue à nouveau la première étape avec un nouvel ensemble de trailers de films afin de tester la fiabilité du modèle précédemment créé.
- Enfin, le logiciel génère une librairie aléatoire se basant sur 18 millions de secondes récupérées sur YouTube n'ayant aucun rapport avec les premiers trailers initialement visualisés et ajouter ces nouvelles données dans nos dictionnaires.
- Enfin, lors d'une nouvelle visualisation, le logiciel sélectionne les 100 clips ayant l’activité cérébrale la plus proche de celle enregistrée, fait la moyenne des différentes images de ces derniers et génère la reconstitution finale.
L'interpolation des 100 clips les plus proches de l'expérience cérébrale enregistrée permettent donc d'avoir une reconstitution relativement fidèle mais bien évidemment floue comme on peut le voir sur cette vidéo [vidéo] Visionner la vidéo sur YouTube mettant en avant les résultats obtenus.
Applications futures
Toutes ces avancées offrent également nombre de nouvelles perspectives dans des domaines très différents dont voici un bref aperçu :
- Médecine
D'un point de vue médicale de tels outils permettraient par exemple de détecter une activité cognitive chez des personnes totalement paralysées ou encore la mise en place d'interface cerveau / homme dans le but par exemple de contrôler un membre artificiel. Ou encore la possibilité d'évaluer un cœur de calcul d'une prothèse neurale.
À ceci s'ajoute par exemple, la possibilité de détecter un accident vasculaire cérébral, de la démence ou encore d'évaluer les effets d'interventions thérapeutiques (traitement médicamenteux, thérapie par cellules souches).
- Justice
Là encore la récupération d'informations fiables pourraient révolutionner le monde tel qu'on le connait. Pouvoir distinguer le mensonge de la vérité simplement et de façon certaine, bien que cela sonne encore comme de la science fiction, c'est aujourd'hui presque possible. Citons par exemple, le "No lie MRI" à San Diego en Californie qui utilise des techniques de déchiffrement du cerveau Humain pour distinguer les mensonges de la vérité[7]. Bien que commençant à se répandre, nombre de scientifiques s'accordent à dire que cette démarche reste coûteuse(3 millions d'euros pour un fMRI) et potentiellement inexacte.
« just because the information is in someone’s head doesn’t mean it’s accurate »
— Gallant
- Militaire
Évidemment, pouvoir lire dans l'esprit de quelqu'un est un enjeu militaire mais aussi une dérive de l'application première de ce genre de recherche. En effet, il serait maintenant possible de récupérer des informations sans le consentement ou même contre la volonté d'un individu.
Limites techniques
- Qualité des mesures
Décoder une activité cérébrale de manière précise dépend avant tout de la récolte de données précises. La technique utilisée, à savoir celle de l'IRMf, qui pour rappel mesure les fluctuations de débit sanguin dans le cerveau liées à l'activité neuronale, dispose d'une résolution spatiale et temporelle relativement médiocre, de sorte que la majeure partie de l'information contenue dans l'activité cérébrale sous-jacente est perdue. Qui plus est, les mesures sur un même sujet sont très variable.
Ces deux facteurs limitent la quantité d'information qui peut être décodée à partir des différentes mesures récoltées.
- Compréhension du cerveau
À ceci s'ajoute le fait que nous ne savons toujours pas précisément comment le cerveau représente l'information, c'est pourquoi les modèles générés pour la déchiffrer restent imprécis.
En conclusion, bien que ces modèles de calcul fonctionnent correctement pour certaines aires visuelles corticales, ils ne peuvent pas être portés pour décoder l'activité dans d'autres parties du cerveau. Une meilleure compréhension de la transformation qui se produit au-delà du cortex visuel (par exemple du cortex pariétal, cortex frontal) sera nécessaire avant qu'il ne soit possible de décoder d'autres types d'expériences humaines.
- Réutilisation des données
Bien que ce soit possible pour des opérations binaires, par exemple "est-ce que les bandes noires et blanches sont obliques vers la gauche ou la droite", la réutilisation d'un modèle généré pour un individu est impossible pour un autre car chaque cerveau est unique et que notre niveau de compréhension ne permet pas de construire des modèles génériques.
Éthique
Les technologies actuelles pour décoder l'activité cérébrale sont relativement primitives et les modèles informatiques sont encore immatures. Pour ces raisons, il est peu probable que ces technologies soient utilisées dans des applications pratiques prochainement mais resterons plutôt dans le cadre de la recherche. Néanmoins ces modèles s'améliorent de jour en jour et il est possible que le décodage de l'activité cérébrale puissent avoir des implications éthiques et de confidentialité graves d'ici les 30 prochaines années. Par analogie, le séquençage génétique devient de plus en plus abordable financièrement d'année en année, et il sera bientôt possible pour tout le monde de séquencer leur propre génome. Cela soulève de nombreuses questions relatives à la vie privée et à l'accessibilité de l'information génétique individuelle.
Évidemment l'utilisation de ce genre de technologies soulève donc nombre de questions éthiques auxquelles il n'existe pas encore de réelle réponse. En effet cela pourrait conduire à la découverte de comportements conscients ou non, tels que des traits de personnalités, des maladies mentales, des tendances criminelles et tout autres formes d'informations qui pourraient se caractériser par un état mental et qui auraient des implications fortes pour l'individu concerné au quotidien[8].
Néanmoins, nous ne savons pas si les techniques actuelles sont suffisamment précises pour énoncer de manière certaines de tels comportements. Cependant les avancées récentes en termes de déchiffrement des états cérébraux doivent soulever ce genre de questions éthiques[9].
Qui plus est, les avis sont très partagés quant aux droits de chacun de garder privée sa pensée. Certains éthiciens disent que la loi sur la vie privée devrait permettre de garder confidentielle les pensées et envies de chaque individu. Ce à quoi répondent des gens comme Julian Savulescu, un neuroscientifique de l'Université d'Oxford en Angleterre, en disant que les gens ne devraient pas avoir peur d'une telle technologie. Car si elle est utilisée correctement, elle en deviendrait même libératrice. Il ajoute également que les données cérébrales ne sont en aucun cas différentes d'autres preuves, et qu'il n'y a nulle raison de privilégier les pensées aux mots[7].
Enfin, d'autres limites sont mises en avant, notamment dans un cadre juridique. Par exemple savoir si un suspect a déjà visité le lieu d'un crime. Bien que l'idée soit séduisante elle n'est pas parfaite. Un individu peut très bien avoir déjà visité un bâtiment et ne pas s'en souvenir, l'avoir visité une semaine avant un crime ou éventuellement qu'il arrive à tromper le scanner car comme le dit John-Dylan Haynes, il n'est pas possible de savoir comment un individu réagit face à ce genre de mesure.
Toutes ces préoccupations soulèvent l'idée que pour l'instant, la meilleure façon de prévoir les agissements futurs d'une personne reste encore de lui demander.
Références
- Reading minds 2013, p. 1
- Reading minds 2013, p. 2
- Applications of fMRI for Brain Mapping 2012.
- Neural Code Converter for Visual Image Representation 2011, p. 1.
- Reconstructing visual experiences from brain activity evoked by natural movies 2011, p. 1
- Reconstructing visual experiences from brain activity evoked by natural movies 2011, p. 1.
- Reading minds 2013, p. 3
- Ethic concerns 2012.
- Ethic concerns 2013.
Articles et vidéos
- ([vidéo] Visionner la vidéo sur YouTube)
- (en) « Neural Decoding of Cursor Motion Using a Kalman Filter », Brown University, (ISSN 1049-5258, lire en ligne [PDF])
- (en) « Decoding the secrets of your brain », NBCNews, (lire en ligne)
- (en) Shinji Nishimoto, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu et Jack L. Gallant, « Reconstructing visual experiences from brain activity evoked by natural movies », Current Biology, (lire en ligne)
- (en) « Reading minds », Nature, (lire en ligne)
- (en) « Reading minds - Vidéo », Nature, (lire en ligne [vidéo])
- (en) Teuvo Kohonen, « An Introduction to Neural Computing », Helsinki University of Technology, (lire en ligne [PDF])
Publications et vidéos
- (en) Yukiyasu Kamitani, « Decoding visual experience from the human brain », ACM New York, (lire en ligne)
- (en) T. Horikawa, M. Tamaki1, Y. Miyawaki3 et Y. Kamitani1, « Neural Decoding of Visual Imagery During Sleep », Science, (lire en ligne)
- (en) Kerri Smith, « Reading minds », Nature, (lire en ligne)
- (en) Shinji Nishimoto, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu et Jack L. Gallant, « Reconstructing visual experiences from brain activity evoked by natural movies », Current Biology, (lire en ligne)
- (en) John-Dylan Haynes et Geraint Rees, « Decoding mental states from brain activity in humans », Nature, (lire en ligne)
- (en) Kentaro Yamada, Yoichi Miyawaki et Yukiyasu Kamitani, « Neural Code Converter for Visual Image Representation », IEEE, (lire en ligne)
- (en) « Applications of fMRI for Brain Mapping », IJCSIS, (lire en ligne [PDF])
- (en) Jan B. F. van Erp, Fabien Lotte et Michael Tangermann, « Brain Computer Interfaces for Non Medical Applications: How to Move Forward », IEEE, (lire en ligne [PDF])
- (en) James B. Brewer, Zhao John E., Gary H. Glover et John D. E. Gabrieli, « Making Memories: Brain Activity that Predicts How Well Visual Experience Will Be Remembered », Science, (lire en ligne)