Effet McGurk
Lâeffet McGurk est un phĂ©nomĂšne illusoire perceptif qui montre une interfĂ©rence entre l'audition et la vision lors de la perception de la parole[1]. Cet effet suggĂšre une multimodalitĂ© de la perception de la parole. L'effet McGurk (Ă©galement appelĂ© effet McGurk-MacDonald) se produit lorsque la vision et lâaudition fournissent des signaux de parole incongrus. Deux types de phĂ©nomĂšnes dĂ©coulent de cette perception erronĂ©e : la fusion et la combinaison[2] - [3].
Historique
La dĂ©couverte accidentelle de lâeffet McGurk remonte aux annĂ©es 1970 alors quâHarry McGurk et John MacDonald, psychologues du dĂ©veloppement Ă lâUniversitĂ© de Surrey en Angleterre, Ă©tudiaient la perception de la parole chez les enfants Ă diffĂ©rentes pĂ©riodes de leur dĂ©veloppement. Les sujets regardaient une prĂ©sentation vidĂ©o dâune mĂšre qui parlait. La vidĂ©o Ă©tait couplĂ©e avec une prĂ©sentation auditive venant dâun endroit diffĂ©rent dans la salle. La syllabe /ba/ Ă©tait entendu, mais la suite « ga » Ă©tait prĂ©sentĂ©e Ă l'Ă©cran. Lors du visionnement initial de la cassette, les chercheurs perçurent une troisiĂšme syllabe /da/ qui se situait au niveau articulatoire entre les deux premiĂšres. Ainsi, selon l'effet McGurk, voir quelqu'un prononcer la syllabe /ga/ alors qu'on entend la syllabe /ba/ provoque l'illusion perceptuelle /da/. C'est aprĂšs avoir testĂ© des enfants et des adultes avec la vidĂ©o que les chercheurs ont publiĂ© pour la premiĂšre fois en 1976 dans le journal Nature l'illusion perceptuelle qu'ils avaient remarquĂ©. Cet article est intitulĂ© : Hearing Lips and Seeing Voice[2]. L'effet McGurk fut reproduit et rĂ©Ă©tudiĂ© par de nombreuses Ă©quipes de recherche par la suite.
ComplĂ©mentaritĂ© de lâaudition et de la vision dans la perception de la parole
La perception de la parole fut considĂ©rĂ©e pendant longtemps comme un processus exclusivement auditif. Durant la seconde moitiĂ© du XXe siĂšcle, plusieurs Ă©tudes considĂ©raient lâinformation visuelle comme une contribution essentielle dans la perception de la parole. En 1954, les chercheurs William H. Sumby et Irwin Pollack dĂ©montrĂšrent que lâintelligibilitĂ© dâun signal acoustique mĂȘlĂ© Ă du bruit ambiant est fortement amĂ©liorĂ©e par la lecture labiale. Celle-ci contribue Ă©galement Ă la perception de la parole mĂȘme si le bruit environnant augmente[4]. Selon ces chercheurs, la lecture labiale est un atout et un moyen compensatoire pour les personnes souffrant dâune dĂ©ficience auditive. Elle participe Ă©galement Ă lâacquisition du langage oral chez les enfants sourds[5]. La lecture labiale amĂ©liore la comprĂ©hension dâun signal de parole clair avec un contenu sĂ©mantique complexe[6]. Elle peut amĂ©liorer la comprĂ©hension dâĂ©noncĂ©s prononcĂ©s dans une langue Ă©trangĂšre[7] - [8] par un locuteur avec un accent Ă©tranger[9] et lorsqu'il y a une conversation entre plusieurs locuteurs dans un endroit avec du bruit ambiant[7] - [9] - [6] - [8].
PhĂ©nomĂšnes reliĂ©s Ă lâeffet McGurk
La fusion et la combinaison sont les deux types de phĂ©nomĂšnes illusoires observĂ©s lors de lâeffet McGurk. Chaque phĂ©nomĂšne est associĂ© Ă un type de consonnes (phonĂšme). La sĂ©quence d'Ă©vĂšnements de l'effet reste la mĂȘme. Ainsi, les syllabes auditives de type CV (/ba/) sont couplĂ©es avec une prĂ©sentation visuelle des mouvements articulatoires correspondants Ă une autre syllabe de type CV (/ga/) qui produit un conflit subtil entre la modalitĂ© visuelle et auditive. Ces modalitĂ©s font alors une synthĂšse des diffĂ©rentes informations perçues[2]. Ces phĂ©nomĂšnes peuvent ĂȘtre utilisĂ©s, par exemple, dans la confection de programmes de reconnaissance vocale
Fusion
Le phénomÚne de fusion résulte de la simulation d'une production dite intermédiaire à la suite de la fusion d'une syllabe perçue et d'une syllabe entendue. Une syllabe commençant par une consonne vélaire (g,k,w) est présentée visuellement. Elle est couplée avec une syllabe commençant par une consonne bilabiale (p,b,m) qui est présentée sous forme sonore. La fusion des deux informations simule une production intermédiaire (ex.: /da/)[2].
L'exemple illustre le phénomÚne de fusion :
- Vu : « ga » (consonne vélaire)
- Entendu : /ba/ (consonne bilabiale)
- Perçu : âda â (rĂ©sultat = phĂ©nomĂšne de fusion)
Combinaison
Le phĂ©nomĂšne de combinaison combine la prĂ©sentation visuelle d'une syllabe commençant avec une consonne bilabiale avec l'Ă©coute d'une syllabe commençant par une consonne vĂ©laire. Il y a une addition des deux phĂ©nomĂšnes. Une prĂ©sentation visuelle dâune consonne bilabiale (p,b,m) est prĂ©sentĂ©e. Elle est couplĂ©e avec la prĂ©sentation auditive dâune consonne vĂ©laire (g,k,w). Le sujet combine les informations vues et entendues. Il perçoit par exemple une combinaison du type /bga/[2].
Voici un exemple qui illustre le phénomÚne de combinaison:
- Vu : « ba » (bilabiale)
- Entendu : /ga/ (vélaire)
- Perçu /bga/ (Résultat de la combinaison)
CaractĂ©ristiques de lâeffet McGurk
Lâeffet McGurk est un effet robuste. La structure syllabique, le contexte des mots ou des phrases nâinfluencent pas lâapparition des phĂ©nomĂšnes (voir section 2) et ce, peu importe la longueur des mots ou des phrases[10] - [11]. Par exemple la structure syllabique nâa pas dâimportance, quâelle soit CV, VCV ou mĂȘme VC, une vĂ©laire visuelle doublĂ©e dâune bilabiale Ă lâoral rĂ©sultera toujours en la perception dâune fusion. Lâeffet est Ă©galement applicable aux mots et aux phrases, tant que ceux-ci opposent une vĂ©laire Ă une bilabiale.
Syllabe:
CV : Entendu:/ba/
Vu :/ga/
Perçu :/da/, V
VCV : Entendu :/aba/
Vu :/aga/
Perçu :/ada/
Mot :
Entendu :/mail/
Vu :/deal/
Perçu :/nail/
Phrase :
Entendu :/ my bab pope me poo brive /
Vu : / my gag koke me koo grive /
Perçu : / my dad taught me to drive /
Lâeffet McGurk est irrĂ©pressible. Un individu ne peut pas s'empĂȘcher d'ĂȘtre sensible aux mĂ©canismes phonatoires, mĂȘme si son intention est contraire. Il sera sensible aux diffĂ©rents mĂ©canismes malgrĂ© lui. Cette notion implique que lâesprit est cognitivement impĂ©nĂ©trable et quâil effectue ses traitements sans ĂȘtre affectĂ© par dâautres domaines cognitifs (mĂ©moire, raisonnement, mĂ©canismes attentionnels, etc.). Ce processus dâanalyse est donc au mĂȘme terme quâun rĂ©flexe rapide, obligatoire et inflexible[12].
ModularitĂ© de lâeffet
Lâeffet McGurk est influencĂ© par plusieurs variables dans diffĂ©rents contextes expĂ©rimentaux. PremiĂšrement, plusieurs auteurs ont dĂ©montrĂ© que l'effet McGurk peut ĂȘtre influencĂ© par lâorientation spatiale du visage du locuteur, plus prĂ©cisĂ©ment lorsque le visage est inclinĂ©[13]. DeuxiĂšmement, lorsque la dĂ©synchronisation temporelle des stimuli dĂ©passe 200ms, l'effet McGurk est influencĂ©[14]. TroisiĂšmement, la langue testĂ©e peut faire varier certains rĂ©sultats. Cette variable renvoie aux propriĂ©tĂ©s des stimuli. Des Ă©tudes rĂ©alisĂ©es dans plusieurs langues (anglais, espagnol, malais, corĂ©en, français, etc.) ont obtenu des rĂ©sultats variables. Dans certaines langues, lâeffet McGurk semble moins robuste. Par exemple, les locuteurs chinois et japonais sont peu sensibles Ă lâeffet McGurk. Ces rĂ©sultats pourraient ĂȘtre expliquĂ©s en termes culturels; il est considĂ©rĂ© impoli de regarder le visage du locuteur et ce dans les deux cultures. La variabilitĂ© de l'effet pourrait ĂȘtre liĂ©e aux diffĂ©rences au niveau des systĂšmes phonĂ©tiques des langues, des diffĂ©rentes contraintes phonotactiques et des diffĂ©rences culturelles[15].
En opposition, certaines variables n'ont pas d'influence sur l'effet McGurk. La sĂ©paration spatiale entre les stimuli auditifs et visuels nâinfluence pas la force de lâeffet, tel que rapportĂ© dans l'Ă©tude de Colin, Radeau, Deltenre et Morais en 2001[16].
Références
- (en) Calvert GA, Bullmore ET, Brammer MJ, et coll., « Activation of auditory cortex during silent lipreading », Science, vol. 276,â , p. 593-596
- McGurk, H., MacDonald, J., (1976) « Hearing lips and seeing voices »,Nature, vol. 264, no 5588, p. 746â748
- https://www.youtube.com/watch?v=aFPtc8BVdJk&ab_channel=hmcnallyonYouTube The McGurk effect
- Sumby, W.H., Pollack, I. (1954). Visual contribution to speech intelligibility in noise. Journal of the acoustical Society of America, 26, 212-215.
- Dodd, B., McIntosh, B., & Woodhouse, L. (1998). Early lipreading ability and speech and language development of hearing-impaired pre-schoolers. In R. Campbell, B. Dodd, & D. Burnham (Eds.), Hearing by eye II (pp. 229â242). Hove, East Sussex: Psychology Press.
- Reisberg, D., McLean, J., & Goldfield, A. (1987). Easy to hear but hard to understand: A lipreading advantage with intact auditory stimuli. In B. Dodd & R. Campbell (Eds.), Hearing by eye: The psychology of lip -reading. Hillsdale, NJ: Lawrence Erlbaum Assoc
- Davis, C., & Kim, J. (1998). Repeating and remembering foreign language words: Does seeing help? Proceedings of Audio-Visual Speech Processingâ98 (pp. 121-125). Sydney.
- Burnham, D. (1998) Langguage specificity in the development of auditory-visual speech perception. In R. Campbell, B. Dodd & D. Burnham. Hearing by Eye II
- L. Cerrato, F. Albano Leoni, M, Falcone Is it possible to evaluate the contribution of visual information to the process of speech comprehension? in Proceedings of the AVSP 98, International Conference on Auditory-Visual Speech Processing, Terrigal Australia Dec. 4-7 1998 ed. by Burnham D., Robert-Ribes J., Vatikiotis-Bateson E. pp.141-145
- McGurk, Harry (1988) "Developmental psychology and the vision of speech ", In AVSP-1998, 3-20
- McGurk, H. (1981). Listening with eye and ear (paper discussion). In T. Myers, J. Laver, & J. Anderson (Eds.) The Cognitive Representation of Speech. Amsterdam: North-Holland.
- Fodor, Jerry A. (1983).Modularity of Mind: An Essay on Faculty Psychology. Cambridge, Mass.: MIT Press. (ISBN 0-262-56025-9)
- Jordan, T.R., Bevan, K. (1997) Seeing and hearing rotated faces : Influences of facial orientation on visual and audiovisual speech recognition, Journal of Experimental Psychology: Human Perception and Performance, 25 (2), 388-403
- Jones, J.A., Munhall, K. G. (1996) Spatial and temporal influences on audio-visual speech and perception, International Journal of Psychology, 31, 473-474.
- Sekiyama, K. (1997) Cultural and linguistic factors in audiovisual speech processing: The McGurk effect in Chinese subjects, Perception and Psychophysics, 59 (1), 73-80
- Colin, C., Radeau, M., Deltenre, P., Morais, J. (2001) Rules of intersensory integration in spatial scene analysis and speechreading, Psychologica Belgica, 41 (3), 131-144
Liens externes
- Video illustrant l'effet McGurk (quicktime)