AccueilđŸ‡«đŸ‡·Chercher

Effet McGurk

L’effet McGurk est un phĂ©nomĂšne illusoire perceptif qui montre une interfĂ©rence entre l'audition et la vision lors de la perception de la parole[1]. Cet effet suggĂšre une multimodalitĂ© de la perception de la parole. L'effet McGurk (Ă©galement appelĂ© effet McGurk-MacDonald) se produit lorsque la vision et l’audition fournissent des signaux de parole incongrus. Deux types de phĂ©nomĂšnes dĂ©coulent de cette perception erronĂ©e : la fusion et la combinaison[2] - [3].

Historique

La dĂ©couverte accidentelle de l’effet McGurk remonte aux annĂ©es 1970 alors qu’Harry McGurk et John MacDonald, psychologues du dĂ©veloppement Ă  l’UniversitĂ© de Surrey en Angleterre, Ă©tudiaient la perception de la parole chez les enfants Ă  diffĂ©rentes pĂ©riodes de leur dĂ©veloppement. Les sujets regardaient une prĂ©sentation vidĂ©o d’une mĂšre qui parlait. La vidĂ©o Ă©tait couplĂ©e avec une prĂ©sentation auditive venant d’un endroit diffĂ©rent dans la salle. La syllabe /ba/ Ă©tait entendu, mais la suite « ga » Ă©tait prĂ©sentĂ©e Ă  l'Ă©cran. Lors du visionnement initial de la cassette, les chercheurs perçurent une troisiĂšme syllabe /da/ qui se situait au niveau articulatoire entre les deux premiĂšres. Ainsi, selon l'effet McGurk, voir quelqu'un prononcer la syllabe /ga/ alors qu'on entend la syllabe /ba/ provoque l'illusion perceptuelle /da/. C'est aprĂšs avoir testĂ© des enfants et des adultes avec la vidĂ©o que les chercheurs ont publiĂ© pour la premiĂšre fois en 1976 dans le journal Nature l'illusion perceptuelle qu'ils avaient remarquĂ©. Cet article est intitulĂ© : Hearing Lips and Seeing Voice[2]. L'effet McGurk fut reproduit et rĂ©Ă©tudiĂ© par de nombreuses Ă©quipes de recherche par la suite.

ComplĂ©mentaritĂ© de l’audition et de la vision dans la perception de la parole

La perception de la parole fut considĂ©rĂ©e pendant longtemps comme un processus exclusivement auditif. Durant la seconde moitiĂ© du XXe siĂšcle, plusieurs Ă©tudes considĂ©raient l’information visuelle comme une contribution essentielle dans la perception de la parole. En 1954, les chercheurs William H. Sumby et Irwin Pollack dĂ©montrĂšrent que l’intelligibilitĂ© d’un signal acoustique mĂȘlĂ© Ă  du bruit ambiant est fortement amĂ©liorĂ©e par la lecture labiale. Celle-ci contribue Ă©galement Ă  la perception de la parole mĂȘme si le bruit environnant augmente[4]. Selon ces chercheurs, la lecture labiale est un atout et un moyen compensatoire pour les personnes souffrant d’une dĂ©ficience auditive. Elle participe Ă©galement Ă  l’acquisition du langage oral chez les enfants sourds[5]. La lecture labiale amĂ©liore la comprĂ©hension d’un signal de parole clair avec un contenu sĂ©mantique complexe[6]. Elle peut amĂ©liorer la comprĂ©hension d’énoncĂ©s prononcĂ©s dans une langue Ă©trangĂšre[7] - [8] par un locuteur avec un accent Ă©tranger[9] et lorsqu'il y a une conversation entre plusieurs locuteurs dans un endroit avec du bruit ambiant[7] - [9] - [6] - [8].

PhĂ©nomĂšnes reliĂ©s Ă  l’effet McGurk

La fusion et la combinaison sont les deux types de phĂ©nomĂšnes illusoires observĂ©s lors de l’effet McGurk. Chaque phĂ©nomĂšne est associĂ© Ă  un type de consonnes (phonĂšme). La sĂ©quence d'Ă©vĂšnements de l'effet reste la mĂȘme. Ainsi, les syllabes auditives de type CV (/ba/) sont couplĂ©es avec une prĂ©sentation visuelle des mouvements articulatoires correspondants Ă  une autre syllabe de type CV (/ga/) qui produit un conflit subtil entre la modalitĂ© visuelle et auditive. Ces modalitĂ©s font alors une synthĂšse des diffĂ©rentes informations perçues[2]. Ces phĂ©nomĂšnes peuvent ĂȘtre utilisĂ©s, par exemple, dans la confection de programmes de reconnaissance vocale

Fusion

Le phénomÚne de fusion résulte de la simulation d'une production dite intermédiaire à la suite de la fusion d'une syllabe perçue et d'une syllabe entendue. Une syllabe commençant par une consonne vélaire (g,k,w) est présentée visuellement. Elle est couplée avec une syllabe commençant par une consonne bilabiale (p,b,m) qui est présentée sous forme sonore. La fusion des deux informations simule une production intermédiaire (ex.: /da/)[2].

L'exemple illustre le phénomÚne de fusion :

  • Vu : « ga » (consonne vĂ©laire)
  • Entendu : /ba/ (consonne bilabiale)
  • Perçu : ⁄da ⁄ (rĂ©sultat = phĂ©nomĂšne de fusion)

Combinaison

Le phĂ©nomĂšne de combinaison combine la prĂ©sentation visuelle d'une syllabe commençant avec une consonne bilabiale avec l'Ă©coute d'une syllabe commençant par une consonne vĂ©laire. Il y a une addition des deux phĂ©nomĂšnes. Une prĂ©sentation visuelle d’une consonne bilabiale (p,b,m) est prĂ©sentĂ©e. Elle est couplĂ©e avec la prĂ©sentation auditive d’une consonne vĂ©laire (g,k,w). Le sujet combine les informations vues et entendues. Il perçoit par exemple une combinaison du type /bga/[2].

Voici un exemple qui illustre le phénomÚne de combinaison:

  • Vu : « ba » (bilabiale)
  • Entendu : /ga/ (vĂ©laire)
  • Perçu /bga/ (RĂ©sultat de la combinaison)

CaractĂ©ristiques de l’effet McGurk

L’effet McGurk est un effet robuste. La structure syllabique, le contexte des mots ou des phrases n’influencent pas l’apparition des phĂ©nomĂšnes (voir section 2) et ce, peu importe la longueur des mots ou des phrases[10] - [11]. Par exemple la structure syllabique n’a pas d’importance, qu’elle soit CV, VCV ou mĂȘme VC, une vĂ©laire visuelle doublĂ©e d’une bilabiale Ă  l’oral rĂ©sultera toujours en la perception d’une fusion. L’effet est Ă©galement applicable aux mots et aux phrases, tant que ceux-ci opposent une vĂ©laire Ă  une bilabiale.

Syllabe:

CV :    Entendu:/ba/

            Vu :/ga/

            Perçu :/da/, V

            VCV : Entendu :/aba/

            Vu :/aga/

            Perçu :/ada/

Mot :

            Entendu :/mail/

            Vu :/deal/

            Perçu :/nail/

Phrase :

        Entendu :/ my bab pope me poo brive /

         Vu : / my gag koke me koo grive /

         Perçu : / my dad taught me to drive /

L’effet McGurk est irrĂ©pressible. Un individu ne peut pas s'empĂȘcher d'ĂȘtre sensible aux mĂ©canismes phonatoires, mĂȘme si son intention est contraire. Il sera sensible aux diffĂ©rents mĂ©canismes malgrĂ© lui. Cette notion implique que l’esprit est cognitivement impĂ©nĂ©trable et qu’il effectue ses traitements sans ĂȘtre affectĂ© par d’autres domaines cognitifs (mĂ©moire, raisonnement, mĂ©canismes attentionnels, etc.). Ce processus d’analyse est donc au mĂȘme terme qu’un rĂ©flexe rapide, obligatoire et inflexible[12].

ModularitĂ© de l’effet

L’effet McGurk est influencĂ© par plusieurs variables dans diffĂ©rents contextes expĂ©rimentaux. PremiĂšrement, plusieurs auteurs ont dĂ©montrĂ© que l'effet McGurk peut ĂȘtre influencĂ© par l’orientation spatiale du visage du locuteur, plus prĂ©cisĂ©ment lorsque le visage est inclinĂ©[13]. DeuxiĂšmement, lorsque la dĂ©synchronisation temporelle des stimuli dĂ©passe 200ms, l'effet McGurk est influencĂ©[14]. TroisiĂšmement, la langue testĂ©e peut faire varier certains rĂ©sultats. Cette variable renvoie aux propriĂ©tĂ©s des stimuli. Des Ă©tudes rĂ©alisĂ©es dans plusieurs langues (anglais, espagnol, malais, corĂ©en, français, etc.) ont obtenu des rĂ©sultats variables. Dans certaines langues, l’effet McGurk semble moins robuste. Par exemple, les locuteurs chinois et japonais sont peu sensibles Ă  l’effet McGurk. Ces rĂ©sultats pourraient ĂȘtre expliquĂ©s en termes culturels; il est considĂ©rĂ© impoli de regarder le visage du locuteur et ce dans les deux cultures. La variabilitĂ© de l'effet pourrait ĂȘtre liĂ©e aux diffĂ©rences au niveau des systĂšmes phonĂ©tiques des langues, des diffĂ©rentes contraintes phonotactiques et des diffĂ©rences culturelles[15].

En opposition, certaines variables n'ont pas d'influence sur l'effet McGurk. La sĂ©paration spatiale entre les stimuli auditifs et visuels n’influence pas la force de l’effet, tel que rapportĂ© dans l'Ă©tude de Colin, Radeau, Deltenre et Morais en 2001[16].

Références

  1. (en) Calvert GA, Bullmore ET, Brammer MJ, et coll., « Activation of auditory cortex during silent lipreading », Science, vol. 276,‎ , p. 593-596
  2. McGurk, H., MacDonald, J., (1976) « Hearing lips and seeing voices  Â»,Nature, vol. 264, no 5588, p. 746–748
  3. https://www.youtube.com/watch?v=aFPtc8BVdJk&ab_channel=hmcnallyonYouTube The McGurk effect
  4. Sumby, W.H., Pollack, I. (1954). Visual contribution to speech intelligibility in noise. Journal of the acoustical Society of America, 26, 212-215.
  5. Dodd, B., McIntosh, B., & Woodhouse, L. (1998). Early lipreading ability and speech and language development of hearing-impaired pre-schoolers. In R. Campbell, B. Dodd, & D. Burnham (Eds.), Hearing by eye II (pp. 229–242). Hove, East Sussex: Psychology Press.
  6. Reisberg, D., McLean, J., & Goldfield, A. (1987). Easy to hear but hard to understand: A lipreading advantage with intact auditory stimuli. In B. Dodd & R. Campbell (Eds.), Hearing by eye: The psychology of lip -reading. Hillsdale, NJ: Lawrence Erlbaum Assoc
  7. Davis, C., & Kim, J. (1998). Repeating and remembering foreign language words: Does seeing help? Proceedings of Audio-Visual Speech Processing’98 (pp. 121-125). Sydney.
  8. Burnham, D. (1998) Langguage specificity in the development of auditory-visual speech perception. In R. Campbell, B. Dodd & D. Burnham. Hearing by Eye II
  9. L. Cerrato, F. Albano Leoni, M, Falcone Is it possible to evaluate the contribution of visual information to the process of speech comprehension? in Proceedings of the AVSP 98, International Conference on Auditory-Visual Speech Processing, Terrigal Australia Dec. 4-7 1998 ed. by Burnham D., Robert-Ribes J., Vatikiotis-Bateson E. pp.141-145
  10. McGurk, Harry (1988) "Developmental psychology and the vision of speech ", In AVSP-1998, 3-20
  11. McGurk, H. (1981). Listening with eye and ear (paper discussion). In T. Myers, J. Laver, & J. Anderson (Eds.) The Cognitive Representation of Speech. Amsterdam: North-Holland.
  12. Fodor, Jerry A. (1983).Modularity of Mind: An Essay on Faculty Psychology. Cambridge, Mass.: MIT Press. (ISBN 0-262-56025-9)
  13. Jordan, T.R., Bevan, K. (1997) Seeing and hearing rotated faces : Influences of facial orientation on visual and audiovisual speech recognition, Journal of Experimental Psychology: Human Perception and Performance, 25 (2), 388-403
  14. Jones, J.A., Munhall, K. G. (1996) Spatial and temporal influences on audio-visual speech and perception, International Journal of Psychology, 31, 473-474.
  15. Sekiyama, K. (1997) Cultural and linguistic factors in audiovisual speech processing: The McGurk effect in Chinese subjects, Perception and Psychophysics, 59 (1), 73-80
  16. Colin, C., Radeau, M., Deltenre, P., Morais, J. (2001) Rules of intersensory integration in spatial scene analysis and speechreading, Psychologica Belgica, 41 (3), 131-144

Liens externes

Cet article est issu de wikipedia. Text licence: CC BY-SA 4.0, Des conditions supplĂ©mentaires peuvent s’appliquer aux fichiers multimĂ©dias.