Test de réflexion cognitive

Selon Frederick, il existe deux types généraux d'activité cognitive appelés « système 1 » et « système 2 » (ces termes ont été utilisés pour la première fois par Daniel Kahneman). Le système 1 s’exécute rapidement sans réflexion, là où le système 2 nécessite une réflexion consciencieuse et un effort. Le test de réflexion cognitive est composé de trois questions qui ont toutes une réponse évidente mais fausse si elle est produite par le système 1. La réponse correcte nécessite l’activation du système 2. Pour que le système 2 soit activé, une personne doit constater que sa première réponse est incorrecte, ce qui nécessite une réflexion sur sa propre connaissance[2].

Ce test s'est avéré corrélé avec de nombreuses mesures de la pensée économique, telles que la numératie, l'actualisation temporelle, la préférence pour le risque et la préférence pour le jeu. Il a également été corrélé avec des mesures d'heuristiques de jugement, telles que l'erreur du parieur, la compréhension de la régression vers la moyenne, l'erreur des coûts irrécupérables, etc.

Keith Stanovich a démontré que la capacité cognitive n'est pas fortement corrélée aux scores du TRC car elle ne conduit à une meilleure performance au TRC que dans certaines conditions. Tout d'abord, la personne testée doit reconnaître la nécessité de passer outre sa réponse du système 1, puis elle doit disposer des ressources cognitives nécessaires pour passer outre. Si la personne testée n'a pas besoin d'inhiber le système 1 pour passer outre, la réponse du système 2 suit immédiatement. Sinon, il doit avoir la capacité de maintenir l'inhibition du système 1 afin d'engager la réponse du système 2[8]. Au contraire, certains chercheurs ont évalué la validité de l'évaluation, en utilisant une méthode avancée de théorie de la réponse aux items, et ont découvert que le TRC mesure probablement la capacité cognitive[9]. Les auteurs de l'étude expliquent que la validité du TRC a été remise en question en raison du manque d'études de validité et de l'absence d'une approche psychométrique.

Le test original rédigé par le Dr Frederick ne contenait que les trois questions suivantes[2] :

1. une batte et une balle coûtent 1,10 $ au total. La batte coûte 1,00 $ de plus que la balle. Combien coûte la balle ?
2. s'il faut 5 minutes à 5 machines pour fabriquer 5 articles, combien de temps faudrait-il à 100 machines pour fabriquer 100 articles ?
3. dans un lac, il y a une parcelle de nénuphars. Chaque jour, la taille de la parcelle double. S'il faut 48 jours pour que la parcelle couvre tout le lac, combien de temps faudrait-il pour que la parcelle couvre la moitié du lac ?

Les réponses intuitives à ces questions données par le "système 1" sont généralement les suivantes : 10 centimes, 100 minutes, et 24 jours ; alors que les solutions correctes sont : 5 centimes, 5 minutes et 47 jours. En effet, le psychologue Shane Frederick a notamment déclaré que "toute personne qui réfléchit à cela, ne serait-ce qu'un instant, reconnaîtra que la différence entre 1 euro et 10 centimes n'est que de 90 centimes, et non de 1 dollar comme l'indique le problème".

Entre 2003 et 2005, ce questionnaire a été soumis à 3 000 américains, issus de divers milieux scolaires. Cet échantillon était constitué de personnes fréquentant les meilleures universités américaines, telles que : Yale et Harvard. Or, seulement 17% des personnes interrogées ont répondu correctement à toutes les questions peut-on lire dans un article de Shane Frederick publié dans Journal of Economic Perspectives.

Des études ont estimé qu'entre 44 et 51% des participants à la recherche ont déjà été exposés au TRC[10] - [11]. Les participants qui connaissent le TRC ont tendance à surclasser ceux qui n'ont jamais réalisé le test, ce qui soulève des questions sur la validité de la mesure dans cette population[10] - [11]. Afin de lutter contre les limitations associées à cette familiarité, les chercheurs ont développé une variété de mesures alternatives de la réflexion cognitive[12] - [13] - [14]. Cependant, des recherches récentes suggèrent que le TRC reste robuste même après plusieurs passages, de sorte que malgré les augmentations du score brut chez les participants expérimentés, ses corrélations avec d'autres variables restent inchangées[15].

K. S. Thomson et D. M. Oppenheimer[16] ont développé un deuxième test (CRT-2) afin de pallier ce problème. Ainsi, ils augmentent le nombre de questions disponibles. Ils tentent également de pallier un second reproche qui est l’ambiguïté avec un test de numératie en réduisant les questions liées aux nombres.

Une autre limite est due au manque de propriétés psychométriques fortes et à la rareté des études de validité dans la littérature[17]. Le TRC n'a pas été conçu d'une manière qui s'aligne sur les normes de l'industrie telles que les normes pour les tests éducatifs et psychologiques qui ont été développées par l'American Educational Research Association, l'Association Américaine de Psychologie et le Conseil national de la mesure dans l'éducation .

Aussi, plusieurs auteurs ont inversé la logique du TRC en évaluant l’intuitivité des gens par le dénombrement des réponses intuitives mais incorrectes. Il parle alors de TRC-Intuitif. La logique de ce TRC-Intuitif est de dire que les participants qui donnent le plus de réponses intuitives le font puisque ce sont des personnes naturellement plus intuitives. Cependant Gordon Pennycook et al[18] (2015) conclue de sa recherche sur le sujet, que le TRC évalue correctement la réflexion cognitive mais qu’à l’inverse il n’évalue pas la pensée intuitive.

• Théorie du double processus, elle donne plus d'informations sur la pensée "système 1" et "système 2"
• Penser, vite et lentement, livre de Daniel Kahneman
• Question piège