Philip E. Tetlock

Au cours de ses premiers travaux sur le bon jugement, résumés dans Expert Political Judgment: How Good Is It? How Can We Know?[2], Tetlock a organisé une série de tournois de prévisions à petite échelle entre 1984 et 2003. Les prévisionnistes étaient 284 experts de divers domaines, y compris des responsables gouvernementaux, des professeurs, des journalistes et autres, avec de nombreuses opinions, des marxistes aux partisans du libre marché.

Les tournois impliquèrent environ 28000 prédictions et révélèrent que les prévisionnistes n'étaient souvent que légèrement plus précis que le hasard, et généralement pires que les algorithmes basiques d'extrapolation, en particulier sur les prévisions aux échéances de trois à cinq ans. Les prévisionnistes les plus médiatiques étaient particulièrement mauvais. Ce travail suggère qu'il existe une relation inverse entre la renommée et l'exactitude des prévisions.

À la suite de ce travail, il a reçu le prix Grawemeyer 2008 pour l'amélioration de l'ordre mondial décernée par l'Université de Louisville, ainsi que le prix Woodrow Wilson 2006 pour le meilleur livre publié sur le gouvernement, la politique ou les affaires internationales et le prix Robert E. Lane pour meilleur livre en psychologie politique, tous deux de l'American Political Science Association en 2005. Le projet d'expertise politique a également comparé l'historique des prédictions réussies des «renards» et des «hérissons» (deux types de personnalité identifiés dans l'essai de Isaiah Berlin de 1950 Le Hérisson et le Renard). Les «hérissons» ont moins bien réussi dans leur domaine d'expertise, notamment sur les prévisions à long terme.

Ces résultats ont été largement diffusés dans les médias et ont attiré l'attention de l'Intelligence Advanced Research Projects Activity (IARPA) au sein de la communauté du renseignement des États-Unis. Ils furent en partie responsable du lancement en 2011 d'un tournoi de prévision géopolitique de quatre ans qui a mobilisé des dizaines de milliers de prévisionnistes et a établi plus d'un million de prévisions sur environ 500 questions de sécurité nationale des États-Unis, au sens large.

Depuis 2011, Tetlock et son épouse et partenaire de recherche Barbara Mellers codirigent le Good Judgment Project (GJP), un projet qui gagna le tournoi IARPA -ACE [3]. L'objectif initial du tournoi était d'améliorer les prévisions géopolitiques et géoéconomiques. Les questions étaient par exemple "Quelle est la chance qu'un membre se retire de l'Union Européenne d'ici une date cible?" ou "Quelle est la probabilité d’affrontements navals faisant plus de 10 morts dans la mer de Chine orientale?" ou encore "Quelle est la probabilité que le chef de l'État du Venezuela démissionne d'ici une date cible?" Le tournoi a mis au défi GJP et ses concurrents issus d'autres établissements universitaires de trouver des méthodes innovantes de recrutement de prévisionnistes doués, des méthodes de formation des prévisionnistes aux principes de base du raisonnement probabiliste, des méthodes de formation d'équipes qui sont plus que la somme de leurs parties et le développement d'algorithmes d'agrégation qui tirent profit le plus efficacement de la sagesse des foule[4] - [5] - [6] - [7] - [8].

Les résultats les plus surprenants du tournoi étaient :

1. l'amélioration obtenue par des exercices d'entraînement simples dans la précision des jugements probabilistes (mesurés par les scores de Brier)[3] - [4]
2. la finesse de niveau d'incertitude que les meilleurs prévisionnistes pouvaient apprendre à distinguer le long de l'échelle de probabilité de zéro à un (beaucoup plus résolue que l'échelle traditionnelle à 7 points utilisée par le National Intelligence Council)[9]
3. la persistance des performances des prévisionnistes d'élite (superforecasters) dans le temps et les catégories de questions[5] - [6]
4. la puissance d'un algorithme d'agrégation d'extrémisation de cotes logarithmiques pour surpasser les concurrents[7] - [8]
5. la capacité du GJP à générer des estimations de probabilité "qui auraient été 30% meilleures que celles des officiers du renseignement ayant accès à de véritables informations classifiées"

Ces résultats et d'autres sont présentés sous une forme particulièrement accessible dans le livre Superforecasting de Tetlock et Gardner (2015). Le livre présente également plusieurs super-prévisionnistes (superforecasters). Les auteurs soulignent qu'une bonne prévision ne nécessite pas d'ordinateurs puissants ou de méthodes obscures, mais plutôt de rassembler des preuves à partir de diverses sources, de penser de manière probabiliste, de travailler en équipe, de mesurer des scores et d'être prêt à admettre l'erreur et à changer de cap.

Il y a une tension, sinon une contradiction, entre les positions prises dans le Good Judgement Project et celles que Tetlock a prises dans son livre précédent Expert Political Judgment: How Good Is It? How can we know? (2005). Le ton plus pessimiste de Expert Political Judgment (2005) et le ton optimiste de Superforecasting (2015) reflètent moins un changement dans les vues de Tetlock sur la faisabilité de la prévision que les différentes sources de données dans les deux projets. Le livre Superforecasting s'est concentré sur des prévisions à courtes échéance: la plus longue, environ 12 mois, correspondait aux prévisions les plus courtes dans Expert Political Judgment. Tetlock et Gardner (2015) suggèrent également qu'afficher publiquement la responsabilité des participants au dernier tournoi IARPA augmenta les performances. Apparemment, "même les hérissons les plus obtus deviennent plus circonspects"[9] lorsqu'ils sentent que leur exactitude sera bientôt comparée à celle de leurs rivaux idéologiques.

Tetlock et Mellers[10] voient les tournois de prévision comme un mécanisme possible pour aider les agences de renseignement à échapper au ping-pong de blâmes, dans lequel les agences critiquées, soit d'être trop lentes à émettre des avertissements (faux négatifs, comme le 11 septembre) ou trop rapide (faux positifs). Ils soutiennent que les tournois sont des moyens de signaler qu'une organisation s'engage à un jeu de pure précision, à générer des estimations de probabilité aussi précises que possible, et évite de biaiser les estimations pour éviter leur dernière erreur[11].

Dans un essai de 1985, Tetlock proposa que la responsabilité publique soit un concept clé pour relier les niveaux individuels d'analyse à la société[12]. La responsabilité lie les gens aux collectivités en précisant qui doit répondre à qui, pour quoi et selon quelles règles de base[13]. Dans ses travaux antérieurs dans ce domaine, il montra que certaines formes de responsabilité peuvent rendre les humains plus réfléchis et autocritiques de manière constructive (réduisant la probabilité de biais ou d'erreurs), tandis que d'autres formes de responsabilité peuvent nous rendre plus rigides et défensifs (mobiliser les efforts pour défendre les positions antérieures et pour critiquer les critiques)[14]. Dans un essai de 2009, Tetlock expliqua que beaucoup de choses étaient encore inconnues sur la profondeur psychologique des effets de la responsabilité publique - par exemple, s'il est ou non possible de corriger les biais d'association[15], thème avec des implications juridiques pour les entreprises dans le cadre de recours collectifs pour discrimination à l'emploi[16].

En plus de son travail sur les effets de la responsabilité publique sur l'atténuation ou l'amplification des biais, Tetlock explora les dimensions politiques de la responsabilité, par exemple, les divergences entre libéraux et conservateurs su la «responsabilité des processus» (qui tient les gens responsables du respect des règles) par rapport à la «responsabilité des résultats» (qui tient les gens responsables des conséquences des actes)[17] - [18]. Tetlock utilise l'expression «programme de recherche intuitif politicien» pour décrire ce sujet de travail[19].

Tetlock a également travaillé sur la façon dont les gens réagissent aux menaces contre leurs valeurs sacrées, et comment ils s'efforcent de structurer les situations afin d'éviter des compromis impliquant des valeurs sacrées[20] - [21] - [22] - [23]. Les implications sont largement explorées dans des revues d'écoles de commerce telles que le Journal of Consumer Research, la California Management Review et le Journal of Consumer Psychology. Cette recherche montre que la plupart des gens refuse l'idée que les valeurs morales et politiques sont des inventions arbitraires essayant d'insuffler une morale à un univers autrement dénué de sens[24] - [25] - [26] - [27]. Au contraire, nous préférons croire que nous avions des valeurs sacrées qui fournissent des fondations solides à nos opinions morales et politiques. Nous pouvons devenir des «procureurs intuitifs» très sévères lorsque nous sentons que nos valeurs sacrées ont été sérieusement violées, allant bien au-delà des punitions socialement acceptables, lorsque nous avons la possibilité de le faire secrètement[28].

Tetlock s'intéresse depuis longtemps aux tensions entre la psychologie politique et la psychologie politisée. Il soutient que la plupart des psychologues politiques supposent tacitement que la psychologie plus fondamentale que la science politique dans leur domaine hybride[29] - [30]. De ce point de vue, les acteurs politiques - qu'ils soient électeurs ou dirigeants nationaux - sont des êtres humains dont le comportement devrait être soumis à des lois psychologiques fondamentales qui traversent les cultures et les périodes historiques. Bien qu'il adopte lui aussi occasionnellement cette vision réductionniste de la psychologie politique dans son travail, il a également évoqué la possibilité contraire dans de nombreux articles et chapitres que le réductionnisme fonctionne parfois à l'envers - et que la recherche psychologique est souvent motivée par un programme idéologique (dont les psychologues ne semblent être souvent que partiellement conscients). Tetlock avança des variantes de cet argument dans des articles sur les liens entre les styles cognitifs et l'idéologie (la ligne fine entre rigidité et être fondée sur des principes)[31] - [32] ainsi que sur les défis de l'évaluation de concepts valorisés comme le racisme symbolique[33] et biais inconscient[34] - [35] - [36] - [37]. Tetlock a également coécrit des articles sur la valeur de la diversité idéologique dans la recherche en sciences psychologiques et sociales[38] - [39]. L'une des conséquences en étant l'échec fréquent de ce que Tetlock appelle les tests de retournement[40] - [41] - [42].

En collaboration avec Greg Mitchell et Linda Skitka, Tetlock mena des recherches sur des sociétés hypothétiques et des intuitions sur la justice ("philosophie politique expérimentale"). Cela concerne la question fondamentale de la théorie politique: qui devrait obtenir quoi de qui, quand, comment et pourquoi ? Dans les débats du monde réel sur la justice distributive, Tetlock soutient qu'il est pratiquement impossible de dissocier les hypothèses factuelles que les gens font au sujet des êtres humains des jugements de valeur qu'ils font sur les objectifs de l'état final, tels que l'égalité et l'efficacité[43] - [44] - [45] - [46] - [47]. Les études de société hypothétiques permettent aux spécialistes des sciences sociales de démêler ces influences, autrement désespérément confondues sur les préférences en matière de politiques publiques.