Loi de Campbell
La loi de Campbell est un adage développé par Donald T. Campbell, psychologue et spécialiste des sciences sociales ayant travaillé notamment sur la méthodologie de la recherche scientifique et l'évaluation des politiques publiques :
« Plus un indicateur social quantitatif est utilisé comme aide à la décision en matière de politique sociale, plus cet indicateur est susceptible d'être manipulé et d'agir comme facteur de distorsion, faussant ainsi les processus sociaux qu'il est censé surveiller[1]. »
Applications
La loi de Campbell peut être considérée comme un exemple de l'effet cobra, qui est l'effet négatif involontaire de certaines politiques publiques et interventions gouvernementales en matière d'économie, de commerce et de soins de santé.
Éducation
En 1976, Campbell a écrit : « Les tests de réussite peuvent constituer de précieux indicateurs de la réussite scolaire dans des conditions d'enseignement normales axées sur la compétence générale. Mais lorsque les résultats des tests deviennent l'objectif du processus d'enseignement, ils perdent tous les deux leur valeur en tant qu'indicateurs du niveau éducatif et faussent le processus éducatif de manière indésirable. (On retrouve bien entendu des biais similaires dans l’utilisation de tests en cours d'année ou dans les examens d’entrée) »[1].
Appliqué aux institutions académiques américaines, le principe de la loi de Campbell permet de souligner les conséquences négatives de l'importance centrale accordée aux tests et examens dans les écoles américaines. Cela peut prendre la forme d'un enseignement pour l'examen ou d'une tricherie pure et simple[2]. L'importance centrale accordée aux examens érigée comme principe d'enseignement, dans des contextes à fort enjeu notamment (The High-Stakes Education Rule) est identifiée et analysée dans le livre Measuring Up: What Educational Testing Really Tells Us[3].
La loi de Campbell donne un éclairage sur les programmes interventionnistes comme ceux de l'administration Obama (« Race to the Top ») ou de l'administration Bush (le « No Child Left Behind Act »,) et sur les effets pervers induits, notamment leur influence négative en termes d'éducation et d'apprentissage[4].
Règles similaires
La loi de Goodhart et la critique de Lucas sont d'autres formulations et applications de la même idée. De même, les chercheurs britanniques Rebecca Boden et Debbie Epstein ont publié en 2006 une analyse de la « politique fondée sur la preuve » (evidence-based policy), une pratique préconisée par le Premier ministre Tony Blair et qui souffrirait selon les auteurs des mêmes biais. Boden et Epstein montrent qu'un gouvernement qui construit ses mesures politiques sur des résultats attendus vérifiables (« evidence-based policy (en) ») peut finir par produire des données corrompues, puisque leur mise en œuvre finit par « chercher à capturer et à contrôler les processus de production de connaissances » afin de produire avant tout les preuves (attendues) de leur réussite. Les auteurs considèrent ainsi que se produit une inversion de rapport entre la politique, censée être porteuse de résultats, et les résultats, qui deviennent porteurs de politiques (passant d'une evidence-based policy à une policy-based evidence (en))[5].
Lorsque les décisions sont prises ou amendées dans le but d'améliorer la mesure de performance, la mesure de la performance peut ainsi devenir plus importante que la performance elle-même[6].
La loi de Campbell délivre un message plus positif mais plus compliqué. Mesurer les progrès en utilisant des indicateurs quantitatifs et qualitatifs reste utile[7]. Cependant, l'utilisation de données quantitatives à des fins d'évaluation qualitative peut fausser la démarche d'évaluation et ainsi biaiser la qualité des indicateurs et donc la mesure de la performance.
Notes et références
- Campbell, « Assessing the impact of planned social change », Evaluation and Program Planning, vol. 2, no 1,‎ , p. 67–90 (DOI 10.1016/0149-7189(79)90048-X)
- Aviv, « Wrong Answer », The New Yorker,‎ (lire en ligne)
- Daniel Koretz, Measuring Up: What Educational Testing Really Tells Us, (ISBN 978-0674035218)
- (en) « Trust but verify: The real lessons of Campbell's Law | The Thomas B. Fordham Institute », edexcellence.net (consulté le )
- Boden et Epstein, « Managing the research imagination? Globalisation and research in higher education », Globalisation, Societies and Education, vol. 4, no 2,‎ , p. 223–236 (DOI 10.1080/14767720600752619)
- Bentley, Decreasing Operational Distortion and Surrogation through Narrative Reporting, Rochester, NY,
- (en) « Quantitative & Qualitative Indicators », Monitoring & Evaluation (consulté le )
Bibliographie
- (en) Jesse Rothstein, NEPC Review: Learning About Teaching, Université de Californie — Berkeley, Centre de la politique d’éducation, (lire en ligne)
- (en) Dan Koretz, « The Testing Charade : Pretending to make Schools Better », Harvard education magazine,‎ (lire en ligne)
- (en) Thomas J. Kane, Steven Cantrell (dir.), Learning about Teaching — Initial Findings from the Measures of Effective Teaching Project, Bill & Melinda Gates Foundation, (lire en ligne)
Liens externes
- (en) David C. Berliner, Sharon L. Nichols, « High-Stakes Testing Is Putting the Nation At Risk », sur edweek.org, (consulté le )
- (en) Tony Waters, « Campbell’s Law and the Fallacies of Standardized Testing », sur ethnography.com, (consulté le )