Biais de publication

Plusieurs causes au biais de publication ont été avancées. En 1977, Michael J. Mahoney a montré que les comités de lecture des revues scientifiques refusent plus facilement les articles dont le résultat est non significatif que ceux ayant trouvé un résultat significatif. Sachant cela, les chercheurs ont tendance à considérer un résultat non significatif comme moins intéressant pour la communauté scientifique qu'un résultat statistiquement significatif. Sachant que le résultat risque d'être rejeté, ils ne s'investissent pas dans le processus de publication qu'ils pensent voué à l'échec[2].

Une autre raison avancée pour expliquer le biais de publication est le fait que les chercheurs des industries pharmaceutiques réalisent de nombreux tests qu'ils ne souhaitent pas nécessairement voir publiés, soit en raison du secret industriel, soit que les résultats sont défavorables au produit[2].

Pour éviter cela, plusieurs revues médicales dont le Journal of the American Medical Association, les Annals of Internal Medicine, The Lancet et le New England Journal of Medicine ont signé un accord interdisant la publication de résultats de recherche pharmaceutique qui n'auraient pas été enregistrés dans une base de données avant leur démarrage[3].

Le phénomène a également été observé en sciences sociales. Le politologue James Monogan propose également de déclarer les études et le protocole de recherche auprès d'un organisme dédié, par exemple le Political Science Registered Studies Dataverse, avant d'avoir pu observer le résultat de l'étude afin que les chercheurs se contraignent d'une part à adopter un protocole de recherche clair et d'autre part à divulguer leurs résultats qu'ils soient ou non statistiquement significatifs[4].

Les conférences de consensus et les cartographies systématiques visent à minimiser ces biais (entre autres facteurs d'erreurs d'appréciation).

Un biais de publication entraîne lorsqu'il implique des statistiques un « effet tiroir » (en anglais « filedrawer effect »)[5], particulièrement lorsque des méta-analyses[6] sont réalisées. Les résultats non significatifs restent « au fond du tiroir » et ne sont jamais publiés, alors que les résultats significatifs sont sur-représentés[7]. Les sceptiques considèrent que l'effet tiroir a joué un rôle important dans l'histoire de la parapsychologie, et expliquerait pourquoi un petit nombre de méta-analyses ont suggéré un effet supérieur au placebo pour certaines préparations homéopathiques[8]. L'effet de ce biais peut s'illustrer de la façon suivante. Supposons que 100 études similaires et indépendantes sont réalisées pour mesurer l'efficacité d'une préparation homéopathique. Si 5 % d'entre elles rapportent des résultats positifs avec une valeur p de 0,05 et que les 95 % restant rapportent des résultats négatifs, une méta-analyse conclura que l'efficacité n'a pas été démontrée, car par définition le taux de faux positifs espéré (erreur du type 1) est ici de 5 %[9]. Par contre, si une fraction des résultats négatifs ne sont pas rapportés, une méta-analyse ne tenant pas compte de ce biais pourrait conclure erronément à l'efficacité de la même préparation, en particulier si le taux apparent de résultats positifs dépasse significativement le taux de faux positifs attendu.