Déclaration de San-Francisco

Il est naturellement difficile d'évaluer la qualité et l'impact des travaux de recherche aussi objectivement que possible, c'est-à-dire d'en faire la mesure.

L'évaluation de personnes, d'organisations, de réseaux scientifiques, et celle de leurs activités et impacts (utilité) est intrinsèquement difficile, tant pour les pairs que par des outils mathématiques ou informatiques supposés neutres et indépendants.

Avant la réunion de San-Francisco, des chercheurs se demandaient déjà quelle part l'évaluation doit accorder au critères de vulgarisation scientifique, de « valorisation de la recherche » (par les brevets ou par la mise à disposition de tous de données et solutions essentielles ?) par rapport à la notoriété d'un article supposé lié à celle de la revue dans laquelle il parait[6].

Le contexte est aussi celui de la crise de 2008 et des crises écologiques, climatiques ou géopolitiques qui appellent des analyses et réponses scientifiques alors que les budgets sont limités pour la recherche.

La publication scientifique doit aussi répondre à des critiques concernant le poids et l'influence de certains lobbys (industriels, agroalimentaires, nucléaires, etc.) qui orientent parfois les budgets et contenus de la recherche à leur profit. Les révélations de conflits d'intérêts à des haut niveaux de décision dans certaines agences de financement ou d'évaluation d'importance nationale ou européenne, par exemple, on montré que ce risque existait bien.

Parallèlement à une demande sociale d'intégrité scientifique, il existe aussi une demande pour l'ouverture des données et le libre accès aux publications, en particulier quand les études ont été pour tout ou partie financées avec de l'argent public. Ce sont des questions que les financeurs de la recherche, dont l'ANR en France, commencent à étudier de manière plus coordonnée, par exemple via le Global Research Council (en) (GRC)[7].

De larges enjeux moraux, éthiques et de justice ou financiers sont donc sous-jacents à ces débats et à la déclaration de San-Francisco.

L'enjeu principal de la déclaration de San-Francisco (DORA) est de mettre fin à la pratique d'établir une corrélation entre le facteur d'impact d'une revue scientifique et le fond ou la qualité de la contribution individuelle d'un scientifique. Cette pratique est de plus en plus fréquente et systématique notamment en Chine, en Inde et en France, selon Joël Bockaert[8], membre de l'Académie des sciences.

Ce texte reconnait le besoin d’améliorer la façon dont les découvertes et la vulgarisation scientifique sont évaluées (en particulier par la remise en cause du facteur d’impact).

Selon cette déclaration, cette pratique (qui s'est fortement répandue depuis quelques décennies) crée des distorsions et des biais d'évaluation lors de l'appréciation de la recherche scientifique d'un scientifique, de son équipe ou de son laboratoire.

La déclaration affirme que le facteur d'impact ne doit pas être utilisée comme un substitut à la « mesure de la qualité des articles de recherche individuelle, ni en matière d'embauche, de promotion, ou de prise de décisions de financement » [4].

Le contenu de la déclaration consiste en une synthèse des résultats des discussions de la conférence de 2012, traduites en un ensemble de recommandations publiées en mai 2013[3].

La motivation de la rencontre qui a produit cette déclaration était de rompre l'apparent consensus sur le lien entre qualité scientifique et facteurs d'impact, et de montrer que les facteurs d'impact (dans ce cas pour de nombreuses revues scientifiques spécialisées dans le domaine de la biologie cellulaire) ne reflètent pas correctement la valeur des travaux publiés dans ces revues pour la communauté scientifique du domaine de la biologie cellulaire ; ceci valant aussi pour d'autres domaines de le biologie.

Le groupe a aussi voulu discuter des façons de mieux corréler les « mesures » d'impact d'un article et d'un journal avec la qualité de la revue et des auteurs.

Il a également insisté sur une tendance qu'il juge alarmante : les auteurs citent de plus en plus des articles de revue et de moins en moins de sources primaires, ce qui induit outre une perte d'informations vérifiables par le lecteur, des biais d'interprétation. Cette tendance serait en partie due au manque d'espace imposé aux auteurs par certains journaux.

Ce « biais de citation » contribue aussi à réduire ou modifier les « indices de citation » pour des revues qui se concentrent principalement sur la « littérature primaire ». Le groupe a discuté des moyens de combattre cette tendance.

Certains grands éditeurs ou groupements d'éditeurs ont signé la DORA. Elsevier a déclaré adhérer à certains de ses éléments[9].