Bibliométrie

Les premières théories bibliométriques mettent à jour différentes asymétries dans la production savante. Elles renvoient à différentes régularités statistiques qui ont été observées empiriquement entre 1926 et 1935 : la loi de Lotka, la loi de Bradford et la loi de Zipf.

• Selon la loi de Lotka, les systèmes de production et de reconnaissance en sciences suivent une distribution de Pareto, avec 20% des chercheurs qui produisent 80% des publications. Cette loi a été développée par le statisticien Alfred J. Lotka en 1926. Elle permet de comprendre le système de la reconnaissance scientifique.
• Selon la loi de Bradford, les références suivent une distribution de Pareto, avec 20% des revues qui publient 80% des articles les plus cités. Cette loi a été formulée par le mathématicien et bibliothécaire Samuel C. Bradford en 1934. Elle a comme implication bibliométrique la construction de jeux de données.
• Selon la loi de Zipf, la fréquence des mots dans un texte suit une distribution de Pareto. Cette loi a été formulée par le linguiste George Kingsley Zipf en 1935. Elle a comme implication bibliométrique la construction de jeux de données et comme implication biblioéconomique, le développement de collections.

Un second ensemble de théories bibliométriques rend compte des avantages cumulatifs dans la production savante: l'effet Matthieu, l'attachement préférentiel et l'effet Matilda.

• Selon l'effet Mathieu, « la reconnaissance pour une nouvelle découverte [est] plus susceptible d'être accordée aux chercheurs déjà très reconnus qu'à ceux qui [le sont] moins[1] ». Développée par le sociologue des sciences Robert K. Merton en 1968 dans la revue Science, cette théorie a été reprise par Derek de Solla Price en 1976 pour expliquer le processus des avantages cumulatifs à l’œuvre dans le processus de citation.

Plusieurs autres études ont confirmé le rôle des avantages cumulatifs en science: les chercheurs qui sont affiliés à des établissements prestigieux sont plus susceptibles d'être cités (même lorsque l'on contrôle les autres variables sociodémographiques), les articles qui paraissent dans les revues les plus réputées sont cités davantage que ceux qui paraissent dans les revues moins cotées (en tenant compte encore une fois des autres variables), et les chercheurs (de même que les publications) les plus cités sont plus susceptibles de voir leurs citations encore augmenter de manière non linéaire que les moins cités[1].

• Extension de l'effet Mathieu, la théorie de l'attachement préférentiel a été formulée par les physiciens Albert-Laszlo Barabasi et Réka Albert pour comprendre la croissance et la structure de l'information scientifique.
• L'effet Matilda, théorie développée par Margaret Rossiter, renvoie à « la reconnaissance moins importante que reçoivent les femmes pour un travail équivalent[1] » dans le domaine scientifique.

Les théories bourdieusiennes sur le capital fournissent un troisième ensemble de théories bibliométriques. Ainsi que le soulignent Larivière et Sugimoto, « les théories bourdieusiennes sont essentielles pour comprendre l'échange de biens symboliques sur le marché universitaire, où de multiples formes de capital interagissent[1] ». Au nombre de ces formes de capital:

• le capital économique ;
• le capital social ;
• le capital culturel ;
• le capital scientifique ;
• le capital symbolique.

Enfin, la bibliométrie emprunte certaines théories à la sémiotique.

• Charles Sanders Peirce, et la relation entre un objet (le signifié) et le signe qui le représente ;
• Paul Wouters ;
• Henry Small, et la théorie des symboles conceptuels.

D'un point de vue bibliométrique, la contribution à la recherche se définit et se mesure par l'autorat. Les pratiques d'attribution du statut d'auteur (crédit, responsabilité) varient en fonction de trois facteurs: les disciplines, les spécialisations et les pays. En particulier, les différences disciplinaires s'expriment au travers sciences sociales et les arts et humanités (où la rédaction est la seule contribution qui conduit au statut d'auteur), la physique des hautes énergies (où tous les membres de l'équipe de chercheurs sont mentionnés à titre d'auteur) et les disciplines de laboratoire (où l'ordre d'apparition dans la liste d'auteurs constitue un indicateur de contribution et de statut)[1].

La taxonomie CRediT distingue quatorze formes de contribution différentes: conceptualization, data curation, formal analysis, funding acquisition, investigation, methodology, project administration, resources, software, supervision, validation, visualization, writing (original draft) et writing (review & editing). Elle a été adoptée par différents éditeurs (American Association of Petroleum Geologists, BMJ Open Science, British Psychological Society, Cell Press, Dartmouth Journal Services, De Gruyter Open, Duke University Press, eLife, Elsevier, Evidence Based Communications, F1000 Research, Geological Society of London, Health & Medical Publishing Group, International Centre of Insect Physiology and Ecology, The Journal of Bone & Joint Surgery, KAMJE Press, Lippincott Williams & Wilkins, MA Healthcare, MIT Press, Oman Medical Specialty Board, Oxford University Press, Public Library of Science (Plos), SAE International, SLACK Incorporated, Springer, Springer Publishing Company, Wiley VCH et Wolters Kluwer), une institution (University of Glasgow), quelques intégrateurs (Allen Press/ Peer Track, Aries Systems/ Editorial Manager, Coko Foundation/ xPub et River Valley/ ReView) et points de vente (Gates Open Research, HRB Open Research et Wellcome Open Research).

L'existence de pratiques non éthiques (autorat fantôme, autorat honorifique) témoigne des inégalités dans l'établissement des critères d'autorat (effet Mathieu, effet Matilda)[1].

Fortement liée aux pratiques d'attribution du statut d'auteur, la production en recherche se définit et se mesure en quantité d'extrants par unités de recherche (individus, groupes, établissements, etc.)[1]. Seuls les articles originaux et les articles de synthèse sont considérés comme des éléments citables du Web of Science, ce qui constitue une limite des indicateurs de production.

Larivière et Sugimoto relèvent trois méthodes de comptage différentes, qui sont fortement corrélées sur le plan macro (en dépit de fortes différences disciplinaires)[1]:

• le comptage unitaire, qui accorde une unité d'article à chaque entité indiquée dans l'article ;
• le comptage fractionné, qui accorde une fraction de l'unité article à chaque entité indiquée dans l'article ;
• le comptage harmonique, qui suppose que l'ordre d'apparition dans la liste d'auteurs est associé à l'importance de la contribution.

Intimement liée à la production, la collaboration en recherche se définit et se mesure à partir des relations de co-autorat (co-signatures) et ce, à différents niveaux d'agrégation. Il existe deux groupes d'indicateurs de collaboration: ceux basés sur la proportion d'articles associés à plus d'une unité, d'une part, et ceux basés sur des moyennes ou des médianes, d'autre part. Ce dernier groupe d'indicateurs permet de rendre compte de la taille des équipes (nombre moyen/médian d'auteurs pour un ensemble d'articles) ou du caractère international des équipes de recherche (nombre moyen/médian de pays par article).

D'un point de vue bibliométrique, aucune distinction n'est faite entre collaboration et coaffiliation.

Larivière et Sugimoto observent que les pratiques de collaboration sont en hausse dans tous les domaines de la science[1]. Ils associent moins cette hausse à une augmentation absolue de la collaboration qu'à un changement dans les pratiques de reconnaissance du travail scientifique et de la responsabilité associée.

La définition et la mesure de l'interdisciplinarité repose sur les classifications disciplinaires. Les indicateurs sont fondés sur les pratiques de collaboration entre unités disciplinaires (chaque auteur étant associé à une discipline), d'une part, et les références et citations (chaque document faisant référence à des documents publiés dans d'autres disciplines ou étant cité par des documents publiés dans d'autres disciplines), d'autre part.

L'interdisciplinarité reste un concept difficile à mesurer et les données sont relativement indisponibles, particulièrement en sciences sociales et humanités[1].

L'impact de la recherche est défini et mesuré à partir des citations, bien que le fait pour un article d'être hautement cité dise peu de choses quant à sa qualité (actualité du sujet, utilité pour un vaste public, etc.)[1]. Cette idée se base notamment sur la sociologie structuro-fonctionnaliste de Merton, qui caractérise la science du point de vue de son universalisme, sa justice et son auto-régulation[5] . Dans ce champ et cette communauté, les scientifiques « qui ont le mieux rempli leur rôle » sont récompensés (reward system) en étant reconnus, et donc cités, par leurs pairs.

Cette vision du rôle clef des citations se retrouve aussi, avec une interprétation opposée, chez le sociologue des sciences Bruno Latour, qui met l’accent sur les stratégies rhétoriques de l’écriture scientifique et le rôle central des citations venant appuyer et confirmer le discours :

« La présence ou l’absence de références, de citations et de notes de bas de page est un signe si sûr du sérieux d’un texte que l’on peut en partie transformer un fait en fiction ou une fiction en fait simplement en retranchant ou en ajoutant des références[6]. »

Dans ces deux visions, les versions mertoniennes et latouriennes, mais aussi dans la vision communément admise de la science, celle-ci fonctionne en réseau, lequel passe par les citations et références qui permettent de relier les articles entre eux et par là, les chercheurs, les programmes, les institutions.

Ces explications viennent légitimer le constat du fondateur du Science Citation Index, Eugene Garfield :

« Presque tous les articles, notes, revues, corrections et correspondances publiés dans les journaux scientifiques contiennent des citations. Ils citent (généralement par titre, auteur, date et lieu de publication) les documents qui soutiennent, précèdent, illustrent ou élaborent ce que l’auteur a à dire[7]. »

L'analyse de citations entre revues[8] a également inspiré l’algorithme du moteur de recherche Google, le PageRank[9](basé sur les liens hypertextes reliant les pages web), lequel sert aujourd’hui aux classements d’impact des institutions de recherche sur Internet, comme le Ranking Web of World Universities.

Aujourd’hui, d’autres indicateurs d’influence se développent à partir de l’usage qui est fait des articles (nombre de consultations ou de téléchargements). Cette notion d’usage (manifestation d'intérêt) est sensiblement différente de celle d’impact ou d’influence qui est aujourd'hui au centre de l’attention. La notion de reconnaissance émerge également comme alternative[10].

Toute mesure de citation suppose des choix méthodologiques :

• le cadre temporel de calcul : décompte par année citante, année citée, période synchrone ; fenêtre temporelle de citation : longueur de la période où l'on dénombre les citations après la parution de l'article - avec des compromis inévitables entre l'intérêt d'une fenêtre maximale, notamment pour les disciplines lentes, et les impératifs d'une mesure raisonnablement rapide.
• le mode de comptage pour les citations aux publications en cosignatures, avec des choix analogues à ceux rencontrés pour le dénombrement des publications.
• la normalisation (par discipline, par exemple) des indicateurs dérivés.

Larivière et Sugimoto identifient trois limites à la mesure de l'impact de la recherche à partir des citations:

• La citation indique davantage une utilisation qu'un impact ;
• L'interprétation des mesures de citations n'est valide qu'à grande échelle ;
• L'interprétation des mesures de citations n'est valide que dans les disciplines dont la nature est cumulative, c'est-à-dire dans les sciences pures et appliquées.

Il existe des mesures alternatives aux citations, qui sont appelées « altmetrics ». Ces mesures prétendent quantifier l'impact social de la recherche, bien qu'elles proposent un amalgame entre impact et attention[1].

Dans la plupart des sciences biomédicales et physiques, les chercheurs communiquent les résultats de leur travail par des articles dans des revues scientifiques et certains y voient « le but essentiel de leur activité »[11]. La mesure du nombre d’articles publiés constitue donc souvent le premier indice de production. Si l'article est un moyen de communication central dans les sciences dures, d'autres disciplines privilégient d'autres modes de production : les communications en conférence (proceedings) en informatique, les ouvrages ou chapitres d'ouvrage dans plusieurs disciplines des sciences humaines et sociales. Enfin, en technologie et développement, le marqueur d'invention qu'est le brevet, à la fois titre juridique, outil stratégique et support d'information, présente de nombreuses analogies formelles avec l'article scientifique, permettant, avec prudence, la transposition des outils bibliométriques[12]. Aux niveaux meso et macro, le nombre de doctorats délivrés est également une mesure intéressante de l’activité des institutions.

Ces différents types de publications (outputs) sont toutefois plus ou moins accessibles et faciles à traiter. Si les articles publiés dans des revues scientifiques sélectionnées sont systématiquement référencés dans les bases de données Web of Science ou Scopus, le référencement des livres pose plus de difficultés. Des progrès sont en cours autant pour les ouvrages que pour les communications de conférence, sur fond de processus de numérisation des fonds académique et de concurrence entre fournisseurs de données.

De même, il est nécessaire de définir en pratique ce qui relève de la production scientifique, ce qui comporte toujours une part d’arbitraire. Contrairement aux brevets d'invention par exemple, il n'existe pas de définition formelle de ce qu'est un périodique ou un article « scientifique ». L'analyse bibliométrique est confrontée en permanence au calibrage des bases de données, aux questions de classement des revues, à la définition de périmètres de corpus satisfaisants à défaut d'être optimaux, en fonction des objectifs (recherche d'une couverture exhaustive ou comparaison internationale impliquant comparabilité et sélectivité, etc.).

Le dénombrement d'outputs pour un type de production donné et dans un périmètre donné suppose des règles pour les articles en cosignature d'une part, pour les articles ou revues en multi-assignation disciplinaire d'autre part (selon la structure des bases de données). Il existe une grande variété de modes de comptage, dont les plus usuels sont le compte de présence et le compte fractionnaire, qui peuvent conduire, en particulier à l'échelle « micro », à des différences sensibles. Il n'y a pas de « meilleure solution », le choix dépendant des propriétés recherchées et des points de vue adoptés. Il faut être attentif au choix de producteurs d'indicateurs qui présentent parfois des produits avec des systèmes de comptage peu satisfaisants, notamment la sélection d'une institution unique dans une ligne d'affiliation. D'autres éléments de sélection peuvent aussi entrer en jeu, par exemple la prise en compte de la revue par les pairs (le fait que l'article ait été relu et validé par un comité de lecture indépendant) et la question des revues prédatrices (prêtes à publier des articles de piètre qualité).

Les indicateurs classiques sont les mesures de volume, de « parts de marché » sur une référence donnée (nationale, mondiale…). Pour les acteurs institutionnels ou territoriaux, la production, mesure de puissance brute, doit être complétée par des mesures rapportées à l'article (citations par article ou impact), ou par des mesures de « productivité », rapportant la production aux entrées, les ressources humaines ou économiques. Mais la productivité scientifique est extrêmement délicate à estimer, en raison notamment des difficultés méthodologiques, à toutes les échelles, pour mesurer les entrées[13].

Pour les unités à forte diversité, par exemple les grandes institutions de recherche ou les universités, la répartition de la production entre domaines d'activité est un aspect important, mesurable par des indices classiques de spécialisation par thème ou de concentration de l'activité. Ces caractéristiques du spectre d'activité à diverses échelles permettent des analyses de comparaison spécialisation-visibilité, de complémentarité entre acteurs, etc.

Le facteur d’impact (FI) est une mesure de l'impact moyen des articles parus dans une revue : il calcule le nombre total de citations reçues, pendant une année de référence, par les articles parus dans une revue donnée dans les deux années précédentes, puis il divise ce résultat par le nombre d'articles parus au cours de ces deux années[1]. Cet indicateur est la propriété de l'Institute for Scientific Information, qui le calcule chaque année depuis plusieurs décennies pour plus de 5 000 revues scientifiques de la base Science Citation Index. D'abord réservé aux analyses des revues seulement, « il en est venu à mesurer la valeur du chercheur plutôt que de la revue : plus le facteur d’impact du périodique est élevé, plus le capital universitaire du chercheur qui y publie s’accroit[1] ».

Larivière et Sugimoto ont soulevé quatre limites du FI :

• Le numérateur inclut les éléments citables et non citables, tandis que le dénominateur ne retient que les éléments citables. Cette asymétrie a pour conséquence d'exagérer le FI des revues qui publient beaucoup d'éléments non citables. Le CiteScore, développé en 2016 par Elsevier, répond à cette critique ;
• Les différences disciplinaires ;
• L'étroitesse de la fenêtre de citation. Le Journal Citation Report fournit un FI basé sur une fenêtre de citation de cinq ans pour pallier ce problème ;
• Le calcul de la moyenne est difficile à interpréter à l'échelle des articles.

Le facteur d'impact, jalon historique de la scientométrie, a bénéficié d'un relatif monopole dans l'usage des mesures de la science jusqu'au début des années 2000, avant qu'une prolifération d'alternatives ne soient popularisées[14].

Développé en 2016 par Elsevier, le CiteScore est un également un indicateur d'impact pour les revues.

« On obtient le résultat CiteScore d’une revue pour 2015, disons, en additionnant le nombre total de citations reçues en 2015 par tous les documents publiés dans cette revue entre 2012-2014, et en divisant ce nombre par celui de tous les documents publiés dans la revue pendant la même période[1] ».

Développé par l'expert en science des données Jevin West et le biologiste Carl Bergstrom, le score Eigenfactor sert à mesurer l'importance d'une revue. Il le fait en accordant plus de poids à une citation provenant d'une source centrale qu'à une citation provenant d'une source plus périphérique[1]. Exprimé en pourcentage, « plus le score Eigenfactor est élevé, plus l’importance de la revue dans le réseau est élévée[1] ». La fenêtre de citation est de cinq ans.

Le score Eigenfactor sert aujourd'hui au classement des auteurs, des départements, des universités et des pays.

Mis au point par le scientomètre Henk Moed, le Source Normalized Impact per Paper (SNIP) est un indicateur de citations des revues qui adopte la perspective du document citant (et non celle du document cité)[1]. La fenêtre de citation est de trois ans. Les autocitations sont incluses.

Le SCImago Journal Rank (SJR) mesure les liens de proximité entre les revues à partir de leurs relations de cocitations. L'indicateur a été développé par Félix de Moya-Anegon et Vicente Guerrero-Bote.

Quelques indicateurs classiques sont :

• les volumes et parts de citation sur un espace donné (par exemple parts mondiales)
• les statistiques fondées sur une valeur centrale (p.ex. moyenne des citations par article)
• les impacts relatifs (normalisés typiquement par la moyenne du champ disciplinaire)
• la décomposition de l'impact en visibilité espérée (analogue à un facteur d'impact de l'unité considérée, reflétant la concurrence pour l'accès aux revues) et en visibilité relative par revue (ratio de citation relative) reflétant la concurrence à l'intérieur des revues
• les mesures sur profils de citation à toutes les échelles, analysant les distributions relatives pour un acteur et une référence
• la famille récente et prolifique des indices composites, dont le plus couru est le h-index
• les mesures de dépendance ou d'influence scientifique

Ces indicateurs ont des propriétés très différentes, par exemple leur sensibilité aux queues de distribution ou le type de normalisation pratiqué. La diversité des disciplines ou des types de recherche oblige à rechercher, dans toute la mesure du possible, les conditions d'une comparabilité entre données de citation issues de contextes différents. La question de la normalisation/standardisation par champ ou pratique de recherche est centrale. La normalisation des impacts par champ est donc une préoccupation apparue dans le sillage des premiers indicateurs de citation, dans les années 1970, par exemple chez Murugesan et Moravcsik[15]. On distingue aujourd'hui trois types d'approche pour rendre les mesures plus comparables entre champs de recherche :

L'approche classique consiste à normaliser ex post une mesure de citation, par des méthodes cardinales (ratio à une valeur centrale comme la moyenne du champ, standardisation) ou ordinales (percentiles définis par champ). Il existe une littérature considérable sur le sujet, qu'il s'agisse du niveau revues (facteurs d'impact normalisés) ou du niveau acteurs. En général, ces mesures sont dépendantes de nomenclatures disciplinaires, par exemple les « subject categories » du Web of Science, ou de plans de classement. Les préoccupations de normalisation sont présentes dans les textes classiques de bibliométrie (Narin, 1976, Braun 1985, voir bibliographie ; Schubert et Braun 1996[16]), avec de nombreuses applications au niveau revues (un des premiers facteurs d'impact normalisés : Sen 1992[17]).

Certains types de « mesures d'influence » qui renouvellent le travail pionnier précité de Pinski et Narin, par exemple l'Eigen Factor des revues développé par Bergstrom[18], intègrent un autre type de normalisation, du côté des citations émises (référencement) et non des citations reçues. Cette normalisation est mêlée, dans ce cas, aux pondérations en chaîne des revues émettrices en fonction de leur propre visibilité.

Analysant la dépendance par rapport au niveau de généralité des ensembles pris comme référence, d'autres auteurs[19] ont suggéré l'intérêt d'une pondération côté citant, sans introduire de chaînes d'influence, ce qui a abouti au développement expérimental d'un facteur d'impact pondéré, le « facteur d'audience »[20]. Cet indicateur égalise dans une large mesure les niveaux entre spécialités ou disciplines et inclut une correction pour l'immédiateté des citations. Dans ce sillon, le SNIP (Source Normalized Impact per Paper)[21] a été implémenté par Scopus. Cette mesure, comme le facteur d'audience, est indépendante du découpage disciplinaire. Le principe de normalisation côté citant peut être étendu, comme les mesures d'influence, à l'ensemble des techniques de citation.

En 2005, Jorge Hirsch, un physicien, a proposé l’indice h comme indicateur composite de la productivité et de l'impact scientifique. Un chercheur aura un h-index égal à N s’il a publié au moins N articles cités au moins N fois. Cette définition donne un faible indice aux chercheurs qui publient énormément d’articles, mais ne sont presque jamais cités ainsi qu’aux chercheurs qui ont publié de manière exceptionnelle un article extrêmement cité. Par construction, l’indice h d’un chercheur ne peut jamais diminuer, même si sa production a chuté ou s’est arrêtée.

Selon Yves Gingras, l’indice h a peu d’utilité au niveau individuel, car « il est en fait fortement corrélé au nombre total d’articles et est ainsi redondant[22] ». Il note toutefois que son utilisation de plus en plus courante (il est intégré aux bases de données bibliométriques) est avant tout le fait des chercheurs eux-mêmes.

Larivière et Sugimoto soulignent trois inconvénients à cet indicateur :

• il fait de la publication la variable dominante du calcul ;
• il est sujet à des distorsions ;
• il n'a pas de concept sous-jacent[1].

L'indice présente l'avantage, contrairement aux impacts moyens, d'être insensible aux articles peu cités dans la production d'un auteur. D'autres indices de la famille (g-index, e-index) conservent cette caractéristique du h-index tout en introduisant une sensibilité au score de citation des articles les plus visibles. Un inconvénient de ces mesures est leur normalisation disciplinaire délicate, aussi bien en pratique que dans le principe même, étant donné le caractère quelque peu numérologique de l'approche.

L’Institute for Scientific Information (ISI) créé en 1960 par Eugene Garfield a été acquis par Thomson Scientific & Healthcare en 1992 et a porté le nom de Thomson ISI. À la suite de la fusion avec Reuters en 2008, l'ISI a fait partie de la Thomson Reuters Corporation. Il est depuis 2016 la propriété de Clarivate.

L’ISI a développé son activité autour de sept bases de données de publications scientifiques et de leurs citations. Les trois premières recensent les articles et leurs citations : Science Citation Index (SCI), Social Sciences Citation Index (SSCI) et Arts and Humanities Citation Index (A&HCI). Ensemble, ce sont plus de 9 700 revues qui sont entièrement couverts, dont 70 % situés en sciences naturelles, et autant qui sont partiellement couverts[23]. Les citations remontent à 1900. Les critères de sélections des revues sont assez restrictifs et se basent sur le nombre de citations reçues. De par ses critères de sélection, ces bases de données ont un fort biais anglophone.

Les actes de conférences sont couverts par deux bases de données : Conference Proceedings Citation Index - Science (CPCI-S) et Conference Proceedings Citation Index - Social Sciences & Humanities (CPCI-SSH). Enfin, deux bases de données sont consacrées à la chimie : Index Chemicus (IC), Current Chemical Reactions (CCR-Expanded).

ISI a développé de nombreux produits destinés à l’exploitation de ses bases de données :

• Web of Science : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal,
• Journal Citation Report : classement des journaux par facteur d'impact, différentes métriques sur les journaux,
• Essential Science Indicators et ScienceWatch : classements d’institutions, d’auteurs, de pays ou de journaux, liste des articles les plus cités, liste des sujets les plus « chauds », etc.
• InCites : outils de benchmarking à l’usage des institutions,
• ResearcherID : un numéro unique par auteur, pour distinguer les travaux de personnes ayant une homonymie ou pour suivre le travail d’une personne ayant changé de nom.

L’éditeur Elsevier a lancé, en 2004, une base de données concurrente à celle d’ISI, sous le nom de Scopus. Celle-ci a rapidement rattrapé son retard et référence maintenant 16 500 revues scientifiques (y compris plus d’un millier en accès libre), 600 publications industrielles, 350 collections d’ouvrages, ainsi que plusieurs millions d'actes de conférences[24]. Les citations remontent à 1996 seulement pour la moitié des articles référencés. Par rapport à ses compétiteurs, Scopus offre une plus grande couverture des Sciences Humaines et Sociales et des revues non anglophones[25].

Elsevier a développé deux produits destinés à l’exploitation de ses bases de données :

• Scopus.com : interface web qui permet d’analyser les citations d’une personne, d’un groupe, d’un article ou d’un journal ;
• SciVal Spotlight : outils de benchmarking (analyse comparative) à l’usage des institutions.

Par ailleurs, en se basant sur Scopus, SCImago Journal Rank ou eigenfactor.org sont des sites web libres d’accès qui permettent de classer des journaux ou des pays.

Filiale du géant Google, et basé sur le même principe, Google Scholar a été lancé en version beta à la fin de l'année 2004 et référence les articles scientifiques. D’accès libre, Google Scholar semble plus complet que ses compétiteurs mais il est actuellement impossible de savoir ce qui est inclus ou non dans cette base de données. De nombreuses erreurs ou doublons ont été relevés.

À partir de Google Scholar, l'outil bilbiométrique Publish or Perish permet de calculer quelques indicateurs bibliométriques par auteur, revue ou article. Il existe également une extension au navigateur Firefox qui a des fonctions relativement identiques : Tenurometer.

D’autres bases de données[26], souvent financées par de l’argent public et libre d'accès, sont souvent utilisées dans des domaines spécialisés :

• SPIRES pour la physique,
• MEDLINE pour les sciences de la vie et les sciences biomédicales,
• CiteSeerX pour l’informatique et les sciences de l'information.

Elle est utilisée par les organismes finançant la recherche comme outil d’évaluation et comme aide à la décision en ce qui concerne les politiques de recherche.

La bibliométrie est utilisée par les universités ou les gouvernements pour déterminer leurs forces et faiblesses dans le domaine de la recherche et orienter ainsi leurs actions.

« Les liens que tissent la statistique avec la politique sont multiples. Ils vont de la compréhension des phénomènes sur lesquels on veut intervenir (théorique) à l'évaluation des actions gouvernementales (pratique), sans oublier la promotion des efforts nationaux (symbolique)[27]. »

L'Université Jiao-tong de Shanghai, l'une des institutions dressant des classements universitaires

S’appuyant sur un ou plusieurs des indicateurs énoncés auparavant, les classements d’universités sont sans doute l’application la plus visible de la bibliométrie. Les deux classements internationaux les plus célèbres sont :

• le classement académique des universités mondiales par l'université Jiao Tong de Shanghai, dit classement de Shanghai,
• le classement du journal Times Higher Education.

La bibliométrie est utilisée par les sociologues des sciences pour étudier l’activité des scientifiques, l’apparition et l’autonomisation de disciplines, l’importance temporelle de certains champs ou encore les liens que différentes disciplines tissent entre elles.

La bibliométrie est parfois utilisée pour l'évaluation individuelle des chercheurs. Cet usage est très controversé (cf. ci-dessous) compte tenu de l'imperfection des indicateurs et des enjeux d'un tel exercice. L'académie des Sciences française a émis un certain nombre de recommandations à cet effet[28] :

« Recommandation n° 1 : L’utilisation des indicateurs bibliométriques pour l’évaluation individuelle n’a de valeur que si l’on respecte certaines conditions majeures : L’évaluation doit porter sur les articles et non sur les revues ; La qualité des données, la normalisation, la significativité des écarts et la robustesse des indicateurs doivent être validées ; L’évaluation bibliométrique doit ne comparer entre elles que des personnes de la même communauté disciplinaire, pendant tout leur parcours ; Les utilisateurs de la bibliométrie doivent être capables de s'en expliquer […]

Recommandation n° 2 : La bibliométrie ne peut pas se résumer à des nombres, mais doit être accompagnée d’un examen approfondi des données bibliométriques et bibliographiques, et si possible des articles eux-mêmes.

Recommandation n° 3 : Les indices bibliométriques ne peuvent pas être utilisés de la même façon selon l’objet de l’évaluation: recrutements, promotions, contrats, distinctions, etc.

Recommandation n° 4 : Il faut tenir le plus grand compte, lorsque cela est possible, de la place et de la contribution de l’auteur dans l’article considéré.

Recommandation n° 5 : L’évaluation bibliométrique doit être l’objet de recherche pour en améliorer la valeur. La France doit participer à cette réflexion. »

Certaines des personnes qui élaborent les indicateurs décrits ci-dessus en soulignent les limites. Par exemple, les auteurs du classement de Shanghai concèdent l’existence d’un biais en faveur des pays anglophones et des institutions de grande taille, ainsi que les difficultés à définir des indicateurs adéquats pour classer les universités spécialisées dans les sciences sociales[29]. Le rapport de l’Institut national de recherche en informatique et en automatique (INRIA) sur le sujet considère que les critères bibliométriques, quantitatifs, ne sauraient remplacer l’évaluation par les pairs, qualitative, et souligne un certain nombre d’effets pervers de ces indicateurs dès lors qu’on leur accorde trop d'importance :

« Si les indicateurs peuvent donner des tendances sur un nombre réduit d’aspects de la vie scientifique, il convient d’être très circonspect dans leur usage en raison de la possibilité d’interprétations erronées, des erreurs de mesure (souvent considérables) et des biais dont ils sont affectés. Un usage abusif des indicateurs est facilité par la nature chiffrée du résultat qui introduit la possibilité d’établir dans l’urgence toutes sortes de statistiques, sans se préoccuper d’en analyser la qualité et le contenu, et en occultant l’examen d’autres éléments de la vie scientifique comme, par exemple, l’innovation et le transfert intellectuel et industriel.

Les constatations et les recommandations les plus importantes sont les suivantes :

1. on pourra constater que les erreurs de mesure dans la recherche de citations sont très importantes (…). Nous recommandons donc fortement de multiplier les sources, de faire une analyse critique des résultats (en particulier en faisant appel à des experts des domaines) et de s’attacher, au plus, aux ordres de grandeur des indicateurs.
2. nous recommandons d’utiliser la littérature bibliométrique pour cerner la signification réelle des indicateurs et leur biais.
3. les indicateurs ne donnent qu’une vue partielle et biaisée de certains aspects de la vie scientifique, sans en recouvrir l’ensemble. Ils doivent donc être complétés, corrigés et commentés par des spécialistes du domaine scientifique et interprétés s’ils sont utilisés dans le cadre d’une évaluation ou d’une prise de décision.
4. nous recommandons de ne jamais utiliser des indicateurs pour effectuer des comparaisons entre domaines scientifiques différents.
5. le principe des indicateurs reposant sur une analyse des citations est peu favorable à la prise de risques scientifiques et à l’innovation. Une utilisation abusive (voire pire, automatisée) serait un frein majeur à l’innovation.
6. les indicateurs chiffrés sont très facilement manipulables par les individus, les institutions et d’autres acteurs de la vie scientifique (comme les journaux). Le nombre de manipulations augmentent, ce que l’on peut corréler à l’effet croissant de l’influence des indicateurs[30]. »

Les recommandations ci-dessus sont partagées par de nombreux professionnels de la bibliométrie. Toutefois, l'absence de comparabilité entre domaines ne doit pas être exagérée, compte tenu des possibilités de normalisation, et en particulier pour les disciplines qui partagent un même mode majeur de production (par exemple l'article). Les comparaisons sont plus délicates en présence de modes de production différents, et sont naturellement conditionnées par l'accessibilité de données représentatives sur ces modes de production (problématique pour une grande partie des SHS).

Les indicateurs quantitatifs peuvent être affectés par des biais culturels, notamment dans la façon dont les chercheurs d'une culture citent des chercheurs d'une même culture[31] (scientifiques chinois qui citent les chinois etc.).

Le risque le plus grand est certainement - c'est l'envers de l'extrême adaptabilité du monde de la recherche - la pression à la conformité avec un système de mesure ou de récompense figé et inadéquat, dont la forme la plus naïve est le financement à la publication. Les défis et perspectives sont abondamment discutés dans la littérature, qu'il s'agisse de bibliométrie-scientométrie[32] - [33] - [34] - [35], ou d'indicateurs[36].

De plus en plus utilisés pour évaluer les chercheurs, en contradiction avec la pensée du père fondateur Derek de Solla Price qui insistait sur le caractère statistique de ces approches, les indicateurs quantitatifs se heurtent à une forte critique due à leur manque de cohérence lorsqu’ils sont appliqués au niveau individuel. Le fait qu’un même chercheur puisse recevoir des mesures d’impact différentes selon les indicateurs et les bases de données bibliographiques utilisés[37] pose de nombreux problèmes quant à leur utilisation et à la définition d’une norme de qualité.

D'autres critiques de la bibliométrie mettent parfois en avant une grande variabilité du nombre de publications chez les scientifiques réputés. Des scientifiques de premier plan comme Albert Einstein ou Louis de Broglie n’auraient, dans l’ensemble, que peu publié, malgré leur influence considérable sur la science. Ceci viendrait démontrer le peu de fiabilité des indicateurs bibliométriques. Malheureusement, ces critiques s’appuient rarement sur des chiffres pourtant vérifiables : concernant Einstein, « voici ce que dit le ISI web of knowledge : Environ 160 articles, h-index = 49, nombre de citations proche des 20 000.»[38]. La bonne pratique en scientométrie suppose la connaissance des propriétés de chaque mesure et ne s'appuie pas sur un seul indicateur, aussi composite qu'il soit.

La situation est évidemment plus compliquée dans les sciences humaines et sociales. Par exemple, selon le philosophe Olivier Boulnois, « sur les quatre tomes des Dits et Écrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A… »[39]. Cette critique montre que la mesure de la science doit suivre au plus près les pratiques de recherche et publications scientifiques et évoluer avec elles (les exemples donnés ici appartiennent en effet à un contexte scientifique différent de celui d’aujourd'hui).

Dans le même ordre d'idées, il existe des articles qui sont très peu cités pendant une période de plus de 10 ans et qui deviennent très cités des années plus tard. Appelés « sleeping beauties » (beautés dormantes), ces articles sont souvent des contributions visionnaires de certains scientifiques, passés relativement inaperçus lors de leur publication parce que le champ scientifique n'était pas suffisamment mûr pour apprécier ces travaux. L'existence de ces « sleeping beauties » remet en cause l'usage des citations pour l'évaluation individuelle. Il faut toutefois relativiser leur nombre et leur impact sur les indicateurs bibliométriques puisqu'ils ne représentent qu'entre 0,01 et 0,1 % des articles publiés[40].

Une des critiques les plus paradoxales vient peut-être de Laurence Coutrot, qui rappelle les processus de filtrage successifs nécessaires avant la publication d’un article, processus de filtrage qui passent par l’évaluation par les pairs (comités de revues, etc.): « une fraction variable de ces manuscrits arrive à publication, un sur dix ou un sur vingt, parfois moins. Enfin, un article publié peut, par une série de processus sociaux que l’on connaît fort mal, parvenir à être cité. La citation est une mesure raisonnable de la visibilité d’un résultat scientifique. Quand bien même l’on voudrait départager les chercheurs qui travaillent de ceux qui « ne travaillent pas » (à supposer que cette expression ait un sens), le critère de citation est une mesure bien rustique. Sous des parures d’objectivité, cet indicateur réintroduit en fait ce qu’il prétendait éliminer ; c’est-à-dire, le jugement par les pairs. »[37]

En réalité, la bonne pratique en bibliométrie/scientométrie ne conteste en aucune manière le jugement par les pairs. Elle assume le rôle de miroir de la bibliométrie, qui reflète l'agrégation des micro-décisions de jugement entre pairs (celle de citer est un acte important), mais ne prétend nullement faire de cette agrégation une approche exclusive. Inversement, le jugement par les pairs au sens conventionnel, dans ses multiples formes, est influencé par les informations bibliométriques (à commencer par le facteur d'impact…) surtout à l'ère des bases bibliographiques/bibliométriques en ligne. Le jugement par les pairs n'est naturellement pas à l'abri de dérives, notamment en situation d'évaluation ou d'expertise par jurys ou commissions (biais de spécialisation, effets de groupe, conflits d'intérêts…). Il y a donc une porosité entre les deux mondes, chacun présentant des forces et des faiblesses, et une évidente complémentarité.

Par ailleurs, la bibliométrie ne peut prétendre qu’à l’analyse d’une des facettes du métier de chercheur. Elle laisse de côté l’enseignement, la vulgarisation, les services à la cité, la valorisation ou encore les services à la communauté (participation à des jurys, à des comités de lecture, etc.). De nombreux facteurs peuvent donc expliquer un faible nombre de publications. Par exemple, un chercheur qui travaille beaucoup dans le cadre de contrats en relation avec des industriels peut avoir du mal à publier autant qu’il le souhaiterait pour des raisons de confidentialité.

La bibliométrie incite les chercheurs à publier plus, selon le principe publish or perish. Le risque est ici que les chercheurs se préoccupent plus d’étoffer leur palmarès de publications (qui détermine leur carrière : possibilités de promotion, mais aussi, dans certains cas, paye ou continuité de leur emploi) que de réaliser des travaux scientifiquement intéressants.

On constate alors diverses dérives dues au désir d’augmenter le nombre de publications, par exemple :

• le psittacisme : le chercheur publie la même idée dans plusieurs « papiers », profitant du fait que les évaluateurs des différentes publications n’ont pas lu leurs travaux précédents ;
• le saucissonnage (salami effect) : la même idée est découpée en plusieurs tranches, chacune publiée séparément[37] - [30],
• l’auto-citation malicieuse[30],
• le frein à la prise de risque et la pénalisation de la recherche de pointe[30] - [41].

Comme toute technique de mesure, la bibliométrie devient sujette à manipulation, d’autant plus facilement que son fonctionnement est connu.

L’usage du « facteur d’impact » des revues pour l’évaluation de la qualité des articles et des chercheurs est très sujet à caution.

Si le facteur d’impact est censé mesurer l’importance d’une revue pour la communauté scientifique, il est erroné de conclure qu’un article publié dans une revue à fort facteur d’impact est forcément de meilleure qualité qu’un papier dans une revue à facteur d’impact plus faible. Étant donné la distribution très asymétrique des citations, le facteur d’impact (qui est une valeur moyenne) d’une revue est un mauvais prédicteur du nombre de citations que recevra un article publié dans cette revue.

D’autre part, le facteur d’impact, comme tout indicateur basé sur les citations, dépend énormément des habitudes de référencement. La dépendance à la taille du champ n'est pas mécanique, au moins pour la valeur moyenne de l'impact. L'immédiateté des citations joue aussi un grand rôle : la longue demi-vie des citations en mathématiques désavantage fortement les revues de cette discipline par rapport à d’autres où les citations se font beaucoup plus rapidement. Des normalisations adaptées permettent de compenser, ou de réduire, ces effets. Le facteur d'impact proprement dit est typique des revues, et n'est pas accessible pour d'autres supports. En informatique, les comptes rendus de conférence prennent une grande importance. Dans le champ des sciences humaines et sociales, les articles recensant des ouvrages font l’objet d'un plus grand nombre de citations référencées que les ouvrages eux-mêmes.

Par ailleurs, la politique éditoriale de certaines revues renommés (comme Science ou Nature) met en jeu des critères extra-scientifiques, comme le côté « sensationnel » d’une publication. L’usage du nombre de citations favorise les publications « dans l’air du temps ». D’une manière générale, une revue consacrée à des sujets originaux ou émergents mais qui ne seraient pas « à la mode » est défavorisé par la fenêtre de mesure de deux ans[41]. L'Institute for Scientific Information (ISI) met désormais à disposition une mesure sur une fenêtre plus longue.

Enfin, de nombreuses revues ont été accusées de gonfler artificiellement leur facteur d’impact, en augmentant le nombre de recensions ou encore en incitant fortement leurs auteurs à citer d’autres articles de la même revue. L'ISI repère toutefois les cas les plus flagrants de manipulation et exclut les revues concernés de sa liste[42].

Notons que l'apparition d'autres mesures de notoriété des revues (mesures d'influence, facteur d'audience/ SNIP), même lorsqu'elles demeurent assez corrélées au facteur d'impact et au facteur d'impact normalisé par champ, montre des différences suffisantes pour en relativiser le dogme. La littérature spécialisée présente des analyses approfondies des facteurs d'impact[43] - [44]. Surtout, il n'est plus possible, dans une approche moderne de la bibliométrie, de se limiter aux mesures d'impact dans les applications évaluatives.

Le coût d’accès aux outils payants est élevé et varie d’une institution à l’autre en fonction du nombre d’utilisateurs ou du nombre d’articles référencés. L’INRIA (Institut national de recherche en informatique et en automatique) dépenserait 7 000 euros par an pour pouvoir avoir accès au Science Citation Index Expanded (jusqu’aux articles de 1991) et au Journal of Citation Report[30]. Le rapport de l’INRIA conclut donc, à ce sujet, que « L’accès aux sources payantes est donc relativement onéreux alors que nous avons vu que le taux de couverture imparfait de ces outils devrait amener à multiplier les sources pour établir de manière raisonnable les indicateurs demandés et/ou pour contrôler les biais méthodologiques des calculs des indicateurs. De plus pour le cas particulier de l’INRIA l’étude préliminaire […] montre que les résultats obtenus via les sources payantes sont bien plus médiocres que ceux obtenus à l’aide des outils gratuits. Dans un autre domaine il serait a fortiori pernicieux que les indicateurs soient utilisés pour guider les choix des abonnements dans les centres de documentation. »[30]

Les articles scientifiques ne constituent pas le canal de diffusion principal dans les Sciences Humaines et Sociales (SHS) où les monographies par exemple prennent une importance beaucoup plus grande que dans les sciences naturelles. Les méthodes bibliométriques actuelles sont donc peu adaptées à ces disciplines. La volonté d’évaluer les performances des acteurs de la recherche en SHS a donc conduit des organismes publics à chercher des alternatives à la bibliométrie.

Crée en 1977, la fondation européenne de la science (en anglais European science foundation, ESF) est une association regroupant 77 organisations scientifiques de 30 pays européens. Son objectif est de promouvoir la recherche scientifique et d’améliorer la coopération européenne dans ce domaine, d’émettre des avis sur des questions scientifiques stratégiques, d’encourager la mobilité des chercheurs, d’améliorer la mutualisation des moyens.

Dans ce cadre, l’ESF a mis en place en 2007 un classement des revues dans le domaine des humanités[45]. Appelé « European Reference Index for the Humanities » (ERIH), ce classement est établi par un panel d’experts. Il classe les revues en trois catégories en fonction de leur importance perçue.

Devant la menace de 61 comités de publication de revues de sciences humaines et sociales, la fondation a décidé, en janvier 2009, de retirer les lettres (A, B et C) de son classement. Celles-ci seront remplacées par des descriptions écrites[46].

En France, les indicateurs bibliométriques occupent une place importante dans la Loi organique relative aux lois de finances (LOLF)[41]

L’agence nationale d’évaluation de l’enseignement supérieur et de la recherche (AERES) est une autorité administrative indépendante (AAI) française, chargée de l’évaluation de l’enseignement supérieur et de la recherche publique, créée par la loi de programme pour la recherche de 2006.

Prenant en partie appui sur le modèle de l’ERIH (European Reference Index for Humanities) développé pour les humanités et sur les listes établies par le CNRS en 2004, l’AERES a procédé à sa propre classification en l’étendant aux sciences sociales. Elle a produit une première liste de revues ordonnées (A, B, C) de 6305 revues, qui a été rendue publique en juillet 2008 et a suscité une vive critique (voir infra). L'Agence a réagi en produisant des listes disciplinaires non ordonnées, appliquant un « périmètre de scientificité » entre 2009 et 2011[47].

En France, le classement bibliométrique des revues mis en place par l’AERES, a suscité des critiques de la part de chercheurs d’horizons divers[39]. Ainsi, le médiéviste Olivier Boulnois affirme qu’on « confond la qualité d’une revue avec sa diffusion, et la qualité d’un article avec la qualité d’une revue »[39]. La philosophe Barbara Cassin est aussi extrêmement critique vis-à-vis de l’indice h et du classement des revues[48].

Le classement de l’AERES favorise en outre les revues généralistes (auxquelles on attribue le rang A) au détriment des revues spécialisées (rang B voire C) - ce qui conduit à une sous-évaluation de la valeur des articles publiés dans des revues spécialisées, jugés de moindre importance du fait du lieu de leur publication[49].

En matière de sciences politiques, l’European Reference Index for Humanities utilisé par la Fondation européenne de la science n’a pas été utilisé par les « experts » chargés par l’AERES de classer les revues de sciences politiques (qui n’étaient pas présentes dans le classement de l’AERES de juillet 2008), « pour la raison principale que très peu de revues françaises pourraient être classées selon ces derniers critères [de visibilité internationale] et qu’il serait alors impossible de réaliser une évaluation raisonnable de la production scientifique effective des politistes français. »[49]

Les différents classements possibles utilisés par l’AERES sont ainsi critiqués pour leur absence de bases solides[50].

Depuis 2013 a lieu l'action NLP4NLP [51]qui est une opération de bibliométrie d'application des outils de TAL aux archives du TAL depuis les années soixante jusqu'à nos jours par Joseph Mariani, Gil Francopoulo et Patrick Paroubek. Il s'agit par exemple de déterminer automatiquement quels sont les inventeurs des termes techniques du TAL qui sont utilisés actuellement[52]. Un autre champ d'étude est de déterminer quels sont les couper / coller (éventuels) que les chercheurs du TAL effectuent quand ils écrivent un article scientifique[53]. Un autre thème de travail est l'analyse prédictive afin de déterminer en fonction des profils statistiques de l'usage des termes techniques populaires actuellement, quels seront les termes en usage dans les quatre prochaines années[54].