Classement académique des universités mondiales par l'université Jiao Tong de Shanghai

Un prix Nobel obtenu par un professeur d'université français peut valoir deux fois moins qu'un Nobel obtenu par un professeur d'université américain ou britannique. En effet, la recherche française s'effectuant en général dans des unités mixtes de recherche qui associent des universitaires au CNRS, le classement Shanghai attribue 50 % du bénéfice à l'université et 50 % à l'organisme du CNRS[16]. Mais puisque le CNRS et les autres organismes de recherche français n'apparaissent pas dans le classement Shanghai, cela veut dire que « la moitié du bénéfice du prix ne profite à personne et s'évapore complètement » écrit Albert Fert dans une tribune dans Le Monde[16]. Pour ce qui concerne les 60 % de la note, qui dépendent du décompte d'articles et du nombre de citations, « le principe général est le même que pour les prix. (…) dans le cas de publications d'un laboratoire universitaire associant l'université et un organisme comme le CNRS, à peu près 50 % du bénéfice restera en général à l'université et 50 % s'évaporera en ne profitant à personne »[16]. Ce dernier point concerne en particulier la liste des chercheurs les plus cités : c'est pourquoi en 2019 une instruction de la ministre de l'Enseignement supérieur demande aux chercheurs concernés de corriger cet effet en mentionnant comme affiliation primaire le site universitaire qui héberge leur laboratoire[17].

L’influence réelle du classement de Shanghai sur les choix des étudiants fait l'objet de débats[18], alors qu'il pourrait s'agir d'un critère déterminant pour évaluer la pertinence d’un tel classement. Selon Philippe Mahrer, directeur du Collège des ingénieurs, ce classement n'a qu'une faible notoriété en Chine, même auprès des étudiants. Au contraire, selon l'ambassade de France en Chine : « [ce classement] trouve en effet un écho important chez les étudiants chinois, pour qui le prestige de l’université est déterminant car il fait partie des critères de recrutement professionnel en Chine »[19].

De fait, le classement est surtout considéré par les administrations, les équipes pédagogiques et les ministères (qui en ont fait un mode d'évaluation des universités) alors que l’orientation des étudiants, et notamment vers les universités de sciences sociales, prend en compte de nombreux facteurs, souvent personnels[20].

Le classement d’un établissement étant sensible à sa taille, il en a été souvent déduit qu'une façon de monter dans le classement était de regrouper des établissements, à moyens constants. Cet argument de la montée dans les classements apparaît donc souvent au premier plan dans les présentations relatives aux nouveaux regroupements universitaires[21].

Le classement est très médiatisé en France[22] - [23], contrairement à certains pays comme les États-Unis ou le Royaume-Uni dont les établissements sont pourtant très bien classés, et pousse la France à faire des choix qui vont à l’encontre de « l’esprit de service public », tels que la création de regroupements universitaires parfois artificiels, dans une logique de concurrence et de rationalisation économique[8] - [18] - [6], avec l'objectif clair de monter dans le classement[23] - [24] - [25] - [26], mais sans que les effets de cette politique soient immédiatement détectables[12].

Dès 2005, le ministre de l'Éducation nationale du gouvernement de Dominique de Villepin, Gilles de Robien, déclare que « pour affronter la concurrence internationale [il faut] remonter dans le classement, [et ainsi] redevenir capable d'attirer des talents étrangers »[3]. Dans sa lettre de mission à Valérie Pécresse, alors ministre de l’Enseignement supérieur et de la Recherche, Nicolas Sarkozy exigeait « l’amélioration du rang de nos établissements d’enseignement supérieur dans les classements internationaux, avec l’objectif de classer au moins deux établissements français parmi les 20 premiers et 10 parmi les 100 », ce qu'elle a réaffirmé en disant que « notre objectif est d’avoir dix universités françaises dans les cent premières de ce classement d’ici à 2012 »[23] (en 2012 elles étaient trois; elles n'étaient encore que cinq en 2020). Le classement était l'une des motivations principales de la constitution des Pôles de recherche et d'enseignement supérieur (PRES). Valérie Pécresse, justifiait en effet son influence ainsi : « Lorsqu'ils choisissent leur future université, les étudiants américains, australiens, chinois, indiens regardent ce classement. C'est la mondialisation. On ne peut s'en abstraire et nous devons donc gagner des places, ce qui n'est pas contraire à l'exigence d'excellence de l'université française »[21].

En 2013, lors d’une nouvelle publication du classement, la ministre de l’enseignement supérieur Geneviève Fioraso semblait indiquer un très léger changement de perspective vis-à-vis du classement : « Sans négliger les effets d'image et de visibilité que ces classements produisent, je me concentre plutôt sur la réussite des étudiants, l'introduction de l'anglais pour attirer des étrangers, l'incitation à multiplier les coopérations européennes[27] ». Mais elle affirmait « nous sommes des pastilles vues de Shanghaï »[28] pour justifier les regroupements d'universités.

En 2018, pour le PDG du CNRS Antoine Petit, il est nécessaire que la recherche française s'offre des chercheurs vedettes, parce que « on peut dire qu’on continue avec ce système de rémunération [des chercheurs] mais alors il faut arrêter de dire qu’on va gagner des places dans le classement de Shanghai. C’est l’un ou c’est l’autre, c’est à nous de décider »[29].

L'université d'Aix-Marseille est créée en 2012 en fusionnant les trois universités marseillaises « pour atteindre à la 26^e place du fameux classement de Shanghai » selon Valérie Pecresse[21] mais sans succès[N 6]. En 2020, l'établissement Paris-Saclay, créé en regroupant « 13 % du potentiel de recherche français » dans une seule université dans le but très clairement inscrit dans l’annexe du décret de « figurer parmi les plus grandes institutions universitaires mondiales », atteint la 14^e place[14].

La stratégie consistant à regrouper des universités pour monter dans le classement est utilisée en France encore en 2018, avec la création des établissements publics expérimentaux, produits de rapprochements ou de fusions entre plusieurs institutions[15].

Dans une tribune libre, Yves Gingras note que certaines institutions offrent à leurs chercheurs des primes à la publication, et s'indigne que certains chercheurs monnaient des affiliations factices dans des institutions qui cherchent à monter dans le classement[30].

Sur l'utilisation du nombre de prix Nobel pour mesurer la qualité de l'institution, le classement comptabilise le prix pour l'institution à laquelle appartient son récipiendaire au moment de l’annonce de la récompense, mais celle ci est due à une découverte qui peut être très ancienne et avoir été menée dans une autre institution. La façon dont le classement comptabilise des récompenses anciennes favorise les pays dont le paysage académique est très stable et des institutions anciennes[N 7] (en particulier, les affiliations des récipiendaires français du prix Nobel utilisées pour le classement ont fait l'objet de discussions[8]). Enfin, le classement ignore (sauf toutefois dans les classements thématiques par sujet) d'autres récompenses tout aussi prestigieuses que le prix Nobel, telles que le prix Turing en informatique ou la médaille Bruce en astronomie. Le nombre de prix Nobel et médailles Fields dans une institution semble donc mesurer des réputations anciennes, et ne permet pas d'estimer la qualité actuelle de la recherche ou de l'enseignement dans cette institution[8]. On ne peut donc pas considérer que la qualité actuelle de formation des étudiants soit prise en compte par le classement[36].

Concernant le critère des chercheurs dont les travaux sont « les plus cités » sur une période de 10 ans, la méthode utilisée prend insuffisamment en compte la mobilité des chercheurs séniors, qui sont susceptibles d’avoir changé d’institution au cours de leur carrière[8], et elle est faussée par les biais culturels importants affectant les citations[37] (les Italiens citent les Italiens[38], etc.). Ce critère ne mesure donc que très imparfaitement la capacité d’une institution à produire actuellement une recherche de fort impact[8].

Concernant les publications dans Nature et Science, c'est l'importance donnée à ces deux seules revues qui a été critiquée, de même que le mode de pondération des co-auteurs[8]. Pour tous les critères liés aux publications, on doit rappeler que l'attribution correcte d'un article à une institution particulière est un exercice difficile dans la mesure où les auteurs n'indiquent pas leur affiliation de façon normalisée sur leurs articles[8]. Le choix des bases de données utilisées favorise les articles publiés dans des revues internationales et dans le domaine des sciences au détriment des sciences humaines (les concepteurs du classement cherchent à corriger ce biais en attribuant un coefficient de 2 aux publications en sciences humaines et sociales). Le classement compte le nombre total d'articles publiés sans pondérer ces articles par leur impact[8]. En outre, les livres, les chapitres dans des ouvrages collectifs ou encore les articles de vulgarisation scientifique, ne sont pas comptabilisés[36].

Les bases de données utilisées pour l'établissement du classement recensent des revues de toutes les langues. En sciences techniques, ingénierie et mathématiques (STEM), les journaux en langue autre que l'anglais ayant à peu près disparu, les revues recensées sont donc très majoritairement publiées en anglais, quel que soit leur pays d'édition (Amérique du Nord, Europe, Japon). Parmi celles-ci, Nature et Science bénéficient en STEM d'une notoriété inégalée. En sciences humaines et sociales cependant, la promotion de travaux se fait également lors de conférences ou dans des revues non anglo-saxonnes, et ce pour des raisons multiples (coût, accessibilité, pertinence, impact, etc.). De fait, la publication des travaux de sciences humaines ne se fait donc pas majoritairement dans des revues internationales en langue anglaise et elle est, à ce titre, moins bien prise en compte par ce classement[37]. Pour atténuer ce défaut de prise en compte des sciences humaines et sociales, le classement attribue un poids double, dans le décompte des publications, aux publications référencées dans le Social Science Citation Index.

En résumé, les critiques pointent le fait que le critère des publications est basé sur une approche restrictive de la publication scientifique.

Le critère de productivité prend en compte le nombre d’équivalents temps plein du corps académique de chaque institution s'il a pu être déterminé. Pour la France, il s'agit des données disponibles en open data sur le site du Ministère de l'Enseignement Supérieur. Les auteurs de l'étude critique résument ainsi leur appréciation : « Les critères ont été choisis principalement sur la base de la disponibilité sur Internet des informations permettant de les renseigner, que chacun d’entre eux est lié de façon très approximative avec ce qu’il est censé mesurer et que leur évaluation fait intervenir des paramètres arbitraires et des microdécisions non documentées. L’impact de ces éléments sur le résultat final n’est pas examiné. Les données initiales utilisées ne sont pas rendues publiques et donc ne peuvent pas être vérifiées »[8]. La plupart des critères sont obtenus par des comptages de prix ou de publications, qui favorisent les institutions de grande taille[39], ainsi, « big is made beautiful » (le gros est rendu beau)[40] - [41]. Philippe Mahrer explique ainsi que les pays disposant de nombreuses écoles ou universités de petite taille sont défavorisés dans le classement, de même que les universités, centres de recherche ou écoles travaillant en réseau comme c'est souvent le cas en Europe[19]. Ce dernier point est tout particulièrement dénoncé (et mis en évidence) par le prix Nobel de physique Albert Fert[16].

Un autre type de critiques concerne la façon apparemment arbitraire dont les notes normalisées des différents critères sont agrégés en utilisant une somme pondérée pour calculer un indice unique, permettant le classement. En dépit de toute rigueur, la normalisation des scores change chaque année sans que les poids des critères soient modifiés en conséquence. Billaut, Bouyssou et Vincke expliquent en quoi cela démontre que « les auteurs du classement sont tombés dans ces pièges élémentaires liés à la normalisation »[42] au point « qu'on ne peut pas conclure que s’améliorer sur un critère permet de monter dans le classement »[8]. La méthode de calcul du classement est telle qu'une institution faible sur un critère particulier aurait même intérêt pour monter dans le classement à ce qu'une institution classée juste devant elle s'améliore sur ce critère[8].

Par ailleurs, calculer la moyenne pondérée de critères représentant la production (les cinq premiers) et la productivité (le dernier) conduit nécessairement à un résultat dénué de sens, comme si l'on cherchait à calculer la richesse d'un pays en faisant une moyenne du PIB et du PIB par habitant[8]. Les auteurs du classement ne définissent pas ce qu'est une université (au point que le Collège de France, qui ne délivre aucun diplôme, a un temps fait partie du classement), ni ce qu'est une « université de classe mondiale ». Ils ignorent les contraintes, très différentes selon les pays, que peuvent subir les institutions, et les ressources qu'elles consomment (exception faite de la taille du « corps académique », mais seulement si elle est connue)[8].

L'objectif même de faire un tel classement n'est pas discuté, et les bonnes pratiques[43] sont oubliées : les institutions évaluées ne disposent pas des données leur permettant de comprendre comment elles l'ont été, et les auteurs n'anticipent pas la façon dont les institutions peuvent adapter leur comportement en réaction au système d’évaluation[8]. Par exemple, les notes de la plupart des critères du classement étant sensibles à la taille de l'établissement, constituer un regroupement d'institutions pourrait permettre de monter automatiquement dans le classement, sans changer la nature ou la qualité de la recherche[44] (voir le cas de la France ci-dessous).

Les principales alternatives au classement de Shanghaï sont le Times Higher Education, World University Rankings (THE-WUR) et le World University Rankings (ou « classement mondial des Universités », QS-WUR) (voir l'article Palmarès universitaires pour plus de détails)[45] - [46]. L'initiative U-Multirank a été lancée par la commission européenne face au risque de voir le classement de Shanghaï marginaliser les établissements européens[46], et cherche à situer chaque établissement en fonction de cinq grands critères : enseignement et apprentissage, recherche, transfert de connaissances, orientation internationale, et engagement régional[45].

• Jean-Charles Billaut, Denis Bouyssou et Philippe Vincke, « Faut-il croire le classement de Shangaï ? Une approche fondée sur l’aide multicritère à la décision », Revue de la régulation. Capitalisme, institutions, pouvoirs, n^o 8,‎ 15 octobre 2010 (ISSN 1957-7796, DOI 10.4000/regulation.9016, lire en ligne, consulté le 1^er juillet 2019)
• Christine Barats et Jean-Marc Leblanc, « Généalogie de la co-construction médiatique du classement de Shanghai en France », Mots. Les langages du politique, n^o 102,‎ 2013 (DOI 10.4000/mots.21313, lire en ligne, consulté le 23 août 2020)
• Hugo Harari-Kermadec, Le Classement De Shanghai. L'université Marchandisée, Bord de l'eau, 2019, 168 p. (ISBN 978-2-35687-680-5, lire en ligne)

• Palmarès universitaires

• (en) Site officiel.
• (en) Classements annuels: 2003: « Academic Ranking of World Universities », sur www.shanghairanking.com/, 2003 (version du 1 octobre 2012 sur Internet Archive) | 2013: « Academic Ranking of World Universities », sur www.shanghairanking.com/, 2013 (version du 16 août 2013 sur Internet Archive)