Les médias ont récemment annoncé que l’Université de Belgrade avait reculé dans le classement de Shanghai des universités mondiales. L’Université de Belgrade ne figure plus parmi les 500 meilleurs établissements d’enseignement supérieur au monde, mais dans le groupe des places 501 à 600. Pendant plusieurs jours, cette information a circulé dans le débat public, suscitant de nombreuses questions et inquiétudes. L’une d’elles s’est toutefois particulièrement imposée : pourquoi la qualité de l’enseignement supérieur aurait-elle autant diminué ?

Cette question contient pourtant déjà une hypothèse implicite : qu’une baisse dans le classement signifie automatiquement une baisse de qualité. Avant d’accepter cette hypothèse comme un fait, il vaut la peine de se demander ce que le classement de Shanghai mesure réellement, comment il le mesure et dans quelle mesure ses résultats sont fiables. Autrement dit, avant de tenter d’expliquer pourquoi la qualité aurait diminué, il faut vérifier si le classement apporte réellement une réponse fiable à cette question. D’où la question centrale : dans quelle mesure l’Academic Ranking of World Universities reflète-t-il véritablement la qualité de l’enseignement supérieur et comment sa méthodologie et son utilisation actuelle façonnent-elles le comportement des universités et de systèmes éducatifs nationaux entiers ?

Pour répondre à cette question, il faut revenir un peu en arrière et examiner comment est apparue l’idée de classer les universités et comment elle a évolué au fil du temps.

Du comptage des « grands hommes » à la course mondiale au prestige

L’idée de classer les universités n’est pas un produit de l’ère numérique. Ses racines remontent au début du XXe siècle, lorsque l’on comptait, en Europe et aux États-Unis, les personnalités éminentes, les scientifiques et les « génies » ayant étudié dans certaines institutions. La logique était simple : le succès d’un individu était attribué à la qualité de l’établissement qu’il avait fréquenté.

Durant la première moitié du XXe siècle, l’idée dominante restait néanmoins que les évaluations qualitatives, l’accréditation et les normes étaient beaucoup plus importantes que la comparaison numérique, autrement dit le rang. Lorsqu’une classification officielle des collèges par l’État fut tentée aux États-Unis au début des années 1900, les établissements qui s’estimaient injustement évalués protestèrent vivement.

Le tournant eut lieu dans les années 1950 et 1960, au plus fort de la guerre froide et de la compétition pour la suprématie scientifique. La manière de considérer les universités changea. Leurs performances ne furent plus évaluées séparément ; des enquêtes commencèrent à les classer à l’intérieur des systèmes éducatifs nationaux. Autrement dit, l’introduction des enquêtes de réputation conduisit au type de classement que nous connaissons aujourd’hui, dans lequel la progression d’un établissement signifie inévitablement le recul d’un autre.

Le véritable essor commercial de ce système intervint dans les années 1980, lorsque des magazines populaires commencèrent à publier chaque année des classements des universités. Le classement quitta ainsi les cercles académiques pour entrer dans les médias et devenir un produit destiné aux étudiants et à leurs parents. À partir de ce moment, les classements cessèrent d’être uniquement une source d’information. Ils devinrent également une question de prestige public. À mesure que les étudiants et les universités comprenaient leur importance pour la visibilité médiatique, le classement se transforma en ce que Hazelkorn appelle une « obsession des classements ». Ceux-ci devinrent ainsi un moteur majeur de la course à la réputation.

La mondialisation, l’économie de la connaissance et la mobilité internationale croissante des étudiants intensifièrent encore cette compétition et la firent passer du niveau national au niveau mondial, tout en lui donnant des implications géopolitiques de plus en plus importantes. C’est précisément à ce moment-là, en 2003, qu’est créé à l’Université Jiao Tong de Shanghai l’Academic Ranking of World Universities, aujourd’hui plus connu sous le nom de classement de Shanghai. Conçu initialement pour les besoins internes de l’université, il devint rapidement le premier classement universitaire mondial.

L’expérience chinoise qui a changé les règles du jeu

Le classement de Shanghai était initialement un projet interne de l’Institut d’enseignement supérieur de l’Université Jiao Tong de Shanghai. Son objectif était de déterminer la position des universités chinoises par rapport aux leaders mondiaux afin d’obtenir un soutien de l’État et de tracer la voie vers la création d’établissements de rang mondial. Ce n’est qu’après la publication gratuite des résultats sur Internet que le classement attira l’attention du public international et acquit une portée mondiale. Dès l’année suivante, des ministres européens s’y référaient pour justifier d’importantes réformes éducatives, des fusions d’universités et des réallocations de financements. Ce qui avait commencé comme un outil interne évolua rapidement vers une structure de conseil proposant aujourd’hui aux universités du monde entier une large gamme d’analyses et de services payants.

Mais que se cache-t-il réellement derrière une place dans le classement de Shanghai ? Pour comprendre pourquoi les ministres et les recteurs s’y fient autant, mais également pourquoi les experts le critiquent autant, il faut examiner la manière dont les universités y sont classées.

La sélection des universités repose sur des paramètres scientifiques clairement définis. Seuls sont pris en compte les établissements pouvant faire état de lauréats du prix Nobel, de médaillés Fields, de chercheurs parmi les plus cités au monde, ainsi que de publications dans des revues scientifiques majeures et des bases de données reconnues. Autrement dit, bien que plus de 2 500 universités soient évaluées méthodologiquement, le classement officiel n’en présente que 1 000.

Chaque université est ensuite évaluée dans quatre domaines :

  • Qualité de l’enseignement (10 %). On compte le nombre d’anciens étudiants ayant obtenu une licence, un master ou un doctorat dans l’établissement et ayant ensuite reçu un prix Nobel ou une médaille Fields. Plus le diplôme est ancien, moins il pèse, mais les diplômes obtenus dès les années 1920 sont toujours pris en compte.

  • Qualité du personnel académique (40 %). La moitié de cette note dépend du nombre d’employés de l’université ayant reçu un prix Nobel ou une médaille Fields. Le prix est attribué à l’université où travaille le lauréat au moment de sa remise, et non à celle où la recherche a été réalisée. L’autre moitié dépend du nombre de chercheurs figurant sur les listes internationales des scientifiques les plus cités.

  • Résultats de recherche (40 %). La moitié de cette note dépend du nombre d’articles publiés dans Nature et Science au cours des cinq dernières années. L’autre moitié dépend du nombre total d’articles présents dans les bases de données scientifiques internationales sur une année, les publications en sciences sociales étant comptées double.

  • Performance par employé (10 %). Les résultats des catégories précédentes sont divisés par le nombre d’enseignants et de chercheurs. Cela réduit quelque peu l’avantage dont bénéficient les grandes universités.

Enfin, tous les résultats sont additionnés. Dans chaque catégorie, la meilleure université reçoit 100 points et les autres reçoivent un score proportionnel à leur résultat par rapport à la première. Ces points sont ensuite pondérés selon les pourcentages indiqués et réunis en une note finale qui sert à établir le classement.

Critique de l’illusion méthodologique : que mesure réellement le classement de Shanghai, et que ne mesure-t-il pas ?

À première vue, cette méthodologie semble claire et convaincante. Les données proviennent de sources indépendantes, les règles sont connues à l’avance et le résultat prend la forme d’un seul chiffre facile à comprendre. C’est précisément pour cette raison que le classement de Shanghai compte de nombreux défenseurs parmi les décideurs publics et les directions universitaires. Pourtant, lorsque les règles de notation sont examinées de plus près, il apparaît que chaque argument en sa faveur s’accompagne d’une critique sérieuse.

1. Des données objectives, des décisions invisibles

Les défenseurs du classement mettent le plus souvent en avant son objectivité car, contrairement à d’autres classements, il ne repose ni sur des enquêtes ni sur les données fournies par les universités elles-mêmes, mais exclusivement sur des sources accessibles au public. La subjectivité ne disparaît pourtant pas : elle se déplace vers des décisions que le public ne voit pas. Les données brutes ne sont pas accessibles, les ajustements statistiques ne sont pas expliqués et les auteurs du classement décident eux-mêmes à quelle institution attribuer un prix ou une publication.

Le cas du prix Nobel d’Albert Einstein montre à quel point cela peut être déterminant. Einstein et plusieurs autres prix Nobel travaillaient à l’Université de Berlin avant la Seconde Guerre mondiale. Après la division de la ville, deux universités revendiquèrent son héritage : l’Université libre de Berlin, fondée en 1948 à Berlin-Ouest, et l’Université Humboldt, située dans la partie orientale de la ville. Dans le premier classement de 2003, les auteurs attribuèrent les prix d’avant-guerre à l’Université libre, ce qui lui permit d’atteindre la 95e place. Après une protestation de l’Université Humboldt, ces mêmes prix lui furent attribués l’année suivante : Humboldt monta alors à la 95e place tandis que l’Université libre reculait de plus de cent positions. Lorsque celle-ci protesta à son tour, les auteurs retirèrent tout simplement les deux universités du classement, où elles n’étaient toujours pas revenues en 2007.

La qualité d’aucune de ces deux universités n’avait changé durant cette période. Seule avait changé la décision concernant l’établissement auquel devait être attribué un prix décerné près d’un siècle auparavant.

2. Les prix Nobel n’enseignent pas en salle de classe

Les prix Nobel, les médailles Fields et les taux élevés de citation peuvent sembler être des indicateurs clairs de l’excellence du personnel et d’un environnement académique stimulant, mais ils mesurent avant tout le prestige historique, et non ce que les étudiants reçoivent aujourd’hui. Des diplômes obtenus dans les années 1920 rapportent encore des points, et un prix est attribué à l’université où travaille le lauréat au moment de sa remise, même si les recherches concernées ont été menées bien plus tôt et ailleurs.

Einstein réalisa les travaux qui lui valurent sa récompense lorsqu’il travaillait à l’office des brevets en Suisse, mais reçut son prix alors qu’il était professeur à Berlin. Le prix Nobel obtenu par Andrew Fire en 2006 contribua à faire passer l’Université Stanford de la troisième à la deuxième place, bien que les travaux concernés aient été réalisés dans une autre institution.

Puisque seuls les prix de physique, chimie, médecine, économie et mathématiques sont comptabilisés, les sciences humaines, les arts et la majorité des disciplines des sciences sociales restent entièrement invisibles.

3. Le nombre d’articles ne mesure pas la valeur de la science

Même ceux qui doutent que le classement mesure la qualité de l’enseignement acceptent souvent qu’il mesure correctement la production scientifique, mais cette image est elle aussi incomplète. Les bases de données scientifiques favorisent fortement les publications en anglais et les sciences naturelles. Les livres, essentiels en sciences sociales, ne sont généralement pas comptabilisés, pas plus que les actes de conférences, pourtant fondamentaux en ingénierie et en informatique.

Le classement compte également le nombre d’articles publiés, et non leur influence, alors même que la majorité des travaux publiés sont très peu cités. Cette approche pénalise particulièrement les établissements spécialisés dans les sciences sociales et humaines. Malgré cela, la London School of Economics and Political Science, l’une des institutions les plus prestigieuses au monde dans ces domaines, ne se trouvait qu’entre les places 201 et 300 en 2006. La même année, le classement du Times Higher Education Supplement la plaçait au 17e rang.

Les indicateurs ouvrent également la voie aux manipulations. Un cinquième de la note totale dépend du nombre de chercheurs hautement cités déclarant une université particulière parmi leurs affiliations. Certains établissements saoudiens ont donc commencé à engager des chercheurs étrangers réputés à temps partiel, à condition qu’ils indiquent également une affiliation avec l’établissement saoudien.

Parmi les 170 chercheurs hautement cités affiliés à des universités saoudiennes en 2014, 139, soit 82 %, avaient leur emploi principal dans un autre pays. L’Université du roi Abdulaziz en comptait à elle seule 122. En 2004, l’Arabie saoudite n’avait aucune université parmi les 500 premières ; dix ans plus tard, elle en comptait deux parmi les 200 premières et deux autres parmi les 500 premières.

Le classement avait ainsi été amélioré en ajoutant des noms aux affiliations plutôt qu’en développant la recherche nationale. Aujourd’hui, les auteurs du classement ne prennent en compte que l’établissement principal du chercheur, ce qui peut être interprété comme une réponse à ce type de pratiques.

4. Un chiffre simple, une erreur complexe

Les défenseurs considèrent comme un avantage le fait de ramener tous les résultats à un seul chiffre dans lequel la meilleure université obtient 100 points. Les méthodologues avertissent toutefois que cette simplicité dissimule de sérieuses faiblesses mathématiques. Puisque la meilleure université de chaque catégorie reçoit à nouveau 100 points chaque année et que les pondérations restent identiques, une variation du résultat d’une seule université en tête modifie la valeur des points de toutes les autres.

Un exemple simple a montré que cela pouvait complètement inverser l’ordre des universités situées en dessous, et même conduire une université progressant dans toutes les catégories à passer de la deuxième à la dernière place. La majorité des indicateurs reposant sur des chiffres absolus, le classement avantage systématiquement les grandes universités.

Parmi les établissements classés approximativement entre les places 400 et 500, plus de 90 % n’obtiennent aucun point pour les prix Nobel ou les médailles Fields. Pour la plupart des universités du classement, une méthodologie complexe se réduit donc en pratique à un simple comptage des publications.

5. Des réformes qui changent le rang, pas la qualité

L’argument le plus convaincant en faveur du classement est qu’il incite les États et les universités au changement. La Chine est l’exemple le plus souvent cité. Grâce à des programmes publics spécifiques destinés au développement des principales universités, les projets 211 et 985, la Chine a investi des moyens considérables dans ses meilleurs établissements. Le nombre d’universités chinoises parmi les 500 premières du classement de Shanghai est ainsi passé de 14 en 2003 à 24 en 2009. Dans ce cas, le classement a servi d’objectif clair stimulant les investissements dans la recherche.

Le problème est qu’une meilleure place peut également être obtenue sans amélioration réelle de la recherche ou de l’enseignement. Un groupe de méthodologues l’a montré par une expérience de pensée. Une direction universitaire souhaitant progresser rapidement pourrait fermer les départements de droit, de sciences humaines et une grande partie des sciences sociales parce qu’ils rapportent peu de points. L’argent économisé pourrait ensuite être dirigé vers les groupes de recherche en médecine et en sciences naturelles qui rapportent des prix, des chercheurs fortement cités et des publications dans des revues prestigieuses.

Le classement récompenserait une telle décision, même si l’université perdait ainsi une part importante de sa mission éducative.

Les mêmes auteurs ont montré qu’un effet similaire pouvait être obtenu en fusionnant des universités. La plupart des indicateurs reposant sur le nombre total de prix, de chercheurs et de publications, un établissement plus grand obtient automatiquement davantage de points. L’ancienne Université de Paris a été divisée au début des années 1970 en treize universités plus petites, dont aucune ne pouvait individuellement rivaliser avec les plus grandes universités mondiales.

Les auteurs ont calculé que la fusion de quatre de ces universités, spécialisées dans les sciences naturelles et la médecine, aurait créé, selon les données de 2007, un établissement approximativement comparable à Harvard. Cela aurait été possible sans euro supplémentaire et sans un seul nouvel article scientifique, uniquement en additionnant les résultats existants. Cet exemple n’est pas resté théorique. En 2009, la France a fusionné trois universités à Strasbourg et poursuivi des opérations similaires, et des chercheurs indiquent que l’un des objectifs était précisément d’améliorer leur classement de Shanghai.

Il existe un problème plus profond encore. Puisque la position dépend d’une comparaison avec les autres, la progression d’une université signifie nécessairement le recul d’une autre. Le classement ne peut donc pas montrer qu’un système éducatif entier s’est amélioré, mais seulement qui a dépassé qui. Les recherches montrent également que les universités tout en haut du classement changent rarement, car seules les plus riches peuvent recruter les chercheurs de premier plan qui rapportent des points. Au lieu d’encourager un développement équilibré, le classement dirige ainsi l’attention et les financements vers des institutions déjà riches et prestigieuses.

6. Un guide qui ne montre pas le chemin aux étudiants

Pour les étudiants souhaitant partir étudier à l’étranger, le classement peut constituer un premier repère utile, mais un seul chiffre pour toute une université peut difficilement répondre à toutes les questions qui comptent pour eux. Lorsqu’ils choisissent leurs études, les étudiants ont généralement besoin d’informations sur les programmes précis, la qualité de l’enseignement, les coûts, le logement et les possibilités d’emploi, or ces données ne figurent pas dans le classement de Shanghai.

Il en va de même pour les employeurs, pour lesquels les connaissances et les compétences des diplômés sont probablement plus importantes lors du recrutement que le nombre de prix Nobel remportés par une université plusieurs décennies auparavant. Il faut également garder à l’esprit que les différents classements produisent souvent des résultats différents. Parmi les 100 premières universités de trois grands classements mondiaux, seules 35 figurent dans les trois.

Enfin, les 100 premières universités représentent moins d’un pour cent des plus de 15 000 établissements d’enseignement supérieur dans le monde. Pour un grand nombre d’étudiants, le classement ne fournit donc qu’un aperçu limité des établissements qu’ils fréquenteront réellement.

7. Un indicateur conçu pour un seul modèle

Les défenseurs présentent le classement comme un instrument mondial neutre permettant de comparer les universités et de suivre les évolutions dans la répartition de la puissance scientifique, mais un instrument ne peut être neutre si ses critères ne le sont pas.

L’analyse des indicateurs montre que le classement récompense implicitement les universités anciennes qui n’ont pas changé de nom au cours de leur histoire, situées dans des pays anglophones stables, disposant d’une grande autonomie et de budgets importants. Cette description correspond presque parfaitement aux universités américaines et britanniques les plus connues, qui occupent précisément le sommet du classement.

Le lien avec la richesse nationale est également frappant. Aucun pays possédant une université parmi les 50 premières n’a un produit intérieur brut par habitant inférieur à 36 000 dollars en parité de pouvoir d’achat, tandis que la moyenne mondiale se situe autour de 14 350 dollars. Les systèmes dans lesquels une part importante de la recherche scientifique est menée dans des instituts séparés, comme en France, sont désavantagés puisque le travail de ces instituts ne contribue pas au rang obtenu dans le classement de Shanghai.

Pourquoi un classement contesté conserve-t-il autant de pouvoir ?

Bien qu’il ait fait l’objet de critiques méthodologiques sérieuses dans la littérature scientifique, le classement de Shanghai continue d’exercer une forte influence sur les décideurs publics et les directions universitaires. Les chercheurs expliquent que les chiffres et les classements donnent l’apparence d’une vérité neutre et « dure ».

La mesure permanente pousse les établissements à adopter les critères des autres comme les leurs et à adapter volontairement leurs propres pratiques. Les enquêtes montrent que la grande majorité des universités disposent de mécanismes officiels pour suivre leur position. La plupart des dirigeants pensent également que le rang influence directement la volonté des partenaires étrangers de coopérer.

Dans un tel environnement, le simple fait de figurer dans le classement peut devenir plus important pour une université que les questions méthodologiques fondamentales qui le sous-tendent.

Peut-on envisager l’enseignement supérieur au-delà d’un classement unique ?

L’examen de la littérature scientifique montre que le classement de Shanghai ne donne pas une image fiable de la qualité globale de l’enseignement supérieur. Sa portée réelle est plus limitée : il reflète avant tout le prestige scientifique accumulé et la taille des établissements dans certains domaines des sciences naturelles.

Les données sur lesquelles il repose proviennent de sources publiques, mais les décisions concernant leur interprétation et leur attribution restent hors du regard du public. Les prix et les citations renseignent davantage sur les réussites passées des chercheurs que sur la qualité de l’enseignement actuel, tandis que le comptage des publications pénalise les sciences sociales et humaines. Un chiffre agrégé paraît simple, mais il est sensible aux choix méthodologiques et favorise les grands établissements.

Le classement a bien poussé de nombreux États à investir dans la recherche, mais il a également récompensé des mesures améliorant la position sans progrès réel. Il fournit aux étudiants un aperçu limité de ce qui leur importe réellement lorsqu’ils choisissent leurs études. En tant qu’indicateur mondial, il reflète davantage les différences existantes de richesse et de tradition entre les universités qu’il ne les mesure objectivement.

Il convient donc d’interpréter les résultats du classement de Shanghai avec prudence, comme une indication de la visibilité scientifique de certains domaines plutôt que comme une évaluation de la qualité globale d’un établissement. Les variations annuelles du classement ne reflètent souvent pas de véritables changements dans l’enseignement et la recherche, et les décisions ne devraient donc pas être fondées sur une position isolée.

Il est plus utile de s’appuyer sur des outils présentant plusieurs indicateurs distincts et permettant aux utilisateurs de choisir ce qui compte pour eux. En outre, investir dans le développement de l’ensemble du système d’enseignement supérieur apporte davantage à long terme que de chercher à faire monter à tout prix une ou deux institutions dans le classement.

C’est également sous cet angle qu’il convient de considérer l’information évoquée au début de ce texte. Le recul de l’Université de Belgrade dans le groupe des places 501 à 600 ne prouve pas, à lui seul, que la qualité de l’enseignement supérieur a fortement diminué. Il indique avant tout la position actuelle de l’université selon un ensemble particulier d’indicateurs de recherche.

La véritable question de la qualité exige une réponse plus large et plus attentive qu’une simple place dans un classement.