Le classement de shangai : Que vaut il ?

Yves Gingras, professeur à l'Université du Québec à Montréal, directeur scientifique de l'Observatoire des sciences et des technologies (OST-UQAM), s'interroge sur la pertinence du classement de Shanghaï des universités et des grandes écoles (1).


La France semble aujourd'hui atteinte d'une véritable fièvre d'évaluation de la recherche. La loi sur l'autonomie des universités et la réforme de l'organisation de la recherche ont créé un climat qui a exacerbé la sensibilité aux questions d'évaluation, peu discutées jusque-là entre universitaires. Un des effets les plus alarmants du manque de réflexion sérieuse sur les méthodes fiables d'évaluation de la recherche est la réaction de désarroi devant le classement de Shanghaï des universités françaises. Ainsi, la ministre de l'Enseignement supérieur et de la Recherche, Mme Valérie Pécresse, déclarait récemment dans Le Figaro que sa politique vise la présence de dix universités françaises dans le Top 100 de ce classement.

Il serait périlleux de fonder une réforme sur un seul chiffre sans s'assurer qu'il mesure bien les caractéristiques réelles de la recherche universitaire. Aux critiques méthodiques de ce classement qui montrent clairement qu'il n'est pas fiable, la ministre répond simplement : «Ce classement a des défauts mais il existe. Les chercheurs et les étudiants du monde entier le lisent attentivement. Nous devons le prendre en compte et faire en sorte de donner plus de visibilité aux universités françaises.» Et si les chercheurs et les étudiants à travers le monde se mettaient à lire attentivement leur horoscope chinois pour choisir leur métier ou leur université ? Faudrait-il emboîter le pas et «réformer» les institutions en conséquence ?

Résultat d'une addition de plusieurs facteurs hétérogènes, le classement de Shanghaï est en fait un fort mauvais indicateur de la recherche qu'il faut abandonner au plus tôt. Il est affligeant de voir des universitaires improviser des «explications» à des variations de quelques rangs qui ne sont en fait qu'un simple effet aléatoire (statistiquement non significatif) d'une année à l'autre, dû à la variance naturelle des mesures ! Combien de navires échoués en raison d'une mauvaise boussole !

Sa faiblesse rédhibitoire réside dans sa construction même. Que penser de la validité d'un indice qui fait varier la position d'une université de plus de 100 rangs dans le palmarès par le seul fait d'attribuer à l'université de Berlin ou à l'université Humboldt le prix Nobel d'Einstein obtenu en 1922 ? En quoi la qualité d'une université en 2006 aurait encore quelque chose à voir avec des travaux effectués plus de quatre-vingt ans auparavant ?

Et à ceux qui voient dans ce classement la preuve de la nécessité de construire de gros regroupements pour être plus «compétitifs à l'échelle internationale», rappelons seulement que le California Institute of Technologie (Caltech), une institution de très petite taille (environ 300 professeurs et un peu plus de 2 000 étudiants), se classe au 6e rang dans le classement de Shanghaï… L'université de Princeton, quant à elle, aussi de taille relativement réduite avec environ 5 000 étudiants, se classe en 8e position. Voilà qui ne conforte sûrement pas l'idée des grands regroupements et pourrait plutôt inciter à conclure que «small is beautiful»…

Il ne s'agit nullement ici de vouloir protéger les universités d'une évaluation comparée. Au contraire, et il est d'usage parmi les experts en évaluation de la recherche de mesurer l'impact de la recherche d'un pays ou d'une institution dans un domaine donné à partir des citations mondialement reçues (et convenablement normalisées sur une période donnée) par les publications scientifiques qui en émanent. Appliqués à de grands ensembles (et non à des individus), de tels indicateurs, qui sont homogènes au plan de la mesure, sont en effet aussi pertinents que l'indicateur d'inflation couramment utilisé. En fait, des données sur les citations pour la période 2000 à 2005 ne suggèrent aucun déclin de la France ; elles montrent plutôt une position relativement stable dans toutes les disciplines : parmi les huit pays qui produisent le plus grand nombre d'articles scientifiques dans le monde, la France est en 4e position en biologie en termes de citations relatives et, en mathématiques, sa position oscille (entre 2000 et 2005) entre la 2e et la 3e position, ce qui confirme la forte tradition des mathématiques en France.

Ces données, mieux construites et mieux validées que celles du classement de Shanghaï, n'ont peut-être pas la même valeur stratégique dans le contexte actuel. Cependant, si la France veut réellement redonner vie à ses universités, elle devrait prendre le temps de se doter d'indicateurs crédibles et validés par des experts, au lieu de se tourner dans la panique, et de façon opportuniste, vers le premier venu.

Les médailles de pacotille offertes par le classement de Shanghaï ne devraient pas servir de fondement à une réforme nécessaire et qui engagera les décennies à venir. L'université et la recherche françaises valent mieux et méritent mieux que cela.

(1) Pour plus de détails, voir Yves Gingras, «La fièvre de l'évaluation de la recherche. Du mauvais usage de faux indicateurs», note de recherche du Cirst, 2008-05 ; www.cirst.uqam.ca.

Je pense qu'on donne une importance disproportionnée au classement de Schangaï qui a montré ses limites.
Je sais qu'il y a un projet européen de classement alternatif à Schangaï qui remettrait un peu de justice.
T'as des infos là-dessus?

Ces types de classements restent de toute façon très douteux car ils prennent en compte de données qui ne sont pas considérées de la même façon dans chaque société, simplement car chaque société, chaque état, a des besoins spécifiques, et une façon de concevoir l'éducation particulière. Il faut donc prendre en compte plusieurs classements.
Personnellement, j'attends d'avoir plusieurs analyses avant de juger de nos universités et celles du monde !

Citation :

T'as des infos là-dessus?

Non désolé, par contre j'ai trouvé cela le classement de l'école des mines

Citation :

Face au classement mondial des universités réalisé par Jiao Tong de Shanghai, l'Ecole des Mines entend proposer une autre vision de l'excellence mondiale en réalisant un nouveau classement des établissements d'enseignement supérieur qui s'appuit sur d'autres critères.


Ce nouveau classement se distingue ainsi, dans son principe même, du classement de Shanghai en se fondant non sur les performances des établissements d'enseignement supérieur en matière de recherche académique mais en termes de formation et d'avenir professionnel des élèves en entreprise.
Une nouvelle méthodologie



Ainsi, alors que le classement de Shanghai s'appuit sur la qualité du corps professoral, les résultats de la recherche et la productivité des chercheurs, celui de l'Ecole des Mines repose, quant à lui, sur le nombre des anciens étudiants occupant le poste de dirigeant dans les 500 plus grandes entreprises mondiales.

Afin de déterminer les 500 plus grandes entreprises, l'Ecole des Mines a prit pour base le « Fortune Global 500 », classement des 500 premières entreprises mondiales fondé sur le critère « chiffre d’affaires » et établi par le magazine américain Fortune. Elle a ensuite examiné l'ensemble des établissements d'enseignement supérieur par lesquels sont passés les dirigeants d'entreprises citées dans ce classement. L'université gagnant, selon cette méthode, 1 point pour chaque ancien étudiant placé à la tête d'une entreprise et 0,5 point si ce dernier est passé par deux universités. Le nombre de points gagnés déterminant ensuite la position de chaque établissement.
Les enjeux et résultats du classement



Le choix de l'Ecole des Mines d'intituler ce palmarès: “classement international professionnel des établissements d'enseignement supérieur », par opposition au « classement académique » de l'université de Shanghai souligne les nouveaux enjeux de ce classement. Par le choix des critères de ce classement, le Directeur de l'Ecole des Mines de Paris, Benoît Legait, a souhaité récompenser la réussite professionnelle des diplômés d'université et rappeller que le but premier de l'enseignement supérieur est de former les étudiants à la vie professionnelle. Ce palmarès entend ainsi ne pas se limiter à la seule notion de production scientifique.

En suivant la méthode employée par l'Ecole des Mines, les résultats de l'enquête font ainsi apparaître une excellente position des établissements d'enseignement supérieur français puisque 5 d'entre eux figurent dans le top, soulignant par là même l'excellence des écoles françaises dans la réussite professionnelle.

Les 10 premières universités de ce classement sont dans l'ordre: Université Harvard, Université de Tokyo, Université Stanford , Ecole Polytechnique, HEC, Université de Pennsylvanie, Massachusetts Inst Tech (MIT), Sciences Po – Paris, ENA et Ecole des mines de Paris.
Un classement remis en cause



Comme tous les classements, celui-ci n'a pas manqué de susciter de nombreuses réactions de la part des professionnels de l'enseignement. Certains y ont perçu une volonté de mettre en avant les établissements français, d'autres contestent le choix des critères de notation des universités... Bref, comme tout classement, si la méthodologie suscite de nombreuses controverses, il n'en reste pas moins que ce classement nous donne une autre vision des universités d'excellence à travers le monde. En savoir plus sur le classement: http://www.ensmp.fr/Actualites/PR/defclassementEMP.html

Je vous avoue quand même que le classement de l'Ecole des mines me parrait assez spécial : 5 écoles françaises dans le top, c'est un peu trop gros pour moi...
Je ne dis pas que l'enseignement supérieur français n'est pas bon, mais d'ici là à avoir autant d'établissements dans le top, permettez moi d'en douter...

Citation :

Bref, comme tout classement, si la méthodologie suscite de nombreuses controverses, il n'en reste pas moins que ce classement nous donne une autre vision des universités d'excellence à travers le monde.

Tout est dit dans cette phrase, le plus important est de savoir ce qu'on attend d'un classement et en fonction de nos besoins, savoir juger selon le classement qui y correspond.