Recientemente apareció en los medios la noticia de que la Universidad de Belgrado había descendido en el Ranking de Shanghái de universidades del mundo. La Universidad de Belgrado ya no se encuentra entre las 500 mejores instituciones de educación superior del planeta, sino en el grupo de los puestos 501–600. Durante días, la noticia circuló por el debate público, abriendo espacio a numerosas preguntas y preocupaciones. Sin embargo, una destacaba sobre las demás: ¿por qué ha disminuido tan drásticamente la calidad de la educación superior?

Pero esa pregunta ya contiene una suposición implícita: que descender en una clasificación significa automáticamente una caída de calidad. Antes de aceptar esa suposición como un hecho, conviene preguntarse qué mide realmente el Ranking de Shanghái, cómo lo hace y hasta qué punto se puede confiar en sus resultados. En otras palabras, antes de intentar explicar por qué ha disminuido la calidad, es necesario comprobar si la clasificación ofrece realmente una respuesta fiable a esa pregunta. De ahí surge la cuestión central: ¿en qué medida el Academic Ranking of World Universities refleja de verdad la calidad de la educación superior y cómo su metodología y aplicación actual moldean el comportamiento de las universidades y de sistemas educativos nacionales enteros?

Para responder a esta cuestión, es necesario dar un paso atrás y observar cómo surgió la idea de clasificar universidades y cómo fue evolucionando con el tiempo.

De contar a los «grandes hombres» a la carrera global por el prestigio

La idea de clasificar universidades no es producto de la era digital. Sus raíces se remontan al comienzo del siglo XX, cuando en Europa y Estados Unidos se contabilizaban personalidades eminentes, científicos y «genios» que habían estudiado en determinadas instituciones. La lógica era sencilla: el éxito del individuo se atribuía a la calidad de la institución a la que había asistido.

Aun así, durante la primera mitad del siglo XX seguía predominando la convicción de que las evaluaciones cualitativas, la acreditación y los estándares eran mucho más importantes que la comparación numérica, es decir, que el rango. Cuando en Estados Unidos se intentó establecer una clasificación oficial estatal de los colleges a comienzos del siglo XX, se produjeron fuertes protestas de las instituciones que consideraban haber sido evaluadas injustamente.

El punto de inflexión llegó en las décadas de 1950 y 1960, en pleno auge de la Guerra Fría y de la competencia por la supremacía científica. Las universidades comenzaron a observarse de otra manera. Su rendimiento dejó de evaluarse de forma aislada y comenzaron a utilizarse encuestas para clasificarlas dentro del sistema educativo nacional. En otras palabras, la introducción de encuestas de reputación condujo al tipo de ranking que conocemos hoy, en el que el avance de una institución significa inevitablemente el descenso de otra.

El verdadero auge comercial de este sistema llegó en la década de 1980, cuando revistas populares comenzaron a publicar clasificaciones anuales de universidades. El ranking salió así de los círculos académicos, entró en los medios y se convirtió en un producto dirigido a estudiantes y padres. Desde ese momento, las clasificaciones dejaron de ser únicamente una fuente de información. Se convirtieron también en una cuestión de prestigio público. A medida que estudiantes y universidades comprendieron cada vez mejor su importancia para la visibilidad, el ranking se convirtió en lo que Hazelkorn denomina una «obsesión por los rankings». De esta forma, las clasificaciones pasaron a ser uno de los principales motores de la carrera por la reputación.

La globalización, la economía del conocimiento y la creciente movilidad internacional de estudiantes intensificaron aún más esta competencia y la trasladaron del nivel nacional al mundial, otorgándole al mismo tiempo implicaciones geopolíticas cada vez mayores. Precisamente en ese momento, en 2003, nació en la Universidad Jiao Tong de Shanghái el Academic Ranking of World Universities, hoy más conocido como Ranking de Shanghái. Aunque inicialmente fue diseñado para las necesidades internas de la universidad, pronto se convertiría en la primera clasificación universitaria global.

El experimento chino que cambió las reglas del juego

El Ranking de Shanghái comenzó como un proyecto interno del Instituto de Educación Superior de la Universidad Jiao Tong de Shanghái. Su objetivo era determinar dónde se encontraban las universidades chinas en relación con los líderes mundiales para garantizar el apoyo estatal y trazar el camino hacia la creación de instituciones de categoría mundial. Solo cuando los resultados se publicaron gratuitamente en Internet, el ranking atrajo la atención mundial y adquirió relevancia internacional. Ya al año siguiente, ministros europeos lo citaban para justificar grandes reformas educativas, fusiones de universidades y reasignaciones de recursos. Lo que había comenzado como una herramienta interna pronto evolucionó hacia una consultora que actualmente ofrece a universidades de todo el mundo una amplia gama de análisis y servicios de asesoramiento de pago.

Pero ¿qué se esconde realmente detrás de una posición en el Ranking de Shanghái? Para entender por qué ministros y rectores dependen tanto de él y, al mismo tiempo, por qué tantos expertos lo critican, conviene observar cómo se clasifican las universidades.

La selección de universidades se basa en parámetros científicos claramente definidos. Solo se incluyen instituciones que pueden contar con premios Nobel, medallistas Fields, investigadores entre los más citados del mundo y publicaciones en revistas científicas destacadas y bases académicas reconocidas. En otras palabras, aunque metodológicamente se evalúan más de 2.500 universidades, la clasificación oficial muestra únicamente las 1.000 más exitosas.

Cada universidad se evalúa después en cuatro áreas:

  • Calidad de la educación (10 %). Se contabiliza cuántos antiguos estudiantes que obtuvieron una licenciatura, un máster o un doctorado en esa universidad recibieron posteriormente un premio Nobel o una medalla Fields. Cuanto más antiguo es el título, menor peso tiene, pero todavía se contabilizan títulos obtenidos en la década de 1920.

  • Calidad del personal académico (40 %). La mitad de esta puntuación depende del número de empleados de la universidad que tienen un premio Nobel o una medalla Fields. El premio se atribuye a la universidad en la que trabaja el laureado en el momento de recibirlo, y no a aquella en la que realizó la investigación. La otra mitad depende del número de investigadores que figuran en listas internacionales de científicos altamente citados.

  • Resultados de investigación (40 %). La mitad de esta puntuación depende del número de artículos publicados en Nature y Science durante los últimos cinco años. La otra mitad depende del número total de trabajos incluidos en bases científicas internacionales durante un año, contabilizándose doble los trabajos de ciencias sociales.

  • Rendimiento por empleado (10 %). Los resultados de las categorías anteriores se dividen por el número de docentes e investigadores. De este modo se reduce parcialmente la ventaja de las grandes universidades.

Finalmente, todos los resultados se suman. En cada categoría, la mejor universidad recibe 100 puntos, y las demás reciben una puntuación proporcional a su resultado en comparación con ella. Estos puntos se ponderan según los porcentajes indicados y se combinan en una única puntuación final que determina el orden de las universidades.

Crítica de la ilusión metodológica: ¿qué mide realmente el Ranking de Shanghái y qué no mide?

A primera vista, esta metodología parece clara y convincente. Los datos proceden de fuentes independientes, las reglas se conocen de antemano y el resultado es una cifra que cualquiera puede comprender. Precisamente por eso, el Ranking de Shanghái cuenta con numerosos defensores entre responsables políticos y administraciones universitarias. Sin embargo, cuando se examinan más detenidamente las reglas de puntuación, resulta evidente que detrás de cada argumento a su favor existe también una crítica seria.

1. Datos objetivos, decisiones invisibles

Los defensores del ranking suelen destacar su objetividad porque, a diferencia de otras clasificaciones, no depende de encuestas ni de datos proporcionados por las propias universidades, sino exclusivamente de fuentes disponibles públicamente. Sin embargo, la subjetividad no desaparece, sino que se traslada a decisiones que el público no puede ver. Los datos brutos no están disponibles, los ajustes estadísticos no se explican y los propios autores deciden a qué institución debe atribuirse un determinado premio o publicación.

El caso del premio Nobel de Albert Einstein demuestra hasta qué punto esto puede resultar decisivo. Einstein y varios otros premios Nobel trabajaron en la Universidad de Berlín antes de la Segunda Guerra Mundial. Después de la división de la ciudad, dos universidades reclamaron su legado: la Universidad Libre de Berlín, fundada en 1948 en Berlín Occidental, y la Universidad Humboldt, situada en la parte oriental. En la primera clasificación, en 2003, los autores atribuyeron los premios anteriores a la guerra a la Universidad Libre, lo que le permitió ocupar el puesto 95. Tras la protesta de la Universidad Humboldt, al año siguiente los mismos premios se atribuyeron a esta, que ascendió al puesto 95, mientras la Universidad Libre cayó más de cien posiciones. Cuando esta también protestó, los autores eliminaron simplemente a ambas universidades de la clasificación, y ninguna había regresado en 2007.

La calidad de ninguna de las dos universidades cambió durante ese periodo. Lo único que cambió fue la decisión sobre a qué institución debía atribuirse un premio concedido casi un siglo antes.

2. Los premios Nobel no enseñan en las aulas

Los premios Nobel, las medallas Fields y una elevada citación pueden parecer a los defensores de la clasificación indicadores claros de personal excelente y de un entorno académico estimulante, pero miden principalmente prestigio histórico y no lo que reciben los estudiantes hoy. Los títulos obtenidos en la década de 1920 siguen otorgando puntos, y un premio se atribuye a la universidad en la que trabaja el laureado en el momento de recibirlo, aunque la investigación se realizara mucho antes y en otro lugar.

Einstein llevó a cabo la investigación premiada cuando trabajaba en la oficina de patentes de Suiza, pero recibió el premio como profesor en Berlín. El Nobel de Andrew Fire de 2006 ayudó a la Universidad de Stanford a pasar del tercer al segundo puesto, aunque la investigación se había realizado en otra institución.

Como solo se contabilizan premios de física, química, medicina, economía y matemáticas, las humanidades, las artes y la mayoría de las ciencias sociales permanecen completamente invisibles.

3. El número de artículos no mide el valor de la ciencia

Incluso quienes dudan de que el ranking mida la calidad educativa suelen aceptar que mide de forma fiable la producción científica, pero esa imagen también es incompleta. Las bases científicas favorecen notablemente los trabajos publicados en inglés y las ciencias naturales. Generalmente no se contabilizan los libros, fundamentales en las ciencias sociales, ni las actas de congresos, esenciales en ingeniería e informática.

Además, el ranking cuenta cuántos artículos se publican, no cuán influyentes son, aunque la mayoría de los trabajos publicados apenas reciben citas. Este enfoque perjudica especialmente a las instituciones dedicadas a las ciencias sociales y humanidades. A pesar de ello, la London School of Economics and Political Science, una de las instituciones más prestigiosas del mundo en estas áreas, apareció en 2006 únicamente entre los puestos 201 y 300. Ese mismo año, la clasificación del Times Higher Education Supplement la situó en el puesto 17.

Los indicadores también abren espacio a la manipulación. Una quinta parte de la puntuación total depende del número de investigadores altamente citados que indican una determinada universidad entre sus afiliaciones. Por ello, algunas universidades saudíes comenzaron a contratar a prestigiosos investigadores extranjeros a tiempo parcial con la condición de que incluyeran también a la institución saudí en su afiliación.

De los 170 investigadores altamente citados asociados a universidades saudíes en 2014, 139, es decir, el 82 %, tenían su empleo principal en otro país. La Universidad Rey Abdulaziz contaba por sí sola con 122 investigadores de este tipo. En 2004, Arabia Saudí no tenía ninguna universidad entre las 500 mejores; diez años después tenía dos entre las 200 mejores y otras dos entre las 500 mejores.

La posición mejoró así mediante la incorporación de nombres a las afiliaciones, no mediante el desarrollo de la ciencia nacional. Actualmente, los autores solo tienen en cuenta la institución principal de cada investigador, lo que puede interpretarse como una respuesta precisamente a este tipo de prácticas.

4. Una cifra sencilla, un error complejo

Los defensores consideran una ventaja reducir todos los resultados a una sola cifra en la que la mejor universidad obtiene 100 puntos. Sin embargo, los metodólogos advierten que esta simplicidad oculta importantes debilidades matemáticas. Como la mejor universidad de cada categoría recibe nuevamente 100 puntos cada año y las ponderaciones siguen siendo las mismas, una variación en los resultados de una sola universidad líder cambia el valor de los puntos de todas las demás.

Un ejemplo simple ha demostrado que esto puede invertir completamente el orden de las universidades situadas por debajo e incluso provocar que una universidad que mejora en todas las categorías pase del segundo al último puesto. Como la mayoría de los indicadores se basan en números absolutos, el ranking favorece sistemáticamente a las grandes universidades.

Entre las instituciones situadas aproximadamente entre los puestos 400 y 500, más del 90 % no obtiene ningún punto por premios Nobel o medallas Fields. Para la mayoría de las universidades del ranking, una metodología compleja acaba reduciéndose en la práctica al simple recuento de publicaciones.

5. Reformas que cambian el puesto, no la calidad

El argumento más convincente a favor de la clasificación es que impulsa a Estados y universidades a cambiar. China es el ejemplo citado con mayor frecuencia. Mediante programas estatales especiales para desarrollar universidades líderes, conocidos como proyectos 211 y 985, China invirtió grandes recursos en sus mejores instituciones. El número de universidades chinas entre las primeras 500 del Ranking de Shanghái pasó de 14 en 2003 a 24 en 2009. En este caso, la clasificación sirvió como objetivo claro que estimuló la inversión en ciencia.

El problema es que también es posible mejorar la posición sin mejorar realmente la investigación o la enseñanza. Un grupo de metodólogos lo demostró mediante un experimento mental. Una administración universitaria que quisiera ascender rápidamente podría cerrar las facultades de derecho, humanidades y gran parte de las ciencias sociales porque aportan pocos puntos. El dinero ahorrado podría destinarse después a grupos de investigación de medicina o ciencias naturales, que generan premios, investigadores muy citados y publicaciones en revistas prestigiosas.

La clasificación premiaría ese movimiento aunque la universidad perdiera con ello una parte importante de su misión educativa.

Los mismos autores demostraron que un efecto similar puede conseguirse mediante la fusión de universidades. Dado que la mayoría de los indicadores se basan en el número total de premios, investigadores y publicaciones, una institución más grande recibe automáticamente más puntos. La antigua Universidad de París fue dividida a comienzos de la década de 1970 en trece universidades más pequeñas, ninguna de las cuales podía competir individualmente con las mayores universidades del mundo.

Los autores calcularon que la fusión de cuatro de ellas, centradas en ciencias naturales y medicina, habría creado, según datos de 2007, una institución aproximadamente comparable a Harvard. Se habría conseguido sin un solo euro adicional y sin un nuevo artículo científico, simplemente sumando resultados ya existentes. El ejemplo no quedó únicamente en la teoría. Francia fusionó tres universidades de Estrasburgo en 2009 y continuó con operaciones similares, y los investigadores señalan que uno de los objetivos era precisamente mejorar la posición en el Ranking de Shanghái.

Existe además un problema más profundo. Como el puesto depende de la comparación con otros, el ascenso de una universidad significa necesariamente el descenso de otra. La clasificación, por tanto, no puede demostrar que todo un sistema educativo haya mejorado, sino únicamente quién ha superado a quién. Las investigaciones muestran también que las universidades situadas en la cima prácticamente nunca cambian, porque solo las instituciones más ricas pueden pagar a los científicos de élite que generan puntos. En lugar de fomentar un desarrollo equilibrado, la clasificación dirige atención y dinero hacia instituciones que ya son ricas y prestigiosas.

6. Una guía que no muestra el camino a los estudiantes

Para los estudiantes que planean estudiar en el extranjero, el ranking puede ser una primera referencia útil, pero una única cifra para toda una universidad difícilmente puede responder a todas las preguntas que les importan. Al elegir estudios, los estudiantes suelen necesitar información sobre programas concretos, calidad docente, costes, alojamiento y oportunidades laborales, y esos datos no forman parte del Ranking de Shanghái.

Algo similar ocurre con los empleadores, para quienes los conocimientos y capacidades de los graduados probablemente sean más importantes al contratar que el número de premios Nobel obtenidos por una universidad hace varias décadas. También debe tenerse en cuenta que diferentes rankings suelen producir resultados diferentes. De las 100 mejores universidades en tres de las principales clasificaciones mundiales, solo 35 aparecen en las tres.

Finalmente, las 100 primeras universidades representan menos del uno por ciento de las más de 15.000 instituciones de educación superior del mundo. Para un gran número de estudiantes, el ranking ofrece por tanto únicamente una visión limitada de las instituciones a las que realmente asistirán.

7. Una medida diseñada a la medida de un solo modelo

Los defensores presentan el ranking como una medida global neutral que permite comparar universidades y seguir cambios en la distribución del poder científico, pero una medida no puede ser neutral si sus criterios tampoco lo son.

El análisis de los indicadores muestra que la clasificación premia implícitamente a universidades antiguas que no han cambiado de nombre a lo largo de su historia, se encuentran en países anglófonos estables, disfrutan de gran autonomía y disponen de presupuestos elevados. Esa descripción coincide casi perfectamente con las universidades estadounidenses y británicas más conocidas, que precisamente se encuentran en la parte superior de la lista.

La relación con la riqueza del país también es notable. Ningún país con una universidad entre las primeras 50 tiene un producto interior bruto per cápita inferior a 36.000 dólares en paridad de poder adquisitivo, mientras que la media mundial ronda los 14.350 dólares. Los sistemas en los que una parte importante de la investigación se realiza en institutos científicos independientes, como en Francia, se encuentran en desventaja porque el trabajo de estos institutos no contribuye al Ranking de Shanghái.

¿Por qué una clasificación cuestionada sigue teniendo tanto poder?

Aunque ha sido objeto de serias críticas metodológicas en la literatura especializada, el Ranking de Shanghái continúa ejerciendo una fuerte influencia sobre responsables políticos y administraciones universitarias. Los investigadores explican que las cifras y las clasificaciones crean la apariencia de una verdad neutral y «dura».

La medición constante lleva a las instituciones a adoptar criterios externos como propios y adaptar voluntariamente su actuación a ellos. Las encuestas muestran que la gran mayoría de universidades dispone de mecanismos oficiales para seguir su posición. La mayoría de los responsables universitarios también cree que el rango influye directamente en la disposición de socios extranjeros a colaborar.

En un entorno así, el simple hecho de aparecer en la clasificación puede llegar a ser más importante para una universidad que las cuestiones metodológicas fundamentales.

¿Puede contemplarse la educación superior fuera de una única clasificación?

La revisión de la literatura científica muestra que el Ranking de Shanghái no ofrece una imagen fiable de la calidad global de la educación superior. Su alcance real es más limitado, ya que muestra principalmente el prestigio investigador acumulado y el tamaño de las instituciones en determinados campos de las ciencias naturales.

Los datos en los que se basa proceden de fuentes públicas, pero las decisiones sobre cómo se interpretan y a qué instituciones se atribuyen permanecen fuera de la vista pública. Los premios y las citas dicen más sobre los logros pasados de los investigadores que sobre la calidad de la enseñanza actual, mientras que el recuento de publicaciones perjudica a las ciencias sociales y humanidades. Una única cifra agregada parece sencilla, pero es sensible a decisiones metodológicas y favorece a las grandes instituciones.

La clasificación ha impulsado a muchos países a invertir en ciencia, pero también ha premiado medidas que mejoran el puesto sin producir avances reales. Ofrece a los estudiantes una visión limitada de aquello que realmente les importa cuando eligen estudios. Como medida global, refleja las diferencias existentes de riqueza y tradición entre universidades más de lo que las mide de forma objetiva.

Por ello, los resultados del Ranking de Shanghái deben interpretarse con cautela, como una indicación de la visibilidad científica de determinados campos y no como una evaluación de la calidad total de una institución. Los cambios anuales en la clasificación a menudo no reflejan cambios reales en la enseñanza y la investigación, por lo que las decisiones no deberían basarse en posiciones individuales.

Resulta más útil apoyarse en herramientas que presenten varios indicadores por separado y permitan a los usuarios elegir lo que consideran importante. Además, invertir en el desarrollo de todo el sistema de educación superior produce a largo plazo más beneficios que intentar elevar a cualquier precio una o dos instituciones en una clasificación.

La noticia con la que comienza este texto debe entenderse también desde esta perspectiva. El descenso de la Universidad de Belgrado al grupo 501–600 no demuestra por sí solo que la calidad de la educación superior haya caído drásticamente. Ante todo, muestra cómo se sitúa actualmente la universidad según un conjunto específico de indicadores de investigación.

La verdadera pregunta sobre la calidad exige una respuesta más amplia y cuidadosa que una única posición en una clasificación.