Por: Ms.C Andrea Marín Campos, encargada Gestión de Calidad Universidad de Costa Rica

Es posible que en algún momento hayamos leído en una nota periodística que, según el ranking de universidades QS (Quacquarelli Symonds) para el 2020, la Universidad de Costa Rica (UCR) se ubica en el puesto 19 entre las universidades de América Latina y es la primera en el istmo. Y entonces suponemos que este ranking realiza una jerarquización de todas las universidades latinoamericanas, pero el tema comienza a complejizarse cuando ya no es un número o espacio en la lista, sino un rango de números en el cuál podemos encontrar a la UCR, incluso compartiendo el parámetro con otras universidades. Seguimos leyendo que la UCR ocupa la posición 511-520 de ese mismo ranking QS pero esta vez para su versión global; podemos incluso volver aún más complejo el escenario cuando advertimos que la misma universidad ocupa el puesto 901-1000 del Academic Ranking of World Universities (ARWU) conocido como ranking de Shanghái o la posición 601–800 del The Times Higher Education World University Rankings (THE), todos estos para el año 2020.

¿Es acaso que estos rankings no tienen precisión y por eso indican rangos tan grandes para posicionar a la Universidad? o bien, ¿existe un ranking mejor que los otros y por eso algunos se presentan las diferencias? Y esto a pesar de que en la lista generalmente participan las mismas universidades del mundo.

Lo primero que debemos tener claro para entender el tema de los rankings, es que estos son instrumentos de medición, que se construyen a partir de un objetivo a medir y que para esto se establecen criterios e indicadores. Por ejemplo, el ranking de universidades QS es una publicación anual que tiene como objetivo ser un instrumento para la toma de decisión que hace una persona estudiante a la hora de elegir en cuál universidad estudiar. Metodológicamente agrupa sus indicadores de medición en cuatro grandes áreas: indicadores académicos, indicadores de empleo, indicadores de estudiantes y por último indicadores de internacionalidad.

Cada uno de estos indicadores mide un criterio o aspecto que para el ranking es importante y al que previamente ha asignado un valor o peso según el objetivo a medir, por ejemplo, el Ranking ARWU establece como criterio la “Calidad de la facultad” con indicadores como el número de personas de una institución ganadoras de premios Nobel y medallas Fields e investigadores altamente citados1, mientras que el ranking QS en su criterio de “Indicadores académicos” considera la reputación académica, el índice H, la citación por facultad y el personal docente con doctorados2; por su parte THE estableció el criterio de “Docencia” donde sus indicadores son una encuesta de reputación, proporción de personal a estudiantes, proporción de doctorado a licenciatura, proporción de doctorados otorgados por personal académico e ingresos institucionales3.

Lo segundo que debemos de tener claro es que los rankings construyen una metodología para poder homologar los indicadores que la entidad ha establecido y puedan ser medibles en todas las universidades que participen, es decir, que pueda utilizarse una misma unidad de medición. En este caso utilizaremos como ejemplo al ranking THE que estableció sus indicadores en cinco áreas: docencia, investigación, citación, visión internacional e ingresos de la industria. Estos indicadores se normalizan utilizando por ejemplo la unidad de tiempos completos (considerando el número de horas que implica un tiempo completo para la universidad) y no la cantidad de personas. Así también, se normalizan los datos de ingresos institucionales entre el número de personal académico y de esa forma buscar la paridad del poder adquisitivo (PPA).

Lo tercero que es importante de considerar son las fuentes de información que se utilizan para recopilar los datos para cada indicador. Los rankings pueden considerar encuestas, que son suministradas a las autoridades universitarias o a un departamento designado de las propias universidades y en las que se aportan evidencias o se realizan declaraciones de información. También hay datos que se recopilan de internet (a partir de lo que las mismas universidades generan con su visibilidad web), de fuentes de información bibliométrica de reconocida trascendencia y que trabajan precisamente recopilando esos datos. La selección de dicha fuente de información que realiza un ranking considera la confiabilidad de esa fuente, así como la trazabilidad y disposición de los de los datos disponibles. Por ejemplo, el Ranking ARWU utiliza la Web of Science4 para medir el indicador del número de “papers” publicados en el área de naturaleza y ciencia y también para el número total de artículos indexados en Science Citation Index-Expanded y Social Science Citation Index. Este ranking también utiliza los informes de la compañía Clarivate Analytics para el número de investigadores altamente citados o bien considera agencias nacionales como ministerios específicos, oficinas de registro, consejos de rectorías, entre otros para otro tipo de datos.

Como cuarto y último punto, se encuentra la generación del ranking. Una vez que la entidad ha recopilado los datos para un período específico, realiza la asignación de valor a cada ítem o evidencia recopilada y esto, en última instancia, genera una nota o calificación que permite enlistar a las universidades participantes de mayor a menor, es decir, las que más altos puntajes reflejan en cada una de las categorías se van colocando en las primeras posiciones del ranking. Los rankings pueden considerar un número de universidades participantes o bien considerar la nota como criterio, depende de su metodología y es importante señalar que el número de participantes afecta la posición en el mismo, no solamente la calificación obtenida para los criterios. Asimismo, en esta metodología se define, a partir de un número “x” de universidades, la asignación de una posición en el ranking o bien un intervalo de ubicación. Estos intervalos frecuentemente se asignan porque estadísticamente no existen diferencias significativas en la nota obtenida, y eso hace posible que varias universidades compartan el mismo intervalo. La amplitud de este depende de la variabilidad del grupo de universidades que están compartiendo dicha nota.

Considerando estos cuatro aspectos se puede explicar que la variación del número de posición de una universidad de un ranking a otro no refleja imprecisión de los rankings, sino que responde al objetivo, indicadores y metodología establecidos. De esta forma también puede decirse que el criterio de si existe un ranking mejor que otro es condicionado al objetivo de la medición, pues podría ser de mayor utilidad un ranking para ciertos aspectos y otro para otros; aunque todos representen, en última instancia, parámetros de calidad en los criterios considerados. Cabe señalar que la mejor forma de verificar la confiabilidad y capacidad de medición de un ranking se encuentra en la revisión de la metodología que utiliza, por ende, la transparencia en la información que brinden en esta sección los rankings es clave.

Existen dos cuestionamientos que suelen darse en este tema y a los que no me referí inicialmente para poder abordarlos teniendo en cuenta los cuatro aspectos mencionados, el primero tiene que ver con el cuestionamiento de si puede una universidad influir o no en la mejora de su posición en el ranking. Como se ha visto hay aspectos que no se pueden controlar, por ejemplo, los criterios y metodologías son definidos previamente y el número de universidades varía y esto afecta el posicionamiento global. Pero la clave está en que la propia universidad o la propia persona que quiere tratar de analizar la posición de una universidad en el ranking, debe considerar los valores de los criterios específicos frente a los valores del año anterior, porque estos podrían revelar una mejora en la calificación de los criterios que no se vuelve clara por el posicionamiento en el ranking; asimismo, el análisis de estos criterios y fuentes de información puede arrojar datos sobre cuáles son los aspectos más importantes que se miden y de qué forma se podría mantener y mejorar la posición. Esto no solo significa ser prolijos en la información que es suministrada por parte de las universidades, sino además comunicar y trabajar con la comunidad universitaria, por ejemplo con las personas investigadoras, docentes y estudiantes para que visibilicen la producción y actividades de la universidad a través de una correcta señalización de la afiliación institucional en una publicación o material divulgativo así como las buenas prácticas para establecer dominios de sitios web que sean propios de las instituciones, entre otras prácticas que permiten sumar a los grandes indicadores con los que se mide el trabajo de una universidad.

El segundo cuestionamiento que podría contestarse ahora teniendo el escenario completo es el ¿porqué es importante para una universidad o bien para el país tener presencia en estos rankings? Y es que sin lugar a duda la calidad y excelencia solo pueden lograrse en la mejora, y a su vez esa mejora solo puede darse si medimos los criterios e indicadores en los que queremos avanzar como universidad o como país, reconociendo que estos no son estáticos y pueden cambiar o fortalecerse en la medida que se van desarrollando. Además, hay una importancia en establecer estos ejercicios de medida y comparación no solo sobre la misma universidad, sino con otras de mayor o menor similitud en contexto, región, infraestructura, inversión, políticas, recursos y demás. Esto no significa que la meta sea lograr ocupar primeras posiciones de los rankings, pero sí permite un análisis del trabajo realizado, una orientación de la ruta que puede seguirse y un instrumento sobre el cuál perfilar a una universidad en la docencia, la acción social y la investigación que redundará en el perfil de la comunidad científica que queremos como país.

1 Ranking de Shangai: http://www.shanghairanking.com/ARWU-Methodology-2020.html

2 Ranking QS: https://www.qs.com/rankings

3 Ranking THE: https://www.timeshighereducation.com/world-university-rankings/world-university-rankings-2020-methodology

4 Web of science: http://www.webofscience.com/

Los rankings

1. https://www.timeshighereducation.com/world-university-rankings/world-university-rankings-2020-methodology
2. http://www.shanghairanking.com/ARWU-Methodology-2020.html
3. https://www.qs.com/rankings/
4. http://www.webofscience.com/

Ms.C Andrea Marín Campos
Encargada Gestión de Calidad Universidad de Costa Rica