Manifiesto de Leiden y Declaración de San Francisco

Manifiesto de Leiden y Declaración de San Francisco: situemos las métricas en su lugar

31 de mayo 2019

La proliferación de métricas para medir la actividad científico-académica, y el aumento en paralelo de instrumentos para la obtención de las mismas, lleva al siguiente y necesario paso: reflexionar sobre las condiciones adecuadas de su utilización, sobre todo para la evaluación de carreras académicas, puesto que hablamos de vidas humanas.

Por fortuna, nos pueden ayudar dos declaraciones sumamente importantes (de 2014 y 2012, respectivamente), apoyadas por miles de investigadores de primera línea de todo el mundo, y que trataremos en lo que sigue. Se trata de los siguientes:

El Manifiesto de Leiden sobre indicadores de investigación

Declaración sobre Evaluación de la Investigación (DORA) de San Francisco

En los dos casos, lo que haré será reproducir los puntos esenciales de cada uno, como parte de una modesta contribución a su difusión, y después presentaré alguna síntesis. Creo que, como motivación para considerar ambas declaraciones, pueden servir dos párrafos seleccionados y procedentes de cada una de las declaraciones.

El que sigue, es del Leiden Manifesto (el destacado es mío):

Los indicadores han proliferado: normalmente bien intencionados, no siempre bien informados, y a menudo mal aplicados. Cuando organizaciones sin conocimiento sobre buenas prácticas e interpretación apropiada de indicadores llevan a cabo las evaluaciones, corremos el riesgo de dañar el sistema científico con los mismos instrumentos diseñados para mejorarlas.

Este párrafo, por su parte, procede de DORA:

The Journal Impact Factor, as calculated by Thomson Reuters, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment.

A continuación, primero presentaré una síntesis de ambas declaraciones, para pasar después a tratarlas por separado de una forma detallada.

Además, al final de esta entrada he añadido varios enlaces de publicaciones de la máxima solvencia sobre el uso inadecuado del factor de impacto. Uno de ellos, nada menos que de la revista número uno ¡por factor de impacto!

Así es, incluso estas revistas que se benefician de un factor de impacto estratosférico denuncian sus graves problemas intrínsecos. Algo, al menos, muy significativo.

SÍNTESIS LEIDEN/DORA

Recomendación general

La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos, pero las métricas no pueden sustituir las decisiones informadas.  La valoración de la calidad de una investigación o de un artículo debe basarse en la investigación misma y no, por ejemplo, en el factor de impacto de la revista donde se haya publicado. No hacerlo así significa que los evaluadores abandonan su responsabilidad.

Recomendaciones específicas

• En la evaluación de carreras académicas, deben tenerse en cuenta las diferencias entre: (1) áreas de conocimiento (p.e. Ciencias vs Ciencias Sociales), (2) perfiles personales (p.e. investigador novel vs investigador sénior) y (3) prácticas de publicación de cada área (libros en Humanidades, comunicaciones en Informática, artículos en Economía).
• La ciencia relevante publicada en lenguas diferentes del inglés debe ser reconocida y preservada.
• El factor de impacto de las revistas es un indicador orientativo, pero no debe sustituir la valoración de la calidad de los artículos y de las investigaciones individuales que se someten a evaluación.

Fuente: Manifiesto de Leiden y DORA

Continuar leyendo…