Reflexiones sobre la medición de la calidad y el impacto de las revistas científicas
Reflections on measuring quality and the impact of scientific journals
Wilson López
Los sistemas nacionales de ciencia y tecnología y las universidades deben dar cuenta de la dinámica científica, la inversión en la misma y su desarrollo. En esta dirección, la cienciometría aparece como recurso para permitir identificar numéricamente estos cambios. Por ejemplo, contar el número de patentes que un país produce resulta relevante para poder contar con indicadores de producción de innovación; o contar e identificar el origen de ese conocimiento permite saber cómo el conocimiento ha incidido en esas innovaciones. Es evidente que esta información no es suficiente para dar cuenta de todos los procesos implicados en la innovación. Sin embargo, este tipo de información permite dar cuenta de una parte y cobra sentido si por ejemplo se contextualiza para dar cuenta de la inversión en conocimiento y la generación de las patentes o el desarrollo tecnológico y la riqueza que han producido en dinero, empleo o generación de nuevo conocimiento. También debería poder diferenciar áreas de desarrollo de esas patentes, pues no es lo mismo el impacto en biomedicina que en inteligencia artificial o en ciencias sociales.
Otra de las áreas de desarrollo para la medición son las publicaciones. Es evidente que la producción académica se expresa también en artefactos escritos como libros, capítulos de libros, artículos, ente muchos productos. No obstante, contar esta producción o sus usos no es suficiente para dar cuenta de la rica y compleja dinámica académica. En esta dirección un indicador como el factor de impacto podría decir algo sobre como otros investigadores usan el conocimiento y siguiendo una lógica "confirmacionista" supondría que el uso del mismo confirma y explica la acumulación del conocimiento. Pero es evidente que en ocasiones el conocimiento citado está en la dirección de controvertir e incluso falsar el conocimiento, y solo el uso de la cantidad de citas no permite evidenciar en una u otra dirección el propósito de su uso.
]]> Sin embargo, La medición de la citación tiene varias virtudes: es parsimoniosa, sus modelos son consistentes y permiten aplicar diversos tipos de modelos de predicción. Como hemos visto en los últimos años, son cada vez más complejos. En este sentido, comparar las dinámicas de citación por áreas de conocimiento o evaluar el lugar de origen de la cita resultan ser contribuciones para mejorar la medición del impacto.En este proceso de mejorar los indicadores cuantitativos, aproximaciones recientes han dado origen a la emergencia del indicador H. Éste corrige los sesgos de las mediciones de IFJ ( Impact Factor Journal ) o el SJR ( Scimago Journal Ranking ) pues neutraliza el tamaño de los indicadores, el número de publicaciones o el número de citas. Por otra parte, los dos sistemas de medición que dan cuenta de los indicadores de impacto, e incuso hoy producen el H, lo hacen sobre los productos que están incluidos en sus sistemas de información y no permiten dar cuenta de los impactos en la literatura por fuera de su sistema. Este es un problema prevalente en los sistemas cerrados y excluyentes.
Entonces la pregunta por las razones que hacen que un contenido este incluido o no dentro de uno de estos sistemas suele caer de nuevo en el circulo vicioso que asume que, si un contenido es citado es porque es de calidad, y este es un criterio muy relevante para el ingreso al sistema de información, que además evaluará las publicaciones por el mismo criterio o para las revistas de ámbito no anglosajón suelen exigir exogamia, lo cual es muy poco cumplido por las revistas anglosajonas, para no mencionar si no algunas de las inconsistencias de los criterios. Por otra parte, las prácticas y los accesos a los sistemas de información suelen estar ligados a los profundos problemas de inequidad que la sociedad vive, en los que el acceso abierto está tratando de combatir y que descansan sobre el permitir el acceso al conocimiento en forma irrestricta.
La complejidad y problemas de los procesos de medición no están resueltos con nuevos indicadores, per se. Sin embargo, los sistemas de ciencia nacionales, en especial en Latinoamérica, están incorporando estos indicadores como criterios de medición y clasificación a pesar de los problemas que los mismos presentan. Esto está generando múltiples dificultades en las comunidades de editores e investigadores: los editores asumimos que tercerizar todo el sistema de evaluación en sistemas de información de citación que tienen intereses económicos; que privilegian países, regiones, lenguas e incluso áreas de conocimiento; o que hacen exigencias a algunas revistas y a otras no; que usan sistemas de calculo que son imprecisos o que anulan el inmenso esfuerzo editorial, no es equitativo. Esto, sumado a que no es igual editar una revista que procesa académica y editorialmente más de 400 artículos al año a una que procesa 30. Tampoco es igual el manejo de una revista local a una internacional ni en su difusión ni en su política de impacto. En definitiva, los sistemas de medición de la ciencia y tecnología de las revistas de Latinoamérica deben generar sistemas más complejos y que permitan dar cuenta de más indicadores de calidad tanto en términos de impacto como de calidad de contenidos y editorial, pero sin perder su dimensión y limitaciones.
]]>