EL FACTOR DE IMPACTO

Y así nació no solo el factor de impacto (impact factor), sino también la bibliometría, la disciplina para la evaluación cuantitativa, y de alguna manera cualitativa, de la producción científica. Por muchos años el factor de impacto, que es el número de veces que en promedio cada artículo de una revista es citado en los dos años siguientes a su publicación, fue el único indicador bibliométrico. Con este número, calculado cada año y publicado por ISI en el mes de agosto, se hacían los rankings de todas las revistas del SCI, disciplina por disciplina. Desde el principio, el factor de impacto recibió muchos cuestionamientos. ¿Por qué dos años? Hay disciplinas en las que la vigencia de los datos es corta, y los conocimientos cambian con rapidez, así como hay otras en las que la importancia de una nueva hipótesis toma años en recibir reconocimiento, y su efecto se puede prolongar mucho más en el futuro. El factor de impacto no tuvo eso en cuenta. Aquí las únicas citas que se cuentan son las que aparezcan en revistas que estén indexadas en el SCI (en donde los países de medianos y bajos ingresos están sistemáticamente excluidos). El indicador no ajusta por las autocitaciones (ya sea cuando una revista, o un autor, se citan a sí mismos), ni por la importancia de la revista en la que se hace la citación (no es lo mismo ser citado en Lancet que en... por ejemplo, Acta Neurológica Colombiana).

A pesar de esas limitaciones, el factor de impacto se mantuvo durante decenios como el indicador bibliométrico principal, casi el único (aparte del recuento del número absoluto de publicaciones). Pero con la llegada del siglo XXI, las cosas cambiaron. En 2004, la multinacional de las publicaciones científicas Elsevier introdujo su base de datos y sistema de análisis bibliométrico Scopus (que vino a complementar y en gran medida reemplazar a Embase, que solo se limitaba a publicaciones biomédicas). Scopus se alió con Scimago, un consorcio de universidades españolas, y en diciembre de ese año introdujeron otro indicador: el Scimago Journal Ranking (SJR). EL SJR controla por autocitaciones, y pondera las citaciones de acuerdo con el SJR de la revista en la cual aparece la citación. Además, toma no dos, sino tres años como ventana, y lo hace de manera retrospectiva, así: mientras que el factor de impacto de 2014 cuenta las veces que la revista fue citada en 2015 y 2016, el SJR de 2017 incluye las citaciones de los tres años anteriores, en este ejemplo, 2014, 2015 y 2016. Así como el factor de impacto solo contabiliza citaciones en revistas del SCI (hoy analizada a través del portal Web of Science, que para la fecha incluye 12.298 títulos), el SJR solo considera citaciones en revistas indexadas en Scopus (que incluye 34.171 títulos).

LOS RANKINGS DE LAS REVISTAS

Además de calcular el SJR para cada revista, Scimago produce unos rankings de las revistas por disciplina, lo que permite clasificarlas en cuatro categorías que, en orden descendente se designan de Q1 a Q4. Así, por ejemplo, bajo la clasificación "Neurology (clinical)" aparecen 359 revistas (encabezadas por Lancet Neurology, Acta Neuropathologica, Brain, Annals of Neurology y Nature Reviews Neurology). En Q1 estarían las primeras 90 revistas, en Q2 las siguientes 90, y así hasta Q4. Por muchos años se mantuvo esta difícil alianza entre una entidad universitaria, que presenta todos sus indicadores bibliométricos sin costo alguno en su portal www.scimagojr.com, y una entidad comercial como Scopus (propiedad de Elsevier), que no es de acceso gratuito. En 2017 se inició el divorcio, y Elsevier sacó su nuevo indicador bibliométrico, llamado CiteScore, que reúne características de los anteriores. CiteScore recoge (hoy) las citaciones de 39.647 publicaciones (y creciendo), utiliza tres años, es prospectivo, lo que quiere decir que el CiteScore de 2018 se estima a partir de las veces que las publicaciones de esa revista en 2015, 2016 y 2017 fueron citadas en 2018.

A manera de ejemplo, la revista Colombia Médica publicó de 2014 a 2016 115 documentos, que en el año 2017 recibieron 94 citaciones, lo que equivale a un CiteScore de 0,82 (94/115). Ese CiteScore la ubica en el percentil 77 de las 841 revistas de Medicina General.

El Servicio Nacional de Indexación de Publicaciones Especializadas Seriadas de Ciencia, Tecnología e Innovación (Publindex) se originó en 1998 a partir de un esfuerzo de Colciencias por reglamentar desde el Estado qué se considera y qué no una "publicación científica", y de una vez clasificar las revistas colombianas en diferentes categorías jerárquicas ³. Las reglas de inclusión y de categorización, en cuatro categorías, designadas como A1, A2, B y C, se han ido volviendo más estrictas, y por ende más excluyentes ^4,5. En su última versión, la categorización ha quedado atada a la posición de cada revista en los cuartiles de Scimago, es decir, ha puesto a competir a las revistas colombianas con las grandes revistas internacionales, lo que en voz de los editores de Infectio y de Colombia Médica, "sin una política de fomento de la calidad editorial y de apoyo a la investigación podría en pocos años desmantelar las publicaciones nacionales". Como se mencionó en un editorial previo ⁶, ya Acta Neurológica Colombia ha sido víctima de esta estrategia, al quedar excluida (esperamos que temporalmente) del listado de Publindex.

Otro cambio interesante en la nueva versión de Publindex es la consideración del Índice H y su derivado el "H5". El Índice H de alguna manera combina el número de publicaciones con el número de citaciones. Para que un autor (o en este caso una revista) tenga un Índice H de 1 se requiere que una de sus publicaciones haya sido citada una vez; para un Índice H de 2, se requieren dos publicaciones citadas dos o más veces. Ese Índice H puede obtenerse de varias fuentes, como Scopus, Web of Science o Google Académico; de nuevo, tanto Scopus como Web of Science solo incluyen citaciones en revistas incluidas en sus propias bases de datos, mientras que Google Académico contabiliza citaciones en múltiples fuentes, incluyendo los repositorios de trabajos de grado de muchas universidades. El H5 es un indicador de vigencia, ya que solo contabiliza citaciones recibidas en los últimos cinco años; Un H5 de 2, por ejemplo (que es lo que se exige en Publindex para ser revisor par) quiere decir que esa persona tiene por lo menos dos publicaciones, no interesa de qué fecha de publicación, que en los últimos cinco años hayan recibido dos o más citaciones. Los defensores del Índice H alegan que un ranking basado en este indicador resulta tener mayor validez de apariencia que uno basado en factor de impacto o en SJR. Las cinco primeras revistas, en su orden, en neurología clínica son: Neurology, Brain, Stroke, Annals of Neurology y Lancet Neurology. Compárese con el ranking según SJR, presentado arriba.

LA IMPORTANCIA DE LAS REFERENCIAS

Como se observa, todos los rankings de publicaciones científicas tienen en común las citaciones recibidas, que son sin duda el criterio más utilizado para evaluar su calidad. Por eso, al escoger las referencias bibliográficas, el autor debe ser muy riguroso. Debe reconocer que en un artículo científico las referencias bibliográficas cumplen dos propósitos. El primero, y el más obvio, es brindar el apoyo científico a una afirmación, así como darle el debido crédito a la persona o al equipo de investigadores que hace una afirmación o aporta un dato. El segundo propósito es servir, de alguna manera, como una lectura sugerida al lector que quiera profundizar en un tema o ahondar en un concepto determinado. Por esa razón, saber seleccionar bien las referencias bibliográficas es un claro indicador de la calidad y del buen criterio del autor de un trabajo científico. Un revisor de un manuscrito (o un editor, en mi caso) suele ojear de entrada el listado de referencias, y ya con eso se hace una idea inicial del mérito científico de una posible publicación.

En la escogencia de las referencias bibliográficas se cometen muchos errores que es conveniente evitar. Algunos de los más comunes son:

Número de referencias: un manuscrito con muy pocas referencias (o ninguna) suscita suspicacias; pero uno con demasiadas, también. Es errado pensar que mientras más referencias tenga un escrito, mejor. Un caso clínico puede tener tan solo 3 o 5 referencias, un "trabajo original" 20 o 25 mientras que una revisión puede tener 50 o más (para cumplir con los criterios de Publindex, tiene que -obligatodamente- tener 50 o más...)

Fecha de las referencias: en unos temas la actualización de las referencias es más importante que en otros. Como regla general, la mayoría de las referencias (¿70-80 %?) deben ser de los últimos 3 a 5 años, mientras que las otras pueden citar artículos "clásicos" o incluso textos de 10 o más años.

Calidad de las fuentes: en general, la mayoría de las referencias (a veces todas) deben citar artículos publicados en revistas indexadas. En ocasiones (particularmente en la introducción del artículo, se pueden citar libros o capítulos de libro. Citar páginas web se está volviendo cada vez más popular, pero hay que ser cuidadoso; está bien citar páginas de entidades serias, páginas gubernamentales o universitarias, y evitar páginas de periódicos o de credibilidad dudosa.

Internacionales vs. locales: así como algunos investigadores ignoran la literatura internacional y se concentran tan solo en datos y referencias locales, otros hacen lo contrario, y solo incluyen referencias internacionales, ignorando la experiencia nacional y regional. Si queremos que las publicaciones colombianas sean reconocidas en los rankings internacionales, debemos esforzarnos en citarnos entre nosotros, siempre y cuando la cita sea pertinente y el artículo citado cumpla con criterios de calidad.

En resumen, cada autor tiene en sus manos un enorme poder al escoger a quién cita y a quién ignora. La selección de las referencias que acompañan a un artículo debe ser un proceso cuidadoso que permita hacer el reconocimiento a los colegas investigadores cuyos aportes estamos acogiendo, así como a las revistas en donde han aparecido sus contribuciones al conocimiento.