En el año 2016, el Departamento Administrativa de Ciencia, Tecnología e Innovación (Colombiano) - Colciencias elaboró y publicó la “Política para mejorar la calidad de las publicaciones científicas”, en la que uno de sus objetivos principales fue “[…] aumentar la presencia de las revistas científicas nacionales en los índices citacionales y bases de datos que las comunidades científicas de las diferentes disciplinas reconocen como espacios para la divulgación de resultados de investigación con alto impacto científico”. En pro de este objetivo, Colciencias rediseñó el modelo de clasificación de las revistas científicas nacionales, que determinan la indexación en el Índice Bibliográfico Nacional IBN-Publindex ^[1].

Uno de los cambios más significativos del nuevo modelo fue la incorporación de criterio de evaluación sobre el impacto de la revista, determinado por el nivel de citación de los artículos publicados. Lo cual, guarda total coherencia con el objetivo planteado, si se tiene en cuenta que este es uno de los principales criterios para la inclusión de una revista en bases de datos citacionales como Web of Sciece (WoS) y Scopus.

Para la Convocatoria 768 de 2016 se incorporó el índice H5 como indicador de medición de impacto para las revistas que no se encuentran indexadas en JCR o SJR. Este índice, que es una variación del índice H propuesto por el investigador Jorge Hirsch ^[2], se basa en el número de citas que han recibido los artículos publicados por la revista en los 5 años previos al cálculo del indicador. Así, una revista tiene un índice H5 h, para un año X, si h de los artículos publicados en los 5 años anteriores a X, tienen al menos h citas. Como fuente de información para el cálculo del indicador, Colciencias decidió emplear Google Académico, cuyas búsquedas consideran todo el universo de publicaciones académicas, y no sólo en las revistas indexadas en bases de datos citacionales; permitiendo establecer el impacto de las publicaciones en todo el ámbito académico. Adicionalmente, como herramienta para llevar a cabo el cálculo del indicador, hicieron uso de la herramienta Hazard's Publish or Perish (PoP), una herramienta de uso libre ^[3].

De esta manera, el modelo de medición se desarrolló en tres fases ^[4]:

Para la convocatoria 768, se inscribieron en total 604 revistas científicas, de las cuales se clasificaron 246 de la siguiente manera: A1 (1), A2 (12), B (110) y C (123).

Para el 2018, y con el fin de “[…] continuar con la implementación del Modelo de clasificación de revistas científicas para incrementar el número de revistas científicas nacionales incluidas en índices Bibliográficos Citacionales (IBC) internacionales”, Colciencias llevó a cabo la convocatoria 830, Convocatoria para Indexación de Revistas Científicas Colombianas Especializadas - Publindex 2018 ^[5], con los siguientes objetivos específicos:

Dando cumplimiento a los objetivos 1 y 2, los resultados de la convocatoria fueron publicados el pasado 08 de agosto, a través de la resolución 1094 de 2019. Estos resultados establecen la categorización de las revistas nacionales vigente para el año 2020. En esta convocatoria, se presentaron 573 revistas científicas, de las cuales 275 fueron clasificadas, de la siguiente manera: A1 (3), A2 (10), B (119) y C (143). Como se puede observar, respecto a la convocatoria del 2016, en términos generales se presentó un menor número de revistas, pero se incrementó el número de revistas clasificadas; lo que podría indicar que, efectivamente se ha promovido el mejoramiento de las condiciones de calidad editorial, visibilidad e impacto de las revistas nacionales.

En el área de Ingeniería y Tecnología, fueron clasificadas 32 revistas; 19 en categoría B y 13 en categoría C. No hubo revistas clasificadas en categoría A1 o A2, dado que ninguna de las revistas de esta área, se encuentra dentro del cuartil Q1 o Q2 de SJR o JCR. La revista TecnoLógicas, reportó, para el momento de la evaluación, un índice H5 de 8, lo que le permitió ser indexada y clasificada en categoría C, dado que el valor de corte de este indicador para la categoría B fue de 9.

Con el ánimo de analizar nuestra posición respecto a las revistas colombianas indexadas en una mejor categoría, el equipo editorial técnico de la revista TecnoLógicas, realizó una revisión del indicador H5 de las revistas indexadas en categoría B del área de ingeniería y tecnología, esperando identificar tendencias en las temáticas de publicación y buenas prácticas que nos permitan mejorar nuestro proceso editorial. Para ello, se siguió el procedimiento establecido por el modelo de medición, es decir, el cálculo del índice H5 de forma independiente para el nombre de la revista y los ISSN impreso y electrónico, limitando la búsqueda a artículos publicados en el periodo comprendido entre 2013 y 2017, y tomando como resultado aquel en el que se haya obtenido el mayor valor. Posteriormente, se procedió a revisar las citaciones recibidas por los artículos que fueron considerados en el cálculo del indicador para cada revista, la cual se obtiene haciendo uso de la opción Retrieve Citing Works in Publish or Perish de PoP.

Los resultados de este análisis, nos permiten poner en duda el cumplimiento del tercer objetivo de la convocatoria, en particular respecto al hecho de que la información esté actualizada y que esta haya sido validada. Antes de proseguir, queremos señalar que este escrito no pretende señalar a revistas específicas, sino llamar la atención sobre la validez del modelo de medición de revistas científicas, con respecto a la evaluación de la calidad y el impacto de las revistas nacionales, orientado a la búsqueda de su inclusión en índices citacionales.

El primer aspecto al que haremos referencia es sobre la “información actualizada”. Más allá de los resultados, consideramos que la misma convocatoria presenta una inconsistencia al respecto; de acuerdo con el procedimiento de evaluación, para definir la clasificación de las revistas para el 2020, se consideró la información de los artículos publicados entre 2013 y 2017. Es decir, entre ocho y tres años atrás de la fecha de vigencia. Esto obviamente no permite observar los resultados de los últimos esfuerzos de las revistas por mejorar la calidad y pertinencia de sus publicaciones, pues no se consideran los artículos publicados los años inmediatamente anteriores, como sí lo hacen los índices citacionales internacionales, que en el caso de SJR es de tres años, y en el de JCR está entre 2 y 5 años, dependiendo el área de conocimiento, pero en ningún caso se llega hasta observar ocho años atrás. Con relación a los resultados de la última medición, el proceso llevado a cabo permitió evidenciar que más del 50% de los artículos incluidos en el cálculo del índice H5 para las revistas de ingeniería clasificadas en la categoría B, fueron publicados en 2013 o 2014.

El segundo aspecto hace referencia a la “validación” de la información. De acuerdo con los términos de referencia, la validación se limitó a la verificación del cumplimiento de los requisitos de evaluación y visibilidad internacional (Fase II); sin embargo, ni la convocatoria, ni la resolución 1094 señalan si se realizó algún proceso de validación de los resultados generados por el software PoP. Al respecto nuestra revisión permitió observar dos grandes falencias. La primera, el software no verifica la fecha de publicación de los artículos incluidos, al parecer, esta toma como fecha de publicación la indicada en los metadatos del sitio de publicación, que puede ser la plataforma de publicación de la revista (Open Journal System u otra) o, en algunos casos, el repositorio institucional. Por esta limitación, encontramos que, algunos de los artículos considerados para el cálculo del índice H5 de las revistas indexadas por la convocatoria, fueron publicados en una fecha antes a la de la ventana de observación; en particular, para una de estas revistas, esto sucedió con más de la mitad de los artículos, lo que evidentemente implicaría un error en la categorización. Por otro lado, el Software falla en identificar documentos citantes publicados en diferentes fuentes. Así, si un documento que cita un artículo es publicado, por ejemplo, en una revista, luego es incluido en un repositorio institucional, y luego se publica en una base de datos académica como ResearchGate o en una plataforma como ArXiv o Hal, la citación puede ser contada múltiples veces, alterando el indicador del índice H. Estas fallas de la herramienta de medición pudieron afectar de forma importante los resultados de evaluación; pero además dejan abierta una puerta para que personas inescrupulosas manipulen de forma intencionada las fuentes de información para incrementar los resultados del indicador y mejorar así su posición en la clasificación de Publindex.

Al parecer estas fallas ya habían sido identificadas por Colciencias, toda vez que, en el Modelo de Clasificación (anexo a la convocatoria 830) se expresa que “A partir de la segunda convocatoria de clasificación, se espera que la normalización de la información para la clasificación de las revistas científicas se realice considerando los siguientes aspectos: autocitas, citas duplicadas, documentos citantes, entre otros”. Sin embargo, al parecer no hubo acción alguna para responder a la necesidad de validación de la información en esta segunda convocatoria. Esto nos lleva al tercer punto que debe ser considerado de manera urgente, la autocitación y otras posibles prácticas que pueden incrementar artificialmente el indicador de impacto.

Si bien la convocatoria no realizó ninguna restricción al respecto, es bien sabido que las bases de datos citacionales sí consideran este aspecto en sus procesos de evaluación. En este punto, se observa una autocitación hasta del 40 % en varias de las revistas de ingeniería indexadas en categoría B; y en algunos casos, este valor se incrementa de forma importante si se considerarán como autocitas, las citas en documentos de la misma institución editora. Por ejemplo, para una de estas revistas, más del 95 % de las citaciones recibidas por los artículos incluidos en el cálculo del indicador H5, provienen de publicaciones de la misma institución, ya sea otras revistas o documentos incluidos en el repositorio institucional. En otros casos, este fenómeno de alta autocitación se observa sólo para algunos artículos; artículos que evidentemente modifican el cálculo del índice H5 y por ende la clasificación final. Un último aspecto que llamó nuestra atención fue la unicidad de la fuente de citación para algunos artículos, es decir artículos de una revista que son altamente citados por una sola fuente, en general otra revista, cuyos artículos son principalmente citados por la primera, ¿podríamos estar ante posibles acuerdos de colaboración entre editores para mejorar el número de citaciones de sus revistas?

Por lo expuesto anteriormente, consideramos que los resultados de la convocatoria 830, distan mucho de ser confiables, pues las debilidades de la herramienta empleada para la medición y la falta de validación de la información hace de este un modelo altamente susceptible a errores e imprecisiones, cuyos resultados pueden ser afectados por la manipulación de las fuentes de información. En este sentido, no sobra hacer un llamado a la ética de nuestros pares editores, y recordar que es nuestra función ser garantes de la calidad y rigurosidad de nuestros procesos editoriales, lo que implica también la participación en estos procesos de indexación y clasificación.

Respecto a Colciencias, reconocemos que el proceso de validación de la información puede ser tedioso y costoso. Sin embargo, se deben reconocer las implicaciones que los resultados de la clasificación de revistas tienen para el entorno académico y científico nacional, así como en el presupuesto de las instituciones públicas, por cuanto estos resultados son empleados para determinar el incremento en puntos salariales y bonificaciones de profesores de universidades públicas. Por lo tanto, la mínima responsabilidad de Colciencias, como lo definen los objetivos de la convocatoria, será generar indicadores confiables que permitan la toma de decisiones correctas a todos los actores del sistema.

Finalmente, a nuestros pares evaluadores, autores y lectores, no nos queda más que agradecer la confianza depositada en nosotros. Seguiremos trabajando por el mejoramiento continuo de nuestro proceso editorial, para garantizar la calidad científica de nuestra publicación; así como en la búsqueda de la indexación en bases de datos citacionales, que permitan una mayor visibilidad de los artículos publicados.