El 11 de noviembre de 2020 se dieron a conocer al país los resultados preliminares de la entonces vigente Convocatoria para indexación de revistas científicas colombianas especializadas 875 - Publindex 2020¹, en el aplicativo de la plataforma Publindex - Minciencias, como se ha venido haciendo hace varios años. No obstante, esa no será la tesis que será tratada en este escrito, sino el software que se utiliza para hacerlo. Publish or Perish (PoP) es el nombre de esta herramienta que en castellano se conoce como: “Publica o Perece”, la cual tuvo su primera aparición en 2006, momento en el que fue presentado por su creadora Anne-Wil Harzing ², quien desarrolló dicho programa con la intención de que le sirviera de ayuda, luego de ser rechazada como catedrática en la institución donde actualmente labora.

Desde hace varios años y en diversos países, PoP es utilizado tanto por evaluadores como evaluados para conocer el impacto de las investigaciones ³. A raíz de esto, desde la convocatoria 768 de 2016 ⁴, Publindex usa PoP para calcular el índice H, en un periodo de observación correspondiente a los últimos 5 años (H5), de las revistas científicas colombianas que no cuentan con cuartil en el Scimago Journal Rank (SJR) o Journal Citation Report (JCR). En la convocatoria 875 de 2020, el periodo de observación del H5 correspondió a 2015 - 2019, es decir, solo se tuvieron en cuenta las citas de los artículos publicados en las ediciones de dicho rango de tiempo.

La mención explícita del uso de este software se ha hecho en dos (2018 - 2020) de los tres modelos oficiales que ha presentado Publindex, lo que ha generado discusiones en los diferentes escenarios virtuales (redes sociales y académicas) en los que confluyen algunos editores de las revistas científicas del país. El tema central de debate ha sido el por qué unas revistas tienen un índice H5 en el PoP, otro en el Google Scholar Metrics (GSM) y otro en Google Scholar Profile (GSP), si cuando se hace la búsqueda en el PoP hay que seleccionar este último. En otras palabras, PoP usa como fuente de información los registros del GSP, para el caso puntual de Publindex, teniendo en cuenta que este también se alimenta de Web of Science, Scopus, entre otros.

En ese sentido, muy a pesar de que el actual modelo de Publindex ha sido muy criticado, incluso por uno de los autores de este escrito ⁵, hay que defender el hecho de que en este se ha explicitado cómo se obtiene el H5 para las revistas. En efecto, en la convocatoria de medición de 2020 se expresa de forma literal lo siguiente: “se realiza el cálculo del índice H5 para cada una de las revistas científicas, utilizando la herramienta PoP. La ventana de evaluación para el cálculo del indicador H5 (impacto de la revista científica), contempla el número de citas por artículo identificadas en un periodo de 5 años”. A raíz de ello, es normal que se suscite una discusión en torno a la diferencia del índice H5 en los tres sistemas expuestos con anterioridad.

Para ejemplificar, el GSM expresa en su sección de cobertura que solo tiene en cuenta las revistas con más de 100 artículos en los últimos cinco años, lo que automáticamente descartaría a muchas revistas emergentes del país que rara vez alcanzan los 20 artículos al año, que es lo mínimo que deberían publicar de forma sostenida, durante los cinco años que contempla la medición de dicha plataforma. Además, hay que destacar que GSP, en el afán de captar toda la información que se encuentra en la web, tiende a duplicar las citaciones, sea porque el artículo que cita está en varios formatos de edición o porque está en múltiples idiomas, lo que trae consigo una inflación de los datos y sus citas. Contrariamente, GSM tiene la ventaja de depurar más los datos, pero con el inconveniente del número mínimo de artículos anteriormente descrito. En esa misma línea, GSP tiene la opción de crear perfiles que sugieren que determinados artículos pueden ser de “X” revista, lo cual podría alterar los datos si no se detalla cada uno de los agregados, toda vez que pueden pertenecer a otras revistas, dando así una falsa idea del índice H5 de la revista. Esto último suele ocurrir también con el PoP, ya que revistas homónimas pueden cruzarse los artículos, es decir, al momento de hacer la búsqueda, se pueden mostrar artículos de otras revistas como si fueran propios de la revista en cuestión, lo que en algunas reuniones Publindex ha mencionado que filtra. En ese mismo sentido, PoP al alimentarse de GSP también tiene el problema de tomar como citas nuevas las provenientes de artículos publicados en varios formatos o idiomas, lo que también infla las citas, favoreciendo a aquellas revistas que publican en varios formatos e idiomas.

Con la intención de mostrar a qué se refieren algunos autores de la disparidad en el H5 de las revistas, se ha tomado como muestra las 23 revistas de Ciencias de la Salud indexadas en la pasada convocatoria (830 de 2018), a las que se les obtuvo el H5 en el PoP, GSP y GSM, descartándose las indexadas en Scopus o Web of Science ya que estas se clasifican según el SJR o el JCR ^1,4. Adicionalmente, se han obtenido los valores de los límites de cada cuartil expuestos en los resultados preliminares, en donde el cuartil 1 (Q1) del H5 o categoría B, estuvo entre 12 y 21, mientras el cuartil 2 (Q2) o categoría C, entre 10 y 11. Estos límites sirvieron de referencia para predecir cómo se indexarían, para 2021, las revistas de Ciencias de la Salud clasificadas en la convocatoria de 2018.

En la Tabla 1 se observa la previsión de categoría de indexación para 2021 que, según el H5 de PoP y el momento en el que fue medido por Publindex, tendrán las revistas participantes en la presente convocatoria. En el hipotético caso de que Publindex tomara el H5 de GSP, apenas cuatro revistas serían indexadas puesto que las demás no tienen registro. Asimismo, se nota una discrepancia media de 7 del H5 de GSP con respecto al de PoP, con lo que GSP favorecería una mejor clasificación para tales revistas. Por último, de acuerdo con el H5 de GSM se nota que la mayoría tiene un H5 igual o menor que el del PoP, aunque dejando en evidencia que varias revistas no puntúan, lo que lo hace excluyente.

Tabla 1 Cálculo de H5 mediante PoP, GSP y GSM y previsión de categoría para revistas de salud de la convocatoria 875 de 2020. 

NA: No Aparece; NI: No Indexada.

Fuente: Elaboración propia.

En conclusión, el H5 de PoP sigue siendo la mejor opción hasta el momento, ya que es más estable en sus valores y menos excluyente. Sin embargo, se recomienda la revisión cita por cita con la intención de comprobar si provienen de artículos independientes o de uno publicado en varios formatos o idiomas a fin de evitar puntuaciones duplicadas.