Datos
Para el presente ejercicio se consultaron los documentos indexados entre 2010 y 2019 y sus respectivas citas en cuatro bases de datos:
La Colección de la Revista Ingeniería e Investigación en el Portal de Revistas OJS de la Universidad Nacional de Colombia, de donde se obtuvieron las cantidades reales de documentos publicados;
La Base de datos Scopus de Elsevier;
La Base de datos SciELO, de consulta pública gratuita;
Google Scholar (GS), a través de consultas en el programa Publish or Perish, versión 7.24, desarrollado por Harzing (2007).
La Revista se encuentra indexada en Science Citation Index Expanded de la base de datos Web of Science. Sin embargo, la suscripción institucional a esta base de datos no estaba vigente al momento de reunir los datos y no fue incluida.
La información proveniente de OJS, Scopus y SciELO fue organizada por año de publicación y por el año en que fueron concedidas las citas. Los datos de GS tuvieron que ser depurados de acuerdo con el siguiente procedimiento:
Se consultó la colección de la revista año por año a través del ISSN 0120-5609. Los resultados obtenidos consultando el ISSN 2248-8723 presentaron discrepancias significativas con respecto a la colección de la revista, por lo cual se empleó únicamente el ISSN impreso.
Se excluyeron todas las apariciones duplicadas de los artículos.
Se excluyeron las citas recibidas de fuentes no verificables.
Se excluyeron las citas provenientes de tesis, publicadas en su gran mayoría en repositorios institucionales.
En la Tabla 1 se muestra la cantidad de documentos publicados e indexados por año en las distintas bases de datos. De la misma manera, la Tabla 2 muestra las citas obtenidas por dichos documentos.
Año | OJS | Scopus | SciELO | GS |
2019 | 23 | 23 | 21 | 23 |
2018 | 37 | 37 | 34 | 37 |
2017 | 44 | 44 | 42 | 43 |
2016 | 44 | 44 | 43 | 43 |
2015 | 62 | 61 | 59 | 58 |
2014 | 46 | 44 | 44 | 42 |
2013 | 43 | 38 | 38 | 39 |
2012 | 49 | 49 | 46 | 47 |
2011 | 99 | 87 | 90 | 97 |
2010 | 66 | 66 | 66 | 66 |
Fuente: Autores
Análisis
Siguiendo las recomendaciones de Hicks, Wouters, Waltman, De Rijcke, Rafols (2015) y DORA (2012), particularmente lo sugerido en cuanto a métricas provenientes de distintas fuentes, presentaremos a continuación los resultados de citas recibidas por los artículos publicados Revista, además de otros indicadores, sin dar preferencia a ninguno en particular. La Figura 1 muestra la evolución de las citas. Se puede observar que, entre 2010 y 2016, GS percibió la mayor cantidad, seguida de Scopus y por último SciELO. Esto cambia a partir de 2017, donde SciELO muestra una tendencia creciente.
En términos generales, las citas de las tres bases de datos no son comparables, ya que los documentos incluidos en cada una son diferentes. No obstante, considerando lo descrito en Martín-Martín, Orduna-Malea, Thelwall y Delgado López-Cózar (2018), existe solapamiento entre las citas percibidas en las distintas fuentes, por lo cual los resultados se pueden interpretar de la siguiente manera:
En primer lugar, de todas las citas recibidas por revistas científicas en ingeniería, el 63 % se pueden encontrar en GS y Scopus; el 37 % restante puede encontrarse en otras bases de datos o no es legible a través de medios electrónicos. En segundo lugar, SciELO no fue tenido en cuenta por Martín-Martín et al. (2018). Sin embargo, esta base de datos publica los contenidos completos de los artículos indexados en formato PDF, por lo cual todas las citas de SciELO están incluidas en GS. La diferencia en citas percibidas en años recientes entre SciELO y GS puede estar asociada con el momento en que estas son identificadas. Además, la presencia en SciELO permite captarlas más pronto que en Scopus y GS, los cuales ofrecen un número de citas mayor en el largo plazo.
Lo anterior puede ponerse en contraste con el índice de inmediatez (immediacy index). En la presente nota, se calcula dicho índice como la razón, expresada como porcentaje, entre las citas obtenidas en el año de publicación de un número de la revista. Los datos se muestran en la Figura 2.
Los resultados de la Figura 2 muestran que se perciben citas más rápido a través de GS que Scopus y SciELO. Esto no contradice los resultados previos, ya que en la Figura 1 se muestran las citas obtenidas por un número en varios años, mientras que en la Figura 2 aparecen las obtenidas en el mismo año. La depuración de datos de GS puso en evidencia que una parte significativa de las citas obtenidas provienen de revistas científicas auténticas, con un historial de publicación amplio y con comunidades científicas activas. Aunque tales revistas no estén indexadas en Scopus o SciELO, es posible afirmar que la Revista Ingeniería e Investigación tiene una visibilidad amplia y alcance internacional, derivados de su política de acceso abierto, como se mencionó en Pavas (2017).
Los datos de las Tablas 1 y 2 pueden combinarse para calcular el indicador de citas por documento. Esto se hace por medio de la razón del total de citas obtenidas por los artículos publicados en un año sobre el número de documentos publicados. Los resultados se encuentran en la Figura 3.
De la Figura 3 es posible confirmar las tendencias previamente observadas. En el largo plazo, GS detecta una mayor cantidad de citas que SciELO y Scopus, que a su vez detecta más citas que SciELO. Sin embargo, SciELO genera más citas en períodos recientes.
En Orduña-Malea, Martín-Martín, Ayllón y Delgado López-Cózar (2016), al igual que en otras fuentes, se mencionan las diversas falencias de Google Scholar como fuente bibliográfica confiable. Hay una gran cantidad de casos en que los documentos identificados como fuentes de citación no son auténticos, no son realmente artículos de revistas científicas o las citas identificadas se asignan por similitud semántica sin haber sido realmente referenciadas. Por otra parte, Sugimoto y Lariviere (2018) destacan las bondades de bases de datos como Scopus, Web of Science y SciELO en cuanto a la calidad de los metadatos generados y una precisión mayor en la identificación de citas -es necesario resaltar que son mejores, pero también tienen defectos. Entre las lecciones aprendidas de este ejercicio de revisión permanente está que la generación y gestión de metadatos al momento de publicar e indexar los artículos publicados mejoran significativamente la visibilidad de los artículos, las citas generadas y la posibilidad de que sean identificados por los lectores. Ingeniería e Investigación, con el apoyo de la Dirección Nacional de Bibliotecas de la Universidad Nacional de Colombia, realiza esfuerzos permanentes para difundir y visibilizar sus contenidos, además de generar metadatos que faciliten la localización efectiva de contenidos en todas las bases de datos citacionales.