Impact factor

Óscar Alfredo Beltrán Galvis MD.(1)

(1) Internista, Gastroenterólogo y Epidemiólogo Clínico (c), Clínica San Pedro Claver. Clínica Juan N. Corpas, Bogotá, D.C., Colombia.

Fecha recibido: 22-01-06 / Fecha aceptado: 08-03-06

RESUMEN

El Factor de Impacto es un índice bibliométrico utilizado para medir la calidad de las revistas y de los artículos, pero tiene limitaciones, y no puede ser el único. No se debe sobrevalorar la cantidad de veces que, por distintas circunstancias, ha sido citado un artículo, sin medir la real calidad de la investigación o del trabajo.

PALABRAS CLAVE

Factor de Impacto.

ABSTRACT

KEY WORDS

Impact factor

La evaluación de la calidad de las publicaciones científicas es un problema no resuelto. Se ha planteado como opción la publicación en revistas especializadas de trabajos revisados por expertos del área en cuestión (peer review o revisión por pares), aunque en la práctica esta evaluación es realizada por comités con competencia general y no por especialistas del tema, teniéndose en cuenta otros elementos secundarios en la decisión. Otros, abogan por una medida cuantitativa alternativa para evaluar la calidad científica, la frecuencia de citación y el factor de impacto de las revistas. Según este criterio, el número de veces que sea citado un artículo determinado, es un indicador del impacto (positivo o negativo) de dicha publicación en la comunidad científica. Es evidente que un número elevado de citas a una publicación determinada, refleja el hecho de que dicha publicación ha generado nuevo conocimiento en la comunidad científica (1).

La creciente necesidad de evaluar con criterios uniformes y objetivos la producción científica de los grupos de investigación para tomas de decisiones técnicas, administrativas o políticas, ha generado un interés por los llamadores indicadores bibliométricos. Estos indicadores son métodos matemáticos y estadísticos creados para la cuantificación de la información biblio-gráfica, ofrecen un método estándar para el análisis de la producción científica. Pese a que han adquirido cada vez más aceptación global, han mostrado con el tiempo, algunas debilidades y limitaciones al ser aplicados como herramienta de evaluación de la producción científica, ya que fueron diseñados para evaluar el impacto de las revistas científicas y no la calidad de los procesos científicos (2).

BREVE HISTORIA

En 1927 Gross y Gross, propusieron por primera vez que el recuento de las citaciones realizadas de un artículo podía ser utilizado como indicador para evaluar y comparar la calidad de la producción científica, pero en 1955, Eugene Garfield, presidente del ISI (Instituto de Información Científica), sugirió, que el conteo de referencias podía medir el “impacto”, pero el término “factor de impacto” sólo fue usado por primera vez en 1963, cuando la publicación del Science Citation Index (SCI), por el ISI, se refirió a este indicador para evaluar el impacto que tenía la producción científica en el medio. El SCI es una base de datos multidisciplinaria en el campo de la ciencia y la tecnología que cubre más de 8.400 diferentes revistas en aproximadamente 200 disciplinas y en más de 30 idiomas. Esta base de datos registra los datos propios del trabajo, del autor y las referencias bibliográficas empleadas para su realización. Esta base de datos se divide en dos grandes grupos: Ciencias Biomédicas y Ciencias Sociales.

Actualmente se puede acceder por Internet a esta plataforma de información del ISI a través de la revisión del Journal Citation Reports (JCR), que presenta y compara no sólo el Factor de Impacto (FI) de la diferentes revistas, sino que publica un informe estadístico anual, que sintetiza el comportamiento métrico (productividad, citación y obsolescencia) de las publicaciones indexadas en el SCI. El JCR, es desde 1972, el único recurso de cobertura mundial, dedicado a la evaluación de publicaciones científicas ofreciendo información con base en los datos provenientes de las citas bibliográficas (2, 3).

¿QUÉ ES EL FACTOR DE IMPACTO?

El factor de impacto es uno de los tres indicadores bibliométricos creados por el Instituto de Información Científica (ISI), como una herramienta de ayuda para los bibliotecarios a fin de seleccionar las publicaciones y documentos que se consideraran más relevantes, evaluando las citas que reciben los artículos publicados en las revistas a lo largo del tiempo. El esquema de citas aumenta rápidamente hasta alcanzar un pico entre los 2 y 6 años y luego declina exponencialmente. Los tres indicadores bibliométricos mas conocidos son: el factor de impacto (Impact factor), el índice de inmediatez (Inmediacy Index) y la vida media de los artículos científicos (cited y citing half-life) (4).

Un ejemplo de cálculo del factor de impacto (6)

Revista  Nature:

Factor de Impacto: 28.417

Citas recibidas en el año 1996 de artículos publicados en:

                           1994: 28.245

                           1995: 24.951

                     TOTAL:   53.196

Números de artículos publicados  en:

                            1994: 927

                     TOTAL: 1.872

Cálculo  

FI:   Citas recibidas de artículos recientes: 53196/Numero de artículos recientes: 1872 = 28.417

Si se realiza una comparación entre Nature y otra revista del mismo estilo (Science) y se demuestra que esta publicación tiene un FI menor que el Nature, diríamos que los artículos publicados tienen mayor impacto y por tanto “calidad”. Un factor de impacto de 28 significa que un artículo publicado en esa revista será citado en promedio 28 veces cada año, durante los próximos dos años.

Índice de inmediatez: Indica el número de veces que, por término medio, son citados los documentos de una revista el mismo año que se publican. Se calcula dividiendo las citas hechas a artículos publicados en esa revista el mismo año que se publican, entre el número total de artículos publicados ese año en esa revista.

Es un indicador de la rapidez con que se consume la literatura científica publicada en una revista, porque refleja el tiempo medio trascurrido entra la publicación de los artículos en una revista y la publicación de los artículos que la citan. Es útil en publicaciones que se especializan en investigación de vanguardia. Se cuestiona porque las revistas no tienen un período de publicación y de difusión igual. Además, los cambios en el conocimiento tienen una vigencia mayor en áreas descriptivas (botánica, geología) que en áreas analíticas (ingenierías) o de reciente desarrollo (Biología molecular).

Vida media de los artículos científicos: Es una medida para determinar la importancia de la revista durante los últimos años y conocer la vigencia de los artículos (su grado de obsolescencia).

IMPORTANCIA DEL FACTO DE IMPACTO

La importancia del FI radica en varios sentidos (6):

Para los autores: La información del FI puede hacerlos decidir entre dos o más revistas de especialidades similares. Si envía su trabajo a una revista de mayor FI, puede significar una mayor difusión de su trabajo, incrementando su prestigio y visibilidad en la comunidad académica.

Para las bibliotecas: es una guía, dentro de las aspiraciones de tener los mejores libros y revistas periódicas. Los FIs son una indicación de qué tanto son leídas las revistas y cuánto se utiliza la información allí consignada. Es el uso original para el que fue concebido el FI y es tal vez el uso más apropiado.

Para medir la productividad de un país: El FI puede ser utilizado conjuntamente con otros indicadores, como una medida del alcance que tienen las publicaciones en el país generadas. Si es alto, re-presenta que lo producido y publicado es muy consultado por la comunidad internacional.

LIMITACIONES DEL FACTOR DE IMPACTO

Un amplio análisis de las revistas y sus factores de impacto muestra unas características muy consistentes de sus FIs (7):

1.  El FI es mayor en las revistas científicas que en las revistas clínicas.

2.  Las revistas en idioma inglés tienen mayor FI que las revistas en otros idiomas.

3.  Las revistas de EE.UU. tienen mayor FI que las revistas europeas.

4.  Las revistas de revisión tienen mayor FI que las revistas que publican artículos originales.

6.  Las más prestigiosas revistas en diferentes especialidades tienen FI muy variables.

7.  Los artículos metodológicos tienen mayor FI que los que proveen nuevos datos.

8.  Las revistas con acceso electrónico tienden a elevar su FI.

El FI como marcador de “excelencia científica”, tienen sus limitaciones, que serán planteadas a continuación (1, 7-11):

•    Los FIs reflejan más la revista que los artículos publicados. Asumir que todos los artículos de una revista son de similar calidad es erróneo. Aunque los artículos más citados son una pequeña fracción de los que se publican en una revista, contribuyen abrumadoramente al FI de las mismas. En general, los trabajos más citados tienen una tasa de citaciones 10 veces superior a los otros. De hecho, el 50% de las referencias registradas en el SCI las generan sólo 15% de los artículos publicados y aproximadamente un 50% de todos los artículos representan el 90% de todas las referencias.

•    El FI de las revistas puede variar con el tiempo tanto en números absolutos como en su posición. Los cambios en el interés clínico pueden afectarlo. Por ejemplo, la asociación entre Helicobacter Pylori y úlcera duodenal y su impacto en la terapia, pudo haber aumentado el FI de las revistas de gastroenterología.

• El FI no nos informa sobre la solidez del proceso de revisión por pares.

• El incremento de las bases de datos electrónicas como PubMed o Embase, facilita el acceso de los investigadores a mayor información y no necesariamente significa las más apropiadas e influyentes referencias bibliográficas (como por ejemplo, la primera observación clínica o la demostración de un nuevo concepto clínico).

• El factor de impacto puede ser manipulado tanto por los autores como por los editores: Para el cálculo del FI en el numerador, el ISI incluye todas las citas recibidas por una revista durante un año determinado, mientras en el cálculo del denominador sólo se incluyen los artículos originales, notas y revisiones. Documentos como cartas al editor o editoriales son citados y consiguen aumentar el número de citas, sin contabilizarse como documentos citables para el denominador. Por ello el FI de algunas revistas puede estar sobrevalorado, cuando tienden a publicar una mayor cantidad de documentos del tipo de los que se excluyen del denominador del FI (editoriales, cartas o resúmenes de congresos).

 Otra forma reconocida de aumentar el GI, que introduce sesgo en los indicadores bibliométricos es incrementando la tasa de autocitaciones, refererenciando artículos publicados en la misma revista o artículos publicados por el mismo autor. Recientemente, se documentó, en diabetes, que la autocitación por autores representó un quinto aproximadamente (18%), de todas las referencias de artículos de diabetes publicados en el año 2000 (12). Otro método son las publicaciones “salami” donde los datos de investigación son divididos en 2 o más artículos.

• La metodología de las referencias o citaciones muestra varias inconsistencias. Errores menores en la preparación de la lista de referencias (errores tipográficos, inconsistencias en deletrear los apellidos y el uso de iniciales), ocurre hasta en el 10% de las citaciones (13).

APLICACIÓN INCORRECTA DEL FI (7)

El rango del FI refleja indirectamente y aproximada-mente el soporte científico de una revista. Así, Nature (FI de 25,8) es percibido como “científicamente mejor” que el Gastroenterology (FI: 12,2). Pero el uso de conceptos como soporte científico o calidad científica, que aunque la mayoría de la gente entiende el concepto, es difícil de definir y aún más difícil de cuantificar. Sin embargo, el FI no refleja necesariamente la calidad de la revista, como es percibida por la comunidad científica. Foster evaluó los hallazgos en 50 científicos del Instituto Nacional de Salud a quienes se les preguntó cuáles eran las principales revistas científicas y clínicas (14). Las principales revistas clínicas en orden fueron: New England Journal, Journal of Clinical Investigation, the Lancet, JAMA, Annals of Internal Medicine y British Medical Journal. En ese momento, el FI para estas revistas era 5, 49, 16, 97, 38 y 168 respectivamente. Igual falta de concordancia sucedió con las revistas científicas Nature, Science, etc.

Las comparaciones entre revistas con base en el FI pueden potencialmente generar conclusiones erradas. Por ejemplo. ¿The New England Journal of Medicine (FI: 29,5) es mejor revista que Nature (FI: 25,8)? Indudablemente, esta comparación no cabe porque no compiten por los mismos artículos. ¿El Gastroenterology con FI de 12,2 es 2 veces mejor que GUT (FI 5,4) o un reporte de caso en Gastroenterology tiene mayor valor que 2 estudios aleatorizados publicados en el Journal of Hepatology con FI de 3,8? Las comparaciones entre FI de las revistas no permitirá responder la pregunta sobre calidad de un artículo en particular o de un autor. El FI puede ser útil para la evaluación cualitativa de una revista, pero su utilidad no se puede extender a los artículos individuales y la frecuencia de citación, utilizado como un indicador rudo de calidad, no siempre se asocia con alta calidad. Igualmente, el FI no refleja la calidad de la revisión por pares que somete a sus artículos las diferentes revistas.

CONCLUSIONES

El FI es imperfecto y no se puede considerar en forma alguno como representativo de sus artículos. Es una medida útil para evaluar la calidad de una revista, pero no lo es para evaluar la calidad de los artículos o de los autores. El impacto de citación es una medida de utilidad más que de calidad científica y la selección de las referencias por parte de los autores está sujeta a fuertes sesgos sin relación alguna con calidad. Para la evaluación de la calidad científica parece no existir otra alternativa que no sea la lectura de las publicaciones por expertos calificados. En palabras de Sydney Brenner “lo que importa en absoluto es el contenido científico del trabajo y nada sustituirá su conocimiento o lectura” (1, 7).

Pese al reconocimiento del FI como una medida imperfecta y cuarenta cinco años de críticas, no hay una alternativa obvia. Mientras que es una medida útil para comparación intradisciplinaria cualitativa, cualquier otra aplicación (comparación interdisciplinaria) tiene poca validez. Extender el FI de una revista a artículos individuales o a autores es inadecuado y no es una práctica recomendada.

¿Dónde publicar? Como regla general, las revistas con mayor FI son las más prestigiosas, con mayor visibilidad académica y reconocimiento del autor pero con mayor índice de rechazo. Pero, si Ud. ha realizado una investigación clínica, debe proponerse como condición mínima que la revista seleccionada esté en una base de datos que le permite una buena visibilidad aunque no presente un alto factor de impacto. (PubMed ideal, Embase o Scielo, como otra alternativa) (3).

1.  Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ 1997; 314: 497.        [ Links ]

2.  Rueda-Clausen CF., Villa-Roel C, Rueda-Clausen CE. Indicadores Bibliométricos: origen, aplicación, contradicción y nuevas propuestas. Med UNAB 2005; 6: 29-36.        [ Links ]

3.  Cañedo R, Nodarse RM, Guerrero PJ, Ramos OR. Algunas previsiones necesarias en torno al uso del facto de impacto como herramienta de evaluación cientifica. Pagina del Editor. Disponible en: http://bvs.cu/revistas/aci/vol 13_5_05/aci01505.htm. Consultado: 1/02/2006.        [ Links ]

4.  Amin M, Mabe M. Impact Factors: Use and Abuse. Medicina (Buenos Aires) 2003; 63: 347-354.        [ Links ]

5. Van Diese PJ, Holzel H, Burnet D, Crocker J. Impactitis: New cures for an old disease. J Clin Pathol 2001; 54: 817-819.        [ Links ]

6. Quispe Jerónimo Carlos. ¿Es el Factor de Impacto un buen indicador para medir la calidad de las revistas científicas? Análisis de algunos problemas generados por su uso. En http://eprints.rclis.org/archive/00001656. Consultado en 01/15/2006.        [ Links ]

7. Neuberger J, Counsel C. Impact Factor: Uses and buses. European Journal of gastroenterology & Hepatology 2002; 14(3): 209-211.        [ Links ]

8. Kurmis Andrew. Understanding the limitations of the Journal Impact factor. Current Concepts Review. The Journal of Bone and Joint Surgery American 2003; 85: 2449-254.        [ Links ]

9. Garfield Eugene. The meaning of the Impact Factor. International Journal of Clinical and Health Psychology 2003; 3(2): 363-369.        [ Links ]

10. Gegúndez-Fernández José A, Benítez del Castillo José. Reconocimiento del Factor de Impacto: El nuevo reto de Archivos de la Sociedad Española de Oftalmología. Editorial. Arch Soc Esp Oftalmol 2005; 80(7):        [ Links ]

11. Campanario JM. Como escribir y publicar un artículo. Como estudiar y aumentar su impacto. En http://www2.uah.es/jmc/webpub/INDX.html. Consultado en 01/15/ 2006        [ Links ]

12. Gami AS, Montori VM, Wilzynsky NL, Haynes RB. Author self-citation en the diabetes literature. CMAJ 2004; 170(3): 1925-7.        [ Links ]

13. Opthof T. Sense and no nosense about the impact factor. Cardiovasc Res 1997; 33: 1-7.        [ Links ]

14. Foster WR. Impact Factor as the best operational measure of medical Journal. Lancet 1995; 346: 1301.        [ Links ]