La evaluación de la calidad de contenidos
y su repercusión en el ámbito de las revistas
científicas de biblioteconomía y documentación:
algunas recomendaciones a editores y autores

José López Yepes*

* Docente, Facultad de Ciencias de la Información, Universidad Complutense de Madrid, España. yepes@ccinf.ucm.es

Resumen

Son diversos los indicadores empleados para la correcta evaluación de las revistas científicas de Biblioteconomía y Documentación; los más decisivos afectan la calidad de los contenidos y la repercusión de las conclusiones de los artículos en la comunidad científica. En el presente trabajo se examina el manual de evaluación, de los profesores Delgado López-Cózar, Ruiz Pérez y Jiménez Contreras y se presenta la aplicación del método de análisis cualitativo de citas como aportación que trata de fijar las ideas científicas citadas y obtenidas en los artículos como base para proponer otros indicadores de calidad.

Palabras clave: revistas científicas; evaluación de calidad, análisis cualitativo de citas

Cómo citar este artículo: LÓPEZ YEPES, José. La evaluación de la calidad de contenidos y su repercusión en el ámbito de las revistas científicas de biblioteconomía y documentación: algunas recomendaciones a editores y autores. Revista Interamericana de Bibliotecología, Jul.- Dic. 2007, vol. 30, no. 2, p. 251-273

Artículo recibido: 29 de agosto de 2007. Aprobado: 25 de septiembre de 2007

The indicators that are employed for the proper evaluation of scientific journals in the field of librarianship and documentation are many, affecting to a great extent the quality of the contents and the repercussion of the conclusions of the articles in the scientific community. This study examines the evaluation manual by Professors Delgado López-Cózar, Ruiz Pérez, y Jiménez Contreras (November of 2006) and offers an application of the qualitative analysis of citations as a contribution that attempts to establish scientific ideas cited and obtained in the articles as a base to propose other indicators of quality.

Keywords: Scientific journals, quality evaluation, qualitative analysis of citations

How to cite this article: LÓPEZ YEPES, José. Evaluation of the Quality of the Content and its Repercussion in the Field of Scientific Journals in Librarianship and Documentation: Some Recommendations to Editors and Authors. Revista Interamericana de Bibliotecología, Jul.- Dec. 2007, vol. 30, no. 2, p. 251-273

Introducción

En el ámbito de un tema de tanto interés para el dominio de la investigación de nuestra disciplina como es la determinación de la calidad de las revistas científicas y la consiguiente medida del prestigio de los autores, la Fundación Ciencia y Tecnología (FECYT), del Ministerio de Educación y Ciencia de España, reunió en Madrid, el pasado 9 de mayo de 2007, a numerosos responsables de revistas científicas en una jornada destinada a presentar medidas de apoyo para acrecentar la difusión y el prestigio de dichas publicaciones. Entre las medidas, figuraba el texto “La edición de revistas científicas: directrices, criterios y modelos de evaluación”.¹ La propuesta reviste singular interés y se debe a los reconocidos colegas E. Delgado López-Cózar, R. Ruiz Pérez y E. Jiménez Contreras, de la Universidad de Granada. La obra presenta un elenco de indicadores cuya aplicación permite determinar la calidad de una revista científica, esfuerzo que se suma a otras manifestaciones con iguales o parecidos propósitos, como se muestra en nuestro Observatorio de la Calidad (Ver Figura 1)²

Tras dar un repaso a los criterios para determinar la calidad, por parte de diversas instituciones, los autores proponen los siguientes indicadores:

1. Calidad editorial:
1.1. Calidad informativa: evaluación normativa.
1.2. Calidad del proceso editorial.

2. Reputación y prestigio del editor y del equipo editorial de la revista:
2.1. Editorial y organización patrocinadora.
2.2. Comités editoriales y científicos.

4. Capacidad de atracción de la revista:
4.1. Número de trabajos recibidos.
4.2. Tasas de aceptación-rechazo.
4.3. Porcentaje de trabajos originales de investigación publicados.
4.4. Procedencia geográfica e institucional de los autores: internacional, nacional, local.
4.5. Porcentaje de trabajos financiados por organismos públicos o privados de investigación.

5. Difusión y audiencia: visibilidad y accesibilidad:
5.1. Circulación.
5.2. Presencia en bases de datos.
5.3. Presencia en bibliotecas: nacionales e internacionales.
5.4. Versión electrónica accesible en Internet.

6. Repercusión.³

De la mera lectura de esta lista de indicadores, procede hacer tres observaciones de interés: 1. En líneas generales, los indicadores número 1, 2, 4 y 5 pueden ser relativamente aplicados sin dificultad y, en consecuencia, pueden ser objetivables. 2. Dichos indicadores, de carácter normalizador, contribuyen en muchos casos a lograr los objetivos de calidad de una revista científica pero no son absolutamente determinantes. 3. Sin embargo, contribuyen de modo decisivo a ello los indicadores de calidad de los contenidos y de repercusión, indicadores ciertamente más difíciles de objetivar y sobre los que gira nuestra reflexión.

Los indicadores de calidad de los contenidos

En cuanto a este último punto, esto es, el indicador de calidad de los contenidos, nuestros autores predican del mismo las siguientes notas:

• Aspectos que configuran los contenidos: originalidad, novedad, actualidad, interés, calidad y rigor metodológico y relevancia.

• “Sin duda, el procedimiento más contrastado para aproximarnos a la calidad de contenidos es la utilización de encuestas de opinión dirigidas a los investigadores y profesionales que conformen la audiencia de la revista”.⁴

• Otras propuestas vinculadas al indicador del contenido: porcentajes de investigación original, actualidad de la información.

• “Los datos de citación deben ser cuidadosamente interpretados y correctamente usados, sin reemplazar el juicio e interpretación humana (juicio de los expertos)”.⁶

El indicador de la repercusión

Nuestros autores muestran en sus estudio la importancia de este indicador, pero también la dificultad de su determinación ya que “el conocimiento adquirido, recibido, consumido e interpretado por los científicos (lectores) o no se manifiesta tan explícitamente ni unívocamente como quisiéramos o lo hace por medios muy diversos”,⁷ y apuntan que los métodos hasta ahora utilizados para conocer la repercusión se basan en encuestas de opinión, análisis de las demandas por parte de las bibliotecas y el consabido análisis de citas, cristalizado en el llamado factor de impacto. Considerado en la práctica como el distintivo de las revistas de calidad y así tenido en cuenta de modo preponderante por las agencias de evaluación. Sin embargo, el papel desempeñado por los árbitros de los trabajos sometidos a evaluación por las revistas receptoras es, con frecuencia, sometido a crítica.⁸ En cuanto al análisis de citas meramente cuantitativo –determinante del habitual factor de impacto- son también numerosas las voces que señalan sus fallos y sus puntos débiles,⁹ o que tratan de mejorarlo mediante la configuración de diversas variantes del mismo en función de la naturaleza peculiar de las disciplinas o de la presencia de citas inútiles.¹⁰

El método del análisis cualitativo de citas

La lectura de las líneas precedentes, basadas en el trabajo de referencia, nos llevan a la conclusión de que los indicadores que, en verdad, determinan la calidad de una revista científica, experimentan notables dificultades para su correcta determinación y que, en la práctica, se basan en herramientas de cierta carga subjetiva como el arbitraje científico, el porcentaje de trabajos de investigación original, o bien en los datos de repercusión procedentes del análisis cuantitativo de citas, esto es, la suma de citas sin distinción de su valor que da lugar al factor de impacto. Sin perjuicio de reconocer el valor de tal aproximación cuantitativa y que, desde luego, es previa a cualquier otra aproximación de orden cualitativo que se pretenda abordar, lo cierto es que nos ha parecido útil contribuir a mejorar el panorama descrito por medio de lo que en otros lugares hemos denominado análisis cualitativo de citas,¹¹ establecido, precisamente, sobre la noción de cita de calidad.¹²

Cita de calidad: aquélla que es portadora de una idea científica, utilizada como base por los autores citantes para la obtención de las suyas, e instrumento que permite describir el itinerario de las ideas científicas desde su creacioìn. Es cita de calidad la portadora de una idea científica claramente presentada y la que ofrece panoramas de ideas o corrientes de pensamiento expresadas por dos o más autores (citas de contexto). No son citas de calidad para efectos de evaluación de las autocitas, las citas aclaratorias, las de agradecimiento, las situadas tan sólo en la bibliografía final de un trabajo sin haber participado en la redacción del texto, etc.

Método del análisis cualitativo de citas: método de evaluación científica y de estudio del origen, evolución y repercusión de las nuevas ideas científicas, basado en el examen de las citas de calidad presentes en un texto científico.

Ambos conceptos han sido contrastados mediante la aplicación experimental que hemos llevado a cabo recientemente en una investigación financiada por el Ministerio de Educación y Ciencias sobre las citas utilizadas en la base de datos IN-RECS¹³ (Ver Figura 2) cuyos autores son los mencionados Delgado, Ruiz Pérez y Jiménez Contreras a los que, una vez más, debemos agradecer desde estas líneas la permanente ayuda que nos han proporcionado al permitirnos hacer uso de unas 500 citas procedentes de su base de datos y poder establecer así una ulterior comparación.

Aplicación del método de análisis cualitativo de citas
para proporcionar indicadores de calidad de contenido
y de repercusión

La aplicación del método de análisis cualitativo de citas, en lo que respecta a la determinación de los indicadores de calidad de contenido y de repercusión y, especialmente, de su resultado, el factor de impacto, ofrece los siguientes indicadores, más allá de la determinación de la calidad de las revistas, se refieren a sus tendencias temáticas o las biografías de los autores en función de sus bases deudoras o acreedoras:

1. Listas valorativas de los autores según citas totales o de calidad recibidas. En las Tablas 1.4 y 1.5 se observa la diferencia en la escala según se tengan en cuenta uno u otro tipo de citas.

2. Lista de los 100 artículos más citados según el tipo de citas considerado (Ver Tablas 4.3 y 4.4)

3. Factor de impacto atribuible a las revistas citadas, según su porcentaje de citas totales y de calidad (Ver Tabla 3.4.)

4. Ideas aportadas por determinados autores en revistas científicas (Ver Tablas 6.5.-6.7).

5. Base intelectual deudora de determinados autores (Ver Tabla 2.1 )

7. Tendencias temáticas según revistas citantes (Ver Tabla 3.5)

8. Tendencias temáticas según revistas citadas (Ver Tabla 3.6)

Conclusiones y recomendaciones

• La tarea desempeñada por los organismos que elaboran bases de datos de citas debería ir más allá del recuento y fijarse, asimismo, si la cita es de calidad y, complementariamente, transcribir el texto de la idea contenida en la misma, idea sobre cuya reflexión el autor citante puede obtener una nueva idea .De ahí que sólo las citas de calidad deben ser consideradas a efectos de determinar el factor de impacto de las revistas, lo que evitaría la presencia de citas inútiles o extracientíficas, en la actualidad en torno al 50% del conjunto de citas. Por lo demás, y según nuestra experiencia, la distinción de las citas de calidad no exige una gran carga subjetiva y apenas tiempo llevar tales testimonios a la hoja de toma de datos.

• Las citas de calidad ofrecidas por los autores citantes permiten establecer su base intelectual deudora, es decir, el conjunto de autores que han influido en su investigación.

• Las citas de calidad atribuidas a los autores citados permiten establecer su base intelectual acreedora, es decir, su contribución a la comunidad científica como expresión de su prestigio.

• Las citas de calidad permiten conocer el origen, la evolución y la explotación de las ideas a lo largo del tiempo.

• A la luz de estas consideraciones proponemos, de modo esquemático, algunas recomendaciones a los editores, autores y árbitros, para mejorar la calidad del contenido de las revistas científicas como:

♦ Que los autores utilicen citas de calidad y referencias bibliográficas que hayan sido realmente utilizadas.

♦ Que el indicador de calidad de contenido de las revistas tenga en cuenta a sus autores en cuanto creadores de ideas científicas, autores de fuerte base intelectual acreedora.

La puesta en práctica de las nociones arriba expuestas es posible en la medida en que, de modo sistemático, se aborde la elaboración de bases de datos de citas cualitativas en las diferentes ramas del saber y en cuanto los editores de las revistas complementen la normativa de publicación de artículos teniendo en cuenta las consideraciones arriba expuestas.

Pie de paginas

1. DELGADO LÓPEZ-CÓZAR, E.; RUIZ PÉREZ, R. y JIMÉNEZ CONTRERAS, E. La edición de revistas científicas: directrices, criterios y modelos de evaluación. Madrid: Fundación Española para la Ciencia y la Tecnología, 2006, 263 p.

2. Observatorio de la calidad en Biblioteconomía y Documentación. [En línea] Disponible en Internet: www.ucm.es/info/multidoc/observatorio/index.htm

3. Ibíd. p. 59-71

4. Ibíd. p. 64

5. Ibíd. p. 65

6. Ibíd. p. 65

8. CAMPANARIO, J. M. El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones. Revista Española de Documentación Científica, 2002, vol. 25, no. 3,

9. QUISPE JERÓNIMO, Carlos. ¿Es el factor de impacto un buen indicador para medir la calidad de las revistas científicas? Análisis de algunos problemas generados por su uso. [En línea] 2004. Disponible en Internet: www.eprint.rclis.org/archive/00001656 [Consulta: 10 de diciembre de 2007].

10. Véase: BUELA-CASAL, Gualberto. Evaluación de la calidad de los artículos y de las revistas científicas: Propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema, 2003, vol. 15, no. 1. y ALEIXANDRE-BENAVENT, Rafael; VALDERRAMA-ZURIÁN, Juan Carlos y GONZÁLEZ-ALCAIDE, Gregorio. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El Profesional de la Información, Ene. – Feb. 2007, vol. 16, no. 1.

11. LÓPEZ YEPES, José. El análisis cualitativo de citas como instrumento para el estudio de la creación y transmisión de las ideas científicas. Documentación de las Ciencias de la Información, 2003, no. 26.

12. Ibid.

13. IN-RECS Índice de impacto revistas españolas de ciencias sociales. [En línea] Disponible en Internet: ec3.ugr.es/in-recs/

14. Quilitas Scientiae Evaluación cualitativa de publicaciones científicas en ciencias sociales. [En línea] Disponible en Internet: www.ucm.es/info/multidoc/qualitas/index.htm

15. ESPAÑA. MINISTERIO DE EDUCACIÓN Y CIENCIA. Universidades. Buscador EA-WEB. [En línea] Disponible en Internet: www.centrorecursos.com/mec/ayudas/CasaAva.asp).

1. ALEIXANDRE-BENAVENT, Rafael; VALDERRAMA-ZURIÁN, Juan Carlos y GONZÁLEZ-ALCAIDE, Gregorio. El factor de impacto de las revistas científicas: limitaciones e indicadores alternativos. El Profesional de la Información, Ene. - Feb. 2007, vol. 16, no. 1, p. 4-11.        [ Links ]

2. BUELA-CASAL, Gualberto. Evaluación de la calidad de los artículos y de las revistas científicas: Propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema, 2003, vol. 15, no. 1, p. 23-35.        [ Links ]

3. Base de datos Observatorio ByD /LIS Observatory: Observatorio de la calidad en Biblioteconomía y Documentación.[En línea] Disponible en Internet: www.ucm.es/info/multidoc/observatorio/index.htm [Consulta: 10 de agosto de 2007].        [ Links ]

4. Base de datos IN-RECS: Indice de impacto de las revistas españolas de ciencias sociales. [En línea] Disponible en Internet: Ec3.ugr.es/in-recs/ [Consulta: 10 de diciembre de2007].        [ Links ]

5. Base datos Qualitas Scientiae: Evaluación cualitativa de publicaciones científicas en Ciencias Sociales. Revistas científicas de Biblioteconomía y Documentación. [En línea] Disponible en Internet: www.ucm.es/info/multidoc/qualitas/index.htm [Consulta: 10 de diciembre de 2007].        [ Links ]

6. CAMPANARIO, J. M. El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones. Revista Española de Documentación Científica, 2002, vol. 25, no. 3, p. 267-285.        [ Links ]

7. DELGADO LÓPEZ-CÓZAR, E.; RUIZ PÉREZ, R. y JIMÉNEZ CONTRERAS, E. La edición de revistas científicas: directrices, criterios y modelos de evaluación. Madrid: Fundación Española para la Ciencia y la Tecnología, 2006, 263 p.        [ Links ]

8. LÓPEZ YEPES, José. Propuesta de método para evaluar trabajos científicos mediante el análisis cualitativo de citas. El Profesional de la Información, Nov. - Dic. 2003, vol. 12, no. 6, p. 467-471.        [ Links ]

9. LÓPEZ YEPES, José. El análisis cualitativo de citas como instrumento para el estudio de la creación y transmisión de las ideas científicas. Documentación de las Ciencias de la Información, 2003, no. 26. p. 41-70.        [ Links ]

10. LÓPEZ YEPES, José. et al. Modelo de evaluación cualitativa de las publicaciones científicas en Ciencias Sociales. Aplicación del análisis cualitativo de citas. Revistas de Biblioteconomía y Documentación. Proyecto del Ministerio de Educación y Ciencia. Programa de Estudios y Análisis. [En línea] Madrid, noviembre de 2006. Disponible en Internet: www.centrorecursos.com/mec/ayudas/CasaVer.asp?P=2 [Consulta: 10 de diciembre de 2007].        [ Links ]

11. QUISPE JERÓNIMO, Carlos. ¿Es el factor de impacto un buen indicador para medir la calidad de las revistas científicas? Análisis de algunos problemas generados por su uso. [En línea] 2004. Disponible en Internet: www.eprint.rclis.org/archive/00001656 [Consulta: 10 de diciembre de 2007].        [ Links ]