Las limitaciones y los desarrollos en la medición de la producción de conocimiento

Measuring knowledge production: limitations and challenges

Las agencias responsables de la financiación de la ciencia y la tecnología, desde las internacionales y nacionales hasta las institucionales, se encuentran siempre con el reto de rendir cuentas de la inversión en investigación. En consecuencia, se deben construir indicadores que permitan caracterizarla, y es en este sentido que la cienciometría y la bibliometría han cobrado un papel especialmente relevante para dar cuenta de esta producción (Bookstein, 1977; Vera-Villarroel, Lillo, López-López, & Silva, 2011)using Lotka's law for illu stration. A general model describing scientific produc tivity is defined and modified to be consistent with a generalized form of Lotka's law; the model in this form is shown to be stable with regard to at least two forms of social change. Then the consequences of invariance under change of time span are investigated, and it is shown that the function occurring in Lotka's law, with an arbitrary exponent, is essentially the only one with desireable properties that is consistent with the symmetry constraint.", "author" : [ "dropping-particle" : "", "family" : "Bookstein", "given" : "Abraham", "non-dropping-particle" : "", "parse-names" : false, "suffix" : "" ], "container-title" : "Journal of the American Society for Information Science (pre-1986. Así, es innegable la importancia de poder contar con los indicadores de producción, tanto en los proyectos como en la producción terminada (es decir, número de proyectos formulados, evaluados, rechazados, aprobados, financiados internamente y externamente), en los participantes de los proyectos y sus características y, claro, las cuantías; luego, aparecen los productos derivados de estos proyectos, artículos, capítulos en libros, libros y otros artefactos de comunicación (cartillas, videos, entre otros), patentes u otros productos de innovación tecnológica. En algunas ocasiones, se pueden incluir elementos de formación de estudiantes.

Evidentemente, estas medidas descriptivas no explican qué ocurre con esa producción, y por esto es necesario conocer el tipo de apropiaciones académicas y sociales generadas. En este sentido es que se presentan algunas confusiones que discutiré a continuación. Las apropiaciones académicas se miden principalmente en indicadores de citación (número de citas por documento, origen de las citas, citas en relación con el área de conocimiento, citas en el tiempo) como los ya tradicionales Journal Impact Factor (JIF) o en el Scimago Journal Rank (SJR); sin embargo, se han desarrollado otros como el índice h o el Source Normalized Impact per Paper (SNIP) (Bar-Ilan, 2008) y, con seguridad, se idearán otros nuevos. El principal problema es que estos indicadores son utilizados como herramienta de marketing de las revistas, de las instituciones e incluso de los países. No obstante, hoy tenemos tantas medidas y sistemas de información que deberíamos percatarnos de todos y evaluarlos de acuerdo con sus características y limitaciones. Por ejemplo, el índice de inmediatez, que como su nombre lo indica mide la celeridad con que un artículo es citado, es problemático para nuestro contexto, debido a que los sistemas de información tienen retrasos en subir la información de las revistas ajenas a las grandes empresas editoriales. Evidentemente, el JIF o el SJR deberían considerar el número de artículos que publica una revista por año. Esto debido a que no es lo mismo una revista que publica pocos artículos y que gana muchas citas a otra que publica muchos, pues no solo el esfuerzo editorial es mayor, sino que por supuesto el número de citación debe crecer en proporción al número de citas. Así, algunos editores expertos en "ingeniería de citación" suelen manipular las citas y los artículos, y así esta tarea se hace más fácil si se tienen menos artículos que si son más.

Por otro lado, si las revistas son de carácter más general y plural, es decir si dan cuenta de las comunidades más diversas, esto hace más difícil el panorama para el aumento de citación y mejoría en los índices, pues aun cuando la revista cumple con una de sus misiones que es ser un canal de comunicación referente de una disciplina, esta diversidad no es solo temática, sino de las prácticas de comunicación de las subcomunidades de investigación de una misma disciplina, lo que puede ocasionar fluctuaciones en las dinámicas de citación de la revista como un todo.

Por otro lado, indudablemente, si se modifican las estrategias de comunicación de la revista y se cambia el énfasis de una revista centrada en el volumen, tanto de artículos como de citas por año, y se centra en los artículos como la unidad de análisis, esto debería modificar la forma como se expresan las mediciones de la revista y, claro, seguramente, la relación entre el autor y sus audiencias cambiaría y sería este quien tendría un papel adicional en la comunicación de sus productos. Así, los grupos de investigación más consolidados o las instituciones con más recursos podrían tener ventaja en la implementación de estas estrategias de comunicación.

Otra de las limitaciones tiene que ver con la cobertura. Es evidente que si un sistema incluye en sus análisis de citas una mayor cantidad de revistas o de documentos, puede justificar de una mejor manera la influencia de sus contenidos en una comunidad. Es el caso de las citaciones de Google (Silva, 2012), pues este sistema rastrea todas las citas que encuentra en los documentos, y esto es especialmente relevante para las ciencias sociales y humanas que generan múltiples documentos no solo artículos en revistas, e incluso da cuenta de revistas que no están indexadas en ningún sistema (Romero-Torres, Acosta-Moreno, & Tejada-Gómez, 2013). Pero, las citas de Google no suelen ser normalizadas y tampoco informa sobre las autocitas (una práctica muy cuestionada y recientemente penalizada), con lo cual es un indicador que puede ser manipulado. Sin embargo, es bueno destacar el trabajo del grupo de investigación EC3, que lleva trabajando en la normalización de esta información para dar una mirada más confiable en este sentido. Evidentemente, los indicadores de Scopus disponen de más revistas que los de Web of Science (WoS), pero es fácilmente previsible que este último amplíe sus bases para tener una idea más clara de esta relación. Estas mismas limitaciones pueden ser observadas para advertir sobre las mediciones de investigadores o de instituciones.

Ciertamente, estos indicadores no están hablando de la calidad de los contenidos de una revista o de la producción de un autor, solo están señalando las prácticas de comunicación y mucho menos reportan las dinámicas de apropiación social del conocimiento. Lo lamentable es que en medio de la complejidad creciente de estas dinámicas las críticas se hagan desde la ignorancia o desde argumentos ideológicos sin un mínimo de coherencia.

Las apropiaciones sociales del conocimiento son, en su medición, de diferentes formas de complejidad; unas, como lo ha hecho Scimago (http://www.scimagojr.com/), rastreando el conocimiento usado en las patentes o las patentes usadas en nuevo conocimiento, incluso podría medirse en términos de la riqueza resultante del nuevo conocimiento incorporado a la economía o cuantificar el número de empleos generados. Sin embargo, hay unos impactos más complicados de medir, como el del conocimiento en prácticas culturales, políticas públicas, leyes y otras innovaciones sociales. Estas mediciones no dependen solo de los sistemas de gestión de conocimiento, sino de que los datos existan y estén disponibles. Por ejemplo, una buena parte de las leyes, decretos y demás no están sustentados en conocimiento originado por el sistema de investigación, y son los intereses económicos y políticos los que se intersectan e inciden en ellos. Más complejo es buscar mediciones sobre la incidencia de cambios en prácticas culturales, pues no solo no tenemos sistematizados estos datos, sino que no es fácil promover este tipo de indicadores. Es posible que usar estudios de calidad de vida, bienestar subjetivo combinados con indicadores objetivos de morbilidad, esperanza de vida, participación ciudadana o libertad de expresión podrían darnos unas ideas más claras del impacto de cómo un nuevo conocimiento de tipo social se incorpora a las prácticas culturales de una comunidad o de una sociedad. Sin embargo, estamos lejos de desarrollar indicadores que den cuenta de las incidencias no solo académicas sino sociales de los productos de investigación. Por último, es en esta dirección que debería encaminarse una parte de la agenda del mundo académico de las ciencias sociales, las agencias y las instituciones responsables de la gestión del conocimiento que deberían abrir los espacios de discusión, proposición y desarrollo de indicadores más complejos que corrijan muchas de las limitaciones y problemas de los que actualmente se usan.

Wilson López López
Editor

Referencias

Bar-Ilan, J. (2008). Informetrics at the beginning of the 21st century-A review. Journal of Informetrics, 2(1), 1-52. doi:10.1016/j.joi.2007.11.001         [ Links ]

Bookstein, A. (1977). Patterns of scientific productivity and social change: A discussion of Lotka's law and bibliometric symmetry. Journal of the American Society for Information Science (Pre-1986), 28(4), 206-210.         [ Links ]

Clasificación integrada de Revistas Científicas [EC3] (sf). Recuperado de https://ec3metrics.com/circ/         [ Links ]

Romero-Torres, M., Acosta-Moreno, L. A., & Tejada-Gómez, M. -A. (2013). Ranking de revistas científicas en Latinoamérica mediante el índice h: estudio de caso Colombia. Revista Española de Documentación Científica, 36(1), e003. doi:10.3989/ redc.2013.1.876        [ Links ]

Scimago (s.f.). Recuperado de http://www.scimagojr.com/        [ Links ]

Silva, A. L. C. (2012). El índice-H y Google Académico: una simbiosis cienciométrica inclusiva. Acimed, 23(2), 308-322.         [ Links ]

Vera-Villarroel, P., Lillo, S., López-López, W., & Silva, L. M. (2011). La producción científica en psicología latinoamericana: un análisis de la investigación por países. Revista Latinoamericana de Psicología, 43(1), 95-104.         [ Links ]