La medición de la producción intelectual: Retos, Mitos y Complejidades

The measurement of scientific production: Myths and Complexities

De forma general, la medición de productos, investigadores o grupos es un proceso que puede generar tensiones, más aún si se tiene en cuenta que estas mediciones tienen implicaciones económicas e institucionales.

El proceso de medición en el caso de la producción académica pasa en primer lugar por enlistar el tipo de productos que pueden dar cuenta de la actividad académica y que pueden ser objeto de indicadores de medición. Así se encuentran dentro de estos productos libros, capítulos en libro, artículos científicos, artículos de divulgación, materiales de intervención psicosocial, patentes, modelos, normas, software, artefactos de intervención social, acciones de apropiación social del conocimiento, participación en escenarios académicos y sociales de los productos de investigación, las acciones de transformación de política pública, como otros productos de innovación social y los procesos de formación asociados a la producción de investigación.

Luego, en este proceso de medición es necesario evaluar los productos y esto presenta un alto nivel de complejidad. Por ejemplo, en el caso de los artículos publicados en revistas tienen una evaluación más clara por cuanto los mismos deben pasar por procesos de valoración de pares y además, las revistas visibilizan la calidad mediante el reconocimiento que los investigadores dan a su trabajo expresado en los usos de estos contenidos. En este sentido, una revista con una alta citación de sus contenidos puede generar un indicador de la calidad de los artículos de la misma y los sistemas de información de citación o de descargas pueden darnos indicadores de esta dinámica de evaluación de la calidad de estos productos. Pero esta información no solo es utilizada para valorar los productos sino que además hay estudios que muestran el uso, validez de técnicas, tráfico de videos o impacto de ciertos contenidos sobre una comunidad (Haran & Poliakoff, 2011; Sugimoto et al., 2013; Thelwall, Haustein, Larivière, & Sugimoto, 2013)

Por otro lado y con un grado de complejidad mayor, la evaluación de los libros y capítulos en libro no pasan por los mismos sistemas de valoración y edición previa, lo que añade una distancia en términos de calidad percibida. Sin embargo, las editoriales se han dado cuenta hoy por hoy de la necesidad de contar con procesos transparentes y exigentes) de valoración por pares de los contenidos. Es por esta razón que en gran parte de los sistemas de valoración de productos que los artículos y los libros no tienen la misma asignación de valor.

La valoración de otras formas de producción como la presentación en eventos académicos o la presentación en medios de difusión puede resultar un poco más difusa, pues no todos los eventos académicos hacen evaluación por pares y los medios de comunicación no necesariamente deciden sus contenidos en relación con la calidad de la investigación si no por las dinámicas mediáticas que se escapan de la dinámica de la valoración académica. No obstante, estas actividades podrían tener una valoración en relación con la difusión y las descargas en la red a este tipo de contenidos y en las citaciones que se hacen de ese contenido no solo en el ámbito académicos, si no social (Thelwall et al., 2013). Además, dado que ha sido un campo creciente, debido a la facilidad en el acceso a la información, se han creado páginas que intentan evaluar los contenidos generados por fuera de sistemas tradicionales de producción textos escritos, como por ejemplo los blogs (Zivkovic, 2011).

Por otro lado, otros productos que pueden ser fácilmente valorables son las patentes; por cuanto pasan por procesos de evaluación y reconocimiento de pares. Por el contrario, es un poco más complejo valorar las intervenciones o las innovaciones sociales como las que se expresan en leyes o en documentos de política pública, ya que deberían tener un reconocimiento importante por el impacto que generan en la sociedad. No obstante, las dinámicas políticas no necesariamente toman en cuenta estos contenidos de incidencia social solo por la fuerza de los hallazgos académicos, sino por las consecuencias políticas o económicas de las mismas. En este sentido, informes de política pública o leyes que se logren con base en hallazgos de investigación deberían tener un peso significativo en la evaluación. Por otro lado están productos un poco más complejos de medir como los que están asociados a incorporar resultados de investigación a cambios en las dinámicas sociales en comunidades. Éstos son más difíciles de medir y valorar ya que no es posible dar cuenta de la calidad de los mismos y de sus impactos. Por lo anterior, es claro que estamos ante el reto de encontrar formas de medir su utilidad, impacto y calidad.

Los procesos de formación pueden ser evaluados midiendo a los estudiantes en los proyectos y grupos de investigación y en el caso de procesos de formación en doctorado seguramente las tesis de maestría y doctorado pueden dar indicadores, tanto a corto como a largo plazo. Por ejemplo, algunos de estos tipos de productos terminan en libros y artículos en revistas generando más indicadores menos inmediatos. Pero, es necesario pensar el tema por cuanto la formación doctoral en contextos como el colombiano es incipiente y pueden existir centros de investigación que no están orientados a la formación y no podrían dar cuenta de su actividad en esta dimensión.

También, es necesario tener en cuenta que estos sistemas de medida deben compararse contra las dinámicas propias de cada una de las áreas de conocimiento. En este sentido, no es lo mismo evaluar los impactos de la biomedicina, que de la astronomía o de las ciencias sociales que de las humanidades. En el caso colombiano la producción de artículos en ciencias sociales registrados en Scopus es grande y está en crecimiento con relación a otras áreas del conocimiento, por lo tanto, no puede compararse si no contra sí misma. Así, las herramientas de contabilizar y visualizar la producción (en este caso Scopus) permiten ver este crecimiento contrario a lo que algunos académicos sin evidencia pueden llegar a afirmar. La estrategia de Scopus de inclusión de revistas de América Latina en forma exponencial y en especial de abrirle la puerta a las revistas de ciencias sociales y humanidades permite dar cuenta de las dinámicas de citación de estos productos en forma cada vez más fiable.

Por último y como una forma de recoger en muchos casos la discrepancia ante los sistemas de medición, es necesario que se evalúen los sistemas de ponderación de los productos y los pesos de los mismos. Al igual que las ventanas de evaluación temporal y de las limitaciones de los sistemas de registro, pues las fallas en estos sistemas de registro y ponderación pueden deslegitimar el sistema de valoración. En el caso colombiano, estas fallas, por lo general, han generado desconfianza y el sistema debería definir estrategias de ajuste y de mejoramiento en el proceso hasta que el mismo sea suficientemente robusto y confiable. Otro elemento adicional debería ser el comparar estos modelos de medición entre países (mediciones comparables a nivel internacional) para identificar las debilidades y las fortalezas como los impactos que ellos tienen sobre las dinámicas de producción académica.

Con todo lo anterior, lo que sí parece evidente es que no podemos escapar de los procesos de evaluación y que debemos contribuir a mejorar los mismos a estudiar sus impactos y a asegurar la calidad de los mismos, justificando y valorando su uso al interior de la comunidad académica y social.

Wilson López-López
Editor

Referencias

Haran, B., & Poliakoff, M. (2011). SPORE series winner. The periodic table of videos. Science (New York, N.Y.), 332(6033), 1046-7. doi:10.1126/science.1196980        [ Links ]

Sugimoto, C. R., Thelwall, M., Larivière, V., Tsou, A., Mongeon, P., & Macaluso, B. (2013). Scientists popularizing science: characteristics and impact of TED talk presenters. PloS One, 8(4), e62403. doi:10.1371/journal.pone.0062403        [ Links ]

Thelwall, M., Haustein, S., Larivière, V., & Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PloS One, 8(5), e64841. doi:10.1371/journal.pone.0064841        [ Links ]

Zivkovic, B. (2011). What is: ResearchBlogging.org | The Network Centrdal, Scientific American Blog Network. Scientific American blogs. Retrieved April 16, 2014, from http://blogs.scientificamerican.com/network-central/2011/10/19/what-is-research-blogging-org/        [ Links ]