SciELO - Scientific Electronic Library Online

 
vol.43 issue3Peruvian Public Libraries in the Face of the COVID-19 Crisis: Services, Reflections and Challenges author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista Interamericana de Bibliotecología

Print version ISSN 0120-0976On-line version ISSN 2538-9866

Rev. Interam. Bibliot vol.43 no.3 Medellín Sep./Dec. 2020  Epub May 03, 2021

https://doi.org/10.17533/udea.rib.v43n3ei9 

Investigación

Indicadores de ciencia, tecnología e innovación: hacia la configuración de un sistema de medición* **

Indicators of Science, Technology, and Innovation: Towards the Configuration of a Measurement System

Silvia Molina-Molina1 

Sol Álvarez-Argaez2 

Jovanny Estrada-Hernández3 

Margarita Estrada-Hernández4 

1Doctora en Información Científica, Universidad de Granada. Diploma en Estudios Avanzados, Universidad de Granada. Bibliotecóloga, Universidad de Antioquia, Colombia, Escuela Interamericana de Bibliotecología Medellín - Colombia silvia.molina@udea.edu.co https://orcid.org/0000-0003-4482-7483

2Magíster en Ingeniería, Universidad de Antioquia, Colombia. Analista de Gestión de Información de la Dirección de Planeación y Desarrollo Institucional, Universidad de Antioquia, Medellín - Colombia sol.alvarez@udea.edu.co https://orcid.org/0000-0003-3607-6026

3Ingeniero industrial, especialista en Finanzas, preparación y evaluación de proyectos, Universidad de Antioquia. Analista de Gestión de Información de la Dirección de Planeación y Desarrollo Institucional, Universidad de Antioquia, Medellín - Colombia jovanny.estrada@udea.edu.co http://orcid.org/0000-0002-0292-6099

4Magíster en Salud Mental, Universidad del Norte. Especialista en Psicología Clínica, Universidad del Norte. Bibliotecóloga, Universidad de Antioquia. Psicóloga, Universidad de Antioquia Medellín - Colombia margarita.estrada@udea.edu.co http://orcid.org/0000-0003-1922-9326


Resumen

Universidades e instituciones de investigación enfrentan el problema de responder a la proliferación de indicadores de ciencia, tecnología e innovación requeridos por fuentes internacionales, nacionales e institucionales, además de observatorios, rankings y las mismas universidades de investigación. Por tanto, se plantea la necesidad de configurar un sistema de medición capaz de responder, de manera eficaz y oportuna, a tal proliferación. Con base en una búsqueda documental sobre evaluación de la investigación; en la compilación de los indicadores mencionados, con foco especial en Iberoamérica y Colombia; y en la aplicación de técnicas de análisis de datos cualitativos, se identificaron los datos necesarios y se diseñó un sistema de medición capaz de atender el problema bajo cuatro condiciones: concepción, estructura, procedimientos e instrumentos. Este sistema refleja la complejidad del sector; favorece la comparabilidad; se adapta a necesidades, tendencias y coyunturas; y atiende una amplia gama de indicadores, que obvian el tradicional banco de indicadores.

Palabras clave: indicadores de ciencia; tecnología e innovación; sistema de medición; sistema de indicadores; universidades; actividades científicas; tecnológicas y de innovación

Abstract

Universities and research institutions must face the problem of answering a myriad of science, technology, and innovation indicators, required by international, national and institutional bodies, as well as observatories, rankings, and other research universities. Therefore, there is a need for a measurement system capable of answering, efficiently and swiftly, this proliferation of indicators. Based on a literature review on research evaluation, indicators were compiled, with a special focus on Ibero-America and Colombia; the data required to answer each of these indicators were identified using qualitative data analysis; and, finally, a measurement system was designed following four conditions: conception, structure, procedures, and instruments. This system reflects the complexity of the sector, favors comparability, adapts to necessities, trends, and opportunities, and is able to produce a wide range of indicators, replacing the traditional library or list of indicators.

Keywords: Indicators of science; technology and innovation indicators; measuring system; system indicators; universities; science; technology and innovation activities

1. Introducción

La necesidad que tienen las universidades y demás instituciones de investigación de medir el desempeño de sus actividades científicas, tecnológicas y de innovación (CTI) obedece a la escasa disponibilidad de recursos y a la consecuente necesidad de concursar por ellos. Además, es imperativo rendir cuentas en términos de productos (volumen y visibilidad), pertinencia (aportes en el circuito del conocimiento e impacto socioeconómico) y eficacia (utilización de los recursos en relación con los demás ítems) (Callon, Courtial & Penan, 1995). Dado el estrecho vínculo de la investigación con los sectores de desarrollo científico, económico y social, la evaluación de los resultados de la ciencia y la tecnología resulta esencial para dinamizar estos tres sectores (Solís-Cabrera, Milanés-Guisado & Navarrete-Cortés, 2010). También es necesario hacer seguimiento a los planes y programas institucionales en la materia y atender los requerimientos de los decisores, los analistas (incluyendo los organismos internacionales), las instituciones que realizan actividades de CTI y el público en general (incluyendo los medios de comunicación), que suelen ser los usuarios de las estadísticas de las actividades de CTI (Cervera, 2001a) desde diferentes roles, ámbitos y propósitos. Claro que tal medición también contribuye al interés de las instituciones por mejorar su desempeño, posicionarse como referente, compararse con los líderes del sector o determinar si su quehacer está bien orientado.

Todo lo anterior obliga a las instituciones de investigación a contar con estructuras y mecanismos para medir sus actividades de CTI, dado que “las políticas de ciencia, tecnología e innovación y su gestión requieren información objetiva, confiable, oportuna y, en general, con los mayores niveles de calidad” (Cervera, 2001a, p. 7). El Grupo Asesor de Expertos Independientes sobre la Revolución de los Datos para el Desarrollo Sostenible del Secretario General de las Naciones Unidas (GAEI), en su texto fundamental Un mundo que cuenta, lo ratifica al señalar: “Los datos son el alma del proceso de adopción de decisiones y la materia prima para la rendición de cuentas” (GAEI, 2014. p. 2) y agrega: “Sin datos de alta calidad que proporcionen la información apropiada sobre las cuestiones adecuadas en el momento oportuno, el diseño, el seguimiento y la evaluación de políticas efectivas resultan casi imposibles” (GAEI, 2014. p. 4). De estos datos depende la posibilidad de aplicar indicadores, entendidos como “el valor numérico que provee una medida para ponderar el desempeño cuantitativo y/o cualitativo de un sistema, un individuo o una organización” (González & Rodríguez, 2010, p. 13). Así, los indicadores se consideran imprescindibles para medir, evaluar o caracterizar, de manera agregada y compleja, un fenómeno, su naturaleza, estado y evolución (Martínez & Albornoz, 1998), aunque se advierte que

El proceso de recopilación, tabulación o mapeo de los indicadores cualitativos y cuantitativos, así como el monitoreo de las actividades son fases iniciales de la evaluación, una vez que se han identificado los aspectos a evaluar, se han determinado los métodos para evaluarlos, y se han definido las razones para hacerlo. (Arencibia & de Moya-Anegón, 2008, p. 9).

Por tanto, se viene elaborando una serie de marcos conceptuales y métodos para la armonización internacional de la medición de las actividades de CTI, ya que su carácter global exige que la información estadística sea válida y comparable internacionalmente; de ahí los estándares estadísticos internacionales y las recomendaciones para la armonización (Ortega, 2009). De esta manera, participan organismos internacionales y regionales; autoridades nacionales en materia de actividades de CTI y educación superior; además de empresas privadas, universidades y grupos de investigación especializados en la evaluación de la ciencia (Palomares-Montero, García-Aracil & Castro-Martínez, 2008). Estos organismos y entidades diseñan estrategias tales como manuales metodológicos, observatorios y rankings, que ofrecen numerosos indicadores para medir la dinámica de la investigación (ver Tabla 1). A esto se suman varios modelos sobre capital intelectual (González & Rodríguez, 2010), propuestos para estimar todos los activos tangibles e intangibles de conocimiento de la institución que posibilitan la generación de valor.

Tabla 1 Manuales metodológicos elaborados por la OCDE. 

Manual Año/edición Objetivo
1963/1.a edición Ofrecer directrices sobre los métodos para la recolección de datos en relación con los recursos humanos y financieros dedicados a la I+D*
1970/2.a edición Adecuarse a las normas internacionales existentes de las Naciones Unidas, tales como SCN** y la CIIU***.
1974/3.a edición Recolectar datos sobre la investigación en ciencias sociales y humanas. Recolectar datos sobre la investigación en ciencias sociales y humanas. Dar mayor importancia a las clasificaciones de la ciencia y a la distribución de los presupuestos de I+D por objetivos socioeconómicos.
Frascasti 1981/4.a edición Mejorar la presentación, diseño y redacción.
1994/5.a edición Revisar los cambios de prioridades de la política de CTI y la evolución de los sistemas de ciencia y tecnología.
2002/6.a edición Mejorar las estadísticas de I+D en el sector servicios. Cuantificar los inputs de la investigación básica, la investigación aplicada al desarrollo experimental formal e informal. Desglosar el origen de los fondos de la I+D y de la I+D externa de empresas transnacionales.
2015/ 7.a edición Mejorar la presentación, cobertura y detalle en el contenido. Potenciar el análisis de las dinámicas y vínculos de los agentes a nivel micro. Examinar los procesos de globalización de la I+D y su conjunto de acuerdos.
Balanza de pagos tecnológica 1990 Recopilar y exponer información cuantitativa sobre los ingresos y egresos por tecnología.
1992/1.a edición Proveer un marco conceptual y metodológico para la medición de la innovación TPP**** en el sector manufacturero.
Oslo 1997/2.a edición Mostrar un marco de conceptos, definiciones y metodologías actualizado para la comparación de encuestas internacionales. Integrar nuevos indicadores a las encuestas.
2005/3.a edición Suministrar directrices para la recopilación e interpretación de datos sobre innovación según métodos comparables a escala internacional.
Patentes 1994 Proporcionar información básica sobre el uso de los datos de las patentes y su relación con otras estadísticas económicas, científicas y tecnológicas.
Canberra 1995 Facilitar un marco conceptual para la compilación de datos sobre el stock y flujo de RHCT*****

I+D: Investigación y Desarrollo

**SCN: Sistema de Cuentas Nacionales

*** CIIU: Clasificación Industrial Internacional Uniforme

**** TPP: Tratado Transpacífico

***** RHCT : Recursos Humanos en Ciencia y Tecnología

Fuente: tomado de Guadarrama-Atrizco y Manzano-Mora (2016, p. 23).

Todas estas iniciativas han contribuido a ampliar la perspectiva, la visión y la utilidad de los procesos evaluativos de la ciencia y la innovación en los diferentes niveles de aplicación, y, sumadas a otras variables, han hecho de la evaluación un fenómeno social complejo y dinámico (Solís-Cabrera et al., 2010). Sin embargo, a pesar de la intención orientativa y armonizadora de tales fuentes, al final resulta excesivo el volumen de indicadores cienciométricos propuestos, lo que además revela una alta diversidad e incongruencia, pues este exceso obedece a gran variedad de proponentes, metodologías y propósitos. Si bien se ha intentado elaborar índices complejos o indicadores agregados que integren varias mediciones en una sola para reducir el espectro de medición -como el indicador complejo (ArCo) de capacidades tecnológicas, el logro tecnológico del Informe de Desarrollo Humano del Programa de las Naciones Unidas para el Desarrollo (PNUD), el índice TAI y el Cuadro de indicadores de rendimiento industrial de la Organización de las Naciones Unidas para el Desarrollo Industrial (ONUDI), entre otros-, estos índices o indicadores aún implican interpretaciones complejas, no se dispone de los datos ni de las variables suficientes, las variables no son comparables en todos los contextos y no siempre es posible explicar en un solo dato el comportamiento de un sistema complejo como lo es el de la CTI; así lo evidencian Archibugi y Coco (2005).

En general, estos índices suponen un amplio conjunto de requerimientos para las instituciones de investigación que suelen optar por definir su propio banco de indicadores con el fin de atenderlos. Lo anterior significa que las instituciones no siempre están preparadas para resolver posibles demandas de información, caracterizar debidamente su propio desempeño ni brindar suficientes bases para la toma de decisiones. También ocasiona falta de consenso en los indicadores utilizados por las instituciones de investigación, lo que dificulta la evaluación individual y comparativa. A esto se suma la dispersión de fuentes y datos institucionales, muchas veces sin continuidad en el tiempo y con diferentes criterios de calidad, lo que deriva en falta de series históricas y datos imprecisos, sin homogeneidad, desactualizados o poco confiables.

Causa esencial de este problema reside en la dificultad de manejar los datos, prever cuáles de ellos serán necesarios para cuáles indicadores e insertarlos en un sistema que les dé contexto y facilite su interpretación. Sin embargo, una revisión sobre propuestas de medición confirma lo que asevera Godin (2005), cuando menciona que la literatura sobre indicadores de ciencia y tecnología se basa principalmente en listas y cuentas cronológicas de la introducción de tales indicadores en los informes de las instituciones públicas que los aplican.

Aunque algunos trabajos eran afines al propósito buscado, pues plantean formas de medir las capacidades de investigación a partir del capital intelectual (Sánchez-Torres & Rivera-Torres, 2009) o las capacidades dinámicas (Henao-García, López-González & Garcés-Marín, 2014), al final resultaron insuficientes para resolver el planteamiento del problema. Así que se buscó trascender la idea de un banco de indicadores y diseñar un sistema de medición (no de evaluación), configurado a partir cuatro condiciones: 1) una concepción que explique la problemática y el ecosistema en el que se inserta; 2) una estructura que revele la complejidad e integración de los elementos y aspectos objeto de medición, y que vele por la calidad del dato; 3) procedimientos que demuestren el funcionamiento del sistema, e 4) instrumentos que faciliten la administración y uso del sistema. Este diseño provee una mirada integral sobre las variables que inciden en el desempeño de la investigación, al combinar propuestas de capitales de conocimiento, componentes de gestión y tablas de datos (principales y auxiliares), derivadas de la compilación de numerosos indicadores y de la identificación de los datos requeridos para calcularlos. Constituye además un avance sobre los manuales metodológicos que ayudan a entender y a aplicar esos indicadores, pero que no precisan los datos que serán obtenidos ni la manera de establecer con ellos un sistema de información que facilite su interacción.

2. Materiales y método

Se trata de una investigación cualitativa, según lo explican Hernández, Fernández & Baptista (2010). En este caso, se basa en la lógica y proceso inductivo (exploración y descripción para generar perspectivas teóricas), en torno a la identificación del conjunto de datos y estrategias que subyacen en la configuración de un sistema para medir el desempeño de las actividades CTI. Su desarrollo implicó las siguientes acciones:

    1.. Establecer un contexto sobre estadísticas e indicadores en actividades de CTI, evaluación de la ciencia y sistemas de medición relacionados, a partir de un ejercicio de investigación documental.

    2.. Configurar un sistema de medición a partir de cuatro condiciones:

  1. una concepción que explique la problemática y el ecosistema de la propuesta;

  2. una estructura que revele la complejidad e integración de los elementos y aspectos que serán medidos;

  3. procedimientos que indiquen el funcionamiento del sistema; e

  4. instrumentos que faciliten su operación y gestión.

    3.. Determinar los lineamientos para la concepción del sistema de medición.

    4.. Diseñar la estructura del sistema. Con base en la metodología para el análisis de los datos cualitativos, propuesta por Fernández-Núñez (2006), se aplicó la siguiente secuencia:

  1. Obtener la información. En este paso, se seleccionaron fuentes de información directamente relacionadas con indicadores de CTI, que cumplieran criterios de autoridad, diversidad de estrategias y ámbitos de acción (ver Tabla 2).

  2. Capturar, transcribir y ordenar la información. Para esto, se compilaron los indicadores de CTI propuestos por las fuentes seleccionadas y se registraron en una hoja de cálculo con los respectivos datos de la fuente.

  3. Codificar. A cada indicador se le asignó el capital de conocimiento correspondiente, de acuerdo con las siguientes categorías:

  • Capital relacional. Comprende la interacción universidad-comunidad; universidad-empresa; universidad-Estado; universidad-comunidad académica y científica; interacción interna.

  • Capital humano. Referido al personal dedicado a investigación y desarrollo (I+D).

  • Capital estructural. Incluye capacidades en superestructura, infraestructura, información y gasto en I+D.

Tabla 2 Fuentes consultadas para la compilación de los indicadores de CTI y la identificación de sus respectivos datos. 

Fuente: elaboración propia.

También se identificaron los asuntos específicos que medía cada indicador; se asignaron palabras clave tomadas de tesauros y listas de autoridad y se precisaron los datos necesarios para aplicar al sistema de medición.

    d.. Integrar. Un análisis de los indicadores develó dos grupos de categorías: uno referido al asunto específico que miden los indicadores y otro relacionado con aspectos comunes de la medición. El primero dio lugar a las tablas principales y el segundo, a las tablas auxiliares.

Las tablas principales fueron elaboradas con base en ocho categorías identificadas como asuntos específicos: contexto, personal I+D, interacción, proyectos, producción, superestructura, infraestructura y gasto. Cada una de ellas conformó una tabla principal, teniendo en cuenta criterios de recurrencia, su incidencia en la generación de indicadores y el volumen de datos implicados. Cada tabla principal reúne los datos necesarios para la aplicación de los indicadores de su categoría e incluye las fuentes potenciales de información en cada caso.

Las tablas auxiliares se conformaron según los aspectos tradicionalmente comunes a los indicadores CTI y que sirven para especificar los datos de las tablas principales; es decir, áreas y categorías temáticas, objetivos socioeconómicos, sector, unidad de investigación, ámbito geográfico y nivel de formación.

Además de las tablas principales y auxiliares, elementos esenciales de la estructura propuesta, en el sistema de medición se incluyeron los capitales de conocimiento y los componentes de gestión, considerando su tradición y pertinencia para la presentación de este tipo de indicadores, además de su uso habitual para obtener una mirada panorámica del desempeño de una institución de investigación. Los capitales de conocimiento se definieron en el punto c) de este apartado.

Los componentes de gestión fueron entendidos de la siguiente manera:

  • Capacidades. Miden el potencial de la institución, en términos de los recursos con que cuenta para la investigación.

  • Procesos. Referidos a las actividades de ciencia, tecnología e innovación que lleva a cabo la institución de investigación.

  • Resultados. Productos derivados de esos procesos y de las respectivas capacidades institucionales que ellos implican.

    5.. Definir los procedimientos. Una vez establecidas las tablas, se adelantaron ejercicios para probar su funcionamiento y comprobar que su combinación permitía la aplicación de un gran número de indicadores. Para su presentación, se estableció una matriz que combina los capitales de conocimiento con los componentes de gestión, además de una columna para registrar logros cualitativos, poco considerados en la literatura consultada. Obviamente, en este proceso es imprescindible garantizar la calidad de los datos, determinada por la validez de la fuente y la normalización de la información, según pautas prestablecidas, además de los criterios de relevancia, exactitud, oportunidad y puntualidad, accesibilidad y claridad, comparabilidad, coherencia y completitud (Arribas, Casado & Martínez, 2003), pero esto escapa al alcance de este trabajo.

    6.. Identificar los instrumentos. Las tablas principales y auxiliares son los instrumentos básicos del sistema, pero ellos operan en sintonía con los sistemas de información institucionales y las herramientas informáticas más apropiadas para la medición de la investigación. En este punto, se identificaron los instrumentos, los agentes responsables de los datos y las “fuentes potenciales de información”, como se indicó en las tablas principales.

3. Resultados

En consonancia con lo anterior, se propone un sistema de medición de las actividades de CTI para una institución de investigación, especialmente la universitaria, configurado a partir de las cuatro condiciones mencionadas (concepción, estructura, procedimientos e instrumentos), cuyo desarrollo se explica como sigue:

3.1. Concepción

Antes de establecer un sistema de medición de las actividades de CTI, es preciso aclarar el tipo de cuestiones que plantea la Figura 1. La respuesta a las preguntas permite precisar la necesidad, el alcance y el enfoque del sistema de medición, y le dan solidez.

Fuente: elaboración propia a partir de Colciencias (2016a)

Figura 1 Consideraciones previas a un sistema de medición. 

Un análisis especial tiene el ecosistema de investigación, definido por Colciencias y los Sistemas Nacionales de Innovación (SNI)1 y propuesto por Freeman (1987) y Lundvall (1992) desde la década de los ochenta,2 entendido como una red de actores que se articulan alrededor de focos estratégicos para generar y usar conocimiento en función del desarrollo social y productivo de un territorio (Colciencias, 2016a). Identificar los actores involucrados es crucial, porque cada uno de ellos tiene diferentes necesidades de información y a ellos debe obedecer el sistema de medición. Aquí se presenta el caso de una universidad en el que se diferencian tres entornos con los respectivos usuarios del sistema, así como sus productores, ubicados en los sectores educación superior, productivo, privado, instituciones privadas sin fin de lucro y extranjero (Cervera, 2001a).

3.2. Estructura

Establecida la concepción, el diseño de la estructura sigue la condición de revelar la complejidad e integración de los elementos y aspectos que serán medidos, para lo cual se toma como símil un cubo Rubik© (Figura 2).

Este sugiere las numerosas combinaciones que permite para responder a los indicadores requeridos, sin necesidad de predeterminarlos. En conjunto, el cubo responde a un vasto número de indicadores de CTI, atendiendo coyunturas, propósitos y requerimientos de los actores del ecosistema.

Fuente: elaboración propia a partir de Centro de Investigación sobre la Sociedad del Conocimiento (CIC, 2003); Cervera (2001a) y fuentes citadas en la Tabla 1

Figura 2 Estructura del sistema de medición. 

La estructura incluye las tablas principales y auxiliares que contienen los datos detrás de los indicadores, detallados más adelante. También comprende capitales de conocimiento, componentes de gestión y logros cualitativos, como referentes para el seguimiento y la medición, y como guía para presentar el grupo de indicadores que exijan las circunstancias. Cada uno de estos elementos se explica así:

3.2.1. Tablas principales

Conjunto de ocho tablas que presentan los datos requeridos en cada categoría, agrupados por afinidades. En la última columna se sugieren algunas fuentes potenciales de información para su respectiva recopilación.

  • Contexto. Permite conocer la posición relativa de la institución respecto a su entorno inmediato o sus propias capacidades. Como se aprecia en la Tabla 3, son necesarios los datos de población y presupuesto de la propia institución, además de los correspondientes a los ámbitos geográficos o institucionales de referencia.

  • Personal de I+D. La Tabla 4 presenta los datos referidos al capital humano dedicado a la I+D. Implica contar con datos generales de identificación, además de formación académica, vínculo con la institución y vínculo con la investigación. Al respecto, existen guías para la clasificación de los oficios de la Organización International del Trabajo (OIT, 2012); la educación (Unesco Instituto de Estadística [UIS], 2013); y los rangos de edad, como, por ejemplo, los elaborados por la Organización de las Naciones Unidas (ONU, 1982).

Tabla 3 Contexto 

Fuente: elaboración propia a partir de las fuentes citadas en la Tabla 2.

Tabla 4 Personal de I+D. 

Fuente: elaboración propia a partir de las fuentes citadas en la Tabla 2.

  • Interacción. Revela la capacidad que tiene la institución para integrarse a su entorno y participar en redes de colaboración de variada índole con comunidades, empresas privadas y estatales, comunidades académicas y científicas, y actores de su propio sistema de investigación. Está muy relacionada con las tablas principales de proyectos y producción, que revelan la colaboración. Como describe la Tabla 5, requiere de datos sobre la modalidad de la interacción, y sobre las instituciones y personas que participan en ella.

  • Proyectos. Son esenciales en el proceso de medición y sobre ellos recae un buen número de indicadores que revelan la capacidad para la gestión de la investigación. Exigen datos de información general sobre los proyectos, además del talento humano y la financiación comprometidos en ellos, según muestra la Tabla 6.

  • Producción. Esta categoría es la más utilizada para medir el desempeño de la investigación y suele contrastarse con un buen número de indicadores. Sobre ella abunda la literatura referida tanto a los indicadores bibliométricos (Prat, 2010; Maltrás, 2003) como a los webométricos (Aguillo & Granadino, 2006) y a los altmétricos (Torres-Salinas, Cabezas-Clavijo & Jiménez-Contreras, 2013; Robinson-García, Torres-Salinas, Zahedi & Costas, 2014; Thelwall & Kousha, 2015). Los tipos de productos de investigación pueden consultarse en Rosado et al. (2008) y en Colciencias (2017). Da cuenta de los resultados de investigación y requiere datos sobre el producto mismo, los autores, los editores y los sistemas de difusión y visibilidad utilizados, como muestra la Tabla 7.

  • Superestructura. Revela la naturaleza de la organización como institución de investigación y el interés por fortalecer sus capacidades, por lo cual exige datos sobre programas académicos, fomento a la investigación, estructura orgánica y normatividad, sistemas y recursos de información, tal como enseña la Tabla 8.

  • Infraestructura. Comprende los datos enunciados en la Tabla 9, relacionados con instalaciones, equipos, recursos basados en conocimiento, recursos basados en tecnologías de la información y la comunicación y servicios utilizados por la comunidad científica para realizar investigación de alto nivel en sus respectivos campos. La European Science Foundation (ESF) ofrece pautas importantes al respecto, incluidas las humanidades (ESF, 2011, 2013).

Tabla 5 Interacción. 

Fuente: elaboración propia a partir de las fuentes citadas en la Tabla 2.

Tabla 6 Proyectos. 

Fuente: elaboración propia a partir de las fuentes citadas en la Tabla 2.

Tabla 7 Producción. 

Fuente: elaboración propia a partir de las fuentes citadas en la Tabla 2.

Tabla 8 Superestructura. 

Fuente: elaboración propia a partir de las fuentes citadas en la Tabla 2.

Tabla 9 Infraestructura. 

Fuente: elaboración propia a partir de las fuentes citadas en la Tabla 2.

  • Gasto. Referido a la inversión en actividades de CTI; por tanto, la Tabla 10 contiene datos sobre los recursos que demandan la investigación y el desarrollo, el apoyo a la formación y capacitación, los servicios científicos y tecnológicos, la administración y otras actividades de apoyo a la investigación.

Tabla 10 Infraestructura. 

Fuente: elaboración propia a partir de las fuentes citadas en la Tabla 2.

3.2.2. Tablas auxiliares

Los aspectos específicos con los que pueden combinarse las tablas principales para lograr un mayor nivel de información sobre los ítems de medición se muestran en la Tabla 11.

3.2.3. Capitales de conocimiento

Esta estructura permite presentar los indicadores según los capitales de conocimiento, de manera que la institución de investigación pueda advertir dónde están sus fortalezas o debilidades respecto al capital relacional, humano y estructural.

3.2.4. Componentes de gestión

Solos, o en combinación con los capitales de conocimiento, los componentes de gestión facilitan la presentación de los indicadores conforme al tradicional modelo lineal que distingue unos insumos o capacidades, unos procesos y unos resultados. En este caso, también se consideran resultados de logros, tales como premios o reconocimientos.

3.3 Procedimientos

Siempre con referencia a la concepción del sistema y teniendo en cuenta que la flexibilidad es una de sus características fundamentales, la estructura diseñada permite proporcionar indicadores de acuerdo con los usuarios, los propósitos o las coyunturas del momento. Dado que obvia el típico banco de indicadores, los datos compilados se engranan para responder a múltiples requerimientos. Esto se logra a partir de los datos de las tablas principales que se especifican utilizando las tablas auxiliares. Los indicadores resultantes se presentan en la matriz de indicadores, tal como lo ilustra la Figura 3, que representa el funcionamiento del sistema.

Tabla 11 Tablas auxiliares y sus respectivos datos. 

Tabla auxiliar Fuentes
Áreas y categorías temáticas OCDE (2015) Unesco (1988) Servicios de indización y resumen Áreas y programas nacionales Áreas y programas institucionales
Sector OCDE (2015)
Ámbito geográfico ISO 3166 (ISO, 2013)
Nivel de formación UIS (2013)
Objetivo socioeconómico Eurostat (2008)
Unidad de investigación Snowball Metrics (2017) ítem “Organizations”

Fuente: elaboración propia.

Por ejemplo, con base en los datos de tres tablas principales, Personal I+D, Interacción y Producción, combinadas con las tablas auxiliares, es posible responder a un buen número de indicadores, como los siguientes:

Siguiendo el mismo ejemplo, los resultados obtenidos pueden llevarse a la matriz que muestra la Figura 4, en la que se relacionan los capitales de conocimiento con los componentes de gestión parar ofrecer una mirada integral sobre la dinámica de la institución de investigación, identificando fortalezas y debilidades de su capital intelectual, el equilibrio entre los componentes de gestión o bien la relación entre capitales y componentes de gestión que inciden en el desempeño de la investigación.

Sobre esta matriz se puede hacer seguimiento a un conjunto de indicadores seleccionados, por ejemplo, para un plan de acción institucional, a la vez que pueden tenerse matrices adicionales para responder a otros conjuntos de indicadores propios de procesos de autoevaluación, acreditación, referenciación o rendición de cuentas, entre otros casos. También es útil en la selección de los indicadores de interés para una audiencia específica, como la presentación de la institución ante pares internacionales o, simplemente, para atender los requerimientos puntuales de información de otras instancias u organismos.

Finalmente, volviendo a la Figura 2 se demuestra cómo la estructura representa un sistema de medición que sugiere numerosas combinaciones a partir del manejo de los datos y, por tanto, constituye un gran potencial para mejorar las capacidades de medición de la investigación, sin perder de vista la comparabilidad, como función imprescindible.

3.4. Instrumentos

En el sistema de medición propuesto confluye un conjunto de instrumentos que comprende desde las matrices de datos en hojas de cálculo hasta los modelos de entidad-relación necesarios para el diseño de un aplicativo informático, que facilite la gestión y presentación de los indicadores, ajustados a la concepción y estructura previamente definidas. Es claro que se deben aprovechar los sistemas de información institucionales existentes, además de procurar la interoperabilidad consiste más de información externos, que sirvan al propósito.

Fuente: elaboración propia

Figura 3 Funcionamiento del sistema de medición. 

Fuente: elaboración propia con base en CIC (2003); Cervero (2001a); Snowball (2017)

Figura 4 Ejemplo de aplicación: matriz para la medición de capitales de conocimiento y componentes de gestión. 

Gracias a desarrollos informáticos, para bases de datos no estructurados y Big Data como Spark, Hadoop, Apache Hive, entre otras, se cuenta con variedad de aplicaciones, programas y recursos tecnológicos para el funcionamiento de sistemas de medición como el presentado, incluyendo técnicas complejas para la visualización de la información, amigables para los usuarios y con resultados fácilmente comprensibles.

Como se indica en cada tabla principal, es necesario identificar las fuentes potenciales de información, que por lo general coinciden con las instancias que tradicionalmente son responsables de generar los datos requeridos para cada asunto específico. Esto es crucial para garantizar la normalización y calidad del dato, para precisar las instancias que contribuyen a la conformación del sistema y para asignar responsabilidades en función del sistema de medición.

4. Discusión

Se reconoce que el sistema de evaluación de indicadores de CTI en Colombia desarrollado hasta el momento por Colciencias (hoy MinCiencias) tiene como parte de sus aspectos positivos el interés por hacer una medición efectiva de la ciencia en nuestro país; la sistematización en el registro y seguimiento de la información; el interés por incorporar mediciones comparables entre instituciones, organismos y sociedades; la instalación de capacidades, y la promoción de una cultura de la medición en los diferentes actores que conforman el sistema. No obstante, también se reconocen aspectos que deberían abordarse de cara a consolidar un sistema integral de medición que pueda tener una mayor apropiación por las instituciones, organizaciones y organismos partícipes. Como asuntos relevantes por mejorar se destacan el enfoque diferencial y la pertinencia de las métricas, la sistematicidad en la medición y los ámbitos de medición en los que se centra el sistema actual de medición.

En tal sentido, los indicadores de CTI de los que hoy se dispone tienen una orientación a la generalización de la evaluación de procesos de generación y transferencia de conocimiento entre países, instituciones, áreas y disciplinas del conocimiento; sin reconocer, en muchos casos, la evolución histórica, los contextos y las naturalezas particulares de los actores del sistema de CTI, por lo que al momento de presentarse análisis comparativos se perciben niveles de insatisfacción frente a mediciones con raceros comunes ante situaciones diferentes; esto no significa que no sea relevante hacer comparaciones, pero los indicadores y mecanismos de medición sí deberían trascender hacia instrumentos de mayor pertinencia en relación con el carácter diferencial de todos los actores y componentes del sistema para mejorar la comparabilidad.

Por su parte, la alta dependencia del sistema de CTI de los actores de decisión en cada período de gobierno en nuestro país ha generado cambios reiterados en criterios, instrumentos y prácticas de medición del CTI, lo que ha afectado la trazabilidad y homogeneidad de las evaluaciones individuales y comparadas y ha limitado la posibilidad de realizar análisis descriptivos, prescriptivos y predictivos de fenómenos del sistema. Un sistema de medición debe garantizar sistematicidad en la medición, a partir de históricos de datos estructurados y representativos que permitan inferencias con mayores niveles de validez y confiabilidad; estos análisis en términos de los indicadores CTI aún son incipientes.

Por último, debe ponerse en discusión la naturaleza y alcance de los indicadores para CTI; en este orden de ideas, estos indicadores tienen una fuerte orientación hacia la medición de procesos y productos, mientras que su alcance es bajo en términos de la medición de resultados e impactos. Quizá podrá argumentarse la dificultad de medir dichos ámbitos, el tiempo que conlleva o los recursos que implica (que puede ser válido), pero lo que sí es cierto es que el sistema de medición para CTI debe procurar el reconocimiento y evaluación integral de todas sus dimensiones, y lograr trascender de la medición de los medios hacia la medición de los fines, puesto que allí se evidencia el valor real de las transformaciones generadas por las actividades de CTI.

Es entonces en la pertinencia, en el valor diferencial, en la sistematicidad y en el alcance de las mediciones de CTI que futuros estudios e investigaciones deberán centrarse para llegar a un verdadero sistema de medición integral.

5. Conclusión

El sistema propuesto representa un avance en la forma de medir las actividades CTI, en cuanto ofrece las bases para establecer una estructura conceptual, un manejo versátil de indicadores CTI a partir de los datos y unos modelos de entidad-relación para el diseño de un aplicativo informático. El valor que genera el trabajo respecto a otros similares está en la mayor capacidad de respuesta frente a demandas de medición y un sistema de información integral. Aunque algunas propuestas superan la lista de indicadores, al basarse en un modelo teórico o proponer un modelo de medición, terminan siendo limitadas y más rígidas. El sistema propuesto es más dinámico en ese sentido.

El mismo sistema reconoce los datos requeridos para la aplicación de un gran número de indicadores de ciencia y tecnología de los ámbitos internacional, regional, nacional e institucional, superando un banco específico y permitiendo la inserción de la institución en variados contextos geográficos, temáticos o sectoriales. Al enfocarse en los datos, se sintoniza con las tendencias actuales y contribuye al llamado de las Naciones Unidas para movilizar la revolución de los datos.

Facilita un método flexible que se ajusta a las características de las instituciones de investigación, permite responder a los requerimientos de información de los actores involucrados en el ecosistema de CTI (independientemente de los órganos de gobierno o coyunturas especiales) y adoptar el diseño de nuevos indicadores o cambios en la dinámica de la comunicación científica.

Las tablas constituyen el insumo para un sistema de información cienciométrico, con claves primarias como identificadores únicos. También facilitan la interoperabilidad de los sistemas de medición entre instituciones de investigación, dada la estructura con base en datos (campos) más que en indicadores.

La estructura de medición propuesta obvia la selección previa de indicadores y el inconveniente de priorizarlos y validarlos ante grupos focales. Esta podría minimizar la elaboración de protocolos y reducir los costos, lo que podría contribuir a su elaboración.

El sistema presentado refleja la complejidad de las actividades de CTI y las características propias de una institución de investigación. Ofrece una mirada integral sobre las variables que inciden en el desarrollo global de la CTI y armoniza con estructuras de medición que buscan una mirada panorámica sobre los capitales de conocimiento y componentes de gestión involucrados en la investigación.

Para todas las instituciones de investigación, lo propuesto significa la posibilidad de implementar sistemas de medición de las actividades de CTI basados en indicadores; para el sector en el que se inscribe, la posibilidad de establecer sistemas de medición comparables entre las instituciones que lo conforman, y para las propias instituciones, la posibilidad de establecer sistemas particulares de medición que atiendan sus singularidades.

Agradecimientos

Este trabajo se deriva del proyecto de investigación “Observatorio de las actividades científicas, tecnológicas y de innovación de la Universidad de Antioquia”, financiado por la Vicerrectoría de Investigación de la Universidad de Antioquia (Medellín - Colombia) y cofinanciado por la Escuela Interamericana de Bibliotecología de la misma institución. También participó el Sistema de Bibliotecas de la Universidad de Antioquia.

Agradecemos la colaboración de César Orlando Pallares Delgado y a los bibliotecólogos Jenyfer Natalia Tabares García, Alejandra Giraldo Morales y Jorge Luis Sepúlveda Argaez por los servicios técnicos prestados, así como a Diana Ospina R., por sus acertados aportes. A Felipe Uribe Morales y a Juliana Espinosa Rojas por los gráficos.

6 Referencias

1. Aguillo, Isidro; Granadino, Begoña (2006). Indicadores web para medir la presencia de las universidades en la Red. Revista de Universidad y Sociedad del Conocimiento, 3(1), 1-7. http://dx.doi.org/10.7238/rusc.v3i1.275Links ]

2. Alianza 4 Universidades (2018). Observatorio IUNE: actividad investigadora de la universidad española. http://www.iune.es/Links ]

3. Arencibia, Ricardo; de Moya-Anegón, Felipe (2008). La evaluación de la investigación científica: una aproximación teórica desde la cienciometría. Acimed, 17(4), 1-27. [ Links ]

4. Arribas, Carmen; Casado, Julio; Martínez, Antonio (2003). Gestión orientada a asegurar la calidad de los datos en los institutos nacionales de estadística LC/L.1889(CEA.2003/4). Santiago: CEPAL. [ Links ]

5. Archibugi, Daniele; Coco, Alberto (2005). Measuring technological capabilities at the country level: A survey and a menu for choice. Research Policy, 34(2), 175-194. [ Links ]

6 Callon, Michel; Courtial, Jean-Pierre; Penan, Herve (1995). Cienciometría. El estudio cuantitativo de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: TREA. [ Links ]

7. CEPAL (2018). CEPALSTAT. http://estadisticas.cepal.org/cepalstatLinks ]

8. Cervera, J. L. (2001a) Estadísticas e indicadores de ciencia, tecnología e innovación en América Latina y el Caribe. En Primera Reunión de la Conferencia Estadística de las Américas de la Comisión Económica para América Latina y el Caribe (DDA/1). Santiago: CEPAL . [ Links ]

9. Cervera, J. L. (2001b). Recomendaciones para fortalecer el sistema de estadísticas e indicadores de ciencia, tecnología e innovación en América Latina y el Caribe. En: Primera Reunión de la Conferencia Estadística de las Américas de la Comisión Económica para América Latina y el Caribe (DDR/3). Santiago: CEPAL. [ Links ]

10. Chen, Shun-Hsing; Hui-Hua; Wang & Yang, King-Jang (2009). Establishment and application of performance measure indicators for universities. The TQM Journal, 21(3), 220-235. https://doi.org/10.1108/17542730910953004Links ]

11. CIC (2003). Modelo Intellectus: medición y gestión del capital intelectual. Madrid: Universidad Autónoma de Madrid. [ Links ]

12. Colciencias (2016a). Ecosistema científico: documento base versión 2.0. Bogotá: Colciencias. [ Links ]

13. Colciencias (2016b). Estado de la ciencia en Colombia, 2015. Bogotá: Colciencias . [ Links ]

14. Colciencias (2017). Modelo de medición de grupos de investigación, desarrollo tecnológico o de innovación y de reconocimiento de investigadores del Sistema Nacional de Ciencia, Tecnología e Innovación, año 2017. Bogotá: Colciencias . [ Links ]

15. Consejo Nacional de Acreditación (2006-2017). Guías de procedimiento. https://www.cna.gov.co/1741/article-186376.htmlLinks ]

16. Cornell University, INSEAD & OMPI (2015). The global innovation index 2015: effective innovation policies for development. Geneva: WIPO. [ Links ]

17. D’Onofrio, María Guillermina; Solís, Francisco; Tignino, María Victoria.; Cabrera, Esther. (2010). Indicadores de trayectorias de los investigadores iberoamericanos: avances del Manual de Buenos Aires y resultados de su validación técnica. En RICYT, El estado de la ciencia 2010, (pp. 118-132). Buenos Aires: RICYT. [ Links ]

18. de la Vega, Iván (2009). Módulo de capacitación para la recolección y el análisis de indicadores de investigación y desarrollo. Buenos Aires: Centro Redes, Banco Interamericano de Desarrollo. [ Links ]

19. Dundar, Halil; Lewis, Darrell (1998) Deter minants of research productivity in higher education. Research in Higher Education, 39(6), 607-631. https://doi.org/10.1023/A:1018705823763Links ]

20. ESF (2011). Research infraestructures in the digital humanities. Strasbourg: ESF. [ Links ]

21. ESF (2013). Research infraestructures in the European research area. Strasbourg: ESF . [ Links ]

22. Eurostat (2008). Comparison between NABS 2007 and NABS 1992. Luxembourg: Eurostat [ Links ]

23. Eurostat (2017). Science, technology and innovation. http://ec.europa.eu/eurostat/web/science-technology-innovation/statistics-illustratedLinks ]

24. FECYT (2018). ICONO: observatorio español de I+D+i. https://icono.fecyt.es/indicadoresLinks ]

25. Fernández-Núñez, Lissette (2006). ¿Cómo analizar datos cualitativos? Butletí LaRecerca, 7, 1-13. [ Links ]

26. Freeman, Christopher (1987). Technology policy and economic performance; lessons from Japan. Londres: Frances Printer Publishers. [ Links ]

27. Guadarrama-Atrizco Victor; Manzano-Mora Francisco (2016). Indicadores de Ciencia, Tecnología e Innovación. México: Foro consultivo científico y tecnológico. [ Links ]

28. GAEI (2014). Un mundo que cuenta: movilización de la revolución de los datos para el desarrollo sostenible. Nueva York: Naciones Unidas. [ Links ]

29. Godin, Benoît (2005). Measurement and statistics on science and technology: 1920 to the present. New York: Routledge. [ Links ]

30. González, José; Rodríguez, Miryam (2010). Modelos de capital intelectual y sus indicadores en la universidad pública. Cuadernos de Administración, 26(43), 113-128. [ Links ]

31. Henao-García, Edwin; López-González, Mauricio; Garcés-Marín, Robinson (2014). Medición de capacidades en investigación e innovación en instituciones de educación superior: una mirada desde el enfoque de las capacidades dinámicas. Entramado, 10(1), 252-271. [ Links ]

32. Hernández, Roberto; Fernández, Carlos; Baptista, María del Pilar (2010). Metodología de la investigación (5.a ed.). México: McGrawHill. [ Links ]

33. Infoaces (2013). Hacia un sistema integral de información para la educación superior en América Latina. Valencia: Universidad de Valencia. [ Links ]

34. ISO (2013). ISO 3166: codes for the representation of names of countries and their subdivisions. Geneva: ISO. [ Links ]

35. Ishikawa, Mayumi (2009). University rankings, global models, and emerging hegemony. Journal of Studies in International Education, 13(2), 159-173. [ Links ]

36. Jaramillo, Hernán; Salazar, Mónica; Lugones, Gustavo (2001). Manual de Bogotá: normalización de indicadores de innovación tecnológica en América Latina y el Caribe. Bogotá: RICYT, OEA, Colciencias, CYTED, OCyT. [ Links ]

37. LERU (2012). Research universities and research assessment. Leuven: LERU. [ Links ]

38. Lugones, Gustavo (2009). Módulo de capacitación para la recolección y el análisis de indicadores de innovación. Buenos Aires: Centro Redes, Banco Interamericano de Desarrollo . [ Links ]

39. Lundvall, Bengt-Åke (1992). National Systems of Innovation. Towards a Theory of Innovation and Interactive Learning. Anthem Press. [ Links ]

40. Maltrás, Bruno (2003). Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón: TREA . [ Links ]

41. Martínez, Eduardo; Albornoz, Mario (1998). Indicadores de ciencia y tecnología: estado del arte y perspectivas. Caracas: Nueva Sociedad, Unesco. [ Links ]

42. Ministerio de Educación Nacional (2018). MIDE (Modelo de Indicadores del Desempeño de la Educación). http://www.colombiaaprende.edu.co/mideLinks ]

43. Ministerio de Educación Nacional; Convenio Andrés Bello (2013). Estructura de indicadores de perfilación y cracterizacion para las IES. Bogotá: MEN. [ Links ]

44. Mohrman, Kathryn; Ma, Wanhua; Baker, David (2008). The research university in transition: the emerging global model. Higher Education Policy, 21(1), 5-27. [ Links ]

45. OCDE (1989). R&D statistics and output measurement in the higher education sector: Frascati manual supplement. París: OCDE. [ Links ]

46. OCDE (1990). Proposed standard method of compiling and interpreting technology balance of payments data: TBP manual. París: OCDE . [ Links ]

47. OCDE (2010). Manual de estadísticas de patentes de la OCDE. Madrid: Oficina Española de Patentes y Marcas. https://doi.org/10.1787/9788496113176-esLinks ]

48. OCDE (2012). Measuring R&D in developing countries. París: OCDE . [ Links ]

49. OCDE (2015). Frascati manual 2015: guidelines for collecting and reporting data on research and experimental development, the measurement of scientific, technological and innovation activities. París: OECD. [ Links ]

50. OCDE; Eurostat (1995). Manual on the measurement of human resources devoted to S&T: Canberra Manual. París: OECD . [ Links ]

51. OCDE; Eurostat (2007). Manual de Oslo: guía para la recogida e interpretación de datos sobre innovación. Madrid: Tragsa. [ Links ]

52. OCTS-OEI; RICYT (2017). Manual iberoamericano de indicadores de vinculación de la universidad con el entorno socioeconómico: Manual de Valenci a. Buenos Aires: RICYT . [ Links ]

53. OCTS-OEI; UIS-Unesco (2016). Manual iberoamericano de indicadores de educación superior: Manual de Lima. Buenos Aires: OCTS-OEI. [ Links ]

54. OCyT (2018). Portal de datos abiertos. http://ocyt.org.co/portal-de-datos-abiertos/Links ]

55. OIT (2012). International standard classification of occupations: ISCO-88. Ginebra: ILO. [ Links ]

56. Okubo, Yoshiko (1997). Bibliometric indicators and analysis of research systems: methods and examples. París: Unesco. [ Links ]

57. ONU (1982). Provisional guidelines on standard international age classifications. New York: ONU. [ Links ]

58. Ortega, Alberto (2009). Los estándares estadísticos internacionales y la armonización de estadísticas nacionales. En Quinta Conferencia Estadística de las Américas de la Comisión Económica para América Latina y el Caribe (CEA-CEPAL). Santa Fe de Bogotá. [ Links ]

59. Palomares-Montero, Davinia; García-Aracil, Adela; Castro-Martínez, Elena (2008). Evaluación de las instituciones de educación superior: revisión bibliográfica de sistema de indicadores. Revista Española de Documentación Científica, 31(2), 205-229. [ Links ]

60. Prat, María (2010). Módulo de capacitación para la recolección y el análisis de indicadores de producto de las actividades de ciencia y tecnología. Buenos Aires: Centro Redes, Banco Interamericano de Desarrollo . [ Links ]

61. Phusavat, Kongkiti; Ketsarapong, Suphattra; Ranjan, Jayanthi; Lin, Binshan (2011). Developing a university classification model from performance indicators. Performance Measurement and Metrics, 12(3), 183-213. https://doi.org/10.1108/14678041111196668Links ]

62. QS (1994-2017). QS World University Rankings.. http://www.qs.com/rankings/Links ]

63. RICYT (2015). Manual de Antigua: indicadores de percepción pública de la ciencia y la tecnología. Buenos Aires: RICYT . [ Links ]

64. RICYT (2017). Indicadores. http://www.ricyt.org/indicadoresLinks ]

65. Robinson-García, Nicolás; Torres-Salinas, Daniel; Zahedi, Zohreh; Costas, Rodrigo (2014). New data, new possibilities: exploring the insides of Altmetric.com. El Profesional de la Información, 23(4), 359-366. https://doi.org/10.3145/epi.2014.jul.03Links ]

66. Rosado-Millán, María Jesús; Román-Román, Adelaida; Sanz-Casado, Elías; Berges-Torres, Mónica; Gómez-Cedillo, Adolfo; García-García, Francisco; Aguillo, Isidro (2008). Criterios de clasificación de los medios de difusión de la producción académica y científica universitaria. Madrid: ACAP. [ Links ]

67. Sánchez-Torres, Jenny; Rivera-Torres, Sandra (2009). A model for measuring research capacity using an intellectual capital-based approach in a colombian higher education institution. Innovar, 19(especial), 179-197. [ Links ]

68. SCImago Research Group (2009-2018). SIR SCImago institutions rankings. http://www.scimagoir.com/Links ]

69. Sebastián, Jesús; Bianco, Carlos; Campo-Cabal, Álvaro; Correa, Rafael; Pratt, María (2007). Manual de indicadores de internacionalización de la ciencia y la tecnología: Manual de Santiago. Buenos Aires, RICYT. [ Links ]

70. Snowball Metrics (2017). Recipe book. https://www.snowballmetrics.com/wp-content/uploads/0211-Snowball-Metrics-Recipe-Book-v7-LO.pdfLinks ]

71. Solís-Cabrera, Francisco; Milanés-Guisado, Yusnelkis; Navarrete-Cortés, Jose (2010). Evaluación de la investigación científica: el caso de Andalucía. Revista Fuentes, 10, 83-100. [ Links ]

72. Thelwall, Mike; Kousha, Kayvan (2015). Web indicators for research evaluation. Part 1: Citations and links to academic articles from the Web. El Profesional de la Información , 24(5), 587-606. http://dx.doi.org/10.3145/epi.2015.nov.04Links ]

73. Times Higher Education (2018). World university rankings. https://www.timeshighereducation.com/world-univer-sity-rankingsLinks ]

74. Torres-Salinas, Daniel; Cabezas-Clavijo, Álvaro; Jiménez-Contreras, Evaristo (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar, 21(41), 53-60. [ Links ]

75. U-Multirank (2018). Universities compared. Your way. http://www.umultirank.orgLinks ]

76. UIS (2013). Clasificación internacional normalizada de la educación: CINE 2011. Montreal: UIS. [ Links ]

77. UIS (2018). Research and development. http://uis.unesco.org/en/topic/research-and-developmentLinks ]

78. Unesco (1978). Recomendación relativa a la normalización internacional de las estadísticas de ciencia y tecnología de la Unesco. En Actas de la 20.a Asamblea General de la Unesco. París: Unesco . [ Links ]

79. Unesco (1984). Manual for statistics on scientific and technological activities. París: Unesco . [ Links ]

80. Unesco (1988). Proyecto de nomenclatura INTERNACIONAL normalizada relativa a la ciencia y la tecnología. París: Unesco . [ Links ]

81. Unesco (2010). Medición de la investigación y el desarrollo (i+d): desafíos enfrentados por los países en desarrollo. Montreal: Instituto de Estadística, Unesco. [ Links ]

82. Unesco (2016). indicadores y gráficos interactivos, spin información sobre política científica en américa latina y el caribe. http://spin.unesco.org.uy/statplanet/Web/StatPlanet.htmlLinks ]

83. Universidad de Antioquia (2012). Balance de la investigación en la Universidad de Antioquia. Medellín: Universidad de Antioquia. [ Links ]

84. Universidad de los Andes (2006-2012). La investigación en Uniandes. Bogotá: Uniandes. [ Links ]

85. Universidad Nacional de Colombia (2009). Capacidades de investigación en la Universidad Nacional de Colombia, 2000-2008. Bogotá: Universidad Nacional de Colombia. [ Links ]

86. Vanegas-Mahecha, Samuel (2002). Hacia la construcción de un modelo de indicadores que mida la relación educación-ciencia y tecnología. Bogotá: Universidad Pedagógica Nacional. [ Links ]

87. Zornic, Nikola; Bornmann, Lutz; Maricic, Milica; Markovic, Aleksandar; Martic, Milan; Jeremic, Veljko (2015). Ranking institutions within a university ba sed on their scientific performance: A percentile-based approach. El Profesional de la Información, 24(5), 551-566. https://doi.org/10.3145/epi.2015.sep.05Links ]

1Los ecosistemas involucran redes de actores que se articulan alrededor de focos estratégicos para generar y usar conocimiento en función del desarrollo social y productivo de un territorio, al respecto ver Colciencias (2016a).

2Para Freeman (1987), entendidos como una red de instituciones públicas y privadas, cuyas actividades e interacciones inician, importan, modifican y difunden nuevas tecnologías. Para Lundvall (1992) en clave de elementos y relaciones que interactúan en la producción, difusión y uso de conocimiento nuevo y útil desde el punto de vista económico que están localizados en una región determinada.

* El presente texto es resultado de uno de los componentes del proyecto “Observatorio de las actividades científicas, tecnológicas y de innovación de la Universidad de Antioquia”, ejecutada por el grupo de Investigación en Información, Conocimiento y Sociedad de la Escuela Interamericana de Bibliotecología de la Universidad de Antioquia; fue financiado por la Vicerrectoría de investigación y la Escuela Interamericana de Bibliotecología de la Universidad de Antioquia.

**Cómo citar este artículo: Molina-Molina, Silvia; Álvarez-Argaez, Sol; EstradaHernández, Jovanny; Estrada-Hernández, Margarita (2020). Indicadores de ciencia, tecnología e innovación: hacia la configuración de un sistema de medición. Revista Interamericana de Bibliotecología, 43(3), eI9. https://doi.org/10.17533/udea.rib.v43n3eI9

Recibido: 19 de Septiembre de 2019; Aprobado: 03 de Abril de 2020

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons