1. Introducción
La necesidad que tienen las universidades y demás instituciones de investigación de medir el desempeño de sus actividades científicas, tecnológicas y de innovación (CTI) obedece a la escasa disponibilidad de recursos y a la consecuente necesidad de concursar por ellos. Además, es imperativo rendir cuentas en términos de productos (volumen y visibilidad), pertinencia (aportes en el circuito del conocimiento e impacto socioeconómico) y eficacia (utilización de los recursos en relación con los demás ítems) (Callon, Courtial & Penan, 1995). Dado el estrecho vínculo de la investigación con los sectores de desarrollo científico, económico y social, la evaluación de los resultados de la ciencia y la tecnología resulta esencial para dinamizar estos tres sectores (Solís-Cabrera, Milanés-Guisado & Navarrete-Cortés, 2010). También es necesario hacer seguimiento a los planes y programas institucionales en la materia y atender los requerimientos de los decisores, los analistas (incluyendo los organismos internacionales), las instituciones que realizan actividades de CTI y el público en general (incluyendo los medios de comunicación), que suelen ser los usuarios de las estadísticas de las actividades de CTI (Cervera, 2001a) desde diferentes roles, ámbitos y propósitos. Claro que tal medición también contribuye al interés de las instituciones por mejorar su desempeño, posicionarse como referente, compararse con los líderes del sector o determinar si su quehacer está bien orientado.
Todo lo anterior obliga a las instituciones de investigación a contar con estructuras y mecanismos para medir sus actividades de CTI, dado que “las políticas de ciencia, tecnología e innovación y su gestión requieren información objetiva, confiable, oportuna y, en general, con los mayores niveles de calidad” (Cervera, 2001a, p. 7). El Grupo Asesor de Expertos Independientes sobre la Revolución de los Datos para el Desarrollo Sostenible del Secretario General de las Naciones Unidas (GAEI), en su texto fundamental Un mundo que cuenta, lo ratifica al señalar: “Los datos son el alma del proceso de adopción de decisiones y la materia prima para la rendición de cuentas” (GAEI, 2014. p. 2) y agrega: “Sin datos de alta calidad que proporcionen la información apropiada sobre las cuestiones adecuadas en el momento oportuno, el diseño, el seguimiento y la evaluación de políticas efectivas resultan casi imposibles” (GAEI, 2014. p. 4). De estos datos depende la posibilidad de aplicar indicadores, entendidos como “el valor numérico que provee una medida para ponderar el desempeño cuantitativo y/o cualitativo de un sistema, un individuo o una organización” (González & Rodríguez, 2010, p. 13). Así, los indicadores se consideran imprescindibles para medir, evaluar o caracterizar, de manera agregada y compleja, un fenómeno, su naturaleza, estado y evolución (Martínez & Albornoz, 1998), aunque se advierte que
El proceso de recopilación, tabulación o mapeo de los indicadores cualitativos y cuantitativos, así como el monitoreo de las actividades son fases iniciales de la evaluación, una vez que se han identificado los aspectos a evaluar, se han determinado los métodos para evaluarlos, y se han definido las razones para hacerlo. (Arencibia & de Moya-Anegón, 2008, p. 9).
Por tanto, se viene elaborando una serie de marcos conceptuales y métodos para la armonización internacional de la medición de las actividades de CTI, ya que su carácter global exige que la información estadística sea válida y comparable internacionalmente; de ahí los estándares estadísticos internacionales y las recomendaciones para la armonización (Ortega, 2009). De esta manera, participan organismos internacionales y regionales; autoridades nacionales en materia de actividades de CTI y educación superior; además de empresas privadas, universidades y grupos de investigación especializados en la evaluación de la ciencia (Palomares-Montero, García-Aracil & Castro-Martínez, 2008). Estos organismos y entidades diseñan estrategias tales como manuales metodológicos, observatorios y rankings, que ofrecen numerosos indicadores para medir la dinámica de la investigación (ver Tabla 1). A esto se suman varios modelos sobre capital intelectual (González & Rodríguez, 2010), propuestos para estimar todos los activos tangibles e intangibles de conocimiento de la institución que posibilitan la generación de valor.
Manual | Año/edición | Objetivo |
---|---|---|
1963/1.a edición | Ofrecer directrices sobre los métodos para la recolección de datos en relación con los recursos humanos y financieros dedicados a la I+D* | |
1970/2.a edición | Adecuarse a las normas internacionales existentes de las Naciones Unidas, tales como SCN** y la CIIU***. | |
1974/3.a edición | Recolectar datos sobre la investigación en ciencias sociales y humanas. Recolectar datos sobre la investigación en ciencias sociales y humanas. Dar mayor importancia a las clasificaciones de la ciencia y a la distribución de los presupuestos de I+D por objetivos socioeconómicos. | |
Frascasti | 1981/4.a edición | Mejorar la presentación, diseño y redacción. |
1994/5.a edición | Revisar los cambios de prioridades de la política de CTI y la evolución de los sistemas de ciencia y tecnología. | |
2002/6.a edición | Mejorar las estadísticas de I+D en el sector servicios. Cuantificar los inputs de la investigación básica, la investigación aplicada al desarrollo experimental formal e informal. Desglosar el origen de los fondos de la I+D y de la I+D externa de empresas transnacionales. | |
2015/ 7.a edición | Mejorar la presentación, cobertura y detalle en el contenido. Potenciar el análisis de las dinámicas y vínculos de los agentes a nivel micro. Examinar los procesos de globalización de la I+D y su conjunto de acuerdos. | |
Balanza de pagos tecnológica | 1990 | Recopilar y exponer información cuantitativa sobre los ingresos y egresos por tecnología. |
1992/1.a edición | Proveer un marco conceptual y metodológico para la medición de la innovación TPP**** en el sector manufacturero. | |
Oslo | 1997/2.a edición | Mostrar un marco de conceptos, definiciones y metodologías actualizado para la comparación de encuestas internacionales. Integrar nuevos indicadores a las encuestas. |
2005/3.a edición | Suministrar directrices para la recopilación e interpretación de datos sobre innovación según métodos comparables a escala internacional. | |
Patentes | 1994 | Proporcionar información básica sobre el uso de los datos de las patentes y su relación con otras estadísticas económicas, científicas y tecnológicas. |
Canberra | 1995 | Facilitar un marco conceptual para la compilación de datos sobre el stock y flujo de RHCT***** |
I+D: Investigación y Desarrollo
**SCN: Sistema de Cuentas Nacionales
*** CIIU: Clasificación Industrial Internacional Uniforme
**** TPP: Tratado Transpacífico
***** RHCT : Recursos Humanos en Ciencia y Tecnología
Fuente: tomado de Guadarrama-Atrizco y Manzano-Mora (2016, p. 23).
Todas estas iniciativas han contribuido a ampliar la perspectiva, la visión y la utilidad de los procesos evaluativos de la ciencia y la innovación en los diferentes niveles de aplicación, y, sumadas a otras variables, han hecho de la evaluación un fenómeno social complejo y dinámico (Solís-Cabrera et al., 2010). Sin embargo, a pesar de la intención orientativa y armonizadora de tales fuentes, al final resulta excesivo el volumen de indicadores cienciométricos propuestos, lo que además revela una alta diversidad e incongruencia, pues este exceso obedece a gran variedad de proponentes, metodologías y propósitos. Si bien se ha intentado elaborar índices complejos o indicadores agregados que integren varias mediciones en una sola para reducir el espectro de medición -como el indicador complejo (ArCo) de capacidades tecnológicas, el logro tecnológico del Informe de Desarrollo Humano del Programa de las Naciones Unidas para el Desarrollo (PNUD), el índice TAI y el Cuadro de indicadores de rendimiento industrial de la Organización de las Naciones Unidas para el Desarrollo Industrial (ONUDI), entre otros-, estos índices o indicadores aún implican interpretaciones complejas, no se dispone de los datos ni de las variables suficientes, las variables no son comparables en todos los contextos y no siempre es posible explicar en un solo dato el comportamiento de un sistema complejo como lo es el de la CTI; así lo evidencian Archibugi y Coco (2005).
En general, estos índices suponen un amplio conjunto de requerimientos para las instituciones de investigación que suelen optar por definir su propio banco de indicadores con el fin de atenderlos. Lo anterior significa que las instituciones no siempre están preparadas para resolver posibles demandas de información, caracterizar debidamente su propio desempeño ni brindar suficientes bases para la toma de decisiones. También ocasiona falta de consenso en los indicadores utilizados por las instituciones de investigación, lo que dificulta la evaluación individual y comparativa. A esto se suma la dispersión de fuentes y datos institucionales, muchas veces sin continuidad en el tiempo y con diferentes criterios de calidad, lo que deriva en falta de series históricas y datos imprecisos, sin homogeneidad, desactualizados o poco confiables.
Causa esencial de este problema reside en la dificultad de manejar los datos, prever cuáles de ellos serán necesarios para cuáles indicadores e insertarlos en un sistema que les dé contexto y facilite su interpretación. Sin embargo, una revisión sobre propuestas de medición confirma lo que asevera Godin (2005), cuando menciona que la literatura sobre indicadores de ciencia y tecnología se basa principalmente en listas y cuentas cronológicas de la introducción de tales indicadores en los informes de las instituciones públicas que los aplican.
Aunque algunos trabajos eran afines al propósito buscado, pues plantean formas de medir las capacidades de investigación a partir del capital intelectual (Sánchez-Torres & Rivera-Torres, 2009) o las capacidades dinámicas (Henao-García, López-González & Garcés-Marín, 2014), al final resultaron insuficientes para resolver el planteamiento del problema. Así que se buscó trascender la idea de un banco de indicadores y diseñar un sistema de medición (no de evaluación), configurado a partir cuatro condiciones: 1) una concepción que explique la problemática y el ecosistema en el que se inserta; 2) una estructura que revele la complejidad e integración de los elementos y aspectos objeto de medición, y que vele por la calidad del dato; 3) procedimientos que demuestren el funcionamiento del sistema, e 4) instrumentos que faciliten la administración y uso del sistema. Este diseño provee una mirada integral sobre las variables que inciden en el desempeño de la investigación, al combinar propuestas de capitales de conocimiento, componentes de gestión y tablas de datos (principales y auxiliares), derivadas de la compilación de numerosos indicadores y de la identificación de los datos requeridos para calcularlos. Constituye además un avance sobre los manuales metodológicos que ayudan a entender y a aplicar esos indicadores, pero que no precisan los datos que serán obtenidos ni la manera de establecer con ellos un sistema de información que facilite su interacción.
2. Materiales y método
Se trata de una investigación cualitativa, según lo explican Hernández, Fernández & Baptista (2010). En este caso, se basa en la lógica y proceso inductivo (exploración y descripción para generar perspectivas teóricas), en torno a la identificación del conjunto de datos y estrategias que subyacen en la configuración de un sistema para medir el desempeño de las actividades CTI. Su desarrollo implicó las siguientes acciones:
1.. Establecer un contexto sobre estadísticas e indicadores en actividades de CTI, evaluación de la ciencia y sistemas de medición relacionados, a partir de un ejercicio de investigación documental.
2.. Configurar un sistema de medición a partir de cuatro condiciones:
una concepción que explique la problemática y el ecosistema de la propuesta;
una estructura que revele la complejidad e integración de los elementos y aspectos que serán medidos;
procedimientos que indiquen el funcionamiento del sistema; e
instrumentos que faciliten su operación y gestión.
3.. Determinar los lineamientos para la concepción del sistema de medición.
4.. Diseñar la estructura del sistema. Con base en la metodología para el análisis de los datos cualitativos, propuesta por Fernández-Núñez (2006), se aplicó la siguiente secuencia:
Obtener la información. En este paso, se seleccionaron fuentes de información directamente relacionadas con indicadores de CTI, que cumplieran criterios de autoridad, diversidad de estrategias y ámbitos de acción (ver Tabla 2).
Capturar, transcribir y ordenar la información. Para esto, se compilaron los indicadores de CTI propuestos por las fuentes seleccionadas y se registraron en una hoja de cálculo con los respectivos datos de la fuente.
Codificar. A cada indicador se le asignó el capital de conocimiento correspondiente, de acuerdo con las siguientes categorías:
Capital relacional. Comprende la interacción universidad-comunidad; universidad-empresa; universidad-Estado; universidad-comunidad académica y científica; interacción interna.
Capital humano. Referido al personal dedicado a investigación y desarrollo (I+D).
Capital estructural. Incluye capacidades en superestructura, infraestructura, información y gasto en I+D.
También se identificaron los asuntos específicos que medía cada indicador; se asignaron palabras clave tomadas de tesauros y listas de autoridad y se precisaron los datos necesarios para aplicar al sistema de medición.
d.. Integrar. Un análisis de los indicadores develó dos grupos de categorías: uno referido al asunto específico que miden los indicadores y otro relacionado con aspectos comunes de la medición. El primero dio lugar a las tablas principales y el segundo, a las tablas auxiliares.
Las tablas principales fueron elaboradas con base en ocho categorías identificadas como asuntos específicos: contexto, personal I+D, interacción, proyectos, producción, superestructura, infraestructura y gasto. Cada una de ellas conformó una tabla principal, teniendo en cuenta criterios de recurrencia, su incidencia en la generación de indicadores y el volumen de datos implicados. Cada tabla principal reúne los datos necesarios para la aplicación de los indicadores de su categoría e incluye las fuentes potenciales de información en cada caso.
Las tablas auxiliares se conformaron según los aspectos tradicionalmente comunes a los indicadores CTI y que sirven para especificar los datos de las tablas principales; es decir, áreas y categorías temáticas, objetivos socioeconómicos, sector, unidad de investigación, ámbito geográfico y nivel de formación.
Además de las tablas principales y auxiliares, elementos esenciales de la estructura propuesta, en el sistema de medición se incluyeron los capitales de conocimiento y los componentes de gestión, considerando su tradición y pertinencia para la presentación de este tipo de indicadores, además de su uso habitual para obtener una mirada panorámica del desempeño de una institución de investigación. Los capitales de conocimiento se definieron en el punto c) de este apartado.
Los componentes de gestión fueron entendidos de la siguiente manera:
Capacidades. Miden el potencial de la institución, en términos de los recursos con que cuenta para la investigación.
Procesos. Referidos a las actividades de ciencia, tecnología e innovación que lleva a cabo la institución de investigación.
Resultados. Productos derivados de esos procesos y de las respectivas capacidades institucionales que ellos implican.
5.. Definir los procedimientos. Una vez establecidas las tablas, se adelantaron ejercicios para probar su funcionamiento y comprobar que su combinación permitía la aplicación de un gran número de indicadores. Para su presentación, se estableció una matriz que combina los capitales de conocimiento con los componentes de gestión, además de una columna para registrar logros cualitativos, poco considerados en la literatura consultada. Obviamente, en este proceso es imprescindible garantizar la calidad de los datos, determinada por la validez de la fuente y la normalización de la información, según pautas prestablecidas, además de los criterios de relevancia, exactitud, oportunidad y puntualidad, accesibilidad y claridad, comparabilidad, coherencia y completitud (Arribas, Casado & Martínez, 2003), pero esto escapa al alcance de este trabajo.
6.. Identificar los instrumentos. Las tablas principales y auxiliares son los instrumentos básicos del sistema, pero ellos operan en sintonía con los sistemas de información institucionales y las herramientas informáticas más apropiadas para la medición de la investigación. En este punto, se identificaron los instrumentos, los agentes responsables de los datos y las “fuentes potenciales de información”, como se indicó en las tablas principales.
3. Resultados
En consonancia con lo anterior, se propone un sistema de medición de las actividades de CTI para una institución de investigación, especialmente la universitaria, configurado a partir de las cuatro condiciones mencionadas (concepción, estructura, procedimientos e instrumentos), cuyo desarrollo se explica como sigue:
3.1. Concepción
Antes de establecer un sistema de medición de las actividades de CTI, es preciso aclarar el tipo de cuestiones que plantea la Figura 1. La respuesta a las preguntas permite precisar la necesidad, el alcance y el enfoque del sistema de medición, y le dan solidez.
Un análisis especial tiene el ecosistema de investigación, definido por Colciencias y los Sistemas Nacionales de Innovación (SNI)1 y propuesto por Freeman (1987) y Lundvall (1992) desde la década de los ochenta,2 entendido como una red de actores que se articulan alrededor de focos estratégicos para generar y usar conocimiento en función del desarrollo social y productivo de un territorio (Colciencias, 2016a). Identificar los actores involucrados es crucial, porque cada uno de ellos tiene diferentes necesidades de información y a ellos debe obedecer el sistema de medición. Aquí se presenta el caso de una universidad en el que se diferencian tres entornos con los respectivos usuarios del sistema, así como sus productores, ubicados en los sectores educación superior, productivo, privado, instituciones privadas sin fin de lucro y extranjero (Cervera, 2001a).
3.2. Estructura
Establecida la concepción, el diseño de la estructura sigue la condición de revelar la complejidad e integración de los elementos y aspectos que serán medidos, para lo cual se toma como símil un cubo Rubik© (Figura 2).
Este sugiere las numerosas combinaciones que permite para responder a los indicadores requeridos, sin necesidad de predeterminarlos. En conjunto, el cubo responde a un vasto número de indicadores de CTI, atendiendo coyunturas, propósitos y requerimientos de los actores del ecosistema.
Fuente: elaboración propia a partir de Centro de Investigación sobre la Sociedad del Conocimiento (CIC, 2003); Cervera (2001a) y fuentes citadas en la Tabla 1
La estructura incluye las tablas principales y auxiliares que contienen los datos detrás de los indicadores, detallados más adelante. También comprende capitales de conocimiento, componentes de gestión y logros cualitativos, como referentes para el seguimiento y la medición, y como guía para presentar el grupo de indicadores que exijan las circunstancias. Cada uno de estos elementos se explica así:
3.2.1. Tablas principales
Conjunto de ocho tablas que presentan los datos requeridos en cada categoría, agrupados por afinidades. En la última columna se sugieren algunas fuentes potenciales de información para su respectiva recopilación.
Contexto. Permite conocer la posición relativa de la institución respecto a su entorno inmediato o sus propias capacidades. Como se aprecia en la Tabla 3, son necesarios los datos de población y presupuesto de la propia institución, además de los correspondientes a los ámbitos geográficos o institucionales de referencia.
Personal de I+D. La Tabla 4 presenta los datos referidos al capital humano dedicado a la I+D. Implica contar con datos generales de identificación, además de formación académica, vínculo con la institución y vínculo con la investigación. Al respecto, existen guías para la clasificación de los oficios de la Organización International del Trabajo (OIT, 2012); la educación (Unesco Instituto de Estadística [UIS], 2013); y los rangos de edad, como, por ejemplo, los elaborados por la Organización de las Naciones Unidas (ONU, 1982).
Interacción. Revela la capacidad que tiene la institución para integrarse a su entorno y participar en redes de colaboración de variada índole con comunidades, empresas privadas y estatales, comunidades académicas y científicas, y actores de su propio sistema de investigación. Está muy relacionada con las tablas principales de proyectos y producción, que revelan la colaboración. Como describe la Tabla 5, requiere de datos sobre la modalidad de la interacción, y sobre las instituciones y personas que participan en ella.
Proyectos. Son esenciales en el proceso de medición y sobre ellos recae un buen número de indicadores que revelan la capacidad para la gestión de la investigación. Exigen datos de información general sobre los proyectos, además del talento humano y la financiación comprometidos en ellos, según muestra la Tabla 6.
Producción. Esta categoría es la más utilizada para medir el desempeño de la investigación y suele contrastarse con un buen número de indicadores. Sobre ella abunda la literatura referida tanto a los indicadores bibliométricos (Prat, 2010; Maltrás, 2003) como a los webométricos (Aguillo & Granadino, 2006) y a los altmétricos (Torres-Salinas, Cabezas-Clavijo & Jiménez-Contreras, 2013; Robinson-García, Torres-Salinas, Zahedi & Costas, 2014; Thelwall & Kousha, 2015). Los tipos de productos de investigación pueden consultarse en Rosado et al. (2008) y en Colciencias (2017). Da cuenta de los resultados de investigación y requiere datos sobre el producto mismo, los autores, los editores y los sistemas de difusión y visibilidad utilizados, como muestra la Tabla 7.
Superestructura. Revela la naturaleza de la organización como institución de investigación y el interés por fortalecer sus capacidades, por lo cual exige datos sobre programas académicos, fomento a la investigación, estructura orgánica y normatividad, sistemas y recursos de información, tal como enseña la Tabla 8.
Infraestructura. Comprende los datos enunciados en la Tabla 9, relacionados con instalaciones, equipos, recursos basados en conocimiento, recursos basados en tecnologías de la información y la comunicación y servicios utilizados por la comunidad científica para realizar investigación de alto nivel en sus respectivos campos. La European Science Foundation (ESF) ofrece pautas importantes al respecto, incluidas las humanidades (ESF, 2011, 2013).
Gasto. Referido a la inversión en actividades de CTI; por tanto, la Tabla 10 contiene datos sobre los recursos que demandan la investigación y el desarrollo, el apoyo a la formación y capacitación, los servicios científicos y tecnológicos, la administración y otras actividades de apoyo a la investigación.
3.2.2. Tablas auxiliares
Los aspectos específicos con los que pueden combinarse las tablas principales para lograr un mayor nivel de información sobre los ítems de medición se muestran en la Tabla 11.
3.2.3. Capitales de conocimiento
Esta estructura permite presentar los indicadores según los capitales de conocimiento, de manera que la institución de investigación pueda advertir dónde están sus fortalezas o debilidades respecto al capital relacional, humano y estructural.
3.2.4. Componentes de gestión
Solos, o en combinación con los capitales de conocimiento, los componentes de gestión facilitan la presentación de los indicadores conforme al tradicional modelo lineal que distingue unos insumos o capacidades, unos procesos y unos resultados. En este caso, también se consideran resultados de logros, tales como premios o reconocimientos.
3.3 Procedimientos
Siempre con referencia a la concepción del sistema y teniendo en cuenta que la flexibilidad es una de sus características fundamentales, la estructura diseñada permite proporcionar indicadores de acuerdo con los usuarios, los propósitos o las coyunturas del momento. Dado que obvia el típico banco de indicadores, los datos compilados se engranan para responder a múltiples requerimientos. Esto se logra a partir de los datos de las tablas principales que se especifican utilizando las tablas auxiliares. Los indicadores resultantes se presentan en la matriz de indicadores, tal como lo ilustra la Figura 3, que representa el funcionamiento del sistema.
Tabla auxiliar | Fuentes |
---|---|
Áreas y categorías temáticas | OCDE (2015) Unesco (1988) Servicios de indización y resumen Áreas y programas nacionales Áreas y programas institucionales |
Sector | OCDE (2015) |
Ámbito geográfico | ISO 3166 (ISO, 2013) |
Nivel de formación | UIS (2013) |
Objetivo socioeconómico | Eurostat (2008) |
Unidad de investigación | Snowball Metrics (2017) ítem “Organizations” |
Fuente: elaboración propia.
Por ejemplo, con base en los datos de tres tablas principales, Personal I+D, Interacción y Producción, combinadas con las tablas auxiliares, es posible responder a un buen número de indicadores, como los siguientes:
Porcentaje de redes, consorcios y asociaciones científicas internacionales de investigación, en las que participa la Universidad, por el total de investigadores. Manual de Santiago (Sebastián, Bianco, Campo-Cabal, Correa & Pratt, 2007).
Número de colaboraciones (tipo de socio, tamaño y sector, ubicación geográfica, disciplina científica del académico). Manual de Valencia (OCTS-OEI, 2017).
Colaboración entre universidad e industria para la investigación. The global innovation index (Cornell University, INSEAD y Organización Mundial de la Propiedad Intelectual [OMPI], 2015).
Número de acuerdos de colaboración con organismos públicos. Modelo Intellectus (CIC, 2003).
Antigüedad media de las alianzas (convenios) (CIC, 2003).
Porcentaje de investigadores nacionales que participan en asociaciones científicas internacionales respecto al total de investigadores del país. Manual de Oslo (OCDE y Eurostat, 2007).
Colaboración nacional e internacional. SCImago Institutions Ranking (SCImago Research Group, 2009-2018).
Siguiendo el mismo ejemplo, los resultados obtenidos pueden llevarse a la matriz que muestra la Figura 4, en la que se relacionan los capitales de conocimiento con los componentes de gestión parar ofrecer una mirada integral sobre la dinámica de la institución de investigación, identificando fortalezas y debilidades de su capital intelectual, el equilibrio entre los componentes de gestión o bien la relación entre capitales y componentes de gestión que inciden en el desempeño de la investigación.
Sobre esta matriz se puede hacer seguimiento a un conjunto de indicadores seleccionados, por ejemplo, para un plan de acción institucional, a la vez que pueden tenerse matrices adicionales para responder a otros conjuntos de indicadores propios de procesos de autoevaluación, acreditación, referenciación o rendición de cuentas, entre otros casos. También es útil en la selección de los indicadores de interés para una audiencia específica, como la presentación de la institución ante pares internacionales o, simplemente, para atender los requerimientos puntuales de información de otras instancias u organismos.
Finalmente, volviendo a la Figura 2 se demuestra cómo la estructura representa un sistema de medición que sugiere numerosas combinaciones a partir del manejo de los datos y, por tanto, constituye un gran potencial para mejorar las capacidades de medición de la investigación, sin perder de vista la comparabilidad, como función imprescindible.
3.4. Instrumentos
En el sistema de medición propuesto confluye un conjunto de instrumentos que comprende desde las matrices de datos en hojas de cálculo hasta los modelos de entidad-relación necesarios para el diseño de un aplicativo informático, que facilite la gestión y presentación de los indicadores, ajustados a la concepción y estructura previamente definidas. Es claro que se deben aprovechar los sistemas de información institucionales existentes, además de procurar la interoperabilidad consiste más de información externos, que sirvan al propósito.
Gracias a desarrollos informáticos, para bases de datos no estructurados y Big Data como Spark, Hadoop, Apache Hive, entre otras, se cuenta con variedad de aplicaciones, programas y recursos tecnológicos para el funcionamiento de sistemas de medición como el presentado, incluyendo técnicas complejas para la visualización de la información, amigables para los usuarios y con resultados fácilmente comprensibles.
Como se indica en cada tabla principal, es necesario identificar las fuentes potenciales de información, que por lo general coinciden con las instancias que tradicionalmente son responsables de generar los datos requeridos para cada asunto específico. Esto es crucial para garantizar la normalización y calidad del dato, para precisar las instancias que contribuyen a la conformación del sistema y para asignar responsabilidades en función del sistema de medición.
4. Discusión
Se reconoce que el sistema de evaluación de indicadores de CTI en Colombia desarrollado hasta el momento por Colciencias (hoy MinCiencias) tiene como parte de sus aspectos positivos el interés por hacer una medición efectiva de la ciencia en nuestro país; la sistematización en el registro y seguimiento de la información; el interés por incorporar mediciones comparables entre instituciones, organismos y sociedades; la instalación de capacidades, y la promoción de una cultura de la medición en los diferentes actores que conforman el sistema. No obstante, también se reconocen aspectos que deberían abordarse de cara a consolidar un sistema integral de medición que pueda tener una mayor apropiación por las instituciones, organizaciones y organismos partícipes. Como asuntos relevantes por mejorar se destacan el enfoque diferencial y la pertinencia de las métricas, la sistematicidad en la medición y los ámbitos de medición en los que se centra el sistema actual de medición.
En tal sentido, los indicadores de CTI de los que hoy se dispone tienen una orientación a la generalización de la evaluación de procesos de generación y transferencia de conocimiento entre países, instituciones, áreas y disciplinas del conocimiento; sin reconocer, en muchos casos, la evolución histórica, los contextos y las naturalezas particulares de los actores del sistema de CTI, por lo que al momento de presentarse análisis comparativos se perciben niveles de insatisfacción frente a mediciones con raceros comunes ante situaciones diferentes; esto no significa que no sea relevante hacer comparaciones, pero los indicadores y mecanismos de medición sí deberían trascender hacia instrumentos de mayor pertinencia en relación con el carácter diferencial de todos los actores y componentes del sistema para mejorar la comparabilidad.
Por su parte, la alta dependencia del sistema de CTI de los actores de decisión en cada período de gobierno en nuestro país ha generado cambios reiterados en criterios, instrumentos y prácticas de medición del CTI, lo que ha afectado la trazabilidad y homogeneidad de las evaluaciones individuales y comparadas y ha limitado la posibilidad de realizar análisis descriptivos, prescriptivos y predictivos de fenómenos del sistema. Un sistema de medición debe garantizar sistematicidad en la medición, a partir de históricos de datos estructurados y representativos que permitan inferencias con mayores niveles de validez y confiabilidad; estos análisis en términos de los indicadores CTI aún son incipientes.
Por último, debe ponerse en discusión la naturaleza y alcance de los indicadores para CTI; en este orden de ideas, estos indicadores tienen una fuerte orientación hacia la medición de procesos y productos, mientras que su alcance es bajo en términos de la medición de resultados e impactos. Quizá podrá argumentarse la dificultad de medir dichos ámbitos, el tiempo que conlleva o los recursos que implica (que puede ser válido), pero lo que sí es cierto es que el sistema de medición para CTI debe procurar el reconocimiento y evaluación integral de todas sus dimensiones, y lograr trascender de la medición de los medios hacia la medición de los fines, puesto que allí se evidencia el valor real de las transformaciones generadas por las actividades de CTI.
Es entonces en la pertinencia, en el valor diferencial, en la sistematicidad y en el alcance de las mediciones de CTI que futuros estudios e investigaciones deberán centrarse para llegar a un verdadero sistema de medición integral.
5. Conclusión
El sistema propuesto representa un avance en la forma de medir las actividades CTI, en cuanto ofrece las bases para establecer una estructura conceptual, un manejo versátil de indicadores CTI a partir de los datos y unos modelos de entidad-relación para el diseño de un aplicativo informático. El valor que genera el trabajo respecto a otros similares está en la mayor capacidad de respuesta frente a demandas de medición y un sistema de información integral. Aunque algunas propuestas superan la lista de indicadores, al basarse en un modelo teórico o proponer un modelo de medición, terminan siendo limitadas y más rígidas. El sistema propuesto es más dinámico en ese sentido.
El mismo sistema reconoce los datos requeridos para la aplicación de un gran número de indicadores de ciencia y tecnología de los ámbitos internacional, regional, nacional e institucional, superando un banco específico y permitiendo la inserción de la institución en variados contextos geográficos, temáticos o sectoriales. Al enfocarse en los datos, se sintoniza con las tendencias actuales y contribuye al llamado de las Naciones Unidas para movilizar la revolución de los datos.
Facilita un método flexible que se ajusta a las características de las instituciones de investigación, permite responder a los requerimientos de información de los actores involucrados en el ecosistema de CTI (independientemente de los órganos de gobierno o coyunturas especiales) y adoptar el diseño de nuevos indicadores o cambios en la dinámica de la comunicación científica.
Las tablas constituyen el insumo para un sistema de información cienciométrico, con claves primarias como identificadores únicos. También facilitan la interoperabilidad de los sistemas de medición entre instituciones de investigación, dada la estructura con base en datos (campos) más que en indicadores.
La estructura de medición propuesta obvia la selección previa de indicadores y el inconveniente de priorizarlos y validarlos ante grupos focales. Esta podría minimizar la elaboración de protocolos y reducir los costos, lo que podría contribuir a su elaboración.
El sistema presentado refleja la complejidad de las actividades de CTI y las características propias de una institución de investigación. Ofrece una mirada integral sobre las variables que inciden en el desarrollo global de la CTI y armoniza con estructuras de medición que buscan una mirada panorámica sobre los capitales de conocimiento y componentes de gestión involucrados en la investigación.
Para todas las instituciones de investigación, lo propuesto significa la posibilidad de implementar sistemas de medición de las actividades de CTI basados en indicadores; para el sector en el que se inscribe, la posibilidad de establecer sistemas de medición comparables entre las instituciones que lo conforman, y para las propias instituciones, la posibilidad de establecer sistemas particulares de medición que atiendan sus singularidades.