Métodos cuantitativos

En Colombia, para medir la eficiencia en la investigación científica, ^{Arenas et al. (2004}) usaron los indicadores de grupo propuestos por Colciencias (actualmente MinCiencias), así como también el indicador de producción y productividad para calificar a grupos de investigación y su dedicación.

Este indicador es InvTC = Tiempo * Dedicación * E; donde:

Por su parte, para España, ^{Muñiz et al. (2004}) ordenaron la información en diagramas de frecuencia y circulares para determinar porcentajes de resultados como punto de partida, con el fin de realizar el presupuesto general de la Agencia Nacional de Evaluación y Prospectiva con sus grupos de investigación en las universidades españolas.

^{Restrepo y Villegas (2007}) usaron la herramienta matemática de análisis envolvente de datos (DEA, por sus siglas en inglés) para ampliar modelos básicos y calcular la eficiencia de los grupos de investigación colombianos. Por su parte, ^{Pino-Mejías et al. (2010}) evaluaron resultados también a partir de los recursos de los grupos de investigación. Con el propósito de obtener indicadores de eficiencia relevantes para la estructuración de las políticas de promoción de investigación y desarrollo, realizaron gráficos de dispersión de variables y frecuencia de grupos referenciados.

Al considerar que la cienciometría emplea matemática y estadística para estudiar resultados de publicaciones científicas, es posible entenderla como una herramienta de la sociología de la ciencia. En este sentido, ^{Arencibia y Moya (2008}) recurrieron a ella para analizar el incremento numérico de productos de investigación, la evolución de disciplinas y subdisciplinas, el vínculo con la tecnología, los cambios de paradigmas, los medios de interrelación, la eficiencia e innovación de los investigadores, entre otros.

Para analizar e identificar las capacidades requeridas en los grupos de la Universidad Nacional de Colombia, ^{Higuita-López et al. (2011}) encuestaron líderes de los grupos de investigación con un enfoque en habilidades generales asociadas al proceso de investigación y a la innovación. Por su parte, mediante la estimación de diversos indicadores de género y el uso de gráficas por tópicos, ^{Gutiérrez (2012}) hizo una aproximación numérica a la diferencia de género y la discriminación por departamentos en el rol de líderes de los grupos de investigación relacionados con economía y administración en Colombia.

^{Berche et al. (2015}) consideran que se debe llevar a cabo un ejercicio de evaluación de la investigación en física y matemáticas aplicadas para identificar el tamaño ideal que debe tener un grupo de investigación para desarrollar sus actividades de la mejor manera, mediante el uso de indicadores cuantitativos. Por otro lado, ^{Rueda y Rodenes (2016}), mediante un método deductivo, recolectaron información, llevaron a cabo encuestas y evaluaron grupos de investigación mediante los índices de productividad, producción de formación y producción de divulgación, para identificar su rendimiento y gestión de actividades.

^{Pavas (2016}) estudió las salidas de los grupos de la Universidad Nacional de Colombia obtenidas en la convocatoria de Colciencias con histogramas y análisis de frecuencias y productividad, lo que permitió clasificar a los grupos por su desempeño a través del tiempo. Adicionalmente, ^{Rodríguez y Gómez (2017}), mediante indicadores de los productos de investigación de los grupos, determinaron sus dinámicas de publicación considerando cálculos de centralidad, densidad y tamaño de red por medio de bases de datos. Para ello utilizaron el software Pajek, que permite encontrar clústeres, analizarlos, extraer vértices de la red y mostrarlos separadamente, además de agrandar y encoger esos clústeres para profundizar en las relaciones en su interior.

Finalmente, el análisis a grupos de investigación en Brasil desarrollado por ^{Caliari y Chiarini (2018}) distinguió canales de información y procedimientos para el desarrollo de competencias científicas y tecnológicas; clasificaron los grupos mediante un método estadístico llamado QCA, que utiliza álgebra booleana para identificar factores (o variables independientes) asociados con un resultado. Un fin del QCA es normalizar elementos de comparación usando sistematización y ordenamiento de grupos para encontrar elementos comunes y divergentes.

Métodos cualitativos

^{Sauer y Draugalis (2000}) consideran que la evaluación del trabajo investigativo debe ser analítica, contrastando el trabajo a nivel grupal para identificar puntos relevantes. Según ^{Restrepo (2003}), la investigación formativa es la base de métodos y prácticas pedagógicas para los docentes, por lo cual el análisis cualitativo y analítico ha demostrado cierta efectividad al evaluar la investigación.

Los grupos de investigación en Colombia, según ^{Londoño (2005}), cuentan con esquemas organizativos que permiten analizar los elementos que resultan determinantes para su desarrollo, además de dar a conocer los resultados en publicaciones y sistemas de formación académica. Por su parte, ^{Rodríguez et al. (2009}) plantean actividades a partir de la categorización, la elaboración y publicación de productos de investigación desarrollados en equipos que trabajan de forma cooperativa, con la mejora de habilidades instrumentales, personales y sistémicas en temáticas de formación y psicología. Asimismo, ^{Anderson (2012}) propone hacer uso de grupos focales en la evaluación de una iniciativa específica de aprendizaje y enseñanza entre un grupo de estudiantes mediante encuestas y entrevistas, lo que constituye un enfoque netamente cualitativo.

En España, ^{Romay y García (2013}) realizaron censos para identificar la cantidad de grupos de investigación; sin embargo, cabe destacar que este fue un análisis netamente cualitativo que pretendía identificar las iniciativas que tienen los centros de investigación y los departamentos para trabajar en proyectos de investigación concretos. Por otro lado, ^{Hoon y Heo (2014}) utilizaron análisis de redes para evaluar si el programa del Centro de Investigación de Ciencia/Ingeniería (primer programa de investigación patrocinado por el Gobierno de Corea) ha tenido éxito en la formación de redes de colaboración de investigación que promuevan la investigación grupal interdisciplinaria; los resultados muestran que las redes de colaboración implementadas por el programa conducen a dinámicas relaciónales que estimulan la difusión del conocimiento en diversas áreas y combinan actividades de investigación relacionadas con diferentes capacidades y experiencia en ciencia e ingeniería.

^{Contreras-Gutiérrez et al. (2021}) evaluaron los grupos de investigación desde un enfoque gerencial de proyectos, con lo cual identificaron que los grupos cuentan con prácticas de gerencia empíricas para definir el presupuesto y el cronograma, y se enfocan en el cumplimiento del alcance priorizando el logro de los productos por encima del cumplimiento de tiempos y presupuesto.

Según ^{Di Bello (2015}), es posible analizar la perspectiva y el enfoque de los grupos de investigación académicos en Brasil mediante el uso de avances en ciencia y tecnología. Cada grupo crea su identificación y sentido de pertenencia a través de una perspectiva multirreferencial, teniendo en cuenta su vínculo con otras áreas de conocimiento, temáticas comunes, objetos de investigación y entornos en las universidades brasileñas (^{Sime, 2017}).

Para ^{Winfield et al. (2014}), según el análisis de entrevistas a miembros y líderes académicos, la gestión de calidad y la importancia de los productos de investigación de los grupos depende de nuevos modos de producción escrita. En este sentido, el estudio realizado por Monzerrat y Gómez (2015) acerca de la gestión del conocimiento en los grupos de investigación de una IES de Colombia se basó en entrevistas a coordinadores de grupos de investigación, en busca de impulsar acciones que velen por el almacenamiento y uso de conocimiento.

La evaluación hecha por ^{Matabanchoy et al. (2018}) se realizó con análisis numéricos que lograron una aproximación a las opiniones e ideas de los miembros del grupo en relación con su vínculo y vivencia de la investigación. A partir de ello, se obtuvo una comprensión de la situación y su representación. Recolectaron información a partir de una entrevista estructurada con preguntas abiertas, y también se construyó una matriz de debilidades, oportunidades, fortalezas y amenazas (DOFA) para conocer el estado actual del grupo y actualizar su plan estratégico.

Finalmente, ^{Rodríguez y Martínez (2018}) adoptaron una metodología cualitativa con estudio de caso mediante observación participante, lo que implicó estudiar y conocer las experiencias de los docentes a través de la entrevista, la observación, las historias de vida, las grabaciones, los diálogos informales, las producciones textuales, entre otras fuentes.

Métodos mixtos

En Colombia, ^{Conde et al. (2010}) realizaron un estudio descriptivo para identificar el proceso de aprendizaje en distintos niveles: individual, grupal y organizacional. Formularon preguntas para cada nivel de acuerdo con el entorno de investigación en la Universidad del Cauca compartiendo escala. Por su parte, ^{Valero y Patiño (2012}) evaluaron los grupos de investigación del área contable en dos sentidos: cualitativamente, en busca de dar fundamentación teórica a cada aspecto, y cuantitativamente mediante análisis estadístico.

^{Vélez et al. (2014}) hicieron una investigación documental como técnica exploratoria previa al análisis cuantitativo de las seis universidades mejor posicionadas en el país según el Sistema Nacional de Ciencia, Tecnología e Innovación. Por su parte, ^{Escobar et al. (2016}) aplicaron una metodología mixta con revisión documental, grupos focales, indicadores para capital (humano, estructural y relacional), escala de comparación a dirigentes y matriz DOFA, con el fin de identificar los ítems que permiten a los grupos evolucionar hacia la evaluación real del impacto social de los procesos y resultados, de modo que trasciendan la cienciometría y logren cumplir con el propósito social de la investigación.

Para ^{Velasco et al. (2012}), evaluar la investigación requiere gestionar y planificar los recursos asignados a ella, ya que esto permite establecer la eficiencia de la investigación y su impacto social. Para ello, usaron indicadores bibliométricos cuantitativos (de actividad) y cualitativos (de impacto). En este mismo sentido, ^{Altopiedi et al. (2015}) combinaron un tratamiento estadístico con estudios de casos para describir los grupos de investigación y su funcionamiento.

Por su parte, con el propósito de identificar los elementos que afectan el funcionamiento y rendimiento de los grupos de investigación, ^{Durand (2017}) plantea actividades de indagación científica desde la perspectiva cualitativa, investigación documental y entrevistas; de igual manera, se presentan informes estadísticos periódicos, informes por departamentos y planes para evaluar los grupos.

Finalmente, ^{Rodríguez et al. (2017}) recurrieron a indicadores bibliométricos periódicos tanto cuantitativos como cualitativos. Los primeros están relacionados con la cantidad de productos de investigación por autor y/o grupo de autores, y los segundos, con el movimiento de dichos productos en bases de datos científicas.

Primera fase: medición de la eficiencia

En concordancia con ^{Moodie (2012}), que afirma que la evaluación cuantitativa es eficaz y más favorable para el investigador, y considerando que contar con indicadores cuantitativos para evaluar el cumplimiento de las actividades de las IES facilita a la dirección la toma de decisiones (^{Buitrago et al., 2017}), la primera fase corresponde a la medición cuantitativa de la eficiencia de cada uno de los grupos. Para ello se recurrió a la metodología DEA, dado que, por su objetividad, reduce el posible sesgo en las evaluaciones.

Según ^{Espitia et al. (2017}), el método DEA es un modelo de programación lineal especial no paramétrico que permite medir y comparar la eficiencia relativa de distintas unidades que usan recursos equivalentes (entradas) y producen resultados también equivalentes (salidas), aunque en distintas cantidades. Además, ^{Buitrago et al. (2017}) señalan como sus principales ventajas las siguientes: permite usar varias entradas y salidas; las ponderaciones de las variables no dependen del evaluador, lo que evita la subjetividad; evita la carga de ajustarse a una función predeterminada para evaluar; facilita el establecimiento de metas factibles; señala referentes para las unidades con resultados ineficientes; además, permite tener variables con diferentes unidades de medida.

Para aplicar un modelo DEA se debe definir las unidades sobre las que se efectuará la medición (denominadas DMU por las siglas de decision making unit), que en este caso corresponden a los grupos de investigación científica del Ejército Nacional de Colombia. Por faltantes en la cantidad de información requerida, y siguiendo la recomendación de expertos de la Dirección de Ciencia y Tecnología del Ejército (DITEC), fue necesario excluir del análisis cinco grupos que no han recibido (de manera individual) ningún tipo de inversión en proyectos o laboratorios, pese a ser apoyados económicamente para la contratación de asesores de investigación y desarrollar proyectos solidarios.

Para la medición de la eficiencia relativa de los 19 grupos de investigación del Ejército que han contado con financiación de proyectos de investigación y/o inversión en laboratorios, se decidió, de acuerdo con los expertos, implementar modelos DEA orientados a salidas; es decir, una medición centrada en pretender incrementar las cantidades de las salidas (productos de cada grupo), pero sin consumir más cantidad de las entradas (o reducirlas si es posible).

Los modelos CCR -denominado así por sus autores Chames, Cooper y Rhodes (^{Chames et al., 1978})- y BCC -por sus creadores ^{Banker, Chames y Cooper (Banker et al., 1984})- orientados a salidas buscan maximizar la expansión radial que puede hacerse sobre el vector de salidas de una DMU, de forma que llegue a una frontera Pareto eficiente definida por las DMU 100% eficientes. El modelo CCR considera retornos constantes de escala: maximizar 0_Q, sujeto a: XλT ≤X0 ;YλT ≥θ₀ Y₀ ; λ≥0;mientras que el modelo BCC considera retornos variables de escala. Para ello, al modelo CCR debe agregarse la restricción 1λ^T = 1. Cada columna de la matriz X contiene las m salidas de una DMU; la matriz Y contiene las r salidas de las n DMU (una columna por cada DMU); el vector X₀ tiene las salidas de la DMU evaluada; Y₀ es el vector con las salidas de la DMU evaluada; A es un vector con las n variables que representan los multiplicadores o pesos de cada DMU en la evaluación, y 0₀ es la máxima expansión que puede hacerse al vector de salidas de la DMU evaluada (la cual se identifica con el subíndice cero). Los modelos DEA deben solucionarse para cada una de las DMU y la eficiencia correspondiente en cada caso está dada por 1/0₀. En la solución obtenida para cada DMU, los valores del vector X que sean diferentes a cero indican que la DMU asociada a ese valor sirve de referente para la DMU evaluada (el valor del componente mide la importancia de este referente).

La siguiente etapa del DEA correspondió a la definición de las entradas y salidas que se usan en el modelo. Al momento de determinar el número de entradas y salidas, es útil tener presente algunos criterios para calcular la relación existente entre estos y el número de unidades comparadas. En este sentido, ^{Fitzsimmons y Fitzsimmons (2004}) señalan que se debe tener una cantidad de unidades (DMU) que sea como mínimo el doble del total de variables de entrada y salida involucradas. ^{Cooper et al. (2007}) también sugieren que esta cantidad sea al menos el valor máximo entre la multiplicación de entradas y salidas y el triple del total de estas. Ello implica que para este caso en particular se deben tener mínimo siete entradas y salidas en total.

Una dificultad comúnmente encontrada para la aplicación del DEA es disponer de la misma información para todas las DMU. Por ello se tuvo que definir entradas y salidas de tal forma que se mantuviera en el análisis la mayor cantidad de grupos posible de los validados por miembros de la DITEC. De esta forma, las tres entradas seleccionadas a partir de la información disponible en los resultados de las convocatorias de Colciencias (hoy MinCiencias) y el Observatorio de Ciencia y Tecnología (cuyas estadísticas descriptivas se relacionan en la Tabla 1) son:

Las cuatro salidas a estudiar (cuyas estadísticas descriptivas se relacionan en la Tabla 2) son:

Una vez claras las unidades de comparación, las entradas y salidas a incluir, los modelos DEA a implementar y la información recolectada, se procedió a correr el modelo CCR y BCC para cada DMU en el software MaxDEA para obtener los resultados relacionados con la eficiencia relativa de cada grupo (Tabla 3).

Segunda fase: contraste de resultados

Para la segunda fase se contrastaron los resultados de la primera fase con el fin de encontrar fortalezas y oportunidades de mejora. La última columna de la Tabla 3 presenta los grupos de investigación eficientes que sirven de referentes de comparación para cada uno de los grupos con eficiencias relativas inferiores al 100 % de acuerdo con el modelo CCR. Entre más grande es el valor del respectivo multiplicador (λ), más importancia toma la DMU referente. No obstante, de acuerdo con expertos de la DITEC, se debe considerar elementos adicionales que permitan determinar si en la práctica es viable trabajar con los referentes encontrados, teniendo en cuenta afinidades entre grupos, la naturaleza del grupo que diferencia el objetivo de sus resultados (si son parte de IES o pertenecen a unidades militares), el área de conocimiento que condiciona los tipos de productos generados y la necesidad de inversión. Con esto se puede entender que, por ejemplo, un grupo que se dedique a la producción de prototipos y patentes se demorará mucho más en la generación de nuevo conocimiento.

Los resultados muestran lo siguiente:

La Tabla 4 resume las eficiencias calculadas con cada modelo y el nivel de maduración correspondiente a cada DMU, organizados de mayor a menor. Se puede observar que los grupos con nivel de madurez superior de eficiencia pertenecen indistintamente a las áreas de conocimiento en ciencias sociales e ingeniería.

Cabe aclarar que no todos los grupos de investigación del Ejército pertenecen a las IES; algunos hacen parte de diferentes unidades militares (UM), que responden a una política enfocada en generar soluciones para las problemáticas presentadas en la Fuerza. Así, sus resultados se materializan en productos como prototipos, informes técnicos y reglamentos, que no tienen tanto impacto para el modelo de medición de MinCiencias. Estos grupos no se encuentran en los niveles de maduración superior ni alto de eficiencia. Es evidente que han recibido recursos para sus proyectos y que sus resultados han respondido a la solución de necesidades que tienen un valor estratégico para la Fuerza, pero sin generar productos científicos relevantes.

Tercera fase: establecimiento de planes colaborativos de mejoramiento

En general, durante el contraste de resultados se pueden presentar dos escenarios. En el primero, las debilidades y fortalezas son compartidas, en cuyo caso se establece un plan de mejoramiento para el sistema; y en el segundo escenario, donde las debilidades y fortalezas son disímiles entre los grupos de investigación, se establecen planes colaborativos de mejoramiento para cada debilidad diferencial encontrada. Con este fin, se recomienda identificar el grupo que haya obtenido los mejores resultados en ese nivel para considerarlo en adelante como referente en el elemento particular, de modo que se constituya en mentor para los demás grupos de investigación. Así, a partir de sus buenas prácticas y de manera conjunta con los grupos débiles del área, el mentor establece los planes colaborativos de mejoramiento correspondientes.

De esta forma, al compartir las buenas experiencias y los aprendizajes previos, el resultado es un trabajo colaborativo. En este sentido, ^{Rodríguez et al. (2009}) han considerado la difusión de productos de investigación en grupos cooperativos; también ^{Hoon y Heo (2014}) estudiaron el éxito de redes de colaboración de investigación que promueven la investigación grupal interdisciplinaria, la difusión del conocimiento y el trabajo colegiado en actividades de investigación, pese a algunas diferencias en capacidades y experiencias.

El análisis de resultados de los modelos DEA aplicados permite notar que el porcentaje de DMU con eficiencia relativa del 100 % es bajo en los dos escenarios: solo 6 de 19 (el 31,58 % de los evaluados) con el modelo CCR, y el 42,11 % con el modelo BCC. Por ello, se sugiere crear un plan de mejoramiento para el todo el sistema. Para el caso de estudio, una primera recomendación es establecer estrategias que permitan a todos los grupos presentar proyectos para acceder a recursos por parte del Ejército. Esto incluiría un apoyo particular para la formulación de proyectos a cargo de los cinco grupos que no han podido contar con este tipo de apoyo económico durante el periodo estudiado, lo que también se podría subsanar con una convocatoria exclusiva para ellos.

Un hecho importante y notorio es que los grupos de investigación 8 y 16 son los que más veces y con mayores pesos (X) sirven de referentes de comparación, lo cual es un aspecto significativo a la hora de analizar fortalezas, debilidades y estrategias de cooperación. La Tabla 5 muestra la relación de los grupos con nivel de maduración superior (eficientes en los modelos BCC y CCR) con los grupos de nivel medio bajo y nulo, de los cuales pueden ser referentes. Como plan de mejoramiento global, se propone un programa de apadrinamiento donde los grupos con nivel de madurez superior sirven de mentores para tres de los demás. La estructuración de cada equipo de trabajo colaborativo se obtiene como resultado de la solución de un problema de asignación cuya función objetivo es la maximización del posible grado de aporte global de los referentes de comparación (DMU eficientes; padrinos) a las unidades no eficientes usando el peso (X) del modelo CCR relacionado en la Tabla 5. Adicionalmente, la respuesta cumple las siguientes restricciones:

El problema de asignación se ha resuelto, entonces, mediante programación entera para las DMU evaluadas. Esta solución se presenta en la Tabla 6, a la que se le han adicionado los cinco grupos que no han recibido apoyo económico en proyectos o laboratorios (20 a 24), asignados a las DMU 11, 16 y 17 por afinidad en sus temáticas.

En busca de obtener mejoras de desempeño, se formaron seis equipos de trabajo, cada uno de los cuales está conformado por un padrino (grupo eficiente) ubicado en la parte superior de la Tabla 6 y tres grupos apadrinados, con el propósito de favorecer el trabajo colaborativo.

La meta para los grupos que están sin medición (20 a 24 en la Tabla 6) es lograr la financiación de algún proyecto de investigación o laboratorio. Para los grupos ineficientes, como mínimo, se espera que incrementen en un nivel su grado de maduración, de forma que pasen de nulo a bajo, de bajo a medio, de medio a alto y de alto a superior. Los grupos que están en nivel superior podrían medir su mejoramiento de acuerdo con los resultados de las convocatorias de reconocimiento y clasificación de grupos de investigación de MinCiencias mediante el indicador de grupo.

Se aclara que la eficiencia obtenida aquí se hace a partir de la producción científica que generan los grupos de investigación de acuerdo con la clasificación de los resultados establecida por MinCiencias, que es el lenguaje común de los grupos de investigación de IES, empresas o independientes del país.

Sin embargo, se deben tener en cuenta las particularidades del Ejército Nacional por ser una entidad cuya prioridad es el fortalecimiento de sus capacidades para cumplir su misión institucional; así, la ciencia y tecnología es un componente para dar solución a sus problemas, de modo que la producción científica en sí misma no es su finalidad. Por esto mismo, se cuenta con grupos que han actualizado la doctrina de la institución, han generado prototipos y han desarrollado estudios de enfermedades, estudios de prospectiva de la Fuerza, entre otros.

Por ello, como resultado del esfuerzo colaborativo de los equipos de trabajo establecidos, se invita a que los grupos presenten estos resultados a la comunidad científica mediante productos que se ajusten a la medición de MinCiencias. Esto implica, por tanto, que inicien acciones para, por ejemplo, redactar libros resultado de investigación que reflejen las actualizaciones de la doctrina, presentar solicitudes de patente de los prototipos, documentar los estudios desarrollados mediante artículos científicos y compartir en eventos científicos los resultados parciales de los estudios en proceso. Para facilitar la comprensión de la propuesta metodológica, se representa el proceso con el diagrama de flujo de la Figura 1.

Fuente: Elaboración propia

Figura 1 Diagrama de flujo de la metodología propuesta para la formulación de planes colaborativos de mejoramiento para los grupos de investigación del Ejército Nacional de Colombia a partir de la medición de su eficiencia. 

Se sugiere repetir este proceso de manera periódica para tomar decisiones al respecto de manera oportuna, pero no con tanta frecuencia, de forma que el horizonte de planeación sea el suficiente para que se reflejen los resultados de los planes colaborativos de mejoramiento establecidos previamente. En este sentido, la recomendación es aplicar el proceso anual o semestralmente. Para aplicaciones futuras, podría incluirse como parte de la entrada denominada “inversión total” los valores destinados al pago de los asesores de investigación por grupo, para que este aspecto no quede excluido del análisis.