Impacto académico de la Facultad de Ingeniería de la Universidad Nacional de Colombia - Sede Bogotá

The academic impact of the Universidad Nacional de Colombia's Faculty of Engineering on the Bogota campus

Daniel Bogoya M.¹

¹ Ingeniero Químico y Magíster en Ingeniería de Sistemas de la Universidad Nacional de Colombia. Decano de la Facultad de Ciencias Naturales e Ingeniería en la Universidad Jorge Tadeo Lozano. daniel.bogoya@utadeo.edu.co

RESUMEN

Se propone un análisis sobre la calidad de los programas de educación superior de Colombia, comparando los puntajes obtenidos por los estudiantes de una institución en la prueba Ecaes del año 2009, frente a los desempeños de los demás estudiantes del país. El análisis emplea el concepto de valor académico agregado, que se evalúa en función de la diferencia resultante entre el puntaje obtenido por los estudiantes de un determinado programa y el respectivo puntaje hallado por regresión para los demás estudiantes del país, controlando la condición inicial mediante el resultado alcanzado por los mismos individuos en la prueba de ingreso a la educación superior. Para ilustrar la metodología se toman los programas de la Facultad de Ingeniería de la Universidad Nacional en Bogotá como caso de estudio, y se presentan dos caminos: primero, siguiendo la función generada entre los puntajes de las pruebas Saber 11 y Ecaes, en el ámbito del estudiante; y segundo, haciendo una síntesis por programa con los promedios de puntajes, en el ámbito de la institución. La Facultad de Ingeniería mencionada confirma su relevancia y trascendencia, porque todos sus programas se localizan en la zona de mayor valor académico agregado.

Palabras clave: Ecaes, valor académico agregado, equidad en educación.

ABSTRACT

An analysis regarding the quality of higher education programmes in Colombia is presented by comparing students' scores from a given institution on the ECAES 2009 test to students' performance throughout the country. The analysis uses the valueadded concept as applied to the academic world, this being obtained by using a regression model to ascertain the difference between the students' scores from a given faculty programme and the corresponding scores for students throughout Colombia; the higher education admission test was used to control initial results with results achieved by the same individuals on this test., A case study was proposed to illustrate the methodology by considering the Faculty of Engineering programmes at the Universidad Nacional in Bogota. Two different approaches were followed; the first used the generated function between SABER 11 and ECAES test scores and the second added institutional results by using the mean of the scores. The aforementioned Faculty of Engineering ratifies its relevance and importance as all its programmes come within the greater academic valueadded area.

Keywords: ECAES, academic valueadded, educational equity.

Recibido: marzo 31 de 2011 Aceptado: junio 27 de 2011

Introducción

En el año 2009 se aplicaron por séptima vez, de manera censal en Colombia, las pruebas Ecaes, ahora denominadas Saber PRO, que se ofrecen anualmente a los estudiantes que cursan último año de estudios universitarios en el país. Luego del procesamiento de la información proveniente del trabajo de campo, el Instituto Colombiano para la Evaluación de la Educación, Icfes, dispuso las bases de datos generadas, con el fin de propiciar dentro de la comunidad académica la realización de investigaciones conducentes a generar conocimiento sobre el estado de la calidad de la educación superior colombiana y también a explorar relaciones entre los resultados observados y distintos tipos de variables que cada comunidad desee investigar.

Hipótesis

El presente artículo pretende desarrollar elementos para probar la siguiente hipótesis:

"Un proyecto educativo es relevante y trascendental cuando puede aportar valor académico agregado a sus estudiantes, en mayor proporción que lo observado en otras personas formadas mediante otros proyectos educativos".

Para probar la hipótesis, colocando el foco en los programas ofrecidos por la Facultad de Ingeniería de la Universidad Nacional en Bogotá, se emplea el resultado de puntaje alcanzado por los estudiantes de los programas considerados en las pruebas de ingreso a la educación superior, ahora denominadas Saber 11, como línea de base o variable de entrada al modelo propuesto, y el resultado de puntaje obtenido por los mismos individuos en la prueba Ecaes del año 2009, ahora llamadas Saber PRO, como variable de salida.

Antecedentes

El concepto de valor académico agregado que se propone para la educación superior se deriva del uso que ya se ha observado en educación básica, donde se ha definido como un proceso estadístico que provee indicadores para estimar la influencia de profesores, instituciones educativas y sistemas de educación en su conjunto (Sanders y Horn, 1994: 301). Al comparar el desempeño mostrado por estudiantes de dos instituciones distintas en una determinada prueba, en dos momentos diferentes, es posible estimar la condición de ventaja o rezago relativos, en ambos momentos referidos, si se establece la diferencia entre el resultado logrado por los estudiantes de cada institución y el respectivo valor para todo el universo (Goldstein, 2001: 251-252).

En todo caso, se prevé que un proyecto educativo es más efectivo que otros cuando logra un mayor valor académico agregado, es decir, un mayor nivel de aprendizaje en sus estudiantes, demostrado mediante la mayor diferencia de los resultados logrados por estos estudiantes, entre el inicio y el término de un determinado período, respecto de la diferencia observada con los estudiantes de los otros proyectos educativos del universo mencionado. Múltiples factores pueden explicar la mayor efectividad de un proyecto, como puede ser el caso de la conformación de redes, planeación conjunta de actividades académicas como base de la cooperación, consideración de metas conjuntas para educación e investigación, y reconocimiento mutuo de la calidad, entre otros tantos aspectos (Mikkola y Snellman, 2006: 53-54). No obstante, al aplicar pruebas al inicio y al término de un proyecto educativo con la finalidad de tener información de las entradas y salidas de los procesos involucrados, en forma análoga a como se utiliza el concepto en el mundo de la economía, suelen presentarse interrogantes fuertes a investigadores y formuladores de política en torno a los juicios de valor, asunciones conceptuales y decisiones técnicas implícitas para seleccionar qué dominios evaluar en una prueba (Saunders, 2010: 253-254); estos interrogantes se acentúan en el mundo de la educación, pues aquí incide toda una constelación de factores para lograr altos niveles de calidad, como lo han planteado, entre otros, algunos investigadores del Instituto de Investigación Educativa de la Universidad de Jyväskylä (Välijärvi et al., 2002: 15-46).

Antecedentes en Colombia

El recorrido en la utilización del concepto de valor académico agregado, empleando los resultados obtenidos por estudiantes que terminan sus estudios del nivel superior, comenzó en Colombia en el año 2006, tres años después de haberse implementado el proyecto Ecaes en el país, utilizando una regresión matemática y la respectiva representación gráfica del puntaje alcanzado en la prueba de ingreso a la educación superior, en el eje horizontal, como variable de entrada, y el respectivo puntaje obtenido en la prueba Ecaes de ingeniería de sistemas, derecho y fisioterapia, para el año 2003, y de nuevo fisioterapia para el año 2004, en el eje vertical, como variable de salida. La propuesta consideró dos planos en el análisis: primero, en el ámbito de estudiantes; y segundo, en el ámbito de grupos de estudiantes por institución de educación superior.

La forma y posición de las funciones generadas mediante regresión matemática reflejan la magnitud del valor académico agregado de cada programa que se analiza, frente al valor de los demás programas, teniendo en cuenta una referencia a la norma, es decir, siempre relativo al universo de población considerado (Bogoya, 2006: 18-23).

Procedimiento

Para mostrar el cumplimiento de la hipótesis trazada se llevaron a cabo los siguientes cuatro pasos.

Paso 1. Modelo conceptual

Con el fin de aplicar el concepto de valor académico agregado en el análisis de relevancia y trascendencia de un proyecto educativo, se adoptó un modelo general para representar los procesos involucrados en dicho proyecto (figura 1), donde x_ij representa la variable de entrada, cuyo valor es el puntaje alcanzado por el estudiante i (perteneciente al proyecto j) en la prueba de ingreso a la educación superior, mientras que y_ij denota la variable de salida, como puntaje obtenido por el mismo estudiante i en la prueba Ecaes del año 2009. Es necesario señalar que los resultados logrados en las pruebas referidas constituyen la fuente más estable, objetiva y estandarizada para valorar el desarrollo cognitivo y el aprendizaje de bachilleres y profesionales en Colombia. Para completar el esquema, z_ij indica una segunda variable de entrada, referida a la potencial incidencia del contexto del estudiante i dentro del proyecto j.

Paso 2. Fuente de información

Las bases de datos oficiales dispuestas por el Icfes (ver el sitio ftp://ftp.icfes.gov.co) fueron el insumo básico de información, desde donde se tomaron los códigos de identificación de los estudiantes y el puntaje que les fue asignado, primero en las pruebas de ingreso a la educación superior, que se utiliza como valor para la variable de entrada del modelo, y luego en la prueba Ecaes del año 2009, que corresponde al valor de la variable de salida. Los códigos utilizados permitieron identificar en cada estudiante el programa y la institución a la que pertenecen. De otra parte, también se utilizó la información que permitió vincular los resultados de puntaje asignado a los estudiantes en las pruebas mencionadas.

Paso 3. Representación gráfica

Con el propósito de ilustrar de modo gráfico el valor académico agregado de un proyecto educativo, se representó en un diagrama coordenado la relación existente entre las variables elegidas de entrada y salida del modelo asociado, en forma de puntaje asignado en las pruebas de ingreso y egreso de educación superior, frente a la relación encontrada para el universo de los demás proyectos cuyos estudiantes presentaron las mismas pruebas. Esta representación se hizo de modo individual, para explorar la diversidad de valores de la variable de salida, que corresponden con un mismo valor para la variable de entrada, y también en el ámbito de los distintos proyectos educativos, en forma de promedios de puntajes en las pruebas referidas, para apreciar el impacto global de un proyecto.

Paso 4. Análisis

Para el análisis que aquí se plantea se omite la variable de contexto porque no se cuenta con información objetiva que permita estimar el modo y magnitud como incide sobre la variable de salida; esta omisión equivale a suponer, bien sea un efecto de contexto similar y que opera como una constante con el mismo valor en todos los proyectos educativos del universo observado, o bien un efecto que queda incluido dentro del efecto académico de dichos proyectos educativos. El análisis puede llevarse a cabo en el ámbito de cada estudiante o también en forma de resumen o síntesis, calculando el promedio de puntajes en ambos momentos, el de ingreso y el de egreso de un programa, y efectuando comparaciones entre la relación hallada para un proyecto educativo y la respectiva relación para todo el universo considerado.

Resultados

Los resultados encontrados para el caso de estudio, y que permiten probar la hipótesis señalada, se presentan en tres apartados: primero, estadísticas generales; segundo, valor académico agregado en el ámbito de estudiantes; y tercero, valor académico agregado en el ámbito del proyecto educativo inherente a cada programa.

Estadísticas generales

A manera de imagen global de los resultados obtenidos por los estudiantes de la Facultad de Ingeniería de la Universidad Nacional en Bogotá, en las pruebas Ecaes del año 2009, se indica el número de estudiantes evaluados, el promedio y la desviación estándar de puntajes asignados, para cada programa considerado y para el país en su conjunto (ver tablas 1 a 8). Es necesario advertir que los datos del país comprenden también la información de la Universidad Nacional en Bogotá.

En todos los casos mostrados el promedio global de la Facultad de Ingeniería de la Universidad Nacional en Bogotá es superior al promedio nacional, con una diferencia que oscila entre 9,97 puntos, para el programa de ingeniería química, y 15,36 puntos para ingeniería de sistemas.

Valor académico agregado por estudiante

Avanzando en el análisis, se ilustran las relaciones halladas entre las variables de entrada (eje horizontal) y de salida del modelo (eje vertical), en el ámbito de cada estudiante, para el programa de ingeniería agrícola de la Universidad Nacional en Bogotá (figura 2), y para los otros programas de ingeniería agrícola de Colombia (figura 3), sólo con casos de resultados en ambas pruebas (64% en la Universidad Nacional y 67% en el país), donde se resalta la localización de los estudiantes con mayor valor académico agregado (VAA).

Ahora, para facilitar la comparación de los resultados obtenidos por los dos grupos observados, el de los estudiantes de ingeniería agrícola de la Universidad Nacional en Bogotá, por una parte, y el de los estudiantes de las demás instituciones del país, por la otra, se presentan en un mismo diagrama las líneas de tendencia generadas mediante regresión entre las variables de entrada y salida ya referidas, empleando un polinomio de grado dos (figura 4).

El programa de ingeniería agrícola de la Universidad Nacional en Bogotá revela mayor valor académico agregado que el conjunto de los demás programas del país, en todo el dominio de la función generada, porque el valor de la variable de salida (como señal del aprendizaje de los estudiantes, en el eje vertical) es siempre superior al respectivo valor de los estudiantes que se forman en otras instituciones y que tuvieron similar condición de ingreso (al leerlos resultados para un mismo valor en el eje horizontal).

De modo análogo, se muestra el valor académico agregado, en el ámbito de estudiantes, de los programas de ingeniería civil, eléctrica, electrónica, química, industrial, de sistemas y mecánica de la Universidad Nacional en Bogotá, frente a los demás programas del país (figuras 5 a 11), con líneas de tendencia generadas a partir de datos para las variables de entrada (prueba de ingreso a la educación superior) y de salida (prueba Ecaes 2009).

Adicionalmente, y de nuevo sólo con los estudiantes para quienes fue posible encontrar resultados en ambas pruebas (entre 51% y 84% de los casos), los programas de ingeniería eléctrica, electrónica, química y de sistemas de la Universidad Nacional en Bogotá también revelan mayor valor académico agregado que el conjunto de los demás programas del país, en todo el dominio de la función generada (figuras 6, 7, 8 y 10), mientras que los programas de ingeniería civil, industrial y mecánica, debido a la intersección observada entre las dos funciones representadas, muestran dos comportamientos opuestos (figuras 5, 9 y 11): en la zona de menor desempeño (a la izquierda de la intersección) se aprecia mayor valor académico agregado que para el conjunto del país; y en la zona de mayor desempeño (a la derecha de la intersección), el valor académico agregado es menor que para el conjunto del país.

Valor académico agregado por programa

Ahora se representa el efecto académico global de los programas de ingeniería de la Universidad Nacional en Bogotá, en todos los casos superior a la tendencia del conjunto de los demás programas de Colombia, mediante el promedio aritmético de los resultados de puntaje de las dos pruebas mencionadas, al agrupar los estudiantes por institución de educación superior, y sólo con la información de quienes cuentan con ambos resultados (figuras 12a 19).

Conclusiones

Aunque los factores que inciden en la formación de estudiantes universitarios son múltiples y se relacionan de manera compleja, se prevé que un programa de educación superior aporta mayor valor académico agregado y alcanza mayor efecto académico cuando eleva el nivel de comprensión de sus estudiantes, entre el inicio y el término de sus estudios, en mayor proporción que el conjunto de los demás proyectos educativos del universo considerado.

Los programas de ingeniería agrícola, eléctrica, electrónica, química y de sistemas de la Universidad Nacional en Bogotá revelan mayor valor académico agregado que el conjunto de los demás programas del país, en todo el dominio de la función generada, mientras que los programas de ingeniería civil, industrial y mecánica muestran dos comportamientos opuestos: mayor valor académico agregado que para el conjunto del país, en la zona de menor desempeño, donde los estudiantes presentan la mayor dificultad de aprendizaje, pero menor valor en la zona de mayor desempeño.

Los ocho programas de ingeniería de la Universidad Nacional en Bogotá demuestran su impacto académico, relevancia y trascendencia en Colombia porque aportan un valor académico agregado global siempre mayor que el respectivo valor hallado mediante regresión para los demás programas ofrecidos en el país, cuando se mantiene constante el valor de la variable de entrada al modelo considerado, es decir, el promedio de puntaje en la prueba de ingreso a la educación superior.

Referencias

Bogoya, D., Evaluación Educativa en Colombia., Memorias del Seminario Internacional de Evaluación, Cartagena, ICFES, febrero, 2006, pp. N1-N27.        [ Links ]

Goldstein, H., League Tables and Schooling. Science in Parliament., Vol. 58, No. 2, 2001, pp. 251-252.        [ Links ]

Mikkola, M., Snellman, O., Evaluation of CIMO NorthSouth Higher Education Network Programme., Ministry for Foreign Affairs of Finland &- Department for Development Policy, Helsinki, Hakapaino Oy, 2006, pp. 53-54.        [ Links ]

Sanders, J. L., Horn, S. P., The Tennessee Value Added Assessment System (TVAAS): Mixed-Model Methodology in Educational Assessment., Journal of Personnel Evaluation in Education, Vol. 8, 1994, pp. 299 -311.        [ Links ]

Saunders, L., A brief History of Educational 'Value Added': How Did We Get To Where We Are? School Effectiveness and Scholl Improvement, Vol. 10, No. 2, 2010, pp. 233-256.        [ Links ]

Välijärvi, J., Linnakylä, P., Kupari, P., Reinikainen, P., Arffman, I., The Finnish Success in PISA &- and some reasons behind it., Finlandia, Kirjapaino Oma Oy, 2002, pp. 15-46        [ Links ]