ANÁLISIS DESCRIPTIVO DE LOS RESULTADOS DE LOS ECAES EN ECONOMÍA(2004- 2006)*

JAIME ANDRÉS SARMIENTO ESPINEL**
LUIS EDUARDO SANDOVAL GARRIDO***
UNIVERSIDAD MILITAR NUEVA GRANADA

* Resultado del proyecto "Características de la Educación en Economía en Colombia", financiado por la Universidad Militar Nueva Granada con código ECO 113 (2007-2008).

** Docente de la Facultad de Ciencias Económicas de la Universidad Militar Nueva Granada, Bogotá. Enviar los comentarios a los siguientes correos: jaime.sarmiento@umng.edu.co

^*** Docente de la Facultad de Ciencias Económicas de la Universidad Militar Nueva Granada, Bogotá. Enviar los comentarios a los siguientes correos: luis.sandoval@umng.edu.co

(Recibido: Juli 5 de 2008- Aprobado: Septiembre 20 de 2008)

Resumen

Palabras claves: Educación en Economía, ECAES, Acreditación.

DESCRIPTIVE ANALYSIS OF THE RESULTS OF THE EVALUATION ECAES STUDENTS IN ECONOMICS (2004-2006)*

Abstract

In this document, we evaluated the obtained results in the ECAES exam in Economics for the 2004-2006 period; we analyzed students, institutional and geographic descriptive measures, along with the estimation of the factors that affected the average total score of the institutions represented in the sample. A critic to the qualification method used is that it doesn't allow result comparisons for different moments of time because the results are annually standardized. By means of an Analysis of Covariance (ANCOVA), we found that the quantity of students evaluated, if it is a daytime program and if the institution is accredited have positive effects on the score by institution.

Key words: Economics education, ECAES, Accreditation

1. Introducción

Las instituciones universitarias en Colombia han iniciado procesos para el mejoramiento de sus programas académicos; una forma de reconocimiento frente a la comunidad académica se consigue cuando los programas cumplen con determinados factores asociados a la calidad del mismo (proyecto institucional; estudiantes y profesores; procesos académicos; bienestar institucional; organización, administración y gestión; egresados e impacto sobre el medio; recursos físicos y financieros). Algunas Universidades comenzaron a desarrollar tempranamente estrategias que les permitieran estar actualizadas en cada uno de sus programas académicos; permitiendo de esta manera que se presentaran al proceso de acreditación presidido por el Consejo Nacional de Acreditación (CNA).

Adicionalmente, se han actualizado los planes de estudios con la intención de ofrecer carreras profesionales que sigan las tendencias del mercado laboral y estén acordes con los desarrollos educativos tanto a nivel nacional como internacional; los cuales deben seguir unas líneas básicas de enseñanza comunes y otras de formación acordes al énfasis dado por cada institución.

Otro mecanismo considerado son los Exámenes de Estado de Calidad de la Educación Superior (ECAES); estos tienen como objetivo fundamental valorar el grado de desarrollo de las competencias que deben poseer los estudiantes de últimos semestres de los programas académicos registrados en el ICFES, brindando también una aproximación de los procesos y la formación académica recibida y por ende ser fuente de información para la evaluación y el mejoramiento de la educación superior.

Por medio de los decretos 1716, 2233 de 2001 y 1373 de 2002 se reglamentaron inicialmente los exámenes de Estado para los programas de Medicina, Ingeniería Mecánica y Derecho; los cuales promovieron algunos procesos de discusión académica entre las diferentes facultades con el fin de definir las características básicas de un profesional. Adicionalmente, en el decreto 2566 de 2003 se establecieron condiciones mínimas de calidad para que una institución de ecuación superior pueda ofrecer un programa académico en Colombia.

Resultado de este proceso, el Ministerio de Educación Nacional ha expedido dieciséis resoluciones con el propósito de establecer características específicas de calidad para ofrecer y desarrollar programas de pregrado, con lo cual se fortalece en los programas universitarios el desarrollo de las competencias educativas que deben tener los diferentes profesionales del país en cada una de las áreas del conocimiento. Igualmente, con el decreto 1781 de 2003 se reglamentó los ECAES para los programas de pregrado en cuanto a objetivos, estructura, organización e incentivos.

A partir de dicha normatividad, las facultades del país realizaron diferentes jornadas académicas para definir los marcos de fundamentación por programa universitario y por profesiones afines, mostrando las diferentes especificaciones que debería tener la prueba ECAES con base a los requerimientos de calidad del Ministerio de Educación Nacional, la evolución de las distintas disciplinas y las exigencias del mercado laboral. En el caso de los programas de pregrado en Economía, el marco se realizó a partir del decreto 940 de 2002 y la resolución 2774 de 2003.

La elaboración del marco de fundamentación y el banco de preguntas de la prueba ECAES en Economía ha sido liderada por la Asociación Colombiana de Facultades y Departamentos de Economía (Afadeco) por medio de diferentes comités académicos, talleres y seminarios entre los programas, departamentos y facultades de Economía. Este examen, se viene realizando anualmente desde el año 2004, evaluando las competencias interpretativa, argumentativa y propositiva bajo los componentes básicos de Macroeconomía, Microeconomía, Estadística y Econometría, Historia y Pensamiento Económico, Comprensión Lectora e Inglés.

Los resultados de esta prueba pueden sugerir que universidades generan y potencian las anteriores competencias para un economista, reflejando por tanto la calidad del estudiante y la formación recibida en la Universidad. Es por esto que en el presente artículo se analizaron las características que tienen los estudiantes de Economía en Colombia y sus respectivas instituciones universitarias, con base a los resultados de las pruebas ECAES en los años 2004, 2005 y 2006. Esto se logró primero revisando la literatura acerca de la relación entre educación, competencias y el mercado laboral; seguidamente se reflexionó sobre el indicador utilizado para medir las competencias desarrolladas por los estudiantes durante su carrera, reconociendo los alcances de ésta como proxy de la calidad académica; luego se identificaron las instituciones educativas que han obtenido resultados por fuera del promedio nacional en las pruebas ECAES; posteriormente se indagó que variables inherentes a la institución inciden sobre el puntaje obtenido; y finalmente se realizaron unos comentarios acerca de los resultados obtenidos.

2. Educación, competencias y mercado laboral

La búsqueda de articular la educación con el sector productivo ha llevado al Ministerio de Educación Nacional a promover la formación de competencias laborales en el país, principalmente en los programas de educación media y superior. Debe tenerse en cuenta que no existe una definición única que incorpore y reconcilie las distintas nociones y usos dados al termino competencia (Delamare Le Deist & Winterton, 2005; Posada, 2004; Ruiz, Jaraba & Romero, 2005); no obstante siguiendo a Mertens (2000), se puede indicar que las competencias hacen referencia a todos los atributos de la persona que le permiten desempeñar efectivamente las funciones de su trabajo, teniendo en cuenta la evolución de las necesidades del mercado donde se desenvuelve. Asimismo, Tejada (1999a, 199b) considera como competencias a aquellas actividades (funciones, tareas y roles) que permiten a un profesional desarrollar adecuadamente su trabajo; las cuales provienen de procesos de aprendizaje (cualificación y capacitación). No obstante, el Proyecto Tunning (2007) resalta que no debe considerarse solamente la dimensión laboral de las competencias ni el aprendizaje para el mero hacer; sino que debe pensarse en el proceso de generación de un conjunto de capacidades que permita al individuo realizar acciones en todos los campos en el que se desenvuelve, es decir, pensar en una formación integral.

Básicamente, las competencias se dividen en dos tipos; las genéricas, las cuales consisten en el conjunto de capacidades y habilidades comunes a cualquier área de estudio; y las específicas, que son las relacionadas propiamente con una determinada área de estudio (Proyecto Tuning, 2007).

Una forma inicial para obtener competencias laborales es por medio de la educación formal, las cuales pueden ser complementadas por medio de entrenamiento y experiencia laboral (Becker, 1964: Mincer, 1974). Siguiendo esta concepción, Ruiz, Jaraba & Romero (2005) discuten la importancia de las competencias en el ámbito laboral; resaltando el papel que debe cumplir la universidad para garantizar que los profesionales se puedan insertar y movilizar en el mercado laboral. Asimismo, Ishikawa & Ryan (2002) encuentran para Estados Unidos que las habilidades obtenidas a través de la educación formal explican en gran medida los ingresos laborales.

Diferenciándose de la literatura acerca de los retornos de la educación, los estudios de sobre-educación (sub-educación) analizan si los agentes poseen un nivel educativo superior (inferior) para realizar las funciones de su trabajo, sin tener en cuenta los ingresos devengados (Green, McIntosh & Vignoles, 1999). La correspondencia entre las competencias del trabajador y las requeridas para desarrollar diestramente su trabajo (competence-job match) ha sido analizada utilizando como proxy la correspondencia entre habilidades adquiridas en la educación superior con respecto a las requeridas en el trabajo (education-job match) por varios autores como Hersch (1995); Murray & Steedman (1998); Battu, Belfield & Sloane (1999); Borghans & De Grip (2000); Groot & Maassen van den Brink (2000); Büchel, De Grip & Mertens (2003).

Artículos como los de Kalleberg & Sorensen (1973), Burris (1983), Clogg & Shockey (1984), entre otros, argumentan que el desemparejamiento entre educación-trabajo es un indicador válido de la sub-utilización de las habilidades de los trabajadores; esto debido a que si una persona está laborando en un empleo que no está acorde a la educación recibida, se estaría imponiendo restricciones al empleo de sus competencias. Por otro lado, autores como Smith (1986), Halaby (1994), Borghans, Green & Mayhew (2001) y Badillo-Amador, García-Sánchez & Vila (2005) cuestionan esa inferencia al ser la sobre-educación una cuestión de exceso de oferta de fuerza laboral educada, a que la educación formal es solamente el mecanismo inicial para adquirir/desarrollar competencias laborales, a que inversiones iguales en educación no necesariamente implican el mismo desarrollo o las mismas habilidades, entre otros aspectos. Asimismo, Allen & van der Velden (2001) obtuvieron diferentes resultados económicos de utilizar medidas de educación y de competencias; estableciendo que los salarios son afectados por el desemparejamiento educación-trabajo mas no por el de competencias-trabajo; y por otro lado, los segundos pronostican mejor la satisfacción laboral y la búsqueda de empleo de los ocupados.

De igual forma, se ha discutido en varios trabajos acerca de las metodologías empleadas para calcular el nivel adecuado de educación de una persona, en el cual no está ni sobre- ni sub-educada; encontrando en el caso de Groot & Maassen van den Brink (2000) y Verhaest & Omey (2006a, 2006b) resultados diferentes según la técnica utilizada.

Siguiendo a Green, McIntosh, & Vignoles (1999) y Groot & Maassen van den Brink (2000), existen básicamente cuatro maneras de estimar dicho límite; la primera medida consiste en preguntarle a los trabajadores directamente si se sienten sobre- o sub- educados para el trabajo que están desempeñando y ha sido utilizada por autores como Halaby (1994) y Groot & Maassen van den Brink (1996). En la segunda, se les pregunta acerca del nivel educativo mínimo para que una persona que esté ingresando a trabajar pueda desarrollar dicha labor y la han empleado, entre otros, Duncan & Hoffman (1981), Sicherman (1991) y Sloane, Battu, & Seaman (1999).

Estas dos primeras medidas son consideradas relativas/subjetivas en el sentido que parten de la auto-valoración de los trabajadores, cuya opinión puede no ser similar a la de una persona que está desarrollando un trabajo similar y con tendencias a responder sesgadamente al poder tener en cuenta otros aspectos como, por ejemplo, ingresos devengados, ambiente de trabajo y metas personales. Asimismo, en el caso de la segunda metodología no se pregunta sobre el nivel educativo adecuado para desarrollar sus labores de una manera correcta sino solamente por el mínimo para cumplirlas.

El tercer modo consiste en el uso de análisis de puestos de trabajo y ha sido utilizado en investigaciones hechas por Rumberger (1981,1987), Halaby (1994) y Hartog (1985). Entre los inconvenientes que presenta ésta, se encuentra que supone homogeneidad entre los trabajadores con un mismo nivel educativo, sin tener en cuenta los distintos énfasis dados en las instituciones educativas y el desarrollo del estudiante dentro del programa; por otra parte, debe considerar los cambios en las ocupaciones a través del tiempo y el progreso tecnológico para que sea un indicador confiable de la profesión.

El último procedimiento empleado es utilizar como límite el nivel promedio de educación por ocupación (Clogg & Shockey, 1984; Verdugo & Verdugo,1989; Halaby, 1994; Cohn & Khan, 1995; Groot & Maassen van den Brink, 1997). No hay una teoría que sustente considerar este nivel como el umbral para pasar de considerar a un trabajador como sobre- o sub- educado.

Resumiendo, no hay un consenso en el concepto de competencias, por lo que no existe una técnica adecuada para medirlas y de esta forma tomar decisiones de política con el fin de mejorar los procesos de formación; y debe considerarse la educación formal como una de las formas de alcanzar conocimientos y habilidades tanto generales como específicas mas no como el único para alcanzar a desarrollar plenamente las segundas.

3. Características de la prueba ECAES

Sin embargo, un examen para medir competencias antes de salir al mercado laboral no es el indicador más adecuado para medir el grado de desarrollo de competencias específicas de una ocupación; debido a que, como se mencionó en la sección anterior, algunas de éstas se obtienen y/o perfeccionan con el entrenamiento y la práctica. Adicionalmente, los exámenes estandarizados de selección múltiple escritos generalmente miden los conocimientos y habilidades necesarios para desarrollar una tarea, más no las labores a desarrollar en sí (Kane, 1997; Raymond, 2001; Montenegro, 2005; Wang, Schnipke & Witt, 2005).

Entre las competencias evaluadas, la interpretativa se fundamenta en el desarrollo de destrezas que permiten asociar conceptos entre si, los cuales sirven para tomar decisiones en diferentes contextos; mientras que la competencia argumentativa implica el proceso de fundamentar o demostrar una afirmación o un evento; por otro lado, la competencia propositiva permite exponer alternativas de solución a un acontecimiento.

No obstante, quedan todavía sin considerar otro tipo de competencias necesarias para el óptimo desenvolvimiento del profesional en la sociedad; en estas se pueden mencionar las que permiten proponer nuevas soluciones aplicables a situaciones distintas a las habituales (creativa) o las que implican un juicio metódico acerca de la realidad (crítica) (puede verse también el listado de 27 competencias genéricas acordadas para América Latina por el Proyecto Tuning, 2007).

Asimismo, puesto que estos exámenes de profesiones requieren "información precisa de los tipos de problemas encontrados en la práctica y sobre los conocimientos, habilidades y juicios requeridos para manejar estos problemas" (Kane, 1995, 5); se debería considerar la evaluación no solo de competencias básicas sino también de específicas a la profesión dado el divorcio entre la teoría y la práctica que se observa en Colombia (Afadeco & Herrera, 2004).

Por tal motivo, se debe buscar que las anteriores competencias estén inmersas en el currículo de los programas de Economía; de manera que el futuro profesional pueda abordar las diferentes situaciones que se le presenten laboralmente, involucrando teorías, metodologías y conceptos aprendidos durante su carrera.

Otro asunto a considerar es el diseño de la prueba. El examen está compuesto por 200 preguntas, de las cuales 60 (30%) son del área de Macroeconomía, 60 (30%) de Microeconomía, 40 (20%) de Estadística y Econometría y 40 (20%) de Pensamiento e Historia Económica. Adicionalmente, el ICFES incorporó preguntas de Comprensión Lectora (15 preguntas) y de Inglés (15 preguntas). Los contenidos de cada una de las áreas económicas evaluadas son conocidos previamente por los estudiantes y las universidades participantes de la prueba. En cuanto al tipo de preguntas, estas son de selección múltiple con única ó múltiple respuesta y con cuatro opciones de respuesta.

El resultado inicial obtenido en cada componente de la prueba representa el número de respuestas correctas, sin que se tenga en cuenta en la calificación el grado de dificultad de las preguntas (por ejemplo como lo hace el examen Graduate Record Examinations - GRE, el cual lo presentan los interesados en entrar a programas de postgrados en universidades estadounidenses). No obstante, el anterior resultado se normaliza para cada año para que tenga a nivel nacional una media diez (10) y desviación estándar uno (1) y el total con media cien (100) y desviación estándar (10).

Un problema con la normalización es que no permite comparar los resultados de pruebas realizadas en diferentes años, no está cumpliendo con el objetivo de servir de fuente de información para la evaluación de la educación, tal y como lo promulga el decreto que le dio origen (Decreto 1781 de 2003). Al no poderse comparar de manera temporal tanto absoluta como relativamente, no es posible saber si las instituciones de educación superior han evolucionado en el desarrollo de las competencias de sus estudiantes.

Adicionalmente, esta normatividad no es clara en cuanto a qué estudiantes deben presentar el examen y que sanciones se impondrán a los programas que no presenten a todos sus estudiantes. Aunque se estableció que las instituciones de educación superior deben inscribir a todos los estudiantes que cursan el último año de la carrera; no se tuvo en cuenta que la flexibilización de los planes de estudio ha llevado a que los estudiantes puedan ver asignaturas de distintos semestres, así como a que existan distintas modalidades de culminación de la carrera (monografía, pasantía, cursar materias en postgrado, etc.) que a veces no implican clases presénciales; implicando esto varias dificultades para determinar que se considera como último año para cada institución. Por el lado de las sanciones, al no estipularse públicamente cuales se le impondrían a un programa que no presente a todos sus estudiantes; se podría estar generando incentivos para inscribir solamente a los más destacados o a que la institución no participe en dicho examen.

Los trabajos elaborados a partir de los resultados obtenidos por los estudiantes en Colombia en las pruebas ECAES se ha caracterizado básicamente por analizar la desviación de los resultados por componente con respecto a los resultados obtenidos a nivel nacional; esto sucede con los trabajos hechos por Meisel & Pérez (2005) y Ortiz (2005) a partir de los resultados del ECAES del 2004, en los cuales por medio de estadísticas descriptivas, señalan que es posible obtener un mayor puntaje si el estudiantes es de jornada diurna o se estudia en Bogotá, Medellín o Cali. En el primer artículo no se encuentran diferencias claras en el puntaje si la institución de educación superior es privada o pública.

Por otro lado, Cuenca & Pérez (2005) analizaron el grado de homogeneidad y de heterogeneidad en los programas de Economía, llegando a la conclusión que los mejores resultados del 2004 se obtuvieron en los grupos con mayor número de estudiantes y que el tipo de examen discrimina a nivel individual y no institucional.

En el caso del estudio de Montenegro (2005), se realizó una evaluación específica de los resultados por componentes, teniendo en cuenta el número de estudiantes evaluados y las instituciones sometidas a evaluación en cada periodo; lo cual permitió realizar una descripción del comportamiento de los resultados teniendo en cuenta variables como notas promedio, valor de matricula, jornada, tipo de universidad (pública, privada) y número de estudiantes evaluados en cada periodo. Esta investigación encontró que la nota total de los cuatro componentes económicos por institución (promedio ponderado o simple) para el 2004 depende positivamente del valor de la matrícula, si el programa es diurno, si la universidad es pública y del número de estudiantes evaluados.

A diferencia de los estudios anteriores, Viloria (2006) analiza el comportamiento de las pruebas ECAES en las diferentes carreras cursadas en Universidades del Caribe colombiano durante el 2001 al 2004; analizando la evolución de los resultados obtenidos y los posibles determinantes de los resultados en las pruebas, no sólo por individuos sino también por regiones caribeñas.

Recientemente, Valens (2007) realiza un análisis multinivel para un grupo de estudiantes de diferentes programas de Economía en el país que presentaron el ECAES en el 2004, encontrando diferencias significativas entre puntajes medios por instituciones y por estudiantes explicados por características de los estudiantes y de la institución universitaria a la cual pertenecen al momento de realizar la prueba.

En dicho estudio, se hace mención de la importancia de las instituciones para garantizar un mayor rendimiento de los estudiantes en la prueba ECAES, de manera que variables como la ciudad principal donde queda la institución, el carácter académico y la modalidad institucional de la universidad, permiten explicar en cierta proporción los mejores resultados de estudiantes en universidades públicas y privadas.

5. Tratamiento empírico

Para el desarrollo del presente artículo se utilizó principalmente la información disponible por estudiante presentado a las pruebas ECAES de Economía para los años 2004, 2005 y 2006; la cual fue suministrada por el Departamento de Informática del ICFES. La prueba no ha tenido una periodicidad anual; para el 2004 y 2005 se realizó en el segundo semestre (noviembre), pero para el 2006 se realizó en el primero (junio); no permitiendo por tanto, evaluar adecuadamente la educación impartida a los estudiantes de último año.

Teniendo en cuenta el código de registro del estudiante y la respectiva universidad, la base de datos contiene 32,816 observaciones relacionadas con los resultados por componente de cada uno de los estudiantes de Economía que presentaron la prueba en el periodo analizado. Además, contiene el número de registro del estudiante ante el ICFES, jornada (diurna, nocturna), año de presentación de la prueba, ciudad y departamento donde se ubica cada institución de educación superior que ofrece la carrera de Economía, semestre en el que se encuentra matriculado el estudiante y puntaje por componente¹.

Adicionalmente, el Ministerio de Educación Nacional suministró el número de estudiantes matriculados al programa de Economía por institución para el período de estudio y el valor de la matricula para el 2005 y 2006; los datos de esta última variable fueron complementados para el 2005 con la base de datos de Montenegro (2005).

Por otro lado, se construyeron nuevas variables por institución; como clase (principal, seccional), acreditación institucional y del programa (acreditado, no acreditado) y número de estudiantes presentados a la prueba. Cabe resaltar que el ICFES no calcula un puntaje total por institución sino por componente. Por tal motivo, se construyó un promedio ponderado, donde el peso de cada componente es igual al número de preguntas de esa área sobre el total de preguntas del área económica².

A continuación, se realizará una descripción de la información por estudiantes, instituciones y zonas geográficas. Posteriormente, se mostrarán los resultados obtenidos de estimar un modelo de Análisis de Covarianzas (ANCOVA) para determinar que factores pueden incidir en el puntaje total promedio desde la visión de las instituciones que se presentaron al ECAES 2004, 2005 y 2006.

6. Descripción estudiantes evaluados

La participación de los estudiantes evaluados en el ECAES se redujo entre el 2004 y el 2005 un 21.5% (2,652 a 2,081) y un 45.4% del 2005 al 2006 (1,139 estudiantes); resultado que se puede explicar para el 2006 por haberse realizado seis meses después de la anterior prueba, cubriendo solamente estudiantes de penúltimo semestre y no de los dos últimos como habría ocurrido si el examen de Economía se mantiene en el mes de noviembre.

Comparando estos resultados con la población estudiantil del primer semestre del 2000 al 2006; se observa que aunque ha aumentado para ese período el número de solicitudes y estudiantes de primer semestre, el número de matriculados ha disminuido a través del tiempo. Por lo que se podría inferir que los procesos internos de las instituciones y la permanencia de los estudiantes ha llevado a la disminución de la población estudiantil de Economía, mas no a una disminución en la demanda de la carrera. Por tanto, parte de la disminución de los estudiantes que han presentado el ECAES se podría explicar por la disminución del número de matriculados en la carrera.

Para todo el periodo de estudio, los estudiantes de sexto semestre representan un 3.2%, los de séptimo un 1.8%, los de octavo un 12.5%, los de noveno un 44.3%, los de décimo un 32.5%, los de onceavo un 3.5% y los de doceavo un 2.2%; mostrando que la mayor participación corresponde a los estudiantes de noveno y décimo semestre, quienes representaron el 76.4% en el 2004, 81.1% en el 2005 y 72.8% en el 2006.

Confrontando lo anterior frente a la duración estándar de la carrera por programa registrada en el SNIES y en la página electrónica oficial de cada institución; se observa que de los programas que se presentaron al ECAES del 2006, el 66% tienen una duración de diez semestres, 24% nueve, 3% ocho y no es posible determinar la duración para los demás debido al uso del sistema de créditos. Cruzando esta información con el semestre máximo en el que hubo representación por programa en la prueba; el 49% de los programas registran estudiantes para el semestre estándar de culminación, 15% superan ese límite y 29% se encuentran un semestre por debajo. Lo descrito, reforzaría en parte lo dicho al comienzo de la sección, cuando se crítica el cambio de frecuencia de la realización del examen.

Analizando los resultados por componente, se observa generalmente una distribución asimétrica positiva en todas las áreas económicas y por ende en el puntaje total para todos los períodos (Gráfico 4; Anexo, Tabla 2), implicando que existen más estudiantes con un promedio inferior a la media nacional. En el caso de Comprensión Lectora e Inglés, se evidencia básicamente una asimetría negativa para los años 2005 y 2006. Por otra parte, la distribución de los resultados en los componentes de Microeconomía y Macroeconomía es más apuntada que los de Estadística-Econometría y Pensamiento-Historia Económica.

Gráfico 1. Histogramas de puntajes individuales por componentes y total, período 2004³

7. Descripción instituciones

Para el periodo de estudio, se han presentado alguna vez estudiantes de 79 programas de 64 instituciones al ECAES en Economía; 71 programas (60 instituciones) en el 2004, 66 (59) en el 2005 y 59 (53) en el 2006. El 65% (75%) de los 79 programas (64 instituciones) se han presentado todos los años, 19% (17%) dos años y 13% (9%) solo una vez.

Con el fin de analizar a las instituciones que no han tenido representación en alguno de los tres exámenes realizados, se comparó el número de matriculados por institución para el semestre en que se realizó el examen y el número correspondiente de graduados por año (Anexo, Tabla 5).

Generalmente, las universidades que no se han presentado poseen un número bajo de estudiantes; sin embargo, se sospecha que algunas pocas instituciones no están presentando a sus estudiantes al ECAES; hecho que se evidencia sobretodo para el 2006, en el que hay universidades con un número considerable de estudiantes matriculados y que adicionalmente registran personas que obtuvieron el título ese año. Por otro lado, se encontró que solo un programa/institución aparece como inactivo de las universidades que alguna vez se han presentado a la prueba (no pidió registro calificado).

Analizando por jornada y origen, se presentaron a la prueba en el año 2004 13 programas de instituciones oficiales (12 diurnas, 1 nocturna) y 58 privadas (34 diurnas, 24 nocturnas). Los programas diurnos aumentaron a 36 en el 2005, mientras que las privadas nocturnas y las oficiales diurnas disminuyeron (18 en el 2005 y 14 en el 2006, 11 en el 2005 y 10 en el 2006; respectivamente).

Asimismo, hay catorce instituciones que han ofrecido la carrera en jornada diurna y nocturna para el período de estudio. Para el 2006, una de ellas no presentó estudiantes y siete presentaron estudiantes de alguna de las dos jornadas. No obstante, se observó que cuatro de estas instituciones han unificado la jornada, por lo que quedaría por explicar por qué tres universidades no presentaron estudiantes de la otra jornada.

Debe tenerse en cuenta en este punto, que aunque la implementación del sistema de créditos implica la estipulación de un tiempo de trabajo académico con acompañamiento directo del docente y un tiempo de desarrollo en actividades independientes de estudio (decreto 2566 de 2003), lo que implicaría en cierto sentido la desaparición del concepto de jornada; en algunos programas todavía se sigue utilizando este criterio, ya sea porque no se ofrece un programa diurno o porque el estudiante ve en mayor porcentaje asignaturas por la noche.

Analizando el promedio y desviación estándar de los resultados por Institución (Gráfico 2), hay una tendencia a través del tiempo en los resultados de los componentes de Microeconomía y Macroeconomía a concentrarse en un promedio y una desviación estándar menor al promedio nacional. Mientras que en Estadística-Econometría, Pensamiento-Historia Económica y en el Puntaje Total Ponderado hay una tendencia a poseer una desviación estándar menor a la nacional.

Gráfico 2. Media y desviación estándar de puntaje por componente y total ponderado por institución⁴

Por un lado, se observa que las instituciones acreditadas generalmente obtuvieron un promedio superior y una desviación estándar menor a la nacional; sin embargo, no se puede decir lo mismo de las que poseen el programa acreditado.

Por otro lado, no se observa una tendencia clara para el período de estudio en el promedio y desviación estándar de las instituciones que presentaron menos de 101 estudiantes. Hasta el 2005 se presentaron instituciones con 101 o más estudiantes al examen; esas instituciones tuvieron en su mayoría un promedio superior y una desviación estándar menor al promedio nacional durante esos dos años. También se advierte una disminución en las instituciones que presentaron 51 a 100 estudiantes.

8. Descripción geográfica

Posteriormente, se analizó desde la ubicación geográfica a la que pertenecen las instituciones. Para el 2004, la región Andina⁵ participó con 7 universidades oficiales, 40 instituciones privadas⁶; mientras que para el 2005 y 2006 presentaron la prueba 6 universidades oficiales y 36 instituciones privadas. La región Atlántico⁷ durante el 2004 y 2005 presentó 3 universidades oficiales, 8 instituciones privadas; y en el 2006 participaron 2 universidades oficiales y 4 instituciones privadas. Por otro lado, se presentaron 3 universidades oficiales y 10 instituciones privadas por la región Pacífico⁸ en el 2004 y en el 2005; y 3 universidades oficiales y 8 instituciones privadas en el 2006.

Examinando por ciudades (Gráfico 3), Bogotá agrupa el mayor número de estudiantes presentados al examen (43% en el 2004, 43.1% en el 2005 y 45.9% en el 2006), seguido por Cali (13.5%, 13.6% y 11.4%) y Medellín (11.2%, 9.7% y 11.3%). Por otro lado, Bogotá lidera en el número de instituciones que ofrecen la carrera de economía (39% en el 2004, 35% en el 2005 y 41% en el 2006), luego Medellín (10%, 11% y 12%) y Cali (11%, 11%, 8%). Asimismo, se observa que generalmente estas ciudades han obtenido resultados superiores a ciudades de menor densidad de estudiantes.

Los resultados por Microeconomía indican que se ha presentado una disminución en el puntaje y su desviación estándar a nivel municipal frente al nivel nacional; en general, los mejores resultados los presentan las tres ciudades con mayor número de estudiantes y programas junto a Barranquilla, Cartagena e Ibagué; y los menores Armenia, Manizales, Sincelejo y Valledupar.

9. Análisis de Covarianzas

Según Hawley et al. (1984) existen cuatro maneras en que el sistema de educación y las instituciones que lo componen pueden incidir sobre el rendimiento académico de los estudiantes, la primera hace referencia al proceso de enseñanza, como es la interacción entre el docente y sus estudiantes; la segunda a la calidad de los recursos de aprendizaje; la tercera al soporte que reciben de sus familiares; y por último se refieren a la calidad del ambiente de aprendizaje, el entorno donde ocurre éste. Bajo este marco, en esta sub-sección se analiza empíricamente, desde el punto de vista de las instituciones, que factores pueden llevar a que obtengan mejores resultados en el ECAES.

Por tanto, se estimó un modelo de Análisis de Covarianzas (ANCOVA) para determinar qué factores pueden incidir en el promedio del puntaje total ponderado de las instituciones que han presentado estudiantes en alguna prueba del ECAES de Economía para el período 2004-2006 (Tabla 1). Debido a que los puntajes anuales no son comparables, el modelo se estimó separadamente para los tres años de estudio y no se hizo énfasis en los coeficientes estimados sino en la causalidad.

Los resultados del ANCOVA indican que el número de estudiantes presentados, la jornada y si la institución posee o no acreditación de alta calidad del programa de Economía, explican conjuntamente el comportamiento del puntaje total obtenido. No obstante, el modelo no cuenta con suficientes variables para explicar en mayor grado el comportamiento de la variable dependiente.

Se determinó que, a medida que el tamaño de estudiantes evaluados por programa es mayor y si el programa es diurno aumenta el puntaje total. Lo anterior, corrobora lo encontrado por Montenegro (2005) para la prueba de ECAES del 2004.

Asimismo, tiene una incidencia positiva en el puntaje total si la institución posee acreditación; siendo ésta la que explica en mayor valor las diferencias entre instituciones. Por el contrario, la acreditación del programa no es una variable significativa en el modelo al incluirla conjuntamente con la variable de acreditación institucional ni al incluirla sin considerar esta última.

Gráfico 3. Promedio ponderado puntaje total por ciudad⁹

Tabla 1. Resultados ANCOVA¹⁰

10. Conclusiones y recomendaciones

Los exámenes de Estado de Calidad de la Educación Superior (ECAES) de Economía fueron concebidos para medir el grado de desarrollo de algunas competencias (interpretativa, argumentativa y propositiva) en las cuatro áreas básicas de conocimiento que debe poseer un economista según debates realizados dentro de la comunidad académica (Microeconomía, Macroeconomía, Estadística y Econometría, Pensamiento e Historia Económica). Sin embargo, hasta el momento la prueba mide básicamente competencias generales mas no específicas de la profesión, por lo que sólo es posible analizar los resultados en cuanto a las habilidades y conocimientos básicos que debe tener un recién egresado y no su desenvolvimiento en la ocupación.

Asimismo, este tipo de evaluaciones debe servir como uno de los varios puntos de referencia, pero no el único, que contribuya a la formación de economistas y su representación en un currículo de estudios. Es así como, el ejercicio hecho inicialmente dentro de la comunidad académica de la disciplina para construir esta prueba, permitió generar cierto tipo de consenso acerca de las temáticas mínimas que deben desarrollarse en un programa de pregrado en Economía; el siguiente paso podría ser la discusión a mayor profundidad acerca de cuáles son las competencias generales y específicas que un economista debería desarrollar durante su paso por una institución de educación superior.

Por otro lado, en el caso de la prueba no es posible discriminar los resultados para individuos que la han presentado en diferentes momentos del tiempo; los procesos de selección, ya sea de postgrados o de personal, y de análisis de mejoramiento de la calidad en la educación se dificultan al no manejar la prueba una escala con rangos fijos en las áreas evaluadas. Por tanto, se recomienda manejar un rango de resultados igual para todos los años, de forma que un determinado puntaje represente el mismo nivel de competencia sin importar cuando se presentó.

Además, se podría manejar rangos percentiles de desempeño con una actualización anual, para permitir de esta manera comparar resultados de diferentes años con respecto a un grupo de referencia reciente y facilitar los procesos de selección, tal y como se maneja el examen para el ingreso a programas de posgrado en otros países.

Por otra parte, se percibe una disminución del número de estudiantes e instituciones de educación superior presentadas al ECAES del 2004 al 2006 (57% y 17%, respectivamente); lo cual, examinando los registros de la población estudiantil que estaba estudiando Economía durante el 2000 al 2006, puede estar relacionado con la disminución del número de matriculados en la carrera.

Analizando los resultados del examen para el 20042006, se observa que el puntaje individual tiende a concentrarse en un nivel inferior al promedio nacional en las áreas económicas evaluadas y en un nivel superior para las otras dos áreas. También hay una concentración de resultados en los componentes de Microeconomía y Macroeconomía frente a una mayor dispersión en Estadística-Econometría y Pensamiento-Historia Económica; hay una mayor similitud en el grado de desarrollo de las competencias evaluadas en las dos primeras áreas que en las otras dos.

Adicionalmente, se aprecian diferencias a nivel municipal en las áreas económicas y su respectivo puntaje total promedio ponderado; destacándose las ciudades con mayor número de estudiantes y programas de Economía (Bogotá, Cali, Medellín) junto con Barranquilla y Cartagena. Lo anterior puede obedecer a que, al ser estas ciudades las de mayor concentración de la población y mayor producción en el país, exigen de las instituciones de educación superior, profesionales más preparados; implicando por consiguiente la implementación de prácticas pedagógicas acordes con el desarrollo de las competencias exigidas socialmente a los economistas en Colombia. Esta idea estaría acorde a lo expuesto por Cuenca y Pérez (2005), cuando relacionan geográficamente la organización económica del país, el índice de desarrollo humano, la concentración de demanda de programas de Economía y los resultados en el ECAES de Economía del 2004.

Por otra parte, los resultados por ciudad tienden a poseer una menor dispersión frente al promedio nacional, implicando una nivelación en las competencias evaluadas. Sin embargo, dado la forma de cálculo del puntaje por parte del ICFES, no es posible determinar la dirección de esta nivelación. Por medio de la estimación de un modelo ANCOVA para el período de estudio, se determinó a nivel de instituciones, que el número de estudiantes presentados a la prueba, si estos son de la jornada diurna y si la institución está acreditada en ese momento, inciden positivamente en el puntaje total ponderado.

Uno de los resultados que diferencia este estudio de los otros elaborados sobre los ECAES, es la demostración que los procesos de mejoramiento continuo en la calidad de la educación hechos para alcanzar la distinción de institución de educación superior acreditada influyen positivamente en los resultados de esta prueba; por tanto, ambos indicadores (ECAES y acreditación) se estarían complementando y logrando el objetivo de elevar el nivel de la educación superior en Colombia.

Sin embargo, no hay evidencias de que la acreditación del programa incida sobre el resultado; lo cual suena inicialmente desacertado, al ser ésta la que analiza rigurosamente y en mayor detalle las características de un programa que pueden darle el calificativo de alta calidad; pero, al ser ésta voluntaria, al no haberse presentado todos los programas de economía a dicho proceso en el período de estudio, entre otros aspectos; no es posible llegar con la información con la que se cuenta a una explicación adecuada sobre dicho fenómeno. Por tanto, se sugiere para futuras investigaciones, analizar la relación existente entre los procesos de calidad de educación y de evaluación de la formación en Colombia.

Para futuras investigaciones que cuenten con mayor información a nivel de las características socio-económicas y académicas de los estudiantes, del sistema de enseñanza de las instituciones y otros factores del entorno, se sugiere comprobar las siguientes hipótesis: en el caso del número de estudiantes, comprobar si a medida que la institución posee un mayor número de estudiantes, éste tiene la estabilidad económica y la capacidad suficiente para ofrecer una mayor cantidad de recursos educativos y de mejor calidad para el aprendizaje; en cuanto a la jornada, si los estudiantes diurnos poseen más tiempo que los nocturnos para realizar actividades académicas extracurriculares y aprovechar los recursos que la institución pone a su disposición; logrando de esta manera potenciar sus habilidades.

¹ Para el año de inicio del ECAES, no se calificó el componente de Comprensión de Inglés.

² Microeconomía = 0.3, Macroeconomía = 0.3, Estadística y Econometría = 0.2, Pensamiento e Historia Económica = 0.2.

³ Cálculos de los autores, ICFES.

⁴ Cálculos de los autores, ICFES.

⁵ En la región Andina se agrupó a los departamentos de Antioquia, Bogotá, Boyacá, Caldas, Meta, Santander y Tolima.

⁶ Hacen parte de las instituciones privadas las corporaciones universitarias, instituciones universitarias, fundaciones universitarias y universidades.

⁸ En la región Pacifico se agrupó a los departamentos de Cauca, Nariño, Quindío, Risaralda y Valle.

⁹ Cálculos de los autores, ICFES.

¹⁰ Fuente: Cálculo de los autores

¹⁰ Cálculos de los autores, ICFES.

¹¹ Fuente: Sistema Nacional de Información de Educación superior (SNIES)

¹² Cálculos de los autores.

¹³ Cálculos de los autores.

¹⁴ Fuentes: Consejo Nacional Profesional de Economía, Ministerio de Educación Nacional.

11. Referencias

Afadeco & Herrera, B. (2004). Marco de Fundamentación Conceptual y Especificaciones del ECAES de Economía, Bogotá, Afadeco.,        [ Links ]

Alien, J. & van der Velden, R. (2001). "Educational mismatches versus skill mismatches: effects on wages, job satisfaction, and on-the-job search" Oxford Economic Papers, 53, 3, pp. 434-452.        [ Links ]

Badillo-Amador, L.; García-Sánchez, A. & Vila, L.E. (2005). "Mis-matches in the Spanish Labor Market: Education vs. Competence Match" International Advances in Economic Research, 11, pp. 93-109.        [ Links ]

Battu, H.; Belfield, C.R. & Sloane, P.J. (1999). "Overeducation Among Graduates: A Cohort View", Education Economics, 7, pp. 21-37.        [ Links ]

Becker, G. (1964).Human Capital: A Theoretical and Empirical Analysis, with Special Reference to Education. Nueva York: National Bureau of Economic Research, Columbia University Press.        [ Links ]

Bishop, J. (2003). "Vocational education and at-risk youth in the United States", Vocational        [ Links ]

Borghans, L. & De Grip, A. (2000). The Overeducated Worker? The Economics of Skill Utilization. Cheltenham: Edward Elgar Publishing .        [ Links ]

Borghans, L.; Green, F. & Mayhew, K. (2001). "Skills measurement and economic analysis: an introduction". Oxford Economic Papers, 53, 3, pp. 375-384.        [ Links ]

Büchel, F; De Grip, A. & Mertens, A. (2003). Overeducation in Europe. Current Issues in Theory and Policy, Cheltenham: Edward Elgar Publishing.        [ Links ]

Burris, V (1983). "The Social and Political Consequences of Overeducation". American Sociological Review, 48, 4, pp. 454-467.        [ Links ]

Clogg, C. & Shockey, J. (1984). "Mismatch Between Occupation and Schooling: A Prevalence Measure, Recent Trends and Demographic Analysis". Demography, 21, 2, pp. 235-257.        [ Links ]

Cohn, E. & Khan, S. (1995). "The wage effects of overschooling revisited". Labour Economics, 2, pp. 67-76.        [ Links ]

Cuenca, N.J. & Pérez, I. (2005). "Análisis de los resultados del Examen de Calidad de la Educación Superior en Economía -ECAES". Ponencia presentada en la Universidad Militar "Nueva Granada".        [ Links ]

Delamare Le Deist, F. & J. Winterton, J. (2005). "What is competence?", Human Resource Development International, 8, 1, pp. 27-46.        [ Links ]

Duncan, G. & Hoffman, S. (1981). The Incidence and Wage Effects of Overeducation'', Economics of Education Review, 1, 1, pp. 75-86.        [ Links ]

Green, F.; Mcintosh, S. & Vignoles, A. (1999). "'Overeducation' and Skills - Clarifying the Concepts". Centre for Economic Performance Discussion Paper, 0435, 1999.        [ Links ]

Groot, W. & Maassen van den Brink, H. (1997). "Allocation and the returns to overeducation in the United Kingdom". Education Economics, 5, pp. 169-183.        [ Links ]

Groot, W. & Maassen van den Brink, H. (1996). "Overscholing en verdringing op de arbeidsmarkt'', Economisch Statistische Berichten, 4042, pp. 74-77.        [ Links ]

Groot, W. & Maassen van den Brink, H. (2000). "Skill mismatches in the Dutch labor market" International Journal of Manpower, 21, 8, pp. 584-595.        [ Links ]

Halaby, C. (1994). "Overeducation and Skill Mismatch". Sociology of Education, 67, 1, pp. 47-59.        [ Links ]

Hartog, J. (1985). "Overscholing?". Economisch-Statistische Berichten, 70, pp. 152-156.        [ Links ]

Hawley, W. et al. (1984). "Good Schools: What Research Says about Improving Student Achievement", Peabody Journal of Education, 61, 4, pp. iii-vi + 1-178.        [ Links ]

Heijke, H.; Meng, C. & Ramaekers, G. (2003). "An investigation into the role of human capital competences and their payoff", International Journal of Manpower, 24, 7, pp. 750-773.        [ Links ]

Hersch, J. (1995). "Optimal 'Mismatch' and Promotions", Economic Inquiry, 32, pp. 611-624.        [ Links ]

Ishikawa, M. & Ryan, D. (2002). "Schooling, basic skills and economic outcomes". Economics of Education Review, 21, pp. 231-243.        [ Links ]

Kalleberg, A. & Sorensen, A. (1973). "The measurement of the effects of overtraining on job attitudes" Sociological Methods and Research, 2, pp. 215-238.        [ Links ]

Kane, M. (1977). "Model-Based Practice Analysis and Test Specifications", Applied Measurement in Education, 10, 1, pp. 518.        [ Links ]

Meisel, A. & Pérez, G. (2005). "¿El poder a través del saber? Un análisis de los exámenes de calidad de la educación superior (ECAES) de economía en Colombia realizados en el 2004", Documento Webpondo.        [ Links ]

Mertens, L. (2000). La Gestión por Competencia Laboral en la Empresa y la Formación Profesional, Madrid, Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI).        [ Links ]

Mincer, J. (1974). Schooling, Experience and Earnings. Nueva York: National Bureau of Economic Research, Columbia University Press.        [ Links ]

Ministerio de Educación Nacional, (2002). República de Colombia. Decreto 940.        [ Links ]

Ministerio de Educación Nacional, (2002). República de Colombia. Decreto 1373, 2002.        [ Links ]

Ministerio de Educación Nacional, (2002). República de Colombia. Decreto 1781, 2003.        [ Links ]

Ministerio de Educación Nacional, (2003). República de Colombia. Decreto 2566.        [ Links ]

Ministerio de Educación Nacional, (2003). República de Colombia. Resolución 2774.        [ Links ]

Ministerio de Educación Nacional, (2001). Decreto 1716, Colombia.        [ Links ]

Ministerio de Educación Nacional. (2001). Decreto 2233, Colombia, 2001.        [ Links ]

Montenegro, A. (2005). "Los ECAES de Economía", Documentos de Economía, 20, Universidad Javeriana.        [ Links ]

Murray, A. & Steedman, H. (1998). "Growing Skills in Europe: the Changing Skill Profiles of France, Germany, the Netherlands, Portugal, Sweden and the UK". Centre for Economic Performance Discussion Paper, 0399.        [ Links ]

Ortiz, C. (2005). "Sobre los ECAES de Economía de 2004", Revista Sociedad y Economía, 8, pp. 197-205.        [ Links ]

Posada, R. (2004). "Formación superior basada en competencias, interdisciplinariedad y trabajo autónomo del estudiante" Revista Iberoamericana de Educación, versión digital - De los lectores, disponible en pdf: http://www.rieoei.org/deloslectores/648Posada.pdf        [ Links ]

Proyecto Tuning. (2007). Reflexiones y perspectivas de la Educación Superior en América Latina, Bilbao, Publicaciones de la Universidad de Deusto.        [ Links ]

Raymond, M. (2001). "Job Analysis and the Specification of Content for Licensure and Certification Examinations", Applied Measurement in Education, 14, 4, pp. 369-415.        [ Links ]

Ruiz, M.; Jaraba, B. & Romero, L. (2005). "Competencias Laborales y Formación Universitaria", Revista Psicología del Caribe, 16, pp. 64-91.        [ Links ]

Rumberger, R. (1987). "The impact of surplus schooling on productivity and earnings". Journal of Human Resources, 22, pp. 24-50.        [ Links ]

Rumberger, R. (1981). "The Rising Incidence of Overeducation in the U.S. Labor Market", Economics of Education Review, 1, 3, pp. 293-314.        [ Links ]

Sicherman, N. (1991). "'Overeducation' in the Labor Market", Journal of Labour Economics, 9, 2, pp. 101-122.        [ Links ]

Sloane, P.; Battu, H. & Seaman, P. (1999). "Overeducation, un-dereducation and the British labour market". Applied Economics, 31, 11, pp. 1437-1453.        [ Links ]

Smith, H. (1986). "Overeducation and Underemployment: An Agnostic Review" Sociology of Education, 59, 2, pp. 85-99.        [ Links ]

Tejada, J. (1999a). "Acerca de las Competencias Profesionales I", Revista Herramientas, 56, pp. 20-30.        [ Links ]

Tejada, J. (1999b). "Acerca de las Competencias Profesionales II", Revista Herramientas, 57, pp. 8-14.        [ Links ]

Training European Journal. (1995). 6, pp. 34-42.        [ Links ]

Valens, M. (2007). "Calidad de la Educación Superior en Colombia: Un análisis multinivel con base en el ECAES de Economía 2004", Documentos de Trabajo, Cidse, 99, Universidad del Valle.        [ Links ]

Verdugo, R. & Verdugo, N. (1989). "The Impact of Surplus Schooling on Earnings: Some Additional Findings", The Journal of Human Resources, 24, 4, pp. 629-643.        [ Links ]

Verhaest, D. & Omey, E. (2006a). "Measuring the Incidence of Over- and Undereducation". Quality & Quantity, 40, pp. 783-803.        [ Links ]

Verhaest, D. & Omey, E. (2006b). "The impact of overeducation and its measurement". Social Indicators Research, 77, pp. 419-448.        [ Links ]

Viloria de la Hoz, J. (2006). "Educación superior en el Caribe colombiano: análisis de cobertura y calidad", Documentos de Trabajo sobre Economía Regional, 69, Banco de la República.        [ Links ]

Wang, N.; Schnipke, D. & Witt, E. (2005). "Use of Knowledge, Skill, and Ability Statements in Developing Licensure and Certification Examinations", Educational Measurement: Issues and Practice, 24, 1, pp. 15-22.        [ Links ]

ANEXO
Tabla 2. Coeficientes de asimetría de puntajes individuales por componentes y total¹⁰

Tabla 3. Comportamiento semestral de la población estudiantil, período 2000-1 a 2006-1¹¹

Tabla 4. Matriz de correlaciones por puntaje de área¹²

Gráfico 4. Media del Puntaje Total por Semestre, Jornada y Semestre-Jornada¹³

Tabla 5. Instituciones que por lo menos alguna vez no han presentado el ECAES¹⁴