DOI: 10.13043/DYS.74.4

¿Edificar o educar? Impacto de los megacolegios en pruebas estandarizadas Saber 11º¹

To Build or to Teach? The Impact of the Megacolegios on Performance in Saber 11º Standardized Test

Tatiana Velasco Rodríguez²

1 Investigación presentada para aspirar al título de Magíster en Economía de la Universidad de los Andes. Agradezco a Adriana Camacho por su valiosa asesoría para la elaboración de este artículo. También por sus comentarios a los profesores Fabio Sánchez, Ana María Velázquez y Catherine Rodríguez de la Universidad de los Andes, y a Hugo Ñopo del Banco Interamericano de Desarrollo (BID). Por el acceso a la información y avances en el procesamiento de datos, agradezco a los profesores Fabio Sánchez, Carlos Eduardo Vélez y Adriana Camacho, así como a Allison Benson, Juan Pablo Mosquera y Ethel Segura de la Universidad de los Andes, e igualmente a la Secretaría de Educación del Distrito.

2 Magíster en Economía, Facultad de Economía, Universidad de los Andes. Bogotá, Colombia. Correo electrónico: tatianavelasco.ro@gmail.com.

Este artículo fue recibido el 15 de abril de 2014; revisado el 30 de agosto de 2014 y, finalmente, aceptado el 1º de septiembre de 2014.

Resumen

Desde el año 2004 Bogotá ha construido masivamente colegios de gran capacidad e infraestructura, conocidos como "megacolegios". Para 2010, el Distrito contaba con 42 de ellos, en las zonas de la ciudad con mayor necesidad de oferta educativa. Este artículo utiliza el método de pareamiento por probabilidad para evaluar el efecto que los megacolegios han tenido sobre el desempeño de sus estudiantes en las pruebas Saber 11º. Los resultados muestran que los megacolegios no tienen efectos sobre el desempeño promedio estudiantil. Sin embargo, sí mitigan la relación negativa que tienen con el desempeño algunas características del estudiante como la extraedad y la jornada escolar a la que asiste.

Palabras clave: Calidad de la educación, Saber 11º, infraestructura educativa.

Clasificación JEL: I21.

Abstract

Since 2004, the district of Bogotá has built massively schools of great capacity and infraestructure known as Megacolegios (Mega-schools). By 2010, the city counted with 42 new school which were built in the areas of the city with the highest demand for educational access. This paper uses matching techniques to measure the impact of the megacolegios in the students performance on the Saber 11º estandarized test. The results show that the megacolegios have no impact on the students performance. Nevertheless, The megacolegios do mitigate the negative relation between performance and some students characteristics like over age.

Key words: Education quality, standarized test, school infrastructure.

JEL classification: I21.

Introducción

La inversión en educación primaria y secundaria ha sido una de las estrategias principales utilizadas por el Gobierno para atacar los problemas de cobertura y calidad que enfrenta el sistema educativo colombiano³. Acorde con esto, Bogotá está construyendo masivamente colegios de gran infraestructura que tienen dentro de sus objetivos de incrementar el acceso a todos los niveles educativos de primaria y secundaria, así como de mejorar la calidad de los servicios educativos prestados, lo que generaría ambientes de cohesión e integración social (Decreto 449 de 2006, por el cual se adoptó el Plan Maestro de Equipamientos Educativos, en adelante PMEE).

El Distrito estableció como meta la construcción de más de 60 nuevas sedes con infraestructura y dotación superior a las de los colegios existentes, por lo cual se les ha llamado "megacolegios". Su construcción se ha ejecutado desde 2004 y 43 sedes nuevas ya funcionaban para el año 2010, en las zonas con mayor necesidad de oferta educativa pública de la ciudad, cada una con montos de inversión entre los 4.000 y los 10.000 millones de pesos, dependiendo del tamaño y ubicación de la construcción (Bogotá Sin Indiferencia, Informe Institucional). A pesar de la gran inversión, no se han hecho evaluaciones de la política que muestren si se están cumpliendo los objetivos que tienen que ver con la calidad de la educación.

A pesar de la importancia que tiene dicha calidad en el crecimiento económico, el desempeño de Colombia es uno de los más bajos en pruebas estandarizadas en América Latina. Los resultados de las pruebas del año 2012 del Programa para la Evaluación Internacional de Alumnos (PISA, por sus siglas en inglés) de la Organización para la Cooperación y el Desarrollo Económico (OCDE) ubicaron a Colombia en el penúltimo lugar de desempeño para la región, detrás de Chile, México, Uruguay, Costa Rica, Brasil y Argentina y solo delante de Perú (Instituto Colombiano para la Evaluación de la Educación, 2013).

Las pruebas PISA también brindan evidencia relevante sobre la relación que existe entre los recursos físicos y la calidad de la educación. De acuerdo con la información recogida por la prueba, Colombia no solo tiene uno de los desempeños más bajos de América Latina, sino que además tiene el mayor porcentaje de establecimientos educativos con recursos físicos y de aprendizaje inadecuados. Para medir esto, PISA pregunta a los directores de escuelas si las condiciones físicas de los establecimientos perjudican el aprendizaje estudiantil y las respuestas se combinan en un índice de recursos físicos (Bos, Ganimian y Vegas, 2014). Mientras que Chile, el país con el mejor desempeño regional, cuenta con la mejor infraestructura educativa, Colombia tiene la peor, con más de la mitad de sus alumnos sometidos a una infraestructura precaria en cuanto a espacios de recreación, sistemas de temperatura e iluminación, e incluso aulas de clase (Bos et al., 2014). Además, se estima que cerca del 70% de los estudiantes no cuentan con materiales adecuados de enseñanza, computadoras o acceso a Internet y materiales de biblioteca. Al comparar el desempeño en la prueba con los recursos físicos, se encuentra una relación positiva y estadísticamente significativa entre la calidad de los recursos físicos y el desempeño en matemáticas para los países no miembros de la OCDE (Bos et al., 2014).

Sin embargo, la evidencia empírica ha mostrado que no necesariamente las mejoras en infraestructura educativa se van a traducir en mejores desempeños de los estudiantes beneficiados. Hanushek (1997) hace una revisión de la literatura que ha abordado los determinantes de la calidad de la educación y encuentra poca evidencia a favor de un efecto positivo de la infraestructura sobre el desempeño en pruebas estandarizadas. De hecho, de los 377 trabajos que revisa, solo el 9% muestra efectos positivos, 5% efectos negativos y en el resto no se encuentra evidencia significativa en ninguna dirección.

Los esfuerzos de la política educativa en Colombia han estado especialmente concentrados en aumentar la cobertura y la asistencia escolar y disminuir la deserción. Sin embargo, la relación de estos esfuerzos con la calidad de la educación no siempre forma parte de los objetivos de la política, como es el caso de los megacolegios. Esta política no tiene el objetivo de mejorar dicha calidad y, en consecuencia, tampoco se miden los resultados.

Los aumentos en cobertura y asistencia sin mejoras en la calidad de la educación aportan poco crecimiento económico a una nación. Hanushek y Woessmann (2008) argumentan que la educación que no aumenta las habilidades cognitivas de los estudiantes -medidas como el desempeño en pruebas estandarizadas- tiene un impacto limitado en los resultados económicos agregados. Los autores encuentran que aunque Latinoamérica muestra aumentos sostenidos en cobertura y asistencia escolar, menos del 10% de sus estudiantes alcanza los mínimos de habilidades requeridas en lectura y matemáticas. Esta deficiencia llevaría a concluir que los esfuerzos en política educativa tendrían pocos impactos económicos en el largo plazo, pues son las habilidades cognitivas las que tienen un fuerte efecto en las ganancias individuales, la distribución del ingreso y el crecimiento económico.

Tal panorama es la principal motivación de este trabajo y la justificación de por qué es necesario medir para Colombia el efecto que ha tenido la inversión en infraestructura educativa en el desempeño de sus estudiantes. En primer lugar, si bien es claro que se están haciendo esfuerzos muy importantes en aumentar la cobertura educativa, los impactos que tendrán serán mínimos si no van acompañados de mejoras en la calidad de la educación. Como muestran los resultados de las pruebas PISA más recientes, Colombia no solamente es un país con desempeño pobre en estas pruebas sino que, además, es uno de los países con la más escaza infraestructura educativa. Sin embargo, tampoco es claro en la literatura que mejoras en infraestructura vayan a traducirse necesariamente en mayor calidad de la educación. Es en este contexto que se ubica la pregunta de esta investigación y la razón por la cual la evaluación de los impactos se enfoca en resultados de desempeño en pruebas estandarizadas.

A la fecha, no se ha medido el efecto de los megacolegios en pruebas de desempeño como Saber 11º. Este trabajo busca evaluar su impacto, aplicando la estrategia de pareamiento por probabilidad a datos de resultados del Instituto Colombiano para la Evaluación de la Educación (Icfes), combinados con información de la Resolución 166 del Ministerio de Educación Nacional, complementada con información del Censo DANE 2005 para Bogotá y de la encuesta C600 que aplica el Departamento Administrativo Nacional de Estadística (DANE) a las sedes educativas públicas del país. El objetivo final es proveer evidencia a los realizadores de política sobre el efecto que tienen las mejoras de infraestructura educativa en el desempeño de los estudiantes, así como aportar al debate de la literatura científica.

Los resultados muestran que los megacolegios no están afectando el desempeño promedio de sus estudiantes en las pruebas Saber 11º, pero sí mitigan la relación negativa que tienen con el desempeño características del estudiante como la extraedad y estudiar en la jornada de la tarde de su sede.

El presente trabajo está organizado de la siguiente manera: la sección I presenta la revisión de la literatura existente; la sección II hace una descripción de la política de construcción de megacolegios y señala aspectos relevantes sobre su asignación; la sección III desarrolla el marco conceptual a partir del cual se entiende el problema; la sección IV describe los datos utilizados; la sección V describe la metodología empleada; la sección VI presenta los resultados encontrados y, finalmente, la sección VII discute dichos resultados a la luz de potenciales canales que los explican y presenta las conclusiones y recomendaciones finales.

I. Revisión de literatura

La evidencia sobre la relación entre las mejoras en infraestructura escolar y la calidad de la educación es precaria y las relaciones encontradas no muestran resultados contundentes a favor de una relación positiva. Una revisión hecha a 377 investigaciones que examinan la relación entre la calidad de la infraestructura y las facilidades educativas con el logro escolar hecha por Hanushek (1997) muestra que solo el 9% de estos trabajos encuentran un efecto positivo, 5% encuentran un efecto negativo y el resto no halla evidencia significativa. Una revisión similar más reciente, hecha por Glewwe, Hanushek, Humpage y Ravina (2011) a 43 trabajos que examinan los efectos de los recursos escolares sobre la calidad de la educación en países en desarrollo, concluye que la evidencia no es contundente en cuanto a efectos positivos significativos.

Por otra parte, en la literatura hay un amplio debate sobre el trade-off que existe entre la eficiencia del gasto en educación a través de la construcción de colegios que alberguen a un gran número de estudiantes y los efectos negativos que esto pueda tener sobre su desempeño escolar. Si bien trabajos como el de Chakraborty, Biswas y Lewis (2000) muestran evidencia positiva del efecto de los grandes colegios sobre el gasto a nivel de plantel y de Distrito por estudiante, otros trabajos como el de Andrews, Duncombe y Yinger (2002) resaltan la importancia de lograr un equilibrio óptimo entre el tamaño de los colegios y sus potenciales efectos negativos sobre el desempeño de sus estudiantes. De esta forma, los autores plantean funciones de costo y producción a partir de las cuales concluyen que, si bien en cuanto a costos el número óptimo de estudiantes debe ser entre 2.000 y 4.000 estudiantes, cuando se tiene en cuenta el efecto sobre el desempeño escolar este número se reduce a entre 300 y 500 estudiantes para primaria y entre 600 y 900 estudiantes en secundaria.

La construcción de colegios en zonas en donde previamente existía oferta educativa no muestra efectos contundentes sobre logro escolar. Neilson y Zimmerman (2011) usan el método de diferencias en diferencias para examinar el efecto que tiene la construcción masiva de colegios en un sector deprimido de Connecticut, Estados Unidos. Los autores encuentran que, después de seis años de implementación, hay un efecto positivo de los estudiantes beneficiarios de 0,027 desviaciones estándar en lenguaje, pero sin efectos significativos en matemáticas. Cellini, Ferreira y Rothstein (2010) usan el método de regresión discontinua para examinar el efecto del gasto masivo en facilidades educativas a nivel de distritos en California, Estados Unidos. Los autores no encuentran evidencia significativa de efectos positivos en el logro escolar.

El trabajo de Duflo (2001) halla efectos positivos en la asistencia escolar y retornos en el mercado laboral para un sector de Indonesia en el que hubo construcción masiva de colegios, aunque el experimento que ella observa se da en distritos donde no existían previamente planteles educativos, por lo que no hay razones fuertes para pensar que este vaya a ser el caso para Bogotá, donde antes de la implementación de los megacolegios ya existía cierta oferta educativa.

Otros trabajos se han concentrado en mostrar la importancia que tiene la existencia de canales mediadores a la hora de lograr efectos positivos con las mejoras en infraestructura. Durán-Narucki (2008) utiliza modelos de mediación para conocer el efecto de las condiciones de la infraestructura sobre el logro escolar. Usando una muestra de estudiantes de colegios públicos de Nueva York, el autor encuentra que, al utilizar la asistencia escolar como factor de mediación en el buen desempeño en pruebas de lenguaje, el efecto de la infraestructura educativa desaparece. Evans, Jun Yoo y Sipple (2010) usan una muestra similar de la misma ciudad y encuentran que si bien los estudiantes que asisten a colegios en mal estado tienen desempeños más pobres en pruebas de lenguaje, estos resultados también dependen altamente del tiempo de permanencia de los estudiantes en la sede y de sus características socioeconómicas.

En Latinoamérica, los trabajos que han estudiado los efectos de la infraestructura se han concentrado en los indicadores de matrícula y asistencia. Pradhan y Rawlings (2002) examinan el efecto que tiene en las matrículas escolares la inversión del programa FISE en la mejora de colegios en Nicaragua. Mediante el uso de la técnica de pareamiento por probabilidad, los autores encuentran un aumento de diez puntos porcentuales en las matrículas de los estudiantes en las zonas beneficiarias. Un estudio similar para Perú hecho por Paxson y Shady (2002) muestra los efectos en la asistencia escolar del programa de inversión social Foncodes, el cual construye y refuerza colegios, además de ambientes deportivos en la zona. Usando varias estrategias de identificación de impacto, los autores encuentran un efecto positivo y significativo en la asistencia escolar de niños en primaria.

La literatura también ha mostrado que en Colombia las características individuales y del hogar del estudiante son determinantes del desempeño educativo. Gaviria y Barrientos (2001) muestran que una mayor edad está asociada negativamente con el desempeño en todas las áreas, así como ser mujer, resultado que también halla Gamboa (2012). Al estudiar los determinantes de brechas de desempeño en pruebas estandarizadas en Colombia, Celis, Jiménez y Jaramillo (2012) muestran que un menor nivel de ingreso del hogar se relaciona negativamente con el desempeño en pruebas Saber 11º.

Este trabajo busca aportar a la discusión con evidencia para Latinoamérica sobre los efectos de la inversión en infraestructura en el desempeño de los estudiantes, evaluando la construcción masiva de megacolegios en Bogotá después de sus primeros cinco años de implementación. A continuación se describen los lineamientos de política para la construcción de los megacolegios, que delimitan lo que será la estrategia de identificación y los potenciales canales a través de los cuales pueden explicarse los resultados.

II. Megacolegios de Bogotá: descripción de la política y motivación

En los últimos años, la política colombiana de educación se ha concentrado en mejorar la cobertura, el acceso y la calidad en todos los niveles educativos. Así, en los objetivos de política establecidos por la Secretaría de Educación del Distrito se contempla el incremento y mejora del acceso en todos los niveles, junto con el aumento de la calidad en la provisión de los servicios educativos. En este marco, el PMEE establece las directrices para el mejoramiento de la oferta de educación pública de la ciudad, a partir de la creación de ambientes escolares de cohesión e integración social (Decreto 449 de 2006). Para cumplir esto, en el decreto se propuso como meta para 2011 la construcción de más de 60 nuevos megacolegios públicos que, además de cumplir los objetivos marco, acercaran las condiciones de la oferta educativa a la privada, fortalecieran la institucionalidad, redujeran las brechas entre la demanda y la oferta educativa, disminuyeran los ambientes espaciales de segregación y consolidaran núcleos educativos en red con vocación urbana de centralidad vecinal.

La asignación geográfica de los megacolegios busca suplir las necesidades de oferta educativa, así como llegar a los sectores con mayores dificultades económicas. Como lo muestra el cuadro 1, los megacolegios se asignan a las unidades de planeación zonal (UPZ) con mayor demanda educativa, especialmente en el nivel de formación media y con estrato promedio inferior a 2, de acuerdo con los criterios de asignación establecidos por el PMEE⁴.

Los megacolegios se construyeron y pusieron en marcha paulatinamente desde el año 2004 y alcanzaron un número estable de sedes entre 2008 y 2010. Como se muestra en el gráfico 1, en el primer año de implementación de la política se abrieron 18 megacolegios, en 2005, 21 y fueron creciendo en número año a año hasta llegar a un número de 43 sedes en 2008. Para 2010, Bogotá tenía 756 sedes educativas en funcionamiento en 88 UPZ de la ciudad y de ellas 43 eran megacolegios, los cuales, a su vez, se ubicaban en 25 de estas UPZ. Con el fin de descartar potenciales diferencias en la intensidad del tratamiento debidas a la implementación escalonada de la política, para la presente evaluación se tendrá en cuenta el período entre 2008 y 2010.

A pesar de los esfuerzos en infraestructura y equipamiento educativo, los megacolegios están graduando a estudiantes con desempeños en pruebas Saber 11º visiblemente inferiores a los de los estudiantes de otros colegios públicos bogotanos. Como lo muestra el gráfico 2, el desempeño en las áreas de lenguaje, matemáticas, química, biología y física y el puntaje total⁵ es siempre inferior a la media del desempeño de la educación pública en Bogotá. El cuadro 2 muestra que estas diferencias para la muestra completa son significativas en todas las áreas observadas, siendo de hasta 0,15 desviaciones estándar en lenguaje, matemáticas, química y biología.

No es clara gráficamente la relación de estas diferencias con canales que suelen ser señalados en la literatura, como un mayor número de estudiantes por docentes. El gráfico 3 muestra la relación del número de estudiantes por docente en los cuatro niveles educativos para los años 2008, 2009 y 2010. Si bien esta parecería ser más alta en los niveles de preescolar y primaria de los megacolegios, no necesariamente es el caso para los niveles de secundaria y media. Para colegios regulares y para megacolegios, la relación del número de estudiantes por docentes es en promedio de 30 estudiantes en secundaria y de 25 estudiantes en media, una cifra estable en los tres años observados.

Otra explicación tendría que ver con problemas de sobrecupo en las nuevas sedes, traducidos en un mayor número de estudiantes por metro cuadrado. Sin embargo, como se muestra en el cuadro 2, el número de estudiantes promedio es similar entre megacolegios y colegios regulares, siendo de 0,28 y 0,21, respectivamente.

La discusión anterior evidencia la motivación fundamental de este trabajo. Mientras que los estudiantes que se gradúan de megacolegios tienen desempeños más pobres en pruebas de calidad como Saber 11º, no es obvio que esto se deba a canales típicamente señalados en la literatura, como un menor número de docentes por estudiantes. Además, la simple comparación de promedios entre estudiantes de megacolegios versus sedes convencionales es sesgada, debido a que existe un proceso de autoselección de los estudiantes en las sedes a las que asisten, así como un proceso de asignación de los megacolegios a diferentes zonas de la ciudad. En este sentido, los dos grupos no son directamente comparables y los factores que determinan la selección en los megacolegios son fundamentales para el planteamiento del marco conceptual, de la hipótesis sobre el efecto y de la estrategia de identificación, que se explican a continuación.

III. Marco conceptual

Siguiendo los modelos conceptuales propuestos por Lee y Barro (2001) y en Herczynski y Mikolaj (2004), se parte de la siguiente función básica sobre los determinantes de la calidad en educación:

donde X_i se refiere a las características del niño y de su hogar que son determinantes de su desempeño educativo, como por ejemplo su edad, el estatus socioeconómico de su hogar o el acceso a servicios; mientras que S_ij recoge todos los aspectos relacionados con su entorno escolar, como lo son la jornada educativa, el acceso a recursos pedagógicos, la formación de los docentes y demás factores de la sede que puedan determinar el desempeño de sus estudiantes.

Los aspectos que diferencian a los megacolegios de las demás sedes educativas, por cuyos efectos se pregunta este trabajo, estarían capturados en la ecuación (1) dentro del factor S_ij, por lo que se descompone en aquellos que son comunes a todas las sedes y aquellos que son propios de los megacolegios:

Así, mientras S_ij captura todos los aspectos que son comunes a las sedes, n_ij captura los que son propios de los megacolegios, como por ejemplo el acceso a mejores dotaciones pedagógicas, a mejores espacios de aprendizaje y recreación y demás aspectos que diferencien a los megacolegios de las otras sedes educativas públicas de la ciudad.

El principal objetivo de la estrategia de identificación es poder aislar el efecto que tiene n_ij en el desempeño de sus estudiantes medido a través de las pruebas Saber 11º. Si bien por la disponibilidad de información no es posible conocer cada uno de los factores que diferencian a los megacolegios de las demás sedes públicas en Bogotá, la estrategia propuesta permite aislarlos de los determinantes de calidad que son propios del niño y de los que son comunes a todas las sedes educativas.

Las siguientes secciones describen la base de datos utilizada para tal fin, junto con su proceso de construcción, y desarrollan la estrategia de identificación a través de la cual se captura el efecto.

IV. Datos

Para identificar el efecto de los megacolegios sobre el desempeño de sus estudiantes en las pruebas Saber 11º fue necesario construir una base de datos de cortes transversales para 2008, 2009 y 2010, que tuviera características de los niños y sus hogares previas a este período y que, además, permitiera caracterizar el entorno sociodemográfico de las sedes educativas con el fin de aproximarse a su criterio de asignación en las distintas zonas de la ciudad. Con la definición del tratamiento, se identifican a los estudiantes para quienes hay un cambio en las condiciones de su infraestructura educativa -de colegio regular a megacolegio-, lo que implica que se tienen en cuenta solo a niños que antes del tratamiento ya estaban estudiando y no a quienes pasan de no ser estudiantes a serlo. Este es un aspecto fundamental para la interpretación de los resultados.

La base de datos construida combina tres fuentes de información. La primera es el panel de datos censales de la Resolución 166 del Ministerio de Educación Nacional (de aquí en adelante R166), que recoge información año a año de los niños de colegios públicos del sistema educativo nacional junto con características de su sede y que está disponible hasta el año 2008, combinados con las características del hogar de cada niño recogidas a través de la encuesta Sisbén 2003. Para medir el desempeño de los estudiantes, la segunda fuente de datos son los resultados a nivel de niño de 2008 a 2010 de las pruebas Saber 11º, a los cuales el Icfes da libre acceso en su página web, los cuales incluyen información para cada estudiante sobre el puntaje obtenido en las distintas áreas que mide el examen. Por último, se utiliza información del Censo DANE 2005, que se realizó a todos los hogares del país, con el fin de caracterizar a las UPZ de la sede y así aproximarse a los criterios de asignación de los megacolegios en la ciudad, además de características de las sedes educativas para los años 2008 a 2010 recogidas por la encuesta C600 del DANE.

Para la construcción de la base de datos, primero se identificaron a los niños que estando en un colegio público en 2007 debían presentar las pruebas Saber 11º en alguno de los años 2008, 2009 y 2010. La información de la prueba se buscó en los datos Saber y se generaron en ambas bases de datos identificadores únicos a partir del nombre completo del estudiante; esta se combinó con los datos del Censo 2005, a partir de los cuales se generaron variables socioeconómicas a nivel de UPZ para caracterizar el entorno de la sede educativa. Lo anterior se llevó a cabo utilizando el directorio de sedes educativas públicas de Bogotá, que provee a solicitud del interesado la Secretaría de Educación del Distrito, usando el código de georreferenciación DANE de la sede y relacionando su punto de ubicación con la información del Censo para cada UPZ.

La identificación del tratamiento partió de criterios adicionales a que el niño esté o no en un megacolegio en alguno de los tres años (2008-2010). Dado que las características pretratamiento para la construcción de la estrategia de identificación son del año 2007, 2005 y 2003 (R166, Censo y Sisbén), se considera como niño tratado aquel que se observa en un colegio regular en 2007 y que en 2008 comienza en un megacolegio, para luego graduarse en este en alguno de los años 2008, 2009 o 2010. Para asegurar que el estudiante se gradúa del mismo colegio en el que está en 2008, se utiliza el código de institución del Icfes y se verifica que el código del 2008 sea el mismo que el del año que toma la prueba Saber 11º. Debido a que no es posible observar la trayectoria del estudiante en 2009, se hace el supuesto de que los estudiantes que toman la prueba en 2010 no estuvieron fuera de la sede en el año anterior.

La identificación del tratamiento asegura control sobre el tiempo de exposición de los tratados (uno, dos o tres años de exposición disponibles), así como el uso de características pretratamiento para la estrategia de identificación. Esto también implica que como tratados, solo se considera a los niños que ya estaban estudiando, por lo que el tratamiento se limita al cambio de condiciones de la sede debido a los megacolegios, mas no al cambio en la condición de no estudiante a estudiante. Para los controles, se asegura que el tiempo de exposición siempre sea igual a cero al contemplar solo a aquellos niños que entre 2007 y su grado están siempre en el mismo colegio público regular, no megacolegio.

La base de datos final está compuesta por cortes transversales sobrepuestos de estudiantes que presentan las pruebas Saber 11º entre 2008 y 2010, y con las características pretratamiento provenientes de la R166, la encuesta Sisbén 2003 y el Censo 2005. En ella se identifican a 619 sedes educativas, ubicadas en 79 UPZ de las cuales 23 corresponden a UPZ con megacolegios. En total, de los 42 megacolegios construidos se identifica a 29 de ellos⁶. Como lo muestran las estadísticas descriptivas, en total se identifican con todas sus características a 70.407 estudiantes de colegios públicos de Bogotá que debían presentar las pruebas Saber 11º entre 2008 y 2010. De estos, 2.075 (aproximadamente 3%) son egresados de megacolegios.

El cuadro 2 recoge las características del niño, su hogar, su sede y la UPZ de su sede de la muestra completa para niños en megacolegios y niños en colegios públicos estándar. Como se observa, los niños en megacolegios son en promedio de mayor edad (17,33 años versus 17,07) y presentan una mayor tasa de repitencia antes de su traslado (0,17 versus 0,09); también son niños cuyos hogares se concentran en los estratos 1 y 2 y cuyos colegios se encuentran en UPZ con condiciones socioeconómicas más precarias a las de los colegios regulares. Por ejemplo, el estrato socioeconómico de los estudiantes en megacolegios es significativamente inferior (1,52 versus 2,12), el acceso a servicios públicos como telefonía es menor (79,45% tienen acceso versus 86,15%) y el porcentaje de niños que asisten a media (grados décimo y undécimo) también es menor (43,66% versus 56,57%).

V. Metodología

La estrategia de identificación utilizada se desarrolla en dos pasos. En el primero, se refina la muestra y se construye el grupo contrafactual que permite encontrar un efecto causal del programa; en el segundo, se realizan las estimaciones de impacto, que identifican el efecto de los megacolegios en el desempeño de los estudiantes en pruebas Saber 11º entre 2008 y 2010. La metodología implementada en cada paso se describe a continuación.

A. Construcción del grupo contrafactual

Dado que la asignación al tratamiento no es aleatoria y teniendo en cuenta que los niños no tratados son significativamente distintos a los niños tratados, una simple comparación del desempeño en pruebas Saber 11º de los dos grupos no llevaría a la estimación de un efecto causal. Por lo tanto, la estrategia de identificación apunta a la construcción de un grupo contrafactual al tratado, que permita responder a la pregunta: ¿Cuál habría sido el desempeño de estos mismos estudiantes de no haber recibido el tratamiento? Para esto se propone el método de pareamiento por probabilidad. Como explican Imbens y Rubin (2005) y Dehejia y Wahba (2002), esta metodología busca construir un grupo de control similar al grupo de tratamiento en todas sus características observables, a partir de la probabilidad estimada de tratamiento. El supuesto central de esta técnica es que los grupos de tratamiento y de control deben ser similares en todas aquellas características observables, que determinen simultáneamente su desempeño en las pruebas Saber 11º y su ingreso a los megacolegios. Lo anterior implica que si ambos grupos son comparables en todas las características relevantes, una comparación posintervención de ellos da una estimación del efecto causal buscado.

Como ya se ha discutido, en el caso de los megacolegios una comparación directa de sus estudiantes con aquellos de colegios regulares plantea sesgos de selección que deben ser discutidos. Al haber autoselección por parte de los estudiantes y sus hogares en los megacolegios y una asignación a las zonas no aleatoria de estas sedes, existe una correlación entre estudiar en un megacolegio y las características de los estudiantes, lo que lleva a que una simple comparación entre los estudiantes de megacolegios y los de otras sedes no sea causal.

En este sentido, la construcción del grupo contrafactual debe tener en cuenta las características de las UPZ que determinan la asignación de los megacolegios y que potencialmente determinan el desempeño de los estudiantes en la sede, así como las características de los niños y de sus hogares que determinan simultáneamente la escogencia por parte del hogar y el niño del megacolegio y su desempeño en las pruebas saber.

Teniendo en cuenta lo anterior, para la construcción del grupo contrafactual se estima la probabilidad de que un estudiante estudie en un megacolegio entre 2008 y 2010 en función de sus características individuales, del hogar y de la UPZ de su sede, las cuales se relacionan con la asignación del tratamiento y con el desempeño en pruebas Saber 11º. Como lo mencionan Caliendo y Kopeinig (2008) las variables que se incluyan deben explicar no solamente la asignación del tratamiento sino, además, deben ser previas a este, para asegurar que no se hayan visto afectadas por el tratamiento. Este aspecto se resuelve al haber definido como tratados solo a los niños que ingresan a un megacolegio en 2008 y al conservar como características observables la información del estudiante de 2007 y de 2005. El modelo estimado controla, a nivel del estudiante, por tener una edad superior a la esperada para su grado educativo (extraedad) y haber repetido algún grado entre 2005 y 2007; a nivel del hogar, por el nivel educativo de los padres, el estrato socioeconómico, el nivel del Sisbén y el acceso a televisión y telefonía; y a nivel de la UPZ, por el estrato promedio, el porcentaje de personas entre 3 y 18 años, la asistencia a educación media, el acceso a servicios públicos y la oferta educativa inicial en la UPZ. De este modo, se estima un modelo logit que explique la probabilidad de que el estudiante sea tratado con las siguientes variables:

donde x_i es el vector de características del estudiante y de su hogar y c_h son las características de la UPZ en la que está ubicado el colegio. Él presenta los resultados del modelo de probabilidad escogido para la estimación.

Con base en Dehejia y Wahba (2002), a partir de la estimación de la probabilidad de que un niño esté en un megacolegio, se escoge la muestra en el soporte común. Para esto, se tiene en cuenta para el límite inferior el valor mínimo que toma dicha probabilidad para el grupo de estudiantes que se sabe están en un megacolegio y, para el límite superior, el valor máximo de dicha probabilidad para el grupo de estudiantes que se sabe que no lo están. Así, teniendo en cuenta la información presentada en el gráfico 4, se escoge la muestra para la cual la probabilidad es mayor a 0,02 e inferior a 0,26.

Además, se calculan pesos probabilísticos como método para reducir sesgos en las estimaciones. Como lo explican Imbens y Rubin (2005), los estudiantes para quienes el valor de la probabilidad estimada es bajo pero forman parte del grupo que se conoce como tratado deben recibir un mayor peso respecto a las unidades que tienen el mismo valor estimado, pero se conoce que no reciben el tratamiento. En este sentido, se estiman los pesos probabilísticos con base en la siguiente ecuación:

en donde T toma el valor de 1 cuando el estudiante se considera como tratado y de 0 en el caso contrario, y e(X) es la probabilidad estimada a partir del vector de características X definido en la ecuación (3).

Para comprobar que la muestra escogida pueda ser usada para estimar un efecto causal y como criterio fundamental para la selección del modelo de estimación de la probabilidad de tratamiento, se retomó al criterio recomendado por Imbens y Wooldrigde (2009). Como se muestra en el cuadro 3, mientras que el criterio no se cumplía para la muestra completa (siendo especialmente fuerte la diferencia en las características de las UPZ, único criterio de asignación de megacolegios del que se tiene claridad), una vez se restringe la muestra, el criterio se cumple, reduciendo por debajo de 0,25 la diferencia de medias normalizadas para todas las características del niño, de su hogar y de la UPZ de su sede. A manera de complemento, se muestra para ambas muestras el resultado de la prueba t de diferencia de medias, que se reduce de manera significativa en todas las variables⁷.

El gráfico 5 muestra el desempeño en las pruebas Saber 11º para seis de las áreas evaluadas y para el puntaje total de los estudiantes que quedan en la muestra de soporte común. A diferencia de lo observado en el gráfico 2, el desempeño de estudiantes en colegios regulares y en megacolegios es similar y se ubica siempre por debajo de la media para los años 2008, 2009 y 2010.

Las estadísticas descriptivas de la muestra cortada presentadas en las columnas de la izquierda del cuadro 2 muestran que las diferencias en el desempeño de los estudiantes en la prueba dejan de ser significativas entre los dos grupos y se mantiene solo un leve nivel de significancia para el área de química, a favor del desempeño en los colegios regulares.

Contrario a lo que se observa en las estadísticas descriptivas de la muestra completa, en la muestra de soporte común la extraedad⁸, la repitencia y demás características sociodemográficas son equiparables entre los grupos de tratamiento y de control. Como se observa, en la muestra en el soporte común se conserva a los estudiantes con mayor extraedad y repitencia, así como con peores características sociodemográficas. Mientras que en la muestra completa, el 62% de los estudiantes en megacolegios estaban en condición de extraedad en comparación con el 47% de los niños en colegios regulares, en la muestra de soporte común la extraedad se nivela para los dos grupos a 57% y 56%. Las tasas de repitencia entre estudiantes en megacolegios y colegios regulares también se nivelan, siendo de 14% y 13%, respectivamente, así como el promedio de estudiantes en hogares de estrato 1 (28% y 24%, respectivamente) y el estrato promedio de la UPZ (1,62 y 1,66, respectivamente).

La muestra en el soporte común representa un avance importante para la identificación del efecto causal del tratamiento. Sin embargo, para la estimación del efecto causal se utiliza la información que se tiene sobre las sedes, como la jornada escolar y la oferta educativa, y la variación en el tiempo que se tiene entre 2008 y 2010.

B. Metodología de estimación del efecto de los megacolegios en el desempeño en pruebas Saber 11º

La primera parte de la estrategia de identificación permitió la construcción de un grupo contrafactual con una probabilidad de tratamiento similar a la del grupo tratado sobre el cual pueda identificarse un efecto causal. El objetivo de la segunda parte de la estrategia es que, sobre esta muestra, se pueda controlar por los demás factores de la sede educativa, lo permite afinar el aislamiento del efecto que se debe a las cualidades propias de los megacolegios.

Para la estimación se retoman las características identificadas en el marco teórico. Así, sobre la muestra de estudiantes de 2008 a 2010 que queda en la muestra de soporte común, se estima el siguiente modelo econométrico mediante mínimos cuadrados ordinarios y pesando por la probabilidad de tratamiento:

donde P_it^k, es el puntaje estandarizado respecto a la media que obtuvo el estudiante en cada área de la prueba Saber 11º, mientras que en la parte izquierda de la ecuación T_ik es la variable de interés que representa si el estudiante se encuentra o no en un megacolegio desde 2008 hasta el año en que presenta el examen. Por su parte, X_i son las características del niño y de su hogar que se mantienen como relevantes para explicar el desempeño de los estudiantes; S_k son las características de la sede que varían entre sus jornadas y que capturan información relacionada con el tamaño de la sede, por ejemplo, si se ofrecen todos los niveles educativos y el número promedio de estudiantes por metro cuadrado⁹; σ_t es un efecto fijo por año y ε_itk es el error de la estimación.

El modelo estimado en la ecuación (5) permite identificar el efecto de que un estudiante esté en un megacolegio desde 2008 hasta la presentación del examen en su desempeño en pruebas Saber 11º. Sin embargo, también es posible estimar el efecto del tiempo de duración en la sede, que puede ser máximo de tres años. La ecuación (6) permite estimar este efecto al incluir el término α_k que representa un efecto fijo por sede.

La inclusión de los efectos fijos por sede en las estimaciones implica que el efecto observado es del tiempo de exposición al tratamiento, es decir, el impacto que tiene un año más de permanencia en un megacolegio sobre el desempeño en pruebas Saber 11º. Dichos efectos también permiten controlar por otras características no observables de la sede, como el nivel de formación de los docentes.

Los modelos aquí presentados se estiman para el puntaje estandarizado en las áreas de lenguaje, matemáticas, química, biología, física y para el puntaje total¹⁰. Los resultados de las estimaciones se presentan en la siguiente sección.

VI. Resultados

Los cuadros 4 y 5 presentan los resultados de la estimación de las ecuaciones (5) y (6), respectivamente, sobre la muestra de soporte común de los estudiantes que presentan la prueba Saber 11º entre 2008 y 2010 en Bogotá. Los resultados presentados en el cuadro 4 representan el efecto que tiene pertenecer a un megacolegio sobre el desempeño, mientras que en el cuadro 5 se muestran las estimaciones del efecto del tiempo de exposición al tratamiento, es decir, el impacto del tiempo de duración de un estudiante en un megacolegio.

Para los dos tipos de resultado, el modelo 1 es el más simple e incluye solo la variable que define el tratamiento. En el modelo 2 se agregan como controles características del niño y de su hogar, como el sexo, la condición de extraedad y formar parte de un hogar clasificado en el nivel 1 del Sisbén; el modelo 3 agrega como controles al modelo 2 las características del colegio que varían entre sus jornadas; y finalmente, en el modelo 4 se incluyen efectos fijos de tiempo para capturar la variación no observable entre un año y otro.

Los resultados presentados en los cuadros 4 y 5 no muestran evidencia de que los megacolegios afecten el desempeño en las pruebas Saber 11º. Por una parte, en el cuadro 4 se evidencia que no hay efectos significativos del tratamiento y, de hecho, el efecto en química es negativo en los tres primeros modelos y desaparece al incluir los efectos fijos por año, es decir, al controlar por las características no observadas que no varían en el tiempo. Por otra parte, aunque en el cuadro 5 se observa que solo para el área de biología hay un efecto de 0,23 desviaciones estándar significativo al 95% de confianza para los estudiantes que permanecen en un megacolegio durante los dos últimos años de formación de bachillerato, el efecto no se mantiene para aquellos estudiantes que permanecen en los megacolegios un año adicional.

A. Sesgo de selección

La estrategia de identificación del impacto aquí utilizada permite corregir por los sesgos de estimación del efecto que puedan ser explicados por características observadas. En efecto, a través del pareamiento por probabilidad es posible seleccionar a estudiantes en megacolegios o no que son comparables entre sí, bajo el supuesto de que las características que determinan que estudien o no en dichos establecimientos son observadas y se encuentran incluidas en el modelo de probabilidad estimado. Además, al estimar el impacto de los megacolegios en una segunda etapa y con un modelo que incluye diferentes controles de efectos fijos, se controla por características no observadas que no varían entre sedes y entre años.

Lo anterior no implica que los efectos estimados estén libres de sesgos. Por una parte, es posible que haya características de los estudiantes, de sus hogares o de las zonas donde se ubican los megacolegios que estén determinando la asignación al tratamiento, pero que no son observadas y que, en consecuencia, lleven a una sobreestimación o subestimación de la probabilidad de tratamiento, lo cual hace que los grupos de tratamiento y de control no sean plenamente comparables. Por otro lado, un mayor tiempo de exposición a los megacolegios afecta otros factores como la deserción o asistencia escolar, que a su vez explican el desempeño de los estudiantes y que llevan a que los grupos de tratamiento y de control dejen de ser comparables a mayor tiempo de exposición al tratamiento.

En dicho contexto, el primer sesgo de selección tiene que ver con las características no observables que pueden explicar tanto la decisión del estudiante de matricularse en un megacolegio, como el desempeño en la prueba Saber 11º. Dado que no existe una regla clara de asignación de los estudiantes a los megacolegios, cabe plantearse la pregunta de si los estudiantes en los megacolegios son también los estudiantes que deben salir de otras sedes hacia las nuevas debido a su bajo desempeño, en cuyo caso se estaría subestimando el efecto, o si se trata de los más motivados por tener acceso a mejores equipamientos educativos para su aprendizaje, quienes presionan para ser seleccionados para las nuevas sedes, lo que implicaría una sobreestimación del efecto.

Incluso, asumiendo que no existe dicho sesgo de selección en características no observadas, el tiempo de exposición al tratamiento también plantea otro sesgo para los estudiantes en megacolegios. Como se discute en trabajos como los de Báez y Camacho (2011) y Rodríguez y Sánchez (2010), si los megacolegios disminuyen la deserción, una porción de los estudiantes tratados toman la prueba Saber 11º como consecuencia del tratamiento, ya que de no haber estado en un megacolegio probablemente habrían desertado. Estos estudiantes que en el margen presentan la prueba al final del tratamiento deberían ser diferentes a los estudiantes de control, aun cuando el pareamiento por probabilidad los haya hecho iguales a la entrada al tratamiento.

Así, siguiendo a Angrist, Bettinger y Kremer (2006) y Lee (2002), si el tratamiento afecta de manera significativa y positiva la presentación de la prueba, el sesgo de selección debido al efecto en deserción del tratamiento existe en contra de los estudiantes beneficiarios, pues si los megacolegios reducen la deserción, es de esperar que retenga a los estudiantes menos hábiles. Como se observó en las estadísticas descriptivas presentadas en el cuadro 2, no se observa diferencia en la tasa de presentación de la prueba Saber 11º entre estudiantes dentro y fuera de megacolegios, por lo que no habría evidencia para creer que este sesgo en particular exista en este caso.

Una manera de corregir estos sesgos es a través de correcciones no paramétricas en las distribuciones de desempeño en la prueba Saber 11º de los estudiantes en megacolegios y de los estudiantes en el grupo de control. Así, si el sesgo de selección ocurre por características no observadas que generan que los estudiantes de desempeño más bajo sean los que ingresan a megacolegios, o los que no desertan debido al potencial efecto que tienen los megacolegios en disminuir la probabilidad de deserción, es razonable creer que los estudiantes en la parte inferior de la distribución de los puntajes Saber 11º de los tratados deban excluirse de las estimaciones. Si, por el contrario, los estudiantes en los megacolegios son los más motivados, habría que eliminar a los estudiantes en la parte superior de la distribución de puntajes.

Teniendo presente lo anterior, se realiza una corrección no paramétrica como lo sugieren Angrist et al. (2006) y los resultados se presentan en los cuadros A1.1 y A1.2 del anexo 1. Los truncamientos para las estimaciones se realizaron en el percentil 24 -a partir del cual los estudiantes en el grupo de control comienzan a tomar puntajes reales en la prueba y que es un percentil por encima del percentil del grupo de tratamiento- y para el percentil 28. Los dos tipos de resultado, de pertenecer a un megacolegio y de tiempo de exposición, muestran que el efecto de los megacolegios sigue sin ser significativo en el desempeño e incluso desaparece el efecto de permanencia de dos años inicialmente identificado en biología.

B. Efectos heterogéneos

Otro aspecto por evaluar tiene que ver con potenciales efectos heterogéneos que tenga pertenecer a un megacolegio en relación con las características del estudiante y de la sede, los cuales estén explicando su desempeño. Así, puede ser que la relación de características típicamente negativas del estudiante varíe para quienes están en un megacolegio. Para su identificación, se estima el modelo de la ecuación (5), incluyendo interacciones con las características del niño y de la sede.

El cuadro 6 presenta las estimaciones de los efectos heterogéneos de pertenecer a un megacolegio de acuerdo con las características del estudiante y de su sede. De manera general, ser mujer tiene una relación negativa y significativa con el desempeño en todas las áreas evaluadas y llega a ser de hasta 0,3 desviaciones estándar en matemáticas, así como estar en un hogar clasificado en el nivel 1 del Sisbén, cuya relación negativa con el desempeño alcanza las 0,16 desviaciones estándar en el área de lenguaje. Además, características de la sede como un mayor número de estudiantes por metro cuadrado disminuyen el desempeño de manera significativa en todas las áreas, en hasta 0,23 desviaciones estándar; mientras que el indicador del tamaño de la sede como ofrecer todos los niveles educativos (preescolar, primaria, secundaria y media) tiene una relación negativa con el desempeño en matemáticas de 0,04 desviaciones estándar.

Respecto a los efectos heterogéneos que tienen los megacolegios, se identifican dos tipos de resultados. Para las áreas de lenguaje y física, aun después de controlar por las características de los estudiantes en megacolegios, el efecto en desempeño sigue sin ser significativo, pero se mitiga la relación negativa que tienen algunas características del estudiante y de su sede. Por otra parte, para las áreas de matemáticas y química y para el puntaje total, los resultados muestran efectos diferenciados del tratamiento por tipo de población y beneficia a quienes tienen características relacionadas con un bajo desempeño.

Frente al primer tipo de resultados, pertenecer a un megacolegio mejora la relación negativa que inicialmente tienen con el desempeño características como la extraedad o estudiar en la jornada de la tarde. Así, un estudiante de un megacolegio que está en extraedad puede mejorar su desempeño en 0,14 desviaciones estándar en lenguaje, así como un estudiante que esté en la jornada de la tarde puede mejorar su desempeño en 0,11 desviaciones estándar en física, frente a la relación inicialmente negativa que tenían estas variables, de 0,21 y 0,06 desviaciones estándar, respectivamente.

El segundo tipo de resultados muestra que los megacolegios tienen efectos diferenciales de acuerdo con el tipo de población tratada. En el área de matemáticas, mientras que para los estudiantes en sedes regulares estudiar en la jornada de la tarde afecta el desempeño en Saber 11º en 0,15 desviaciones estándar, los megacolegios disminuyen esta relación negativa con el desempeño en 0,16 desviaciones estándar. Similar es el caso de la extraedad para el desempeño en química, pues para los estudiantes en establecimientos regulares la extraedad está asociada con un desempeño que es 0,20 desviaciones estándar más bajo en la prueba, mientras que para los estudiantes de megacolegios su desempeño mejora en 0,16 desviaciones estándar, pero para el resto significativo al 90% de confianza.

Estos resultados son evidencia de que aunque en el agregado los megacolegios no tienen efectos sobre el desempeño de sus estudiantes, sí tienen efectos positivos en los beneficiarios que tienen características que se han encontrado como determinantes de bajo desempeño, como lo son la extraedad y la doble jornada escolar. Esto último es evidencia de que aunque los megacolegios no afecten el promedio total de desempeño de sus estudiantes, sí parecen estar protegiendo a los más vulnerables, entendidos estos como aquellos que por sus características individuales y de la jornada que atienden suelen tener desempeños más bajos. A continuación se discuten estos resultados a la luz de la literatura.

VII. Discusión y conclusiones

Los resultados encontrados muestran que en el agregado pertenecer a un megacolegio no afecta el desempeño en las pruebas Saber 11º, así como tampoco lo hace un mayor tiempo de permanencia en las sedes. Sin embargo, los megacolegios parecen tener efectos diferenciales por tipo de población beneficiaria y por tipo de jornada educativa. A continuación, se discuten los aspectos fundamentales que podrían explicar estos resultados, se listan las limitaciones a las que se enfrentan y se discuten algunas conclusiones sobre sus implicaciones de política.

La ausencia de efecto es acorde con los resultados típicos que ha encontrado la literatura sobre las mejoras en infraestructura. Las revisiones hechas por Hanushek (1997) y luego por Glewwe et al. (2011) muestran que es más la evidencia de que no hay efectos que la de efectos positivos; y Neilson y Zimmerman (2011) muestran que cuando los aumentos en infraestructura ocurren en entornos donde ya existía oferta educativa, no se encuentran efectos positivos consistentes. Así, los megacolegios y sus mejoras en infraestructura, en comparación con la de otros colegios regulares, no afectan el desempeño de los estudiantes.

Estos resultados también concuerdan con Durán-Narucki (2008), quien argumenta que las mejoras en desempeño asociadas a los cambios en la infraestructura se deben principalmente a las mejoras en la asistencia escolar. Así, al no observarse diferencias significativas en la tasa de presentación de las pruebas Saber y entendiendo esta como una buena aproximación a la deserción escolar en los colegios observados, uno de los potenciales canales para mejorar el desempeño no parecería estarse presentando en los megacolegios.

La relación negativa que tienen variables relacionadas con tamaño de la sede, como un mayor número de estudiantes por metro cuadrado y ofrecer todos los niveles educativos en la misma jornada, también es congruente con lo encontrado por la literatura que revisa los efectos del tamaño de la sedes como tal. Así, el trade-off señalado por Chakraborty et al. (2000) y Andrews et al. (2002) entre un mayor número de estudiantes y el desempeño escolar parece presentarse en los colegios públicos de Bogotá, de manera consistente para las seis áreas evaluadas de las pruebas Saber 11º.

Por otra parte, el efecto positivo del tiempo de permanencia que se encuentra en biología, aunque no se mantiene al hacer la corrección por truncamiento, puede ser evidencia de los esfuerzos especiales en espacios de aprendizaje, como laboratorios, que se hacen para los megacolegios. Aunque no es claro por qué estos impactos no se observan en otras áreas asociadas al uso de laboratorios (como química o física), cabe la posibilidad de que después de tres años el impacto solo se esté observando en el área de biología y que con el tiempo, puedan verse afectadas en otras áreas. El acceso a esta dotación para los estudiantes combinado con la capacitación hecha a docentes para su uso es un potencial canal que explica este resultado para esta área particular del examen¹¹.

A pesar de no encontrarse un efecto positivo en el desempeño de los megacolegios para el promedio de la población atendida, hay evidencia de que ellos estarían mitigando la relación negativa que tienen con el desempeño las características del niño como la extraedad y la jornada escolar. Como lo mostraron las estadísticas descriptivas del cuadro 1, en promedio los megacolegios atienden a población más vulnerable en características socioeconómicas que los demás colegios públicos regulares. Estas vulnerabilidades también son académicas, pues como lo mostraron Gaviria y Barrientos (2001), una mayor edad está fuertemente relacionada con más bajos desempeños, así como lo está la doble jornada escolar (Bonilla, 2011).

Los resultados muestran que los megacolegios mitigan las vulnerabilidades de desempeño del estudiante, especialmente las que tienen que ver con la extraedad y con estudiar en la jornada de la tarde de su sede educativa. Como se observa en el cuadro 6, aun cuando para el área de lenguaje, por ejemplo, no se observa efecto en el promedio de la población, para los estudiantes en extraedad hay un efecto de 0,14 desviaciones estándar. Lo mismo sucede con la jornada escolar de la tarde, la cual tiene un efecto negativo en todas las áreas de aproximadamente 0,07 desviaciones estándar; sin embargo, para los estudiantes de esta jornada en megacolegios dicho efecto negativo se mitiga en 0,16 desviaciones estándar en matemáticas y 0,11 desviaciones estándar en física.

No obstante, llaman la atención los efectos negativos que se encuentran en matemáticas y química, una vez se controla por las características diferenciales de la población. La evidencia da cuenta de que aunque los megacolegios mitigan los efectos negativos de las características que afectan el desempeño, también afectarían el desempeño de aquellos estudiantes que no tienen ninguna de estas características. En este sentido, la heterogeneidad de la población atendida en estas sedes parecería favorecer a unos, pero en ciertas áreas académicas ir en detrimento de otros, por lo que vale la pena revisar el tipo de selección y atención que se da a los estudiantes de megacolegios, con el fin de identificar e implementar mecanismos a través de los cuales se sigan mitigando los efectos negativos de estas características de vulnerabilidad en desempeño, sin que implique afectar el de otros estudiantes.

Las estimaciones y resultados anteriores se enfrentan a restricciones importantes que deben ser tenidas en cuenta en su interpretación. En primer lugar, el tiempo de permanencia en un megacolegio que puede medirse es de máximo tres años, el cual puede ser muy corto para observar un efecto. Sánchez, Rodríguez y Márquez (2012) encuentran evidencia de mejoras en el desempeño en pruebas Saber 11º, producto de mejoras en la dotación de las sedes a través del programa Computadores para Educar, solo después del cuarto año de tratamiento, por lo que puede ser el caso que mayor tiempo de exposición sea necesario para empezar a encontrar los efectos de los megacolegios.

Otro aspecto para tener en cuenta tiene que ver con la falta de información sobre la dotación de las sedes, independientemente de si son o no megacolegios. Si bien la estimación hecha para el puntaje obtenido en el área de biología es un indicio del tipo de canales a través de los cuales los megacolegios pueden afectar el desempeño de sus estudiantes, falta información que clarifique si en realidad es el acceso a una dotación pedagógica lo que potencialmente puede tener efectos positivos, o si es la capacitación hecha a los docentes o si trata, por ejemplo, de cambios en la pedagogía para ciertas áreas que estén ocurriendo en los megacolegios.

A pesar de estas restricciones, los resultados anteriores muestran evidencia consistente de que los megacolegios después de tres años de su puesta en marcha no están afectando el desempeño de sus estudiantes de manera significativa, por lo que se concluye que, para el caso de Bogotá, las mejoras en infraestructura educativa no están generando impacto positivo en el desempeño y, en consecuencia, no muestran un aumento en la calidad de la educación impartida.

Sin embargo, los megacolegios sí parecen estar mitigando la relación negativa de características como la extraedad y la doble jornada escolar. Así, aun cuando las simples mejoras en dotación e infraestructura no son un canal efectivo para mejorar el desempeño estudiantil en el corto plazo, la focalización de la política logra afectar el desempeño de la población más vulnerable académicamente.

_____________________________
Notas al pie
³ En este artículo se entiende como calidad de educación el desempeño en pruebas de aprendizaje nacionales estandarizadas.
⁴ La construcción de los megacolegios está focalizada en las UPZ que tengan la mayor necesidad de infraestructura, de acuerdo con los siguientes criterios: a) UPZ ubicadas en las localidades calificadas como de emergencia según el Plan de Desarrollo para el período 2004-2008; b) áreas que están definidas por la integración de las UPZ, calificadas de mejoramiento integral por el Plan de Ordenamiento Territorial; c) áreas donde está localizada la mayoría de la población de estratos 1 y 2; d) UPZ donde reside la mayor cantidad de población estudiantil y particularmente donde se presenta un alto déficit de oferta educativa; y e) las áreas de desarrollo que permitan un crecimiento planeado colindante a las UPZ de mejoramiento integral. Asimismo, dentro de las UPZ se establecen como criterios de escogencia de terrenos: el grado de accesibilidad del equipamiento respecto al sistema vial de la ciudad en un radio de acción de 500 metros, la localización estratégica en el sistema urbano integrado y el potencial tamaño de la institución educativa para cumplir con la oferta requerida en la zona de acuerdo con el tamaño del lote escogido (Decreto 449 de 2006).
⁵ Este puntaje se construyó como los puntajes en las áreas de matemáticas, lenguaje, química, física, biología, filosofía e inglés, sumados y estandarizada respecto a la media para el total de estudiantes de colegios públicos de Bogotá.
⁶ De la muestra se excluyen los colegios que brindan educación a niños con dificultades cognitivas (I. E. D. Bolívar), los colegios para los que no se puede identificar información de su UPZ y aquellos cuya infraestructura y dotación se entregó fuera del tiempo de exposición considerado.
⁷ En el caso de las características de la UPZ las pruebas t siguen tomando valores significativos. Sin embargo, en primer lugar, son bastante menores con respecto al valor de la prueba para la muestra completa y, segundo, la poca variación muestral que toman estas características producto de tener el mismo valor repetidas veces para el mismo niño dificultan reducir el valor que toma la prueba. Aun así, como ejercicio de verificación, se hicieron estimaciones del efecto de megacolegios incluyendo como controles las características de las UPZ, y se encontró que no son significativas.
⁸ La extraedad calculada a partir de la definición del Ministerio de Educación Nacional. Se define como en extraedad a un estudiante que, cursando el grado 8º, 9º, 10º u 11º en 2007, tenga una edad estrictamente superior a 14, 15, 16 o 17 años, respectivamente.
⁹ Entre las características de control de la sede que tenían variación por jornada, también se habían tenido en cuenta el número de estudiantes por docente en cada nivel educativo, así como el porcentaje de docentes por nivel de formación en media vocacional. Sin embargo, los coeficientes para estas variables resultaron con poca variación y significancia, por lo que no se incluyeron en las estimaciones finales que aquí se presentan.
¹⁰ Este puntaje es la suma de los puntajes en las áreas de lenguaje, matemáticas, química, biología, física, filosofía e inglés.
¹¹ Acorde con esto, se exploró la relación que tenía con el desempeño ser un megacolegio financiado por el BID, que son los colegios para los que sus docentes recibieron capacitaciones. Inicialmente, la relación estimada no es significativa. Sin embargo, para el caso particular de estas sedes sería necesaria una mayor exploración con los datos, acotando la pregunta de investigación únicamente para estas sedes y, en consecuencia, definiendo como tratados solo a aquellos niños egresados de megacolegios con financiación del BID.

Referencias

1. ANDREWS, M., DUNCOMBE, W. y YINGER, J. (2002). "Revisiting economies of size in American education: Are we any closer to a consensus?", Economics of Education Review, 21:245-262.         [ Links ]

2. ANGRIST, J., BETTINGER, E. y KREMER, M. (2006). "Long-term consequences of secondary school vouchers: Evidence from administrative records in Colombia", American Economic Review, 96(3):847-872.         [ Links ]

3. BÁEZ, J. y CAMACHO, A. (2011). Assessing the long-term effects of conditional cash transfers on human capital: Evidence from Colombia (Discussion Paper 5751). Institute for the Study of Labor (IZA).         [ Links ]

4. BANCO MUNDIAL (2008). La calidad de la educación en Colombia: un análisis y algunas opciones para un programa de política. Washington D. C.: Banco Mundial.         [ Links ]

5. BARRO, L. (2001). "Human capital and growth", American Economic Association, 91(2):12-17.         [ Links ]

6. BOGOTÁ SIN INDIFERENCIA, INFORME INSTITUCIONAL. Disponible en http://inciarco.info/comunidades/showthread.php?t=1162.         [ Links ]

7. BONILLA, L. (2011). Doble jornada escolar y calidad de la educación en Colombia (Documento de Trabajo sobre Economía Regional 143). Banco de la República.         [ Links ]

8. BOS, M., GANIMIAN, A. y VEGAS, E. (2014). ¿Cómo se relaciona el aprendizaje del estudiante con los recursos que se invierten en educación? (Brief 9). Banco Interamericano de Desarrollo (BID). Disponible en http://scholar.harvard.edu/files/alejandro_ganimian/files/brief_9.pdf.         [ Links ]

9. CALIENDO, M. y KOPEINIG, S. (2008). "Some practical guidance for the implementation of propensity score matching", Journal of Economic Surveys, 22(1):31-72.         [ Links ]

10. CELIS, T., JIMÉNEZ, O. y JARAMILLO, J. (2012). "¿Cuál es la brecha de la calidad educativa en Colombia en la educación media y en la superior?", en Estudios sobre la calidad de la educación en Colombia. Bogotá: Icfes.         [ Links ]

11. CELLINI, S., FERREIRA, F. y ROTHSTEIN, J. (2010). "The value of school facility investments: Evidence from a dynamic regression discontinuity design", The Quarterly Journal of Economics.         [ Links ]

12. CHAKRABORTY, K., BISWAS, B. y LEWIS, C. (2000). "Economies of scale in public education: An econometric analysis", Contemporary Economic Policy, 18(2):238-247.         [ Links ]

13. COTTON, K. (1996). School size, school climate, and student performance. School Improvement Research Series 20.         [ Links ]

14. DECRETO 449 (2006). República de Colombia, Alcaldía Mayor de Bogotá         [ Links ].

15. DEHEJIA, R. y WAHBA, S. (2002). "Propensity score-matching methods for non-experimental causal studies", The Review of Economics and Statistics, 84(1):151-161.         [ Links ]

16. DUFLO, E. (2001). "Schooling and labor market consequences of school construction in Indonesia: Evidence from an unusual policy experiment", The American Economic Review, 91(4):295-813.         [ Links ]

17. DURÁN-NARUCKI, V. (2008). "School building condition, school attendance, and academic achievement in New York City public school: A mediation model", Journal of Environmental Psychology, 28:278-286.         [ Links ]

18. EVANS, G., JUN YOO, M. y SIPPLE, J. (2010) "The ecological context of students achievement: School building effects are exacerbated by high levels of student mobility". Journal of Environmental Psychology, 30(2010): 239-244.         [ Links ]

19. GAMBOA, L. (2012). "Análisis de la evolución de la igualdad de oportunidades en educación media, en una perspectiva internacional. El caso de Colombia", en Estudios sobre la calidad de la educación en Colombia. Bogotá: Icfes.         [ Links ]

20. GAVIRIA, A. y BARRIENTOS, J. (2001). Determinantes de la calidad de la educación en Colombia (Archivos de Economía, 159, noviembre). Departamento Nacional de Planeación.         [ Links ]

21. GLEWWE, P., HANUSHEK, E., HUMPAGE, S. y RAVINA, R. (2011). School resources and educational outcomes in developing countries: A review of the literature from 1990 to 2010. Septiembre.         [ Links ]

22. HANUSHEK, E. (1997). "Assessing the effects of school resources on student performance: An update", Educational Evaluation and Policy Analysis, 19(2):141-164.         [ Links ]

23. HANUSHEK, E. (2004). Some simple analytics of school quality (Working Paper 10229). NBER.         [ Links ]

24. HANUSHEK, E. (2005). "The economics of school quality", German Economic Review, 6(3):269-286.         [ Links ]

25. HANUSHEK, E. y LUQUE, J. (2003). "Efficiency and equity in schools around the world", Economics of Education Review, 22(5):481-502.         [ Links ]

26. HANUSHEK, E. A. y WOESSMANN, L. (2008). "The role of cognitive skills in economic development", Journal of Economic Literature, 46(3):607-668.         [ Links ]

27. HERCZYNSKI, J. y MIKOLAJ, H. (2004). Is large more effective than small is beautiful? Size and performance of primary schools in Poland (Munich Personal RePEc Archive 6139).         [ Links ]

28. IMBENS, G. y RUBIN, D. (2005). Methods based on the propensity score: The known propensity score case (chap. 13). No publicado.         [ Links ]

29. IMBENS, G. y WOOLDRIGDE, J. (2009). "Recent developments in the econometrics in program evaluation", Journal of Economic Literature, 47:5-86.         [ Links ]

30. INSTITUTO COLOMBIANO PARA LA EVALUACIÓN DE LA EDUCACIÓN, ICFES. (2013). Colombia en PISA 2012. Informe nacional de resultados. Resumen ejecutivo. Disponible en http://www.icfes.gov.co/resumenejecutivo-de-los-resultados-de-colombia-en-pisa-2012.         [ Links ]

31. LEE, D. (2002). Trimming for bounds on treatment effects with missing outcomes (Technical Working Paper 277). National Bureau of Economic Research (NBER).         [ Links ]

32. LEE, J. y BARRO, R. (2001). "Schooling quality in a cross-section of countries", Economica, 68(272):465-488.         [ Links ]

33. LEE, V. y SMITH, J. (1996). High school size: Which works best, and for whom? (Reports & Research 143). American Educational Research Association, Washington D. C.         [ Links ]

34. LEITHWOOD, K. y JANTZI, D. (2009). "A review of empirical evidence about school size effects: A policy perspective", Review of Educational Research, 79(1):464-490.         [ Links ]

35. NEILSON, C. y ZIMMERMAN, S. (2011). The effect of school construction on test scores, school enrollment, and home prices (Discussion Paper 6106). IZA.         [ Links ]

36. PAXSON, C. y SHADY, N. (2002). "The allocation and impact of social funds: Spending on school infrastructure in Peru", The World Bank Economic Review, 16(2):297-319.         [ Links ]

37. PRADHAN, M. y RAWLINGS, L. (2002). "The impact and targeting of social infrastructure investments: Lessons from the Nicaraguan Social Fund", The World Bank Economic Review, 16(2):275-295.         [ Links ]

38. PSACHAROPOULOS, G. y VÉLEZ, E. (1992). "Schooling, ability, and earnings in Colombia, 1988", Economic Development and Cultural Change, 40(3):629-643.         [ Links ]

39. RODRÍGUEZ, C. y SÁNCHEZ, F. (2010). Books & guns: The quality of schools in conflict zones (Documento CEDE 38). Universidad de los Andes, Facultad de Economía.         [ Links ]

40. SÁNCHEZ, F., RODRÍGUEZ, C. y MÁRQUEZ, J. (2012). Long-term effects of computer use in schools: Evidence from Colombia. No publicado.         [ Links ]

41. WOESSMANN, L. (2003). "Schooling resources, educational institutions and student performance: The international evidence", Oxford Bulletin of Economics and Statistics, 65(2):117-170.         [ Links ]

Anexos

Anexo 1. Estimaciones del efecto de los megacolegios en el desempeño. Estimaciones utilizando truncamiento muestral