RESEARCH ARTICLE

DOI:10.17230/ecos.2015.41.5

El efecto de la gerencia privada de escuelas públicas en el desempeño estudiantil en la educación media en Colombia¹

The Effect of Private Management of Public Schools on Student Achievement in Bogotá, Colombia

* Universidad Militar Nueva Granada, Bogotá, Colombia. Correo electrónico: gesma@unimilitar.edu.co

** Universidad Militar Nueva Granada, Bogotá, Colombia. Correo electrónico: tmp.andres.virguez@unimilitar.edu.co

*** Universidad Militar Nueva Granada, Bogotá, Colombia. Correo electrónico: jaime.sarmiento@unimilitar.edu.co

**** Universidad Militar Nueva Granada. Bogotá, Colombia. Correo electrónico: adriana.silva@unimilitar.edu.co

JEL CODE: I21, I22, I28.

Received: 04/05/2015 Accepted: 27/10/2015 Published: 01/12/2015

Resumen

Palabras clave: Colegios en concesión, educación media, desempeño académico, puntaje de propensión.

Abstract

During the last 15 years, the public school system in Bogotá, Colombia has maintained a concession system in which 25 schools are managed privately with exemptions to many of the rules required in the traditional schools. This study uses the propensity score matching technique to examine whether students in the privately-managed schools have better scores on the Saber 11° examinations taken upon completion of secondary school. The results for 251 schools indicates that students with comparable socioeconomic characteristics score considerably better on these tests in the privately-managed schools than in the traditional public schools. Thus, there is evidence that the privately-managed public schools are a cost-effective alternative to the traditional public school.

Key words: Concession schools, secondary education, education achievement, propensity score.

1. Introducción

En los últimos años se han convenido diferentes acuerdos público-privados en algunos países tanto en vía de desarrollo como desarrollados, a modo de herramienta de política pública en el ámbito educativo. Dichos acuerdos buscan incrementar la oferta, la calidad de capital humano y la eficiencia de la educación pública en los diferentes territorios. De igual forma, sus términos y características difieren según el contexto social, económico y de acuerdo a las necesidades de cada país, en el que el sector privado actúa ya sea como agente financiador de la educación o como proveedor de la misma (Patrinos & Sosale, 2007).

El modelo de colegios en concesión fue implementado en Bogotá en el año 1999. Luego de la asignación por medio de una licitación pública, 9 entidades privadas con experiencia educativa han administrado y proveído educación en 25 colegios públicos construidos y dotados por la administración distrital. La operación privada del colegio es por 15 años y su continuidad está supeditada al buen desempeño académico de los estudiantes (un desempeño por encima del promedio nacional en las pruebas estandarizadas Saber 11°). Esta condición se le impone a los concesionarios, puesto que a diferencia de los colegios públicos tradicionales, están obligados anualmente a rendir cuentas a la Secretaría de Educación del Distrito (Barrera, 2006).

En ese sentido, luego de 15 años de su implementación, este documento pretende analizar el efecto del modelo de colegios en concesión sobre el puntaje de los estudiantes de educación pública en los ocho componentes evaluados en la prueba Saber 11° para el año 2013. Mediante el método de emparejamiento de puntajes de propensión (PSM–Propensity Score Matching) se seleccionó al grupo de estudiantes de colegios públicos tradicionales más semejante a los estudiantes de colegios en concesión, para luego estimar si existe una diferencia significativa en el rendimiento académico promedio entre los dos tipos de educación pública para Bogotá.

Este estudio encuentra evidencia que en promedio, en una muestra de 251 colegios, un estudiante concesionado se ubicaría hasta 57 puestos mejor que su par de un colegio público tradicional. Así, se evidencia que este modelo educativo influye positivamente sobre el logro académico, al tiempo que atenúa los efectos negativos de contextos socioeconómicos vulnerables.

En particular, el aporte diferenciado con respecto a los trabajos de Bonilla (2010) y Barrera (2006) es que, como los datos de esta investigación corresponden a información de 15 años después de que entró en vigencia el modelo de colegios en concesión, podría captar a estudiantes que hayan cursado su educación básica y media en estos colegios, y no solo aquellos que como máximo pudieron estudiar solamente la educación media.

Además, a diferencia de Bonilla (2010) y Barrera (2006), se consideran más de dos áreas de conocimiento, examinando los resultados en ocho áreas de conocimiento. Asimismo, a diferencia de Bonilla (2010), el grupo de comparación de los estudiantes de colegios concesionados se realizará con el más similar de los colegios públicos tradicionales en los observables, tratando de minimizar el sesgo de selección tal y como lo plantea Barrera (2006).

Este artículo pretende contribuir al debate coyuntural en torno a la continuidad o no de este programa de educación pública y brinda herramientas de análisis sobre las posibles consecuencias que tendría la terminación de este modelo educativo sobre el logro académico de los estudiantes.

Después de esta introducción, este artículo se organiza como sigue. Primero se realiza una revisión sobre los factores que intervienen en el desempeño académico de los estudiantes, contrastándolos con algunas evaluaciones previas del programa educativo de colegios en concesión. Después se presentan algunos aspectos importantes del manejo de los colegios en concesión en Bogotá. Seguidamente, se describe la estrategia empírica y los datos utilizados en el documento. La quinta sección presenta los resultados. Finalmente, se concluye el documento con los comentarios finales.

2. Revisión de la Literatura

Uno de los temas frecuentemente analizados en la literatura de la economía de la educación es determinar qué factores inciden sobre el logro académico de un estudiante. Algunos trabajos resaltan la influencia de dos grupos de variables sobre el rendimiento estudiantil, aquellas relativas a las características predeterminadas del estudiante y las relacionadas con las características de la institución educativa donde asiste (Barrera, 2006; Barrera, Maldonado, & Rodríguez, 2012; Figlio & Lucas, 2004; Gaviria & Barrientos, 2001; Hanushek & Wöszmann, 2011; Rumberger & Palardy, 2005).

En este sentido, algunos estudios han calculado la proporción de desigualdad de oportunidades atribuidas al contexto del estudiante con base a su desempeño en pruebas estandarizadas. Schütz et al. (2008) analizaron esta proporción, desarrollando un análisis multivariado de los resultados en la prueba TIMSS de 1995 y 1999 de 54 países. Del estudio concluyen que el estatus económico del hogar del estudiante es un factor altamente diferenciador de su desempeño académico, y en general el porcentaje de influencia de las características individuales y familiares en los resultados osciló entre el 9% y el 29%. En el caso de Colombia, Gamboa (2012) calculó con base en las pruebas Saber 11° (2000 y 2008) y PISA (2006 y 2009), la desigualdad en el logro educativo en todo el territorio colombiano, encontrando que el desempeño de los estudiantes en las pruebas estuvo determinado en un 23% por su contexto individual y familiar.

Con respecto al segundo grupo de variables que la literatura económica señala como determinantes del logro académico, se encuentran las características relativas a la institución educativa. Al respecto, Hanushek y Wöszmann (2011) señalan dos grupos de factores institucionales que influyen sobre el desempeño académico de los estudiantes; i) aquellos que conforman los recursos de la institución, que incluyen el gasto por estudiante, el tamaño de la clase, la disponibilidad de materiales educativos y las características del personal docente, y ii) las características institucionales diferentes a sus recursos. Estas últimas enmarcan el sector de ubicación del colegio, clima escolar, diferentes dimensiones de autonomía del plantel educativo, la competencia y la participación privada, el seguimiento de la escuela y la rendición de cuentas del personal educativo.

La evidencia empírica internacional sugiere que el papel de la institución es fundamental, pero no en términos de los recursos tradicionales (Hanushek & Wöszmann, 2011). Por ejemplo, algunos autores señalan que la influencia del tamaño de la clase o el gasto por estudiante solo es significativo en sistemas educativos con baja calidad del personal docente (Jakubowski & Sakowski, 2006; Wöszmann & West, 2006). De esta forma, el impacto de las instituciones en el desempeño académico es debido a variables como la calidad docente y la estructura institucional que determinan sus incentivos. Así, trabajos como el de Bishop (2004) y Eyzaguirre (2002) plantean que los sistemas educativos que obtienen mejores resultados académicos, presentan ciertas estructuras de rendición de cuentas en las que destacan la evaluación de la institución vía pruebas estandarizadas externas (como en Colombia el Saber 11°), o aquellas instituciones que presentan autonomía en la contratación docente (siempre y cuando tengan un presupuesto asignado) y en la escogencia de modelos pedagógicos, siempre y cuando se vean obligadas a rendir cuentas a otra entidad (Fuchs & Wöszmann, 2007; Schültz, West & Wöszmann, 2007).

De la misma manera, fueron estudiadas las diferencias en el desempeño académico entre instituciones privadas y públicas. Algunos estudios, como el de Fuchs y Wöszmann (2007) con base a los resultados de las pruebas PISA-2000, encuentran que los estudiantes de colegios con administración privada tienden a desempeñarse mejor que sus pares de colegios con administración pública, para los 46 países analizados. Adicionalmente, se ha encontrado evidencia de que las instituciones con administración privada se desempeñan más eficientemente y mejor académicamente, incluso si las mismas son financiadas con recursos públicos (Toma, 2005).

En Colombia, se encontró evidencia de que el efecto del tipo de institución educativa sobre el desempeño del estudiante es un factor de especial relevancia (Gamboa, 2012; Gamboa & Londoño, 2014; Gaviria & Barrientos, 2001; Iregui, Melo & Ramos, 2007), debido a las características propias de las instituciones privadas, que en general presentan una mayor autonomía y sobre todo albergan estudiantes en condiciones más favorables que las instituciones públicas. En el caso del estudio de Gamboa (2012), la asistencia a un colegio público o privado resultó ser el factor más relevante para explicar la desigualdad en el logro educativo para la muestra utilizada. No obstante, en el país son escasos los estudios dedicados a estudiar el efecto en el logro educativo de los diferentes tipos de colegios públicos presentes en la actualidad, los concesionados y los públicos tradicionales.

Dentro de la literatura existen algunas evaluaciones empíricas del modelo educativo concesionado. Una de las primeras fue la desarrollada por Sarmiento, Alonso, Duncan y Garzón (2005) con el objeto de establecer las diferencias en gestión entre las instituciones públicas tradicionales y las concesionadas. A través de encuestas realizadas a 22 colegios concesionados y 11 colegios públicos tradicionales, fue evaluado el modelo concesionado en términos de autonomía en el recurso docente, propuestas pedagógicas y educativas, gestión administrativa y manejo de los recursos, ambiente escolar, tasas de deserción y desempeño académico. Dentro de los resultados, el estudio encuentra evidencia que el modelo educativo por concesión presenta mayor autonomía en el manejo del personal docente y de los recursos, un mejor clima escolar y está más expuesto a la supervisión por parte de la SED. Resultados que, siguiendo la literatura internacional, deberían conducir en el largo plazo a efectos positivos en el logro educativo de los estudiantes (Hanushek & Wöszmann, 2011).

Una segunda evaluación empírica del modelo fue desarrollada por Barrera (2006), quien por medio de un análisis de efecto tratamiento mediante el emparejamiento de puntajes de propensión, concluye que los colegios por concesión presentan una menor tasa de deserción que los colegios tradicionales. Asimismo, el autor encuentra que en promedio los estudiantes de colegios concesionados tuvieron un desempeño superior entre 1 y 2 puntos en las pruebas Saber 11° de 2003 en los componentes de lenguaje y matemáticas, comparados con los estudiantes de colegios públicos tradicionales con similares características.

Por otro lado, Bonilla (2010) resalta que los resultados de evaluaciones anteriores del programa de colegios en concesión pueden ser problemáticos, debido a que el periodo de exposición de un estudiante público al colegio en concesión es relativamente corto y no captan el efecto real de los colegios concesionados en la educación media. En su trabajo, Bonilla propone una evaluación del logro educativo de los estudiantes con base a una metodología de variables instrumentales, utilizando la distancia al colegio en concesión más cercano como variable instrumental de la asistencia a un establecimiento de este tipo. Utilizando la prueba Saber 11° del 2008, se encontró que el modelo de colegios concesionados fomentó el aprendizaje de sus estudiantes y que, comparados con otros programas incluidos los subsidios a la demanda o ''vouchers'', mostraron mejores resultados.

Si bien los colegios en concesión hacen parte del sistema de educación pública de la ciudad de Bogotá, presentan algunas particularidades. En primera instancia, los concesionados presentan una mayor libertad en la administración de los recursos. En promedio, el 55% del subsidio por estudiante (otorgado por el Estado) es destinado al recurso humano (planta docente), asignación ostensiblemente menor al 90% destinado a este rubro en los planteles públicos tradicionales, liberando el 30% para un soporte nutricional y un 5% para materiales educativos (Pessoa, 2008). Igualmente, estas instituciones son libres de escoger el modelo pedagógico a implementar y tienen autonomía en la contratación docente.

En cuanto al procedimiento para atender la demanda educativa, de acuerdo a lo estipulado por la Secretaría de Educación Distrital (1999, 2003), los colegios concesionados se rigen por los mismos criterios de asignación de cupos escolares de los otros colegios públicos tradicionales. Dentro de los criterios de asignación, se prioriza la continuidad de los estudiantes antiguos, incluyendo los repitentes; en el caso de los colegios en concesión siempre que el contrato siga vigente.

Con respecto a los cupos para alumnos nuevos, se asignan de acuerdo a las solicitudes de los padres de familia o acudientes registradas en el formulario gratuito de inscripción. De esta forma, es posible registrar en su orden de preferencia hasta cuatro opciones de colegios. En el caso de no existir cupo en los establecimientos educativos solicitados en el formulario de inscripción, se realiza la asignación donde exista disponibilidad, procurando que corresponda a la ubicación más cercana posible al lugar de residencia reportado.

Por otro lado, las solicitudes de traslado son tramitadas únicamente cuando el motivo de la solicitud se debe al cambio de residencia y el nuevo domicilio está ubicado a más de veinte cuadras del plantel de origen, para reubicar a los hermanos en una misma institución, y por motivos de fuerza mayor calificada por el gerente del Centro de Administración Distrital de Educación Local (CADEL) de origen.

En todo caso, los principios que orientan la asignación de cupos escolares dan preferencia a niños y jóvenes en edad escolar que provienen de los estratos uno y dos y, en particular, a los clasificados en los niveles uno y dos del SISBEN (SED–Secretaría de Educación Distrital, 2003).

4. Estrategia empírica

Este documento propone la evaluación del programa de colegios en concesión para Bogotá mediante el enfoque de evaluación del tratamiento, específicamente la diferencia de los resultados en las pruebas Saber 11° de 2013 de estudiantes de colegios en concesión (llamado grupo de tratamiento), respecto a estudiantes de colegios públicos tradicionales (llamado grupo de control o de comparación).

Formalmente, sea i el índice de la población estudiantil bajo consideración. Sea Ti una variable binaria que es igual a 1 si el i-ésimo estudiante se le asigna el tratamiento (colegio concesionado) e igual a 0 si es asignado al grupo de control (público tradicional). Ahora, Y_i1 es el resultado potencial en la prueba Saber 11° de un estudiante de un colegio distrital que está terminando su educación media en un colegio en concesión (1), Yio es el valor de la misma variable cuando el estudiante está en un colegio público tradicional (0). El efecto tratamiento para un individuo es:

Debido a que no se tiene conocimiento de que el mecanismo de asignación de un estudiante distrital en un colegio en concesión sea aleatorio (por ejemplo, si algunos estudiantes que quisieron estudiar en estos colegios lograron ser admitidos, o si la asignación se hizo por orden de llegada o por la cercanía a la institución, entre otros) y para evitar alguna regla discrecional en seleccionar los individuos a comparar con los estudiantes de colegios concesionados, este artículo utiliza el método de emparejamiento de puntajes de propensión (PSM) para escoger el grupo de control y enfocarse en calcular el impacto promedio del programa de colegios en concesión.

Partiendo de la premisa que el programa de colegios en concesión en Bogotá no consideró en su diseño la asignación aleatoria de los estudiantes en este tipo de colegios, una solución para evaluar diferencias en el resultado de interés es tratar de simular la aleatorización en la asignación. Los métodos de emparejamiento, como el PSM, buscan construir un grupo de comparación lo más similar posible en términos de unas características observables (Cameron & Trivedi, 2005; Khandker, Koolwal & Samad, 2010). Bajo ciertas condiciones, esta técnica puede ser más adecuada para controlar por observables que la de mínimos cuadrados, al no suponer una relación lineal entre los observables y la variable dependiente y al tenerse que analizar si la distribución de los observables se traslapa entre los dos grupos de comparación (Nannicini, 2007). Una característica del PSM es que requiere solamente una base de datos de corte transversal para su aplicación, como es el caso de este estudio, en el cual no se dispone de información de los estudiantes antes de matricularse a un colegio público².

En un contexto no experimental u observacional, Dehejia y Wahba (2002) señalan que el efecto tratamiento relevante a considerar es el efecto medio del tratamiento sobre los tratados (ATET por su abreviación en inglés, Average Treatment Effect on the Treated), siendo para este caso la ganancia promedio de los colegios en concesión sobre el desempeño de los estudiantes en este tipo de instituciones:

Dada una muestra de estudiantes, E[Y_i1 |T_i = 1] puede ser calculada, pero E [Y_i0 |T_i = 1] no es observada. Ante la ausencia de un grupo de control experimental, es posible utilizar un grupo de estudiantes potencialmente comparable, del cual se observa el mismo conjunto de variables observables X_i. Para lograr la identificabilidad del ATET, se asume que el resultado de no tratamiento Y_0i es independiente del tratamiento Ti una vez condicionado en X_i.

Este supuesto se conoce como de no confusión o de ignorabilidad (Imbens, 2004; Rosenbaum & Rubin, 1983b; Rubin, 1978). Para este estudio, una vez se condiciona sobre los observables Xi, no hay una diferencia sistemática antes del tratamiento entre los estudiantes asignados a colegios en concesión y los asignados a públicos tradicionales. De ese modo, el ATET es identificado como

Un primer método para emparejar estudiantes de colegios concesionados con los de colegios públicos tradicionales es mediante las características observables; se estratifica los datos en subgrupos, cada uno definido para un valor particular de X. Cuando este vector toma muchos valores distintos, se vuelve impracticable realizar un emparejamiento; no es posible encontrar una pareja para los estudiantes concesionados, para unos valores de X. Para afrontar este problema de dimensionalidad, Rosenbaum y Rubin (1983b) proponen el emparejamiento mediante puntaje de propensión, p (X_i) = Pr [T_i = 1 |X_i,] la probabilidad condicional que el individuo i reciba el tratamiento dado X_i. Si 0 < p (X_i) < 1, ellos demostraron que (3) implica

Así, el supuesto de independencia (3) puede ampliarse para el puntaje de propensión, así como al cálculo del ATET

El estimador ATET de emparejamiento utiliza el puntaje de propensión como un esquema de ponderación de las unidades de comparación

donde N es el número de estudiantes concesionados, w ij es el peso dado al estudiante j-ésimo de un colegio público tradicional al hacer la comparación con el estudiante i–ésimo de un colegio concesionado, . Pueden obtenerse diferentes estimadores de emparejamiento cambiando la elección de ω _ij.

Se utilizaron varias técnicas para realizar el emparejamiento, y de esta manera estudiar la robustez y consistencia de los resultados de acuerdo a las especificaciones. Las técnicas de emparejamiento son vecino más cercano, radio de 0.001, 0.0001 y 0.00001 y Kernel. Mediante el emparejamiento por el vecino más cercano, se escoge el estudiante de colegio público tradicional con el puntaje de propensión más próximo al de cada estudiante en concesión. Para este método se eligió que un estudiante del grupo de control no pudiera ser comparado más de una vez (emparejamiento sin reemplazo)³. Por su parte, el emparejamiento por radio, define la distancia máxima con la que se buscan las unidades de comparación, mientras que con la técnica de Kernel se consideran todos los estudiantes de colegios públicos tradicionales pero el peso de cada estudiante depende de su distancia con el estudiante concesionado.

En los colegios en concesión se puede presentar un sesgo de selección de los estudiantes que asisten a estos planteles. Tal como se expone en la introducción, la asignación de cupos se basa en la elección de los padres de familia o acudientes registrada en el formulario de inscripción, dando prevalencia a los hogares pertenecientes a los contextos socioeconómicos más bajos y a la cercanía del plantel educativo a la vivienda. Bonilla (2010) intenta corregir este sesgo de selección mediante la distancia entre la residencia y el colegio concesionado más cercano, como variable instrumental para la asistencia a este tipo de planteles. No obstante, esta variable se refiere al lugar de residencia tres meses antes de presentar la prueba y no en el momento de inscripción al colegio concesionado. Por tanto, podría no corregirse en su totalidad la selección de pertenecer a un colegio concesionado, a pesar de que en estos hogares de condiciones socioeconómicas más bajas no es tan frecuente la posibilidad de cambiar el lugar de residencia a otras localidades con mayor probabilidad de matricularse en un colegio en concesión.

Otro sesgo de selección se podría presentar si existiera una mayor deserción por motivos académicos en los colegios concesionados que en los colegios públicos tradicionales, quedando una mayor proporción de alumnos con mejor desempeño académico en los primeros. Sin embargo, Barrera (2006) evidencia que las tasas de deserción en los colegios en concesión son menores que las de colegios públicos tradicionales. En el mismo sentido, podría presentarse un sesgo de selección si existieran más traslados de estudiantes más motivados o más hábiles a colegios concesionados. No obstante, un traslado entre colegios del sistema de educación pública distrital requiere un proceso administrativo frente al CADEL que no facilita el proceso; debe demostrarse por lo menos una causa de fuerza mayor de las expuestas en la introducción para que sea aprobado el traslado.

En todo caso, consideramos que cualquier técnica que se utilice para comparar el rendimiento académico entre estudiantes de colegios en concesión y públicos tradicionales buscará utilizar de alguna forma variables observables para conformar los grupos, hallándose siempre la posibilidad de que existan variables no observables que influyan en el rendimiento académico. En este caso, padres o acudientes más motivados para que sus niños y jóvenes en edad escolar tengan un mejor nivel educativo, podrían elegir como primera opción los colegios en concesión. Así, los estudiantes admitidos en los colegios de concesión podrían contar con un contexto familiar más favorable para el aprendizaje, aunque estas características no son observables en la información disponible.

Siguiendo lo expuesto por Ichino et al. (2008) y Nannicini (2007), el análisis de sensibilidad realizado consiste en simular un factor potencial de confusión binario a partir de los datos, para evaluar la robustez del efecto tratamiento estimado con respecto a escenarios de desviación del supuesto de independencia condicional. Supóngase para este ejercicio que la condición (3) ya no se cumple. Ahora el supuesto de independencia condicional se mantiene para X y una variable binaria no observada U:

El efecto tratamiento estimado no será válido si se controla por X pero no se observa U. En el caso que se tenga información tanto de los observables como de U, puede estimarse consistentemente el efecto tratamiento.

Por simplicidad en el ejercicio, se realiza una transformación binaria del resultado (en el ejercicio realizado, Y* = 1 si el resultado considerado está por encima de la media). Se denota Y* = TY^*₁ + (1 – T) Y^*₀ como el resultado observado para un estudiante. La distribución de U puede caracterizarse a partir de cuatro parámetros:

Dando valores a los parámetros P_{k, j}, un valor de U es asignado a cada estudiante, de acuerdo con su pertenencia a uno de los cuatro grupos definidos por la interacción entre el estatus del tratamiento y el valor del resultado. En el análisis de sensibilidad realizado en esta investigación, la variable U fue construida buscando imitar el comportamiento de diferentes variables observadas.

Posteriormente, la variable simulada U es incluida junto al vector de observables X en el cálculo del PSM y del ATET de emparejamiento. Para cada configuración de los parámetros P_{k, j}, se repite el proceso de emparejamiento y cálculo del ATET varias veces (en el ejercicio, 100 veces), obteniéndose estimados puntuales del ATET robustos a la violación del supuesto de independencia condicional considerada en dicha configuración.

5. Datos

La prueba evalúa los componentes de biología, ciencias sociales, filosofía, física, inglés, lenguaje, matemáticas y química. Adicionalmente brinda información del puesto general obtenido por el estudiante en el examen. Asimismo, la base de datos tiene información propia del estudiante como sexo, edad, contexto socioeconómico y familiar, así como información relativa al colegio al que asiste en el momento de la prueba⁴.

Si bien la base de datos del ICFES contiene información para estudiantes de último grado de educación secundaria en toda Colombia, la muestra fue reducida inicialmente a estudiantes de colegios públicos de Bogotá de acuerdo a las instituciones reconocidas por la Secretaría de Educación del Distrito. Además, teniendo en cuenta que los colegios concesionados tienen una jornada escolar completa, la muestra fue limitada a estudiantes de colegios públicos tradicionales de jornadas diurna y completa, en localidades en las que se ubicaban los dos tipos de colegios (concesión y públicos tradicionales), con el propósito de estudiar grupos homogéneos comparables.

El universo de estudio está conformado por 21.298 estudiantes de colegios públicos de jornada diurna y completa de Bogotá, que presentaron la prueba Saber 11° en el año 2013 y que disponían de información en todas las variables analizadas. De estos, 18.960 (89.02%) pertenecían a 226 colegios públicos tradicionales, y 2.338 (10.98%) estudiantes asistían a alguno de los 25 colegios en concesión que existen en Bogotá.

Como se mencionó anteriormente, la técnica de emparejamiento de los puntajes de propensión requiere la definición del vector Xi de características pretratamiento de los individuos. A partir de la disponibilidad de la información y teniendo en cuenta las condiciones que podrían incidir en la probabilidad de pertenecer o no a un colegio en concesión, fueron considerados tres grupos de variables. El primero considera características sociodemográficas y personales del estudiante tales como sexo y edad. El segundo agrupa las características del hogar del estudiante, el cual fue conformado por el estrato socioeconómico, índice de riqueza⁵, ingresos del hogar y el nivel de educativo de los padres. Con el fin de incluir un vector de características del entorno que rodea la institución educativa a la que asisten los estudiantes, se incluyó el Índice de Calidad de Vida (ICV) de la localidad donde se ubica el colegio⁶. Adicionalmente, se calculó un indicador de oferta de colegios en concesión por localidad, medido como el cociente entre el número de colegios en concesión y el número de cupos ofertados para los dos tipos de colegios públicos a partir de la información de SED (2014).

En el cuadro 1 se presentan los estadísticos descriptivos de todas las variables disponibles para la estimación de los efectos en el logro educativo de los estudiantes de colegios en concesión, comparados con los estudiantes de los colegios públicos tradicionales. Así, se evidencia que el puntaje promedio de los estudiantes de colegios en concesión fue mayor al puntaje obtenido por la muestra de estudiantes de colegios públicos tradicionales en todos los componentes de evaluación. Sin embargo, dichas diferencias en promedio no fueron mayores a dos puntos en cada componente. En relación con el puesto obtenido en la prueba de ese año, los estudiantes de colegios en concesión lograron en promedio estar 41 puestos por encima de los que asistían al otro tipo de colegio distrital.

En cuanto a las características de los dos grupos de estudiantes, en general se trata de grupos cuyas condiciones no son significativamente disímiles uno con otro y es evidente la existencia de circunstancias vulnerables en ambos grupos. La mayor proporción de estudiantes se ubican en los estratos socioeconómicos más bajos, con ingresos familiares entre 1 y 2 salarios mínimos mensuales vigentes, y el máximo nivel educativo de los padres fue primaria.

Con el propósito de definir las variables a incluir en la estimación de los efectos ATET a partir del PSM, se propone la evaluación de la tasa de aciertos y el Pseudo R² para diferentes especificaciones del modelo logístico (mediante el cual se calcula PSM), de acuerdo a los tres grupos de variables: individuales, familiares, contexto de la localidad en la que se ubica la institución educativa.

En la técnica de tasa de aciertos o hit rate por su nombre en inglés, se busca encontrar las variables que maximicen las tasas de predicción dentro de la muestra, convirtiéndose en un indicador de ajuste del modelo, el cual se basa en clasificar cada observación con 1 si el puntaje de propensión es mayor que la proporción de personas de la muestra en tratamiento (Heckman, Ichimura & Todd, 1997). En este caso, la proporción de personas de la muestra que hace parte de colegios en concesión es de 0.11. En el cuadro 2 se presenta la tasa de observaciones cuyo puntaje de propensión es mayor que dicha proporción. Por otra parte, el Pseudo R² indica el grado en que cada especificación de las variables del modelo explica la condición de tratamiento de los individuos (Caliendo & Kopeinig, 2008).

De lo anterior, se evidencia que la especificación con mayor tasa de aciertos es también aquella con el menor Pseudo R². Asimismo, la especificación en la que se incluyen todas las variables tiene el mayor poder explicativo de la condición de tratamiento, al tiempo que la tasa de aciertos supera al 50%. A partir de los resultados, se infiere la pertinencia de incluir todos los factores, por lo que se incluirán los tres grupos de variables anteriormente especificados.

Los resultados del modelo logístico seleccionado se presentan en el cuadro 3, donde se evidencia que los estudiantes de colegios en concesión presentaron una menor edad, en menor proporción se encontraron en hogares de estratos 3 o 4, tuvieron prevalencia padres con bajo nivel educativo, aunque con mayores índices de riqueza del hogar. Adicionalmente, la calidad de vida en la localidad y la oferta de colegios en concesión aumentan la probabilidad de que un individuo asista a un colegio en

En el cuadro 4 se presentan los resultados de calcular el ATET para los ocho componentes de evaluación y para el puesto obtenido en la prueba Saber 11° con la muestra completa, y con cada una de las cinco técnicas de emparejamiento señaladas en la estrategia empírica.

Ahora bien, en las otras filas de cada componente se reporta la diferencia en los puntajes alcanzados entre los estudiantes de colegios concesionados con sus pares de colegios públicos tradicionales con características similares, utilizando las diferentes metodologías de emparejamiento consideradas. En particular, en el cuadro 4 se evidencia que la brecha estimada con cualquiera de las metodologías de emparejamiento es más alta que la calculada con la muestra completa, la cual se encuentra entre los 0.555 puntos (prueba de física con emparejamiento por radio de 0.001) y los 2.108 puntos (prueba de química con emparejamiento por radio de 0.00001). Al igual que para la muestra total, con las diferentes metodologías de emparejamiento, física es el componente en el que se presentan menores diferencias, mientras que química es el componente de mayores efectos en el desempeño académico de los estudiantes para este tipo de colegios.

En general, a partir de los resultados de las diferencias de los puntajes calculadas con las diferentes metodologías de emparejamiento, se evidencia que no existen diferencias importantes entre las estimaciones para cada prueba, lo cual puede ser considerado como un indicador de robustez de los resultados, que en todos los casos evidencian los efectos positivos de los colegios en concesión.

Además, en este trabajo al igual que en el de Bonilla (2010), se identifica una mayor brecha en el desempeño en matemáticas que en lenguaje; mientras que Barrera (2006) encuentra mayores diferencias en lenguaje que en matemáticas. En particular, en esta investigación con los resultados de las pruebas de 2013, se encuentra que el desempeño de los estudiantes en concesión con respecto a los de colegios públicos tradicionales es superior aproximadamente en 1.6 puntos en matemáticas y en 1 punto en lenguaje. Lo anterior, frente a los resultados de Barrera (2006) que calculó con datos del 2003 y emparejando mediante la metodología de vecino más cercano con un radio de 0.01, que la brecha en matemáticas es de 1 punto (más baja que en 2013) y en lectura de 1.93 puntos (más alta que en 2013).

Así, durante el 2013 la diferencia entre el logro educativo obtenido por los estudiantes de los colegios en concesión con los de estudiantes de los demás colegios públicos, es mayor en los componentes de química y matemáticas, y menor en los componentes de física y lenguaje. Estos resultados podrían ser útiles para reforzar las áreas en que se presentaron las menores diferencias en el desempeño académico de acuerdo a la modalidad de contratación pública.

El mayor desempeño en todos los componentes de los colegios en concesión sugiere una mayor calidad de la educación en todos los contenidos, y no solo como ha sido evaluado usualmente en matemáticas y lenguaje. De hecho, la mayor brecha se dio en el área de química, efecto que evidencia una mayor fortaleza en este componente para este tipo de colegios. Por tanto, en un estudio posterior podría revisarse las estrategias pedagógicas por componente y las características de los estudiantes, para potenciar todas las áreas del conocimiento en esta modalidad de colegios y evaluar la factibilidad de replicarlas también en los colegios públicos tradicionales.

Asimismo, al realizar una estimación similar a la realizada sobre los componentes de evaluación de la prueba, pero tomando en cuenta el puesto en donde se ubica cada estudiante según su puntaje, los resultados de la estimación de ATET indican que un estudiante de un colegio en concesión se ubica en promedio hasta 57 puestos por encima de su par con características socioeconómicas semejantes en un colegio público tradicional⁷.

Con el fin de analizar si los efectos tratamiento promedio estimados son robustos a posibles desviaciones del supuesto de independencia condicional, se muestra en el cuadro A–1 los resultados de este ejercicio de sensibilidad, cuando se utiliza el estimador de emparejamiento vecino más cercano. Por simplicidad en la argumentación, digamos que U mide algún componente no observable de la motivación/habilidad de los estudiantes. Las primeras cuatro columnas señalan las cuatro probabilidades que caracterizan la distribución binaria de la motivación usada en la estimación del PSM y del ATET. Así, la porción de estudiantes motivados entre aquellos que están matriculados en un colegio en concesión y que obtuvieron un resultado por encima del promedio es P₁₁, mientras que los que lograron un resultado por debajo es P₁₀. Similar interpretación se da cuando se analizan estudiantes motivados matriculados en un colegio público tradicional (P₀₁ y P₀₀). La quinta columna muestra el ATET simulado y la sexta el error estándar correspondiente.

En la séptima columna se reporta el ''efecto resultado'' del U simulado, Γ. Este estimado provee un indicador del efecto de la motivación sobre la probabilidad relativa de obtener un resultado por encima del promedio en el caso de los colegios públicos tradicionales; Γ es el promedio de la razón estimada de momios de la variable U, controlando por las variables observadas. Análogamente, el parámetro estimado L mide el ''efecto selección'', el efecto de la motivación sobre la probabilidad relativa de ser asignado a un colegio en concesión, controlando por las variables observadas.

Para cada resultado, se presenta en la primera fila el ATET base, cuando no hay factor de confusión. La segunda fila reporta el ATET estimado cuando el factor de confusión es neutro (P₀₁ – P₀₀ = 0 y P₁ – P₀ = 0), pero lo suficiente para perturbar el resultado base. Las otras filas muestran cambios en la estimación base si el factor de confusión es calibrado para imitar el comportamiento de diferentes observables.

7. Comentarios finales

Este documento presenta la estimación del efecto del programa de colegios en concesión sobre el logro educativo de los estudiantes de colegios públicos en Bogotá. A partir de los resultados de la prueba Saber 11° del 2013, se desarrolla una evaluación del modelo educativo 15 años después del inicio de la implementación del sistema, esperando captar el efecto del plantel sobre el desempeño de estudiantes que han cursado toda o una buena parte de su educación prescolar, básica y media en colegios concesionados.

Adicionalmente, a diferencia de evaluaciones previas realizadas al modelo educativo, se analizan los resultados de los ocho componentes de núcleo común de la prueba Saber 11°, evidenciando que los resultados de un estudiante de colegio en concesión mejoran en promedio entre 0.555 y 2.108 puntos, dependiendo de la prueba.

Estos resultados son similares a los encontrados por Barrera (2006), en una evaluación realizada con base en los resultados de las pruebas Saber 11° de 2003, lo cual sugiere cierta permanencia en los efectos de los colegios en concesión en términos de logro educativo. En específico, si se quisiera mejorar el desempeño académico de los estudiantes de los colegios en concesión habría que reforzar las áreas de física, lenguaje, biología, ciencias sociales y filosofía, en las que, aunque el desempeño fue superior al de los colegios públicos tradicionales, la brecha es menor.

Ahora bien, partiendo de las condiciones de vulnerabilidad que los estudiantes de educación pública en Bogotá presentan, los efectos estimados indican también que el modelo concesionado atenúa el efecto adverso de contextos desfavorables de los estudiantes sobre su logro educativo, siendo un indicador de un efecto nivelador de oportunidades para la educación pública.

Entre otras, algunas características del diseño del modelo educativo concesionado pueden estar afectando positivamente el desempeño académico de los estudiantes. Si bien algunas evaluaciones como la de Bonilla (2010) señalan que ni el gasto por estudiante ni el radio de estudiantes por profesor afectan el desempeño de los estudiantes de colegios concesionados, características de la institución como su autonomía en la contratación docente, su sistema de rendición de cuentas a la SED y la reputación de las instituciones administradoras, sirven como incentivos y factores que podrían incidir positivamente en el logro educativo.

Así, este modelo de contratación pública ha demostrado que además de ser más económico el costo por estudiante, el desempeño académico en todos los componentes educativos mejora frente al desempeño de sus pares de otros colegios públicos tradicionales. Por tanto, se considera importante continuar con esta modalidad de educación, dado que es mayor la eficiencia y eficacia de los colegios en concesión en términos del desempeño académico.

Por otro lado, al examinar la diferencia en los puntos promedio de la muestra total frente a la brecha haciendo uso de las diferentes metodologías de emparejamiento, unido al análisis logit de las características de asistir a colegios concesionados, se infiere que la brecha en favor de mayores puntajes de los estudiantes concesionados frente a los de colegios públicos tradicionales, obedecen principalmente a estudiantes de estratos 1 y 2, cuyos padres presentan menores niveles educativos.

Por último, dentro de las limitaciones de la investigación se encuentra la transversalidad del análisis. Debido a que la base datos solo recopila información de los estudiantes en un momento específico del tiempo, no es posible asegurar que todos los estudiantes cursaron su educación preescolar, básica, secundaria y media en colegios concesionados. En el caso de no disponer de información antes de la asignación de un estudiante en un colegio en concesión, una forma de contrarrestar dicha problemática sería midiendo el resultado de los estudiantes en un momento anterior del tiempo, mediante la utilización de los resultados de pruebas practicadas por el ICFES como el Saber 5 y Saber 9. Sin embargo, los resultados y datos de dichas pruebas se encuentran por el momento agregadas por institución, impidiendo la concatenación de los resultados.

1 Artículo de investigación resultado del proyecto de investigación INV ECO -1656: ''Desigualdad de oportunidades en el logro educativo en Colombia: Evolución del desempeño en las pruebas Saber 11° y Saber Pro'' desarrollado por el Grupo de Estudios Macroeconómicos – GESMA (clasificado en C por Colciencias) y cofinanciado por la Vicerrectoría de Investigaciones de la Universidad Militar Nueva Granada, vigencia 2014. Esta investigación recibió apoyo del Instituto Colombiano para la Evaluación de la Educación – ICFES. Las opiniones, tesis y argumentos expresados son de propiedad exclusiva de los autores y no representan el punto de vista de estas instituciones.

2 En el caso de tener información de los estudiantes, tanto antes de matricularse en un colegio en concesión como en el momento de presentar la prueba Saber 11°, es posible controlar por la heterogeneidad no observada en la asistencia a un colegio en concesión cuando esta varía en el tiempo (método de variables instrumentales) o cuando no varía en el tiempo (metodología de diferencias en diferencias).

3 Esta técnica de vecino más cercano será la utilizada para realizar el análisis de sensibilidad, dado que es la que se utiliza usualmente en la literatura y debido a que las brechas no varían de acuerdo a la metodología como se expondrá posteriormente.

4 Las pruebas Saber 11° están disponibles para otros años. No obstante, no se utilizaron datos panel, ya que para cada año la prueba es distinta, por lo que no son comparables los resultados para diferentes periodos; solo es posible contar con datos de corte transversal. Además, sería recomendable tener información de los estudiantes de los colegios concesionados desde antes del tratamiento (antes de inscribirse a los colegios concesionados); sin embargo, la información disponible es la que se diligencia en el formulario y la del desempeño en la prueba, por lo que los resultados de esta investigación se refieren solamente al efecto de la educación en los colegios de concesión en el desempeño de las pruebas Saber 11° de 2013. En este periodo, los estudiantes pudieron estar expuestos más al tratamiento (asistir a colegios concesionados) que los estudiantes que presentaron previamente la prueba.

5 Se creó un índice de riqueza del hogar de cada estudiante usando la técnica de componentes principales, teniendo en cuenta el número de personas en el hogar del estudiante, las características físicas de la vivienda (tipo de pisos y número de alcobas) y la tenencia en el hogar de bienes durables (televisión, celular, computador, lavadora, entre otros).

6 El ICV fue calculado por la Secretaria Distrital del Hábitat (SDHT), partiendo de la Encuesta Multipropósito para Bogotá administrada por el Departamento Administrativo Nacional de Estadística (DANE) y la Secretaría Distrital de Planeación (SDP) para el año 2011.

7 Resultados de emparejamiento por vecino más cercano para estimaciones basadas en el puesto que ocupa cada estudiante en un ranking de 1 a 1,000 por el método de Radio r = 0.00001. Con los otros métodos de emparejamiento el puesto que ocupan en promedio los estudiantes de colegios en concesión no presentan mayores variaciones, ya que se estima que se ubican entre 50 y 57 puestos más arriba que sus pares de colegios públicos tradicionales.

Barrera, F. (2006). The Impact of Private Provision of Public Education: empirical Evidence from Bogotá's Concession Schools Impact Evaluation Series: Banco  Mundial.         [ Links ]

Barrera, F., Maldonado, D., & Rodríguez, C. (2012). Calidad de la educación básica y media en Colombia: diagnóstico y propuestas Serie Documentos de Trabajo: Universidad del Rosario.         [ Links ]

Bishop, J. (2004). Drinking from the Fountain of Knowledge: Student Incentive to Study and Learn-Externalities, Information Problems and Peer Pressure CAHRS Working Paper Series: Cornell University.         [ Links ]

Bonilla, J. (2010). Contracting Out Public Schools for Academic Achievement: Evidence from Colombia Job Market Papers: University of Maryland.         [ Links ]

Caliendo, M., & Kopeinig, S. (2008). Some practical guiance for the implementation of Propensity Score Matching. Journal of Economic Surveys, 22 (1), 31-72. doi: 10.1111/j.1467-6419.2007.00527.x        [ Links ]

Cameron, A. C., & Trivedi, P. K. (2005). Microeconometrics: Cambridge University Press.         [ Links ]

Dehejia, R., & Wahba, S. (2002). Propensity Score-Matching Methods for Nonexperimental Causal Studies. The Review of Economics and Statistics, 84(1), 151-161. doi: 10.2307/3211745.         [ Links ]

Eyzaguirre, B. (2002). Los alumnos bajo la lupa: los exámenes externos con consecuencias individuales. Estudios públicos, 88, 164-226.         [ Links ]

Figlio, D., & Lucas, M. (2004). Do high grading standards affect student performance? Journal of Public Economics, 88 (9–10), 1815-1834. doi: 10.1016/S0047-2727(03)00039-2.         [ Links ]

Fuchs, T., & Wöszmann, L. (2007). What accounts for international differences in student performance? A re-examination using PISA data. Empirical Economics, 32 (2-3), 433-464. doi: 10.1007/s00181-006-0087-0.         [ Links ]

Gamboa, L. (2012). Análisis de la evolución de la igualdad de oportunidades en educación media, en una perspectiva internacional. El caso de Colombia. En ICFES (Ed.), Estudio Sobre Calidad de la Educación en Colombia, 1-42.         [ Links ]

Gamboa, L., & Londoño, E. (2014). Equality of Educational Oppotunities in Colombia: A Metropolitan Area Comparison Serie Documentos de Trabajo: Universidad del  Rosario.         [ Links ]

Gaviria, A., & Barrientos, J. (2001). Determinantes de la Calidad de la Educación en Colombia Archivos de Economía: Departamento Nacional de Planeación–DNP.         [ Links ]

Hanushek, E., & Wöszmann, L. (2011). The Economics of International Differences in Educational Achievement Handbook of the Economics of Education. Elsevier B.V. (3), 91-198.         [ Links ]

Heckman, J. J., Ichimura, H., & Todd, P. E. (1997). Matching as an Econometric Evaluation Estimator: Evidence from Evaluating a Job Training Programme. The Review of Economic Studies, 64(4), 605-654. doi: 10.2307/2971733.         [ Links ]

Ichino, A., Mealli, F., & Nannicini, T. (2008). From temporary help jobs to permanent employment: what can we learn from matching estimators and their sensitivity? Journal of Applied Econometrics, 23(3), 305-327. doi: 10.1002/jae.998.         [ Links ]

Imbens, G. W. (2004). Nonparametric Estimation of Average Treatment Effects Under Exogeneity: A  Review. Review of Economics and Statistics, 86(1), 4-29. doi:  10.1162/003465304323023651.         [ Links ]

Iregui, A., Melo, L., & Ramos, J. (2007). Análisis de eficiencia de la educación en Colombia. Revista de Economía del Rosario, 10(1), 21-41.         [ Links ]

Jakubowski, M., & Sakowski, P. (2006). Quasi-experimental estimates of class size effect in primary schools in Poland. International Journal of Educational Research, 45(3), 202-215. doi: 10.1016/j.ijer-2006.11.003.         [ Links ]

Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2010). Handbook on Impact Evaluation: Quantitative Methods and Practices: World Bank.         [ Links ]

Nannicini, T. (2007). Simulation-based sensitivity analysis for matching estimators. Stata Journal, 7(3), 334- 350.         [ Links ]

Patrinos, H., & Sosale, S. (2007). Mobilizing the private sector for public education: A view from the trenches. Washington, DC: World Bank Publications.         [ Links ]

Pessoa, A. (2008). Educational reform in developing Countries: private involvement and Partnerships FEP Working Papers: Universidade do Porto.         [ Links ]

Roemer, J. (1998). Equality of Opportunity. Cambridge, MA: Harvard University Press.         [ Links ]

Roemer, J. (2002). Equality of opportunity: A progress report. Social Choice and Welfare, 19(2), 455-471. doi: 10.1007/s003550100123.         [ Links ]

Rosenbaum, P. R. (1987). Sensitivity Analysis for Certain Permutation Inferences in Matched Observational Studies. Biometrika, 74(1), 13-26. doi: 10.2307/2336017.         [ Links ]

Rosenbaum, P. R. (2002). Observational Studies: Springer New  York.         [ Links ]

Rosenbaum, P. R., & Rubin, D. B. (1983a). Assessing Sensitivity to an Unobserved Binary Covariate in an Observational Study with Binary Outcome. Journal of the Royal Statistical Society. Series B (Methodological), 45(2), 212-218.         [ Links ]

Rosenbaum, P. R., & Rubin, D. B. (1983b). The Central Role of the Propensity Score in Observational Studies for Causal Effects. Biometrika, 70(1), 41-55. doi: 10.2307/2335942.         [ Links ]

Rubin, D. B. (1978). Bayesian Inference for Causal Effects: The Role of Randomization. The Annals of Statistics, 6(1), 34-58. doi: 10.2307/2958688.         [ Links ]

Rumberger, R., & Palardy, G. (2005). Test Scores, Dropout Rates, and Transfer Rates as Alternative Indicators of High School Performance. American Educational Research Journal, 42, 3-42. doi: 10.3102/00028312042001003.         [ Links ]

Sarmiento, A., Alonso, C., Duncan, G., & Garzón, C. (2005). Evaluación de la gestión de los colegios en concesión en Bogotá 2000-2003 Archivos de Economía: Departamento Nacional de    Planeación–DNP.         [ Links ]

Schültz, G., West, M., & Wöszmann, L. (2007). School Accountability, Autonomy, Choice, and the Equity of Student Achievement: International Evidence from PISA 2003 Education Working Paper:  OECD.         [ Links ]

Schütz, G., Ursprung, H., & Wöszmann, L. (2008). Education Policy and Equality of Opportunity. Kyklos, 61(2), 279-308.         [ Links ] Resolución 3122 de 1999 (1999) de la Secretaría de Educación Distrital. Resolución 2487 de 2003 (2003) de la Secretaría de Educación   Distrital.         [ Links ]

SED–Secretaría de  Educación Distrital.  (2014).  Caracterización del Sector Educativo  de  Bogotá año    2013. Bogotá D.C.         [ Links ]

Toma, E. (2005). Private Schools in a Global World. Southern Economic Journal, 71(4), 692-704. doi: 10.2307/20062074.         [ Links ]

Wöszmann, L., & West, M. (2006). Class-size effects in school systems around the world: Evidence from between-grade variation in TIMSS. European Economic Review, 50(3), 695-736. doi: 10.1016/j.euro-ecorev.2004.11.005.         [ Links ]

Anexos