(4)Jorge Barrientos y Paul Rios
Jorge Barrientos: Investigador del Centro de Investigaciones y Consultarías Económicas, Universidad de Antioquia. Dirección electrónica: jbarr@udea.edu.co. Dirección postal: Ciudad Universitaria, bloque 13, A.A. 1226, Medellín, Colombia. Paul Rios Gallego: Asistente de investigación, Centro de Investigaciones y Consultarías Económicas, Universidad de Antioquia. Dirección electrónica: riospaul@gmail.com. Dirección postal: Ciudad Universitaria, bloque 13, A.A. 1226, Medellín, Colombia. Agradecemos a Carlos Medina (Banco de la República, Medellín) a Piedad Restrepo (Universidad de Antioquia) y a Alfonso Arellano (Universitat d Alacant) los valiosos comentarios y sugerencias para mejorar este trabajo. Los errores, opiniones e interpretaciones son responsabilidad exclusiva de los autores. Este artículo hace parte de una investigación más extensa en torno a la Estrategia de concesión a cinco años de la prestación del servicio público educativo en plantas físicas oficiales (2002-2006) en Medellín, la cual fue contratada y financiada por la Secretaría de Educación Municipal de Medellín - SEM- .
– Introducción. – I. Antecedentes y literatura reciente sobre educación y logro académico. – II. La metodología. – Conclusiones. – Bibliografía.
Primera versión recibida en enero de 2007; versión final aceptada en mayo de 2007
Resumen: La alcaldía de Medellín emprendió en 2002 un programa de cobertura educativa dirigido a jóvenes en edad escolar en lugares donde la oferta escolar pública era reducida. El programa consistió en dar en concesión colegios de propiedad estatal a entidades educativas privadas. El objetivo de este trabajo es evaluar el impacto del programa de concesión en dos frentes, el desempeño académico, la deserción y la reprobación de los alumnos. La evaluación se hace comparando individuos, en colegios en concesión, quienes son muy parecidos a aquellos que atendieron colegios públicos. Los resultados muestran que los estudiantes en colegios en concesión han tenido un desempeño inferior a sus pares en colegios públicos, así como mayores tasas de deserción y reprobación.
Palabras clave: concesión, emparejamiento, contrafactual, grupo de tratamiento y control, propensity score. Clasificación JEL: C14, C21, I20.
Abstract: in 2002 the local government of Medellin started a program for school-age children who were not covered by the educational public system. The program, called Concession Schools, was designed to provide private educational management by means of public resources where public supply was reduced. In this paper we are interested in investigating the impact of this program on academic performance, dropout, and pass rates. To this aim we match individuals at concession schools with those at public ones by computing the probability of attending concession institutions. In spite of the good reputation for Concession Programs, we found that students at concession schools had a lower performance than their peers at public schools, as well as higher dropout and lower pass rates.
Keywords: concession, matching counterfactual, treatment and control groups, propensity score.
Résumé: La Mairie de Medellin a entrepris pendant l'année 2002 un programme de couverture éducative adressée aux jeunes en âge scolaire dans les arrondissements mal desservies par l'éducation publique. Le programme donne en concession à certaines institutions éducatives privées les établissements scolaires publics. L'objectif de cet article consiste à évaluer l'impacte de ce programme en ce qui concerne la performance académique, la désertion scolaire et redoublement des élèves. L'évaluation présente une comparaison entre les individus des établissements gérés par le secteur privé et ceux d'établissements publics. On montre que les étudiants des établissements gérés par le privé ont eu une performance inferieur à ceux des établissements publics ainsi qu'un taux plus élevé de désertion scolaire et de redoublement. ]]>
Mots clés: concession, contrefactuel, groupe de traitement et de contrôle, propensity score.En el año 2002 la alcaldía de Medellín emprendió un programa de cobertura educativa que consistía en adjudicar 14 instalaciones oficiales para la prestación del servicio educativo en todos los grados (básica primaria, secundaria y media) durante cinco años. Esto se hacía por medio de un contrato entre una entidad (concesionario) que gestiona y administra el colegio y la Secretaría de Educación Municipal (SEM), que diseña el contrato y asigna los recursos (presupuesto), es la interventora y la encargada de establecer que las cláusulas del contrato sean cumplidas.
El contrato estipulaba, entre otros compromisos, garantizar un número máximo de alumnos por aula de clase en preescolar, básica primaria, básica secundaria y media técnica. Este número dependería de las características del colegio, como por ejemplo el número de aulas, metros cuadrados construidos y del lote, etc. Así mismo, debería responder por la correcta inversión de los recursos. Estaban encargados de adquirir los inmuebles y equipos necesarios para la labor educativa, así como del mantenimiento de la planta física. Por último, y quizás más importante, los concesionarios tenían plena libertad para manejar y elegir su planta docente, administrativa, directiva y también para diseñar la estrategia de interacción con la comunidad.
Aunque el programa de cobertura en Medellín inició en 2002, este se puede interpretar como un programa de concesión del servicio público educativo a partir del Decreto 4313 de 2004 que reglamenta la contratación del servicio público educativo por parte de las entidades territoriales. El programa, pues, pretendió emular las posibles ventajas que otorga el sistema de concesión, cuya filosofía se centra en la prestación del servicio de educación privada (administración) con recursos públicos y que pretende resolver en alguna medida la poca flexibilidad, especialmente en materia de administración y contratación de personal, de las instituciones educativas oficiales.
Experiencias similares a la de Medellín solo conocemos la de Bogotá; por eso, consideramos importante mencionar algunas diferencias relevantes entre una y otra; no obstante, para un detallado análisis ver Sarmiento et al. (2005). La primera diferencia, es que, para la construcción de los colegios en Bogotá, la Secretaría de Educación Distrital estableció estándares de calidad altos, mientras que en Medellín se usaban construcciones que existían y que si bien estaban en óptimas condiciones, no fueron diseñadas para tal fin. Segundo, en el caso de Bogotá el contrato puede terminarse si no se dan los resultados pactados (sobrepasar la media del puntaje de colegios públicos en el Icfes); en el caso de Medellín no existió un compromiso explícito de alcanzar un determinado puntaje en pruebas estandarizadas como Saber o Icfes, pero se incluyó una cláusula estipulando que las tasa de deserción no debería ser superior al 5%, en caso contrario el dinero correspondiente al número de niños desertores por encima del umbral establecido debía ser devuelto. Tercero, en el caso de Medellín la prioridad fue la cobertura más que la calidad. Por último, los colegios en concesión en Bogotá se comprometieron a ofrecer educación completa y en jornada única, lo cual desde la evidencia empírica en investigación de factores asociados al logro, es un elemento que influye positivamente en el logro académico. No fue el caso de Medellín, donde los colegios trabajan en diferentes jornadas.
Este programa, en grandes cifras, significó atender, en principio, 16.290 niños cada año, que corresponde al número de cupos disponibles en los catorce colegios y estipulados en el contrato diseñado por la SEM.1 Lo anterior significa que, según cifras de tasa de matrícula de la SEM, para 2006 cerca de un 9,1% de los jóvenes de secundaria serían atendidos mediante la modalidad de concesión. Una cifra significativa y, por supuesto, una inversión alta en cobertura educativa.
En el contrato con los colegios, la SEM unilateralmente estableció el costo de cada alumno por año. Así, por ejemplo, un joven en secundaria requirió una inversión mensual de $81.630 en 2006, lo que significó anualmente el desembolso de $979.560 (US$ 436), en tanto que en un joven de primaria el monto mensual invertido fue de $75.147 en ese mismo año, para un valor anual de $901.764 (US$ 400). Claramente, esta cifra que se incrementaba cada año de acuerdo al contrato, significó un desembolso total aproximado de 125 mil millones de pesos en el período 2002-2006. Por tanto, es deseable establecer, desde el punto de vista del desempeño académico y la eficiencia interna (deserción y reprobación), cuál fue el beneficio de tal inversión.
Como ya se dijo, la construcción de los colegios no obedeció a una destinación exclusiva para el programa de concesión, sino que obedeció a una identificación de zonas de alta demanda escolar y baja oferta educativa. Por tanto, los colegios están ubicados en zonas deprimidas, donde abundan problemas de violencia intrafamiliar, desnutrición y pobreza en general y en donde se atiende población de estratos 1 y 2, y en menor medida del 3.
El objetivo de este trabajo es evaluar el impacto del programa de concesión para el período 2004-2006. No se toman en cuenta los dos primeros años del programa, pues creemos que los resultados de este tipo de proyectos, donde en principio el ensayo y error son la regla, tardan en mostrar su verdadero efecto. Adicionalmente, es a partir de 2004 que la SEM comenzó a operar la Matrícula en Línea (ML), un método que facilita en gran medida el monitoreo año a año del sistema educativo en Medellín y eso constituye una valiosa fuente de información, que en alguna medida compensa la poca información que ofrece el formato de inscripción del Icfes desde el año 2001.
Este artículo incluye la evaluación del impacto del programa sobre el desempeño de los estudiantes en pruebas estandarizadas (Icfes). Nuestros resultados se limitan a las pruebas de lenguaje, matemáticas y puntaje total. Además, evaluamos el impacto del programa sobre indicadores de deserción y reprobación (en tasas). La técnica utilizada es el emparejamiento (matching) basado en propensity score, una metodología muy utilizada para comparar grupos de individuos similares en sus características socio-económicas.
]]> En cuanto a resultados esperados, podría pensarse que los colegios con administración privada funcionen mejor, es decir, que ofrezcan mejores resultados que los colegios públicos. No obstante, estamos comparando individuos en colegios públicos con individuos en colegios cuya diferencia esencial con los públicos está en la gestión (académica, administrativa, directiva y su relación con la comunidad). En otras palabras, al construir el contrafactual de no tratamiento para los tratados, estamos eligiendo los individuos de comparación tomando en cuenta características observables (dejando de lado las no observables como los problemas de violencia familiar, el maltrato, la desnutrición, etc.). Por tanto, al ser los individuos muy similares en las características observables, cualquier diferencia en resultado o desempeño se debe, con gran probabilidad, al programa de concesión.El trabajo está organizado como sigue: en la sección I se presentan algunos aspectos, ya de conocimiento común en la literatura colombiana, sobre logro académico (el enfoque de la función de producción). En la sección II se presentan la metodología a seguir (Matching Propensity Score) y los resultados de la evaluación de impacto del programa sobre desempeño, deserción y aprobación. En la última sección se concluye.
Las investigaciones de la relación entre logro académico y calidad de la educación han desarrollado modelos utilizando la metáfora de la función de producción de la economía neoclásica. Más precisamente, han supuesto que el resultado académico es el producto de la interacción conjunta de factores a través de una función (en el sentido matemático) de producción escolar. Esto es, el colegio es una caja negra donde los estudiantes asisten, los factores familiares y los insumos escolares interactúan y producen algo que llamaremos logro académico, medido por lo general como puntajes en pruebas estandarizadas. En términos formales, si llamamos Yi, el puntaje en alguna prueba estandarizada, Xi al conjunto de características del individuo i, y Zi a los insumos del colegio j, este enfoque nos dice que Yij se puede relacionar con el par (Xij, Zj), a través de una función F(Xij, Zj), que ampliamente ha sido tomada en la literatura como una relación lineal, tal que:
Yij = F(Xij, Zj) = βXij + φZj + ε
Donde E[ε|X,Z]y por tanto E[ε] .
En Colombia existe una abundante literatura utilizando el enfoque de la función de producción, usando diversas metodologías y con resultados, en la mayoría de los casos, muy similares; ver por ejemplo Gaviria y Barrientos (2001a, 2001b), Restrepo y Alviar (2002), Nuñez et al. (2003), Alviar y Restrepo (2006) y todas las referencias citadas en estos artículos. A nivel internacional, la literatura es extensa desde la década de 1970 y 1980 (por ejemplo, Hanushek, 1986 y 1996), pero recientemente se pueden ver los trabajos de Murnane et al. (2005) y Hanushek (2005a, 2005b), que hacen una exhaustiva revisión del estado actual de la economía de la educación a nivel internacional.
El análisis basado en la relación Fij(·) depende de varios supuestos tradicionales y extensamente discutidos en la literatura (ver, por ejemplo, Hanushek, 1986, 1996 y Barrera, 2006). Lo cierto es que los resultados obtenidos no favorecen la idea de que solo el colegio es responsable del desempeño o logro de los jóvenes. Es decir, aunque hay una relación entre insumos escolares y logro académico, estos actúan mejor siempre que se controle por características familiares cruciales como la educación de los padres (ver Gaviria y Barrientos, 2001a). Cabe mencionar que nosotros, aunque no lo reportamos aquí, obtenemos resultados muy similares a los encontrados por los diferentes autores mencionados al estimar la relación Fij(·) agrupando los errores por colegio. Por ejemplo, al estimar E[ε|X,Z], sin diferenciar entre públicos y de concesión, tiene especial influencia la edad, el sexo, el estrato socioeconómico, el número de laboratorios, el área construida y el total de equipos disponibles, entre otros.
Experiencias de concesión semejantes a la aquí estudiada solo hay en Bogotá, (desde el año 1999 y a partir de ese momento por 15 años). Una de las evaluaciones de este programa de concesión ha sido llevada a cabo por Sarmiento et al. (2005), quienes encuentran que, a pesar de la buena reputación de los colegios en concesión, no existen grandes diferencias en los resultados en cuanto a logro comparado con los colegios públicos. Más aún, ellos encuentran que no hay evidencia para afirmar que los colegios en concesión obtienen mejores resultados en cuanto a tasas de reprobación y deserción. Incluso, afirman que nada hace pensar que a futuro estos resultados mejoren en los colegios en concesión, al menos al año 2003.
Una metodología similar a la empleada en este trabajo ha sido implementada por Barrera (2006) en la evaluación del programa de concesión de Bogotá. Barrera directamente averigua por el efecto medio del programa de concesión sobre los tratados en términos de desempeño y tasa deserción y encuentra que los alumnos en estos colegios han alcanzado en promedio 1 punto adicional en matemáticas y casi 2 puntos en lenguaje. Además de una tasa menor de deserción de aproximadamente 1,7%.
1. El problema fundamental de la evaluación
]]> Sea Y la variable (dependiente) de interés, por ejemplo, resultado en pruebas estandarizadas o algún indicador de reprobación o deserción . Sea Y1i el resultado concerniente al individuo i (asumiremos siempre que es en el momento t) que está afectado por el programa en cuestión o ha recibido el tratamiento (es decir, atendió un colegio en concesión) y sea Y0i el valor de la variable para el individuo que no fue tratado. Definimos entonces el impacto del tratamiento por la cantidad no observable:α = Y1i Y0i (1)
En la práctica lo que observamos realmente es la cantidad:
Yi = DiY1i + (1 - Di)Yoi (2)
Donde D = 1 si el individuo i ha recibido el tratamiento y D = 0 en otro caso. Esta dificultad se conoce como el Problema Fundamental de la Evaluación, PFE, (Holland, 1986). Hay varias maneras de enfrentar el problema, mencionamos dos: diferencias en diferencias y emparejamiento o matching (Rosenbaum y Rubin, 1983). Esta última tiene que ver con la constitución de dos grupos de individuos que puedan ser comparados, el grupo formado por aquellos individuos que asistieron a colegios en concesión (grupo de tratamiento) y el grupo de individuos que asisten a colegios públicos o grupo de comparación (conocido como grupo de control).2
2. Efecto medio del tratamiento sobre los tratados ATT
Una aproximación para estimar el efecto de un programa consiste en añadir al modelo Fij(·) una variable binaria D que tome el valor 1 si es un colegio de concesión y 0 en otro caso, y otra variable binaria T que tome el valor 1 para el momento posterior al tratamiento y 0 en caso contrario, es decir:
Y = αD + δT + λ(DT) + βX + φZ + ε
En cuyo caso α proporciona una estimación del impacto del programa (donde X y Z son características de individuos y colegios invariantes en el tiempo) y ε es una variable aleatoria tal que E (ε|D,T,X,Z)= 0 . Sin embargo, esta aproximación solo es válida si tuviéramos información antes y después de que el programa fuera llevado a cabo. Adicionalmente, la identificación del parámetro de interés α requiere que la evolución de la variable de interés de los individuos tratados y no tratados en ausencia de tratamiento sea paralela. Este supuesto se satisface siempre que la asignación de los individuos a cada grupo sea aleatoria. Este no es el caso, pues claramente el programa en cuestión está focalizado a una población con determinadas características, lo que indica que un sesgo de selección siempre está presente en esta clase de información.
En este artículo usamos la idea de matching para superar el problema de tener diferentes grupos de individuos en un mismo momento del tiempo, donde necesariamente el supuesto de evolución paralela no se satisface debido a la estructura no aleatoria de la información. La idea del emparejamiento consiste en buscar y comparar varios elementos del grupo de control semejantes a elementos en el grupo de tratamiento. Suponiendo que el estatus de tratado depende de un vector de características observables X, establecemos un grupo de control similar en tales características a los tratados. Esto garantiza que ambos grupos tienen distribuciones similares de las características contenidas en X.
]]> Para esta investigación asumiremos, en principio, que los estudiantes que no pertenecen a ninguno de los dos grupos (tratamiento o control) no son afectados por el programa. En nuestro caso, este es un supuesto poco restrictivo y que elimina en gran medida el PFE. Adicionalmente, supondremos que el impacto del programa de concesión es independiente de los puntajes obtenidos por los jóvenes que conforman el grupo de comparación.El ATT es basado entonces en la diferencia en el resultado promedio de individuos en el grupo de tratamiento y este es emparejado a individuos del grupo de control con similares características X. Sin embargo, la gran dimensión explícita en un vector de características X puede ser un problema superado utilizando una medida resumen de X en lugar del vector propiamente dicho (Rosenbaum y Rubin, 1983). Tal medida puede ser la probabilidad de participar en el grupo de tratamiento condicionado a las características observables X o el propensity score, el cual denotamos por p(X). Es decir, calculamos la probabilidad de que un individuo sea tratado:
P(D/X) = p(X) (3)
La manera como lo hacemos es usando un modelo Logit. Una vez calculada la ecuación (3) estimamos el efecto del tratamiento sobre los tratados (ATT). Formalmente, el ATT se define como:
(4)
Existen varios métodos para calcular el contrafactual de no tratamiento para los tratados basados en un conjunto de características observables X (infortunadamente (4) no controla por características no observables) con resultados similares, por ejemplo, el método de emparejamiento Kernel:
(5)
Donde D1 es el conjunto de individuos tratados, y D0 el conjunto de individuos controlados. Así pues, con Matching Propensity Score no solo se obtiene el ATT sino que además elegimos el grupo de control apropiado, comparando individuos con características muy similares.
Podríamos también hallar el contrafactual de no tratamiento, usando el método del vecino más cerca. Entendemos como vecino más cerca al individuo i, al individuo j tal que:
(6)
E(D|Xik) = F(Xikβk) i = 1,...,n k = 1,...,K
Donde F es la distribución de probabilidad subyacente. Adicionalmente, podemos obtener el efecto marginal (derivada de la esperanza condicionada a X) de algún cambio en la variable X, dado por βf(Xβ), donde fk es la densidad de la variable aleatoria Xk. Es decir, podemos establecer si el sexo, la edad o el estrato, por ejemplo, incrementan la probabilidad de ser tratados.
Así pues, el efecto medio del programa de concesión sobre los alumnos determina el valor medio del tratamiento para personas que recibieron el tratamiento en comparación con los no tratados, en el caso hipotético de que ellos hubieran recibido el tratamiento. En este estudio presentamos estimaciones de (4) basadas en las fórmulas (5) y (6), usando como variables de interés las pruebas Icfes y las tasas de deserción y reprobación. Las tablas 2, 3 y 4 en la sección IIB muestran las estimaciones. En resumen, la práctica requiere seguir los siguientes pasos (Vinha, 2005):
- Estimar un modelo binario para obtener: p(X) = p(D|X) con estas probabilidades construimos el contrafactual de no-tratamiento para los tratados.
- Elegimos el número de observaciones control.
- Definimos el método matching (o la manera en la cual el contrafactual es determinado para cada observación tratada) para obtener un estimador de E(Y0|p(X))
- Finalmente, estimamos el ATT.
3. Estadísticas descriptivas
]]> La información utilizada en este trabajo es el resultado de la concatenación de cuatro bases de datos diferentes: i) La Matrícula en Línea que se viene implementando desde 2004, ii) el resultado del examen Icfes para el período 2004-2006 iii) el formulario C-100, que mide infraestructura, para el año 2002 y iv) el C-600 para los datos de eficiencia interna (deserción y repitencia). Infortunadamente, los datos de infraestructura para los colegios en concesión no han sido fáciles de establecer y en la mayoría de los casos, variables como la razón profesor-alumno, no están disponibles.Es importante mencionar que el número de alumnos en colegios en concesión que presentaron Icfes está subestimado por dos razones, a saber: la primera es que muchos de ellos al momento de la inscripción tenían una identificación diferente a la que tenían cuando se matricularon en el colegio (muchos pasaron de tener tarjeta de identidad a tener cédula). Segundo, el nombre reportado en Matrícula en Línea difiere en cuanto a letras o errores de escritura de aquellos reportados en la inscripción del examen Icfes, Sin embargo, creemos que la diferencia no es substancial como para tener algún tipo de sesgo de selección.
La tabla 1 muestra las estadísticas descriptivas de las principales variables usadas en este estudio. Para el análisis fueron tomados en cuenta estudiantes mayores de 16 años y quienes tenían menos de 25 al momento de presentar el Icfes. También eliminamos colegios que reportaron, seguro por error, cero aulas de clase, cero unidades sanitarias y menos de 500 metros cuadrados de área construidos. Esto nos deja con 12.082 alumnos de grado 11 en 99 colegios en Medellín para 2004, 10.736 en 2005 y 12.749 en 2006. De los cuales 609, 675 y 808 alumnos, respectivamente, corresponden a colegios en concesión.
Cabe mencionar que el interés principal del análisis presentado a continuación se centra en el puntaje total (sin la prueba de inglés) y en matemáticas y lenguaje. En este trabajo no tenemos en cuenta resultados en ciencias, ni naturales ni sociales, porque son áreas cuya evaluación, en secundaria, depende en gran medida de la memoria, en tanto que lenguaje y matemáticas son áreas donde se evalúa tanto conocimientos como aptitudes.
Tabla 1. Estadísticas descriptivas
Fuente: Icfes. Matrícula en Línea.
De acuerdo con los resultados reportados en la tabla 1, las diferencias en el puntaje promedio en lenguaje son de 2 puntos para cada año a favor de los públicos. Esto se mantiene para el puntaje total: nuevamente hay una diferencia a favor de los públicos de alrededor de 10 puntos. En matemáticas es donde los colegios han obtenido resultados muy similares, por ejemplo para 2004 esa diferencia desaparece. A pesar de las diferencias en los promedios de los resultados, no hay una diferencia significativa en su dispersión. En ambos grupos hay más mujeres que hombres. Confirmando la tendencia de los últimos años en cuanto a la mayor escolaridad de las mujeres, por ejemplo, la encuesta de calidad de vida 2003 proporciona estadísticas a nivel nacional en la misma dirección.
El promedio de edad es de 17 años y medio, con una diferencia de pocos meses entre los grupos. Esta es una cifra consistente con todos los artículos sobre logro académico en Colombia. Note que en los colegios en concesión no hay individuos de estrato 4, 5 o 6. Note que de acuerdo con estas cifras los colegios públicos cuentan con una mayor dotación de insumos escolares; al existir esta disparidad, la selección del grupo de control se hace con base en las características individuales. La estimación Kernel requiere la selección de un parámetro de suavidad (bandwith); en nuestro caso usamos la regla de selección de Silverman (1986) dada por hs = 1.06σ(Xi)n-.2, donde σ(.) es la desviación estándar de la variable X, y n es el tamaño de muestra. Adicionalmente, hicimos el mismo ejercicio con una ventana de suavidad mayor que la de Silverman.
La tabla 2 muestra la estimación Logit para estimar el propensity score y poder construir el contrafactual de no tratamiento para los tratados, basados en los individuos no tratados, es decir, en los individuos que atendieron colegios públicos. Esto es, el score es la probabilidad de ser tratado condicionado a características similares. Tales características son el sexo, la edad y el estrato (1 y 2). De acuerdo con los resultados en las estimaciones Logit de la tabla 2, el sexo, la edad y ser residente en estrato 1 y 2 incrementan la probabilidad de ser tratado.
Tabla 2. Estimación Logit
Fuente: Icfes. Matrícula en Línea. Cálculos de los autores.
La tabla 3 nos da los efectos marginales; este muestra que en promedio un año adicional de edad incrementaba en aproximadamente 1% la probabilidad de ser tratado en los tres años. En tanto que el sexo un poco menos del 1%. De otro lado, el estrato de residencia de los individuos es determinante. Por ejemplo, en el año 2004 residir en estrato 1 incrementaba en 18% la probabilidad de ser tratado, para 2005 y 2006 era del 19% respectivamente. De otro lado, pasar de residir en estrato 1 al dos incrementaba la probabilidad de ser tratado en 6% en (2004) y en 7% para 2006 y 2007.
Tabla 3. Efectos marginales
Fuente: Icfes. Matrícula en Línea. Cálculos de los autores.
La tabla 4 presenta los resultados de la estimación del efecto medio del tratamiento sobre los tratados (ATT). En general, y con importancia estadística en todos los casos, los resultados favorecen a los colegios públicos en todas las áreas y todos los años. En 2004, por ejemplo, los estudiantes que atendieron colegios en concesión tuvieron en promedio 10 puntos menos en el total de la prueba; 2,6 menos en lenguaje y casi 1 punto menos en matemáticas. Estos resultados son confirmados si usamos un método distinto de estimación (el vecino más cerca).
]]> En 2005 y 2006 se observa que hay un mejoramiento relativo en los resultados, pero los estudiantes en colegios públicos siguen teniendo un mejor desempeño en todas las áreas y en el puntaje total. Por ejemplo, en la totalidad de la prueba obtienen aproximadamente 4,0 (2005) y 6,0 (2006) puntos menos que sus pares en colegios públicos. Así mismo, obtienen en lenguaje en promedio un punto menos para ambos años. En matemáticas casi no hay diferencia, lo cual es un indicio de que quizás los colegios le apuestan a una enseñanza donde predomine la aptitud.Tabla 4. Efecto medio del tratamiento ATT
Fuente: Icfes. Matrícula en Línea. Cálculo de los autores.
En la tabla 5 se reportan las estimación Kernel Matching usando el Kernel Gaussiano, pero con una banda h=1,2 ≥ hS mayor que la utilizada en la estimación Kernel reportada en la tabla 4. Donde el signo de la estimación no sólo se mantiene, sino que las magnitudes son ligeramente superiores. Las mismas estimaciones fueron hechas usando bandwidths superiores e inferiores a hS con resultados similares.
Tabla 5. Efecto medio del tratamiento ATT
Fuente: Cálculos de los autores
Estos resultados son confirmados usando un método de estimación diferente como el del vecino más cerca. Más aún, estimamos el ATT con el Epanechnikov Kernel, usando la regla de Silverman (1986), que hemos denotado hS, y concluimos lo mismo; el ATT en 2004 para el puntaje total es de -9,7 menos para los colegios en concesión y de -2,5 y -0,9 en lenguaje y matemáticas, todos los parámetros altamente significativos.
Puesto que la muestra es dividida en bloques espaciados de igual magnitud, en todas las estimaciones y en cada intervalo se contrasta la hipótesis de que la media del propensity score de ambos grupos no difiere sustancialmente. En este caso, el número óptimo de bloques es cinco. Adicionalmente, se contrasta la hipótesis de que la media de la distribución de cada una de las características observables no difiere entre tratados y no tratados. Significa que los estudiantes de ambos grupos en promedio son del mismo sexo, tienen una edad muy similar, y el número de estudiantes promedio por estrato (1 y 2) es también similar. Para evaluar la significancia del ATT calculamos el valor crítico de la distribución t-student usando 100 replicaciones bootstrap con el fin de obtener una buena aproximación al valor del parámetro estimado (en pequeñas muestras). Todos los parámetros estimados son significativos al menos al 5%.
]]> Encontramos un gran efecto del tratamiento en la región definida por 0,01≤ p(X)≤0,4 para 2004 y 2005 y entre 0,02≤ p(X)≤0,30 en el año 2006. Al limitarnos a individuos cuyas características están en la región de soporte común, eliminamos aquellos con una probabilidad igual a uno de ser tratados (en otro caso no habríamos hallado para estos individuos un elemento de comparación). Los grandes efectos reportados en estas regiones para los diferentes años pueden ser el resultado de efectos de tratamiento heterogéneo entre individuos o también a la presencia de variaciones sistemáticas de características no observables entre los grupos. No obstante, nada de esto fue investigado, pues de una lado se asume efecto común y de otro lado tener en cuenta variaciones de características no observables es un tema de reciente investigación. Los mismos estimadores fueron obtenidos remplazando el Kernel Gaussiano con el Epanechnikov con resultados similares.Adicionalmente, hemos analizado el efecto del tratamiento sobre el Icfes en los tratados para el año 2006, eliminando de la muestra los alumnos de los seis colegios con menor rendimiento tanto en lenguaje como en matemáticas y para el puntaje total del la prueba (ver tabla 6). La selección de los colegios en concesión para este ejercicio se hizo con base en la distribución de puntaje obtenido en la evaluación institucional por tipo de gestión (Barrientos et al. 2007). Estas estimaciones, sin embargo, presentan varios inconvenientes, ya que al reducirse el número de observaciones tratadas (sumado a un número bajo de regresores) conducen a resultados estadísticamente poco o nada significativos. Los mismos ejercicios se llevaron a cabo para los años 2004 y 2005 con resultados muy similares.
Tabla 6. Efecto medio del tratamiento ATT, 2006
(*) Epanechnicov Kernel. (**) Silverman s Rule of thumb hs = 1.06σ(Xi)n-0.2
Fuente: Cálculos de los autores.
Así, para calcular el ATT en el caso de lenguaje y puntaje total fueron eliminadas 452 observaciones (359 tratados), en el caso de matemáticas se eliminaron 462 (348 tratados). En general, el sexo la edad y el estrato (1 y 2) son variables estadísticamente significativas y que incrementan la posibilidad de ser tratado. La mayor contribución a este incremento de la probabilidad la hace el hecho de residir en estrato 1 (p=10,7%) y luego en estrato 2 (p=1,8%). El ATT en el caso de lenguaje, aunque no es tan significativo como cuando usamos todas las observaciones, muestra que los estudiantes en colegios públicos aun tienen un rendimiento superior en medio punto. Usando el vecino más cerca, hay un efecto positivo tanto sobre lenguaje como matemáticas, pero estadísticamente no significativo.3
2. El ATT sobre el desempeño basado en Icfes y características del plantel
En la tabla 7 presentamos los resultados del ATT sobre desempeño académico (Icfes) incluyendo algunos factores de colegio4 como el área construida, el área total de las aulas, el área deportiva, el número de unidades sanitarias y el total de equipos disponibles por la institución (televisores, proyectores de video, computadores, etc.). De este modo, la probabilidad de ser tratado está condicionada a una matriz Z de factores escolares P(D|X,Z) = p(X,Z). Al incluir factores escolares, el área de soporte común se incrementa, de modo que encontramos un gran efecto del programa en la región definida por 0,01≤p(X) ≤0,55 para 2004, 0,01≤p(X) ≤0,60 para 2005 y 0,01≤p(X) ≤0,42 para 2006.
Desde el punto de vista estadístico, tanto para 2004 como 2005, el sexo deja de ser relevante para la selección del grupo de control y aunque paradójicamente incrementos en estos insumos conducen a una probabilidad menor de ser tratado, la magnitud de los parámetros estimados es muy baja (casi cero en algunos casos). En los años 2004 y 2005, residir en estrato 1 y 2 determina la probabilidad de ser tratado, 18,7% y 4,5% y 24,1% y 6,4%, respectivamente. En ambos años la edad de los individuos determina cerca del 0,5%. Para el año 2006, el sexo se constituye en variable relevante y a diferencia de los otros dos años analizados, solo el área de las aulas construidas no parece ser importante. Residir en estrato 1 y 2 determina la probabilidad de ser tratado en 25% y 6,0% respectivamente, la edad solo determina un 0,4% tal probabilidad. Por consiguiente no hay una gran variación en los resultados respecto a aquellos obtenidos cuando no incluimos la matriz Z.
]]> Tabla 7. Efecto medio del tratamiento ATT
(*) Gaussian Kernel.
(**) Silverman s Rule of thumb . La constante c representa diferentes valores y hs es bandwith de Silverman.
Fuente: Cálculos de los autores.
Comparando los resultados reportados en las tablas 4 y 7 vemos que realmente no hay una diferencia sustancial en los resultados del efecto medio del tratamiento, esto permite decir que al parecer no hay un efecto importante de los factores escolares y son determinantes las características familiares. Más aún, la selección de los individuos que forma el grupo de control basado en características escolares no es determinante y en este estudio particular pudieron haber sido descartados.5
3. Efecto medio del tratamiento sobre la deserción y reprobación
En esta sección usaremos la metodología propensity score para averiguar el efecto medio del programa de concesión sobre los dos indicadores de eficiencia interna de las instituciones educativas: la tasa de deserción y la tasa de reprobación. Está claro que la tasa de reprobación es el complemento de la aprobación. Es decir, conociendo la reprobación sabremos que sucede con la aprobación y viceversa.
Para efectos del análisis definimos la tasa de reprobación como el siguiente cociente tr = r / (r+a), donde r = ∑j∑i rij y a = ∑j∑i aij son la suma del número de alumnos reprobados y aprobados, respectivamente, en el grado i en la escuela j. Note que hemos definido la tasa de reprobación de modo que la cifra no es afectada por los desertores o los transferidos. En cierto sentido no queremos castigar, en términos de reprobación, a los colegios con alto número de desertores o transferidos, pues creemos que en la mayoría de los casos, la deserción y las transferencias de estudiantes están fuera del control de la institución, especialmente con poblaciones con las características descritas.
Similarmente, definimos la tasa de deserción como el siguiente cociente td = d / (r + a + d + T ), donde d = ∑j∑i dij y T = ∑j∑i τijson la suma del número de alumnos desertados transferidos del grado i en la escuela j. La tabla 8 presenta una estadística simple de la tasa de deserción y reprobación de los colegios públicos y en concesión. Notemos que tanto la tasa de repoblación como la de deserción son ligeramente superiores en los colegios en concesión que en los públicos para ambos años. Sin embargo, dos aspectos hay que resaltar a favor de los colegios en concesión. Primero, aunque ambos indicadores se incrementan en 2005 para los colegios en concesión, esta tendencia hacia arriba también se mantiene para los colegios públicos. Segundo, cuando controlamos por características observables de colegio y elegimos un grupo de control apropiado las diferencias disminuyen, como veremos más adelante.
]]> Tabla 8. Estadísticas de eficiencia interna
Fuente: Cálculos de los autores
Fuente: Dane. C-100
Gráfico 1. Eficiencia interna, 2004
La tabla 9 muestra que una vez elegido un apropiado grupo de control y controlando por características observables las tasas de deserción y reprobación en colegios de concesión son superiores en 1,6 y 2 puntos porcentuales respectivamente para el año 2004. Para el año 2005 las tasas siguen siendo superiores en colegios en concesión e, incluso, son superiores a las de 2004 (2% y 2,6%). Notemos que los parámetros estimados son significativos al 5% y 10%, respectivamente.
Tabla 9.Efecto medio del traramiento ATT
Fuente: Cálculo de los autores. No tratados 14
]]> Haciendo un análisis de la información sobre deserción y reprobación, es posible que haya una gran variabilidad por grado, el gráfico 3 muestra que la reprobación es menor por grado para 2005; sin embargo, el gráfico 2 es un consolidado global de todos los grados y de todos los colegios promediados. Por tanto, hay algunos colegios en concesión con altas tasa de reprobación y deserción que hacen que en el consolidado global se presenten tasas más altas para estos colegios. Sin embargo, el gráfico 2 dice que aún sin controlar por factores exógenos las tasa de deserción son superiores en colegios en concesión, excepto en los grados 6, 7 y 11.Fuente: Dane. C-100
Gráfico 2. Eficiencia interna, 2005
Fuente: Dane. C-100
Gráfico 3. Tasa de reprobación 2005 por grado
Fuente: Dane. C-100
Gráfico 4. Tasa de deserción por grado, 2005
]]> Un último aspecto por resaltar es la alta correlación que existe entre deserción y reprobación, ver gráfico 5. Con un cálculo simple tenemos que la correlación es de casi el 98%. Si controlamos la tasa de deserción por factores escolares, como unidades sanitarias o número de aulas de clase y la tasa de reprobación, la correlación es del 97%, pero adicionalmente un 1% de incremento en la reprobación significa un incremento del 0,69% en la tasa de deserción. Esto conduce a pensar que los estudiantes que reprueban son más propensos a desertar; la racionalidad de este comportamiento es clara: un niño en un colegio implica un gasto mínimo por parte de la familia (o el costo de oportunidad de hacer otra cosa, como enviarlo al mercado laboral); por tanto, el costo y el beneficio de ir al colegio se ve poco, o nada, estimulado si un niño reprueba, llegando a la conclusión natural que es mejor retirarlo del colegio.Fuente: Dane. C-100
Gráfico 5. Tasa de reprobación y deserción colegios en concesión, 2005
La primera conclusión, y la más importante, es que hay evidencia de que los estudiantes de los colegios de concesión han tenido un desempeño inferior que el de sus pares en colegios públicos en el examen Icfes (prueba total, lenguaje y matemáticas). Estos resultados son confiables, pues el grupo de comparación es bastante similar al de tratamiento, es decir, lo constituye individuos de edad, sexo y estrato similar.
No hay una diferencia crucial controlando por factores escolares. Más aún, tales factores disminuyen la probabilidad de ser tratado, lo que implica que es difícil comparar individuos similares entre colegios, probablemente por que existen diferencias (promedio) entre colegios en cuanto la dotación de factores o la incapacidad de los colegios en concesión de usar eficientemente toda la dotación, que contractualmente están obligados a adquirir.
En cuanto a la eficiencia interna, los colegios en concesión tienen tasas de deserción y reprobación ligeramente superiores. Sin embargo, hay una gran disparidad en los recursos que tienen los diferentes colegios. Esto puede indicar que existe una gran heterogeneidad (no observable) en las unidades de análisis y conducir a sobreestimar los resultados a favor de los colegios públicos.
Desde una perspectiva objetiva, a pesar de la buena reputación de los mecanismos de concesión, es probable que los buenos resultados tarden en llegar. Esta también es la percepción de Sarmiento et al. (2005), entre otros, para quienes a nuestro entender los resultados tampoco favorecen el sistema de concesión llevado a cabo en Bogotá.
A diferencia de lo encontrado por Barrera (2006), nuestros resultados negativos pueden ser consecuencia del modo como se eligieron los concesionarios para prestar el servicio, es decir, a la exigencia en los términos de referencia de la licitación hecha por las autoridades locales (experiencia, calidad docente, etc.), posiblemente por el diseño del contrato que quizá favorece la cantidad en detrimento de la calidad, el monitoreo e interventoría, etc. (ver Barrientos et al., 2007).
1 Esta cifra puede estar subestimada debido al ingreso extra de alumnos a los colegios. La SEM anualmente adicionaba cupos, dependiendo de las necesidades específicas del sector donde se hallan los colegios. Esto, por supuesto, significaba hacer una adición presupuestal por niño nuevo.
]]> 2 Este término es más utilizado cuando el grupo de control, la muestra de individuos que no fue tratada, se elige aleatoriamente.3 Los resultados concernientes a la estimación Logit y los efectos marginales están disponibles y pueden ser solicitados a los autores por correo electrónico.
4 Algunos insumos escolares debieron ser descartados pues la hipótesis de soporte común no era satisfecha en algunos casos.
5 Regresiones Logit y cálculo del ATT fueron llevados a cabo controlando solo por factores escolares, con resultados similares.
1. Alviar, Mauricio; Rrestrepo, Piedad P. (2006). La Educación en Medellín: visión de futuro, Documento ECSIM, Medellín. [ Links ]
2. Barrera, Felipe (2006). Impact of Private Provision of Public Education: Empirical Evidence from Bogotá s Concession Schools, HDNED, World Bank. [ Links ]
3. Barrientos, Jorge; Retrepo, Piedad P; Tobón, David y Zapata, Miguel (2007). La evaluación del programa de colegios en concesión en Medellín 2002-2006, Grupo de Microeconomía Aplicada. Departamento de Economía, Universidad de Antioquia. [ Links ]
4. Gaviria, Alejandro y Barrientos, Jorge (2001a). Calidad de la educación y rendimiento académico en Bogotá, Coyuntura Social, Fedesarrolllo, No. 23. [ Links ]
5. Gaviria, Alejandro y Barrientos, Jorge (2001b). Características del plantel y calidad de la educación en Bogotá, Coyuntura Social, Fedesarrollo, No. 24. [ Links ]
6. Gaviria, Alejandro y Barrientos, Jorge (2001c). Determinantes de la calidad de la educación en Colombia, Archivos de Economía-DNP, Documento 159, Bogotá. [ Links ]
7. Hanushek, Eric A. (1986). The Economics of Schooling: Production and Efficiency in Public Schools, Journal of Economic Literature, Vol. 24, No. 3, pp. 1141-1177. [ Links ]
8. Gaviria, Alejandro y Barrientos, Jorge (1996). Measuring Investment in Education, Journal of Economic of Perspectives, Vol. 10, No. 4, pp. 9-30. [ Links ]
9. Gaviria, Alejandro y Barrientos, Jorge (2005a), The Economics of School Quality, German Economic Review, Vol. 6, No. 3, pp. 269-286. [ Links ]
10. Hanushek, Eric A.;.; Kain, John F.; Rivkin, Steven G.; y BranchH, Gregory F.(2005b). Charter School Quality and Parental Decision Making With School Choice, NBER Working Papers, No. 11252, National Bureau of Economic Research, Inc. [ Links ]
11. Heckman, James (1979). Sample Selection Bias as a Specification Error, Econometrica, Vol. 47, No. 1, pp. 153-162. [ Links ]
12. Heckman, James; Llalonde, Robert J. y Smith, Jeremy A. (1999). The Economics and Econometrics of Active Labour Market Programs, in Ashenfelter A y D. CaArd (eds.) Handbook of Labor Economics, Vol. 3, Elsevier, Amsterdam. [ Links ]
13. HollaAnd, Paul W. (1986). Statistics and Causal Inference, Journal of the American Statistical Association, Vol. 81, No. 369, pp. 945-970. [ Links ]
14. Restrepo, Piedad P. y Alviar, Mauricio (2005). El logro académico y el efecto colegio en las pruebas Icfes en Antioquia , Lecturas de Economía, No. 60, enero-junio, Universidad de Antioquia. [ Links ]
15. Rosenbaum, Paul R. y Rrubin, Donald B. (1983). The Central Role of Propensity Score in Observational Studies for Causal Effects, Biometrica, Vol. 70, No. 1, pp. 41-55. [ Links ]
16. Sarmiento, Alfredo; Alonso, Carlos Eduardo; Duncan, Gustavo; y Garzón, Carlos Alberto (2005). Evaluación de la Gestión de los Colegios en Concesión en Bogotá 2000-2003, Archivos de Economía-DNP, No. 291, Bogotá. [ Links ]
17. Vinha, Katja (2005). The impact of the Washington Metro on development patterns, Ph.D. dissertation, Department of Agricultural and Natural Resource Economics, University of Maryland, College Park. [ Links ] ]]>
