A. Programa Todos a aprender

En 2012 el MEN implementó el programa Todos a aprender (PTA), buscando reducir las brechas de rendimiento entre los colegios con peor desempeño y el resto de los establecimientos educativos del país. En su estructura original, el programa buscaba beneficiar a 2300 000 estudiantes de básica primaria, equivalentes a tres mil establecimientos educativos (EE.EE.), localizados en 52 entidades territoriales certificadas (ETC)², con el fin de mejorar su desempeño académico. En este sentido, se buscaba capacitar, originalmente, a setenta mil educadores, incluyendo docentes y directivos docentes (^{MEN, 2013}), en prácticas pedagógicas efectivas y proveer materiales apropiados tanto para estos como para los estudiantes. De acuerdo con el informe del empalme del gobierno del entonces presidente Duque Márquez de 2022, para el final de ese año, el programa estaba presente en 805 de los 1122 municipios del país, con 102 569 docentes acompañados y más de 29.7 millones de libros entregados a estudiantes (^{MEN, 2022b}).

El PTA se enfoca en los docentes y cuenta con una estrategia de formación en cascada, en cuatro niveles. El primer nivel se refiere al equipo coordinador del programa, el cual determina las rutas de trabajo y los focos formativos que se emplearán durante cada año. En el segundo nivel se encuentran los formadores, quienes, a través de un proceso de cinco ciclos, son entrenados en las áreas académicas del programa (matemáticas, lenguaje y educación inicial) y en gestión educativa, con el fin de desarrollar actividades individuales y colectivas para formar al siguiente nivel en la cascada. Los formadores son funcionarios del MEN, los cuales, una vez finalizado el entrenamiento, son asignados a diferentes regiones del país, donde forman a los tutores durante un ciclo de una semana.

El tercer nivel de la cascada incluye a los tutores, docentes de planta de los colegios oficiales que se postulan para participar en el PTA, afiliados directamente a las ETC. Los tutores, que pueden ser asignados hasta a cinco establecimientos educativos, se encargan de brindar a los docentes el cuarto y último nivel de la cascada, es decir, la formación y el acompañamiento de acuerdo con el currículo del MEN y las necesidades de los estudiantes.

En su etapa inicial, el PTA siguió cinco componentes que guiaban el funcionamiento del programa: (1) el componente pedagógico, (2) el componente de formación situada, (3) el componente de gestión educativa, (4) el componente de condiciones básicas y (5) el componente de apoyo, comunicación, movilización y compromiso social (^{MEN, 2012}).

El componente pedagógico se refería a la creación de un espacio de aprendizaje idóneo. De esta manera, dentro de este se enfatizaba la planeación de clases, la aplicación de prácticas pedagógicas y el uso de materiales apropiados para el desarrollo de los estudiantes. De ese modo, el componente pedagógico fue el sustento para la incorporación de los cuadernillos de matemáticas y lenguaje, así como del entrenamiento de docentes en métodos de evaluación y el uso de sus resultados para el diseño subsecuente de prácticas educativas.

El segundo componente, centrado en la formación situada, hacía referencia al fortalecimiento de las habilidades de enseñanza de los docentes. Este fortalecimiento era impulsado a través de sesiones de trabajo situado (STS) y acompañamiento de aula. Las STS se concibieron como talleres en los cuales los docentes tutores brindaban herramientas a los demás docentes para mejorar sus prácticas pedagógicas en las áreas de interés del programa. El acompañamiento de aula se entiende como la observación de clase realizada por los docentes tutores y la retroalimentación que ellos ofrecen.

Por su parte, el tercer componente, que abordaba la gestión educativa, buscaba que los directivos docentes fueran agentes más activos en los diferentes procesos de planeación, acompañamiento y evaluación institucional. Con ello en mente, el programa incluyó múltiples capacitaciones en liderazgo y gestión institucional para el personal directivo de los colegios. El cuarto componente se concentraba en la carencia de condiciones físicas necesarias para el buen desarrollo de las actividades educativas. Para abordar estas falencias el programa proponía mejorar las condiciones de infraestructura de los colegios, el transporte escolar y las condiciones de alimentación de los niños.

Finalmente, el quinto componente del programa se encargaba de generar espacios para la conformación y el fortalecimiento de la comunidad educativa. Para esto, la estrategia del programa consistia en las ferias regionales, originalmente denominadas “Intercambio de saberes”, donde los diferentes actores del sector (rectores, docentes, padres y estudiantes, entre otros) compartían su experiencia con el programa y generaban reflexiones conjuntas sobre el mejoramiento en la calidad educativa.

El PTA focalizó establecimientos educativos en tres etapas. En la primera, el MEN seleccionó un conjunto de ETC en educación, en función de un sistema de semáforo (verde, amarillo o rojo) según el cual se clasificaban las necesidades de los colegios en materia de educación. Dentro de las ETC en situación crítica (rojo) o con dificultades en áreas específicas (amarillo), se seleccionaron, para el tratamiento, los establecimientos que cumplieran con dos criterios relacionados con su eficacia y desempeño académico. Primero, se tomaron en cuenta los colegios con tasa de repitencia mayor a 4.6 % para 2010, o categorizados en el menor nivel de desempeño reportado en la prueba Saber 5° del Icfes en el mismo periodo³. Segundo, se seleccionaron los establecimientos con tasa de deserción mayor al 3.8 % para 2010 o un decrecimiento en su matrícula entre 2009 y 2010. En esta etapa, fue focalizado un 1386 establecimientos educativos.

Para la segunda etapa, el MEN contrató a la firma McKinsey & Company, con el fin de realizar un trabajo de consultoría y añadir colegios para optimizar el efecto del programa. Considerando la estrategia más costo-efectiva posible, fueron agregados 990 colegios al grupo de tratamiento, debido a su alta matrícula y su accesibilidad geográfica. Finalmente, en la tercera etapa de la focalización del PTA, un grupo particular de ETC pidió al MEN la inclusión de colegios específicos, en ciertas ocasiones asumiendo el costo de ello.

Ahora bien, durante 2015, el MEN decidió reestructurar el PTA, dados los resultados obtenidos en evaluaciones de implementación e impacto realizadas por expertos, y con esto se creó el PTA 2.0. Esta nueva versión del programa incorporó un acompañamiento en el aula más frecuente, enfatizando, a su vez, en el uso adecuado de prácticas pedagógicas, en función de los contenidos disciplinarios. Adicionalmente, el Ministerio decidió implementar una estrategia diferenciada, denominada Colegios pioneros, en las 500 instituciones que contaban con mayor probabilidad de mejoría dentro del PTA. Los establecimientos que hacían parte de los Colegios Pioneros se reintegraron en el PTA a partir de 2019, dentro de una estrategia de fortalecimiento del programa (^{MEN, 2018}).

En la actualidad, el PTA cuenta con tres componentes que funcionan como sus líneas de gestión: (1) el pedagógico, (2) el estratégico-territorial y (3) el administrativo. Con este nuevo modelo, el PTA se centra en la formación docente, dejando de lado las ideas iniciales del mejoramiento de las condiciones físicas de los establecimientos educativos y concentrándose en la formación docente mediante las STS (descripciones más detalladas del funcionamiento del programa y sus cambios en ^{Bayona-Rodríguez et al., 2023}; y ^{de la Vega-Rodríguez, 2024}).

B. Revisión de literatura

Varios países han implementado intervenciones similares al PTA, con las que se busca mejorar la calidad de la educación, a través de la entrega de materiales y el desarrollo de actividades de formación e involucramiento con los diferentes agentes del sector, focalizando el tratamiento en colegios de bajo rendimiento. ^{Snilsveit et al. (2015)} comparan este tipo de intervenciones, a las cuales denominan programas de pedagogía estructurada, con diversos tipos de intervención escolar, como asistencia alimentaria y becas basadas en el mérito. Así, en su revisión sistemática ^{Snilsveit et al. (2015)} encuentran que las intervenciones de pedagogía estructurada son los programas con mayores efectos positivos y que dichos resultados tienden a ser consistentes a través de la literatura.

De las múltiples intervenciones similares al PTA, un conjunto considerable se ha realizado en países fuera de Latinoamérica. Por ejemplo, en la comunidad de Cataluña, España, se implementó a principios de 2010 el Projecte per a la millora de la qualitat dels centres educatius (PMQCE), el cual cuenta con múltiples similitudes con el caso colombiano, en cuanto buscaba mejorar el desempeño de los estudiantes en centros educativos con bajo rendimiento, por medio de una serie de estrategias equivalentes a las propuestas en los componentes del PTA. ^{López-Torres et al. (2019)} evaluaron el efecto de este programa, a través de un modelo de diferencias-en-diferencias (DiD) con lo que encontraron que la estrategia, efectivamente, mejoró el desempeño de los estudiantes y redujo el ausentismo, para ciertos módulos y periodos. Asimismo, existe evidencia experimental en países como Kenia y Uganda que indica que las intervenciones con procesos estructurados de formación a los docentes y material apropiado para los diferentes agentes educativos tienen rendimientos positivos (0.082 —E.E. = 0.122 — y 0.205 —E.E. = 0.087—) desviaciones estándar, respectivamente), en el desempeño de los estudiantes (^{Lucas et al., 2014}).

Por otro lado, la evidencia en Latinoamérica muestra que los programas que abordan múltiples niveles tienen resultados mixtos. Por un lado, existe evidencia de efectos positivos en Chile (Bellei, 2013), Brasil (^{Tavares, 2015}) y México (^{Paqueo y López, 2013}). Sin embargo, también existe evidencia para el caso chileno de programas de remediación para docentes en colegios con bajo desempeño, programas que presentan efectos negativos en los resultados de los estudiantes en pruebas estandarizadas (^{Lombardi, 2019}) y resultados mixtos para programas que podrían catalogarse como de pedagogía estructurada en países del Caribe (^{Pirog y Kioko, 2010}; ^{Jennings, 2017}).

Para el caso específico de Colombia, el PTA ya cuenta con una evaluación de impacto temprana, realizada por ^{Barrera-Osorio et al. (2018)}. En su estudio, los autores aprovecharon la regla de focalización inicial del programa para realizar un análisis de regresión discontinua y, con ello, estimar el efecto del programa en los resultados de las pruebas Saber y las tasas de repitencia y deserción. Adicionalmente, los autores estimaron un modelo de DiD emparejado como ejercicio de robustez. Los resultados de ambos ejercicios son consistentes, al encontrar que el programa no tiene efecto estadísticamente significativo sobre los puntajes en pruebas estandarizadas. Con el fin de explicar sus resultados, los autores realizaron un ejercicio de exploración adicional para analizar las prácticas educativas y evaluar el proceso de implementación del programa en 400 establecimientos, los cuales mostraron sustanciales problemas en la implementación del programa alrededor del país.

La estrategia diferenciada de Colegios Pioneros también cuenta con una evaluación de impacto realizada por ^{Castro-Vergara et al. (2018)}. En dicho estudio, los autores emplean un emparejamiento por entropy balancing para garantizar el supuesto de tendencias paralelas y así utilizar una regresión de DiD y comparar los colegios PTA 2.0 con los Colegios Pioneros. Los resultados de este análisis señalan que los Colegios Pioneros presentan un menor desempeño en las pruebas Saber 3° y 5° de lectura crítica (entre -0.17 y -0.33 desviaciones estándar para 3°; y entre -0.09 y -0.13 desviaciones estándar para 5°) y matemáticas (entre -0.12 y -0.26 desviaciones estándar para 3°; y entre 0.06 y 0.09 desviaciones estándar para 5°). ^{Castro-Vergara et al. (2018)} atribuyen este efecto a problemas en la implementación de la estrategia y en los rendimientos marginales decrecientes del programa.

A. Bases de datos

La base de datos empleada en los análisis se construyó a partir de tres fuentes de información de libre acceso, las cuales se estructuraron a nivel de sede educativa. Así, las tres bases se juntaron, mediante un cruce determinístico, empleando el código Dane de las sedes como identificador. En caso de que el lector desee revisar los do-files empleados en el arreglo de las bases de datos y los análisis de regresión, están disponibles en el siguiente repositorio de GitHub: https://github.com/Sago9202/EvImp_PTA.

La primera de las fuentes de información fue la base de datos de focalización del PTA, el programa nacional de lectura y escritura y otra serie de intervenciones nacionales que buscan mejorar la calidad de la educación básica y media para el año 2020. De esta base, que puede ser obtenida a través de una petición directa al MEN, se emplearon tres indicadores del PTA: el número de docentes PTA en básica primaria por sede educativa, el número de textos proyectados para entregar en dicho año y el número de estudiantes que hacen parte del programa. Esta última variable se desagregó a nivel de grado, mientras que las primeras dos variables mencionadas comprendieron la totalidad de básica primaria.

La segunda fuente de información utilizada fue el Sistema de Educación Formal (SIEF-C600) del Departamento Administrativo Nacional de Estadística (Dane), disponible en la página de microdatos de establecimiento4. El SIEF-C600, que es un censo anual de establecimientos educativos, captura una amplia variedad de características de los estudiantes, los docentes y las sedes educativas. La información del SIEF-C600 se encuentra dividida en múltiples módulos, cada uno con una base de datos respectiva, que detalla la información a nivel de establecimiento y categoría de interés. De esta manera, se realizó un proceso de agregación y reestructuración de las base de datos empleadas, con el fin de obtener información a nivel de sede educativa.

Una vez realizado el arreglo de las bases de datos, se tomaron del SIEF-C600 el número estudiantes en situación de aprobación, de reprobación y de deserción del periodo previo (2019) y el periodo de interés (2020)⁵, así como el código de la ETC y el área (rural frente a urbano) del colegio, el número de docentes según su nivel educativo, el número de personal según sus funciones y el promedio de horas impartidas en las áreas de lenguaje y matemáticas para primaria en 2020. A fin de cruzar la información de la SIEF-C600 con los datos de focalización del PTA, las variables de eficiencia (aprobación, deserción y repitencia) se agregaron a nivel de grado.

Por último, la tercera fuente de información empleada fue la base de los resultados de la prueba Saber 11°, administrada por el Instituto Colombiano para la Evaluación de la Educación (Icfes) para el periodo 2020, disponible en el repositorio del DataIcfes⁶. De esta base se utilizó la variable del nivel socioeconómico categórico (NSE), la cual clasifica a los establecimientos dentro de cuatro categorías: 1 es el nivel más bajo y 4 el nivel más alto. El NSE es el resultado del proceso de categorización del índice de nivel socioeconómico (INSE)⁷, un constructo latente, creado a partir de modelos de teoría de respuesta al ítem (TRI), que representa la posición o el estatus socioeconómico de los estudiantes y resume la información del nivel educativo de los padres, la ocupación de estos y el ingreso familiar (^{Icfes, 2019}).

Puesto que el NSE se construye a partir de las respuesta de los estudiantes que presentan las pruebas Saber 11°, para el desarrollo de los análisis realizados aquí, se limita la muestra a los establecimientos que cuentan con básica primaria y media. Adicionalmente, se asume que el NSE calculado a nivel de sede representa de manera adecuada no solo el estatus socioeconómico de las familias de los estudiantes de media, sino también la situación socioeconómica de las familias de los estudiantes de básica primaria. A pesar de que no se dispone de información de NSE específicamente para primaria, hay que resaltar que este supuesto es altamente factible, en la medida en que la evidencia indica un alto nivel de segregación escolar por nivel socioeconómico tanto en primaria como en secundaria (^{Murillo y Carrillo, 2021}). La base de datos final cuenta con 44 459 observaciones, correspondientes a 9539 sedes educativas.

El cuadro 1 muestra una serie de estadísticas descriptivas de las variables contenidas en la base de datos final. De acuerdo con esta tabla se puede afirmar que, en promedio, los colegios beneficiarios cuentan con un 52 % de sus estudiantes y un 32 % de sus docentes participando en el PTA y con aproximadamente 4 textos del PTA por beneficiario. En términos de eficiencia, la información obtenida indica que hubo una reducción considerable en la tasa aprobación para el periodo 2020 y el 2019, mientras que las tasas de reprobación y deserción se mantuvieron relativamente constantes. Esto indica que en términos generales hubo un deterioro considerable en la eficiencia entre los periodos 2019 y 2020, aún previo a la crisis del COVID-19.

Cuadro 1 Estadísticas descriptivas 

Fuente: elaboración propia con base en los datos del MEN y el Dane.

En promedio, los colegios cuentan con poco más de 244 estudiantes, de los cuales el 48 % corresponde a mujeres, lo que muestra que hay una distribución bastante homogénea entre los estudiantes en términos de género. En contraste, el colegio promedio cuenta únicamente con 27 estudiantes indígenas, 41 estudiantes afrodescendientes y menos de un estudiante en los restantes grupos étnicos minoritarios (rrom o gitano, raizal y palenquero). En cuanto al nivel socioeconómico, únicamente el 4 % de los establecimientos educativos se encuentra en el nivel 4. En su gran mayoría, los estudiantes se encuentran en el nivel 2 (57 %) y 3 (24 %), lo que indica que pocos estudiantes cuentan con padre con educación profesional completa y con bienes como un automóvil o internet.

Con respecto a la composición docente, las estadísticas descriptivas muestran que los docentes son licenciados o cuentan con un posgrado en educación o pedagogía. Esto indica que los docentes se encuentran adecuadamente preparados para sus tareas. Sin embargo, vale la pena resaltar que también es importante contar con docentes con pregrados y posgrados en sus áreas de enseñanza, en la medida en que los estudiantes se acercan a la educación secundaria. En cuanto al personal de las sedes educativas, como era de esperarse, la gran mayoría del personal está conformado por docentes de aula, puesto que estos interactúan directamente con los estudiantes. También resulta notable que, en promedio, se dedica mayor capital humano a las tareas administrativas que en las labores de gestión educativa. Esto en cuanto hay mayor número de personal administrativo que de directivos docentes.

Finalmente, se evidencia que los colegios dedican, en promedio, cuatro horas a la enseñanza de matemáticas y cuatro a la enseñanza de lenguaje. Esto corresponde al 20 % del tiempo de enseñanza de la jornada de educación completa.

B. Índice de tratamiento del PTA

Si bien en los registros administrativos se clasifica a los establecimientos educativos como beneficiarios del PTA en cuanto haya estudiantes o docentes que hagan parte del programa, esto no implica que todos los colegios reciben el mismo acompañamiento. Los docentes de los colegios del PTA pueden participar en las STS y en los procesos de formación, pero su participación no es obligatoria. Esto implica que, en múltiples establecimientos beneficiarios del PTA, no todos los docentes hacen parte del programa (ver panel a de la figura 1). De la misma manera, no todos los estudiantes de las sedes que participan en el PTA reciben materiales y participan en el programa, lo que implica que existe un nivel de heterogeneidad considerable en su implementación.

Para evaluar la variación en la implementación del programa, se utilizó la información proveniente de la base de datos de focalización del PTA, con la finalidad de crear un índice de implementación. Así, se utilizó la información del SIEF-C600 referente al total de los docentes y los estudiantes en cada grado de básica primaria, para construir el porcentaje de docentes del PTA, el porcentaje de estudiantes del PTA y el número de textos por beneficiario (docentes y estudiantes). Estas tres variables fueron estandarizadas de manera que contaran con una distribución normal estándar y, luego fueron empleadas para obtener el índice de implementación del PTA, mediante análisis factoriales a nivel de grado. Los análisis factoriales fueron estimados usando el método de componentes principales.

Fuente: elaboración propia con base en los datos del MEN y el Dane.

Figura 1 Variables índice de implementación del PTA 

En los cinco análisis, se realizó un análisis paralelo de Horn para establecer el número de componentes (figura A1 del Anexo). Este último compara el número de valores propios generados por los datos observados con valores propios generados por una matriz simulada mediante el método Monte Carlo, usando una muestra de datos aleatorios de tamaño equivalente. Todos los análisis paralelos apuntaron a la unidimensionalidad de los factores subyacentes. Una vez confirmada la unidimensionalidad, se usó la predicción de los factores de cada grado para construir el índice de implementación del PTA para cada grado-sede. Para facilitar la interpretación del índice, se volvió a escalar de manera que los posibles puntajes estuvieran contenidos en el rango entre 0 y 100 y que, a mayor porcentaje de docentes en el PTA, mayor fuera el puntaje en el índice del PTA.

La figura 1 muestra el porcentaje de docentes en primaria que hacen parte del PTA (panel a), el número de textos por beneficiario del PTA (panel b), el porcentaje de estudiantes que hacen parte del PTA (panel c) y el índice del PTA construido (panel d). Esta figura permite ver la heterogeneidad en el programa, en cuanto se evidencia que, en los colegios beneficiarios, existen docentes y estudiantes (paneles a y c) que no hacen parte activa del programa y que hay un variación considerable entre colegios en cuanto al número de textos que reciben. La variación en la implementación del programa también es evidente en el panel d de la figura 1. En cuanto distribución del índice del PTA, cuenta con dos grupos demarcados, los cuales se centran en los puntajes 40 y 75. Esto indica que, para un grupo particular de establecimientos beneficiarios, la implementación del PTA es relativamente baja.

C. Estrategia empírica

La estrategia empleada aquí se basa en el marco teórico de resultados potenciales (contrafactuales), particularmente, en su extensión con tratamientos con múltiples ∑ N valores (^{Cattaneo, 2010}). De acuerdo con esta teoría, debe ser observada, para la persona/unidad i ∈ N, la tripleta (Y_i , T_i , X_i ). Donde Yi es la variable de resultado que se busca explicar, Ti ∈ (0, K ) es la variable de tratamiento y X_i es un conjunto de covariables de interés. El indicador de tratamiento puede ser expresado de la siguiente manera:

(1)

Con base en el marco de resultados potenciales de ^{Rubin (1974)}, y tomando Yit como el resultado potencial de la unidad i bajo el nivel de tratamiento T_i = t, donde t ∈ɪ= {0,…,K}, puede escribirse el efecto de una diferencia en unidades de tratamiento cualquiera como la diferencia en el promedio de los resultados potenciales:

(2)

Vale la pena resaltar que el nivel de tratamiento para la unidad i, T_i = t, se toma como continuo con el fin de capturar la heterogeneidad en la implementación del programa, y corresponde al índice de implementación de PTA presentado en la anterior sección. Si bien en presencia de un tratamiento aleatorio Δ_ml puede ser obtenido a través de la diferencia de las medias muestrales, en vista de que el PTA no fue asignado de manera aleatoria se debe emplear otro método para estimar el impacto del programa. La aproximación utilizada en este estudio se basa en el hecho de que el efecto se puede obtener al condicionar por las covariables disponibles, las cuales capturan todos los factores de confusión que explican el tratamiento y los resultados potenciales. Este hecho se formaliza con el supuesto fuerte de ignorabilidad (^{Linden et al., 2016}), según el cual,

(3)

y

(4)

De esta manera, para estimar el efecto del PTA en las tasas de aprobación, se usó el método aumentado de ponderación por probabilidad de tratamiento inversa (A-IPTW, por sus siglas en inglés). Bajo este modelo y, tomando , el promedio incondicional de Y_i para el nivel de tratamiento t es obtenido a través del siguiente estimador:

(5)

Este estimador puede ser obtenido directamente, al incluir las funciones requeridas o bien través de un modelo de regresión. Esta segunda aproximación es un ejercicio en dos etapas. La primera consiste en estimar la propensión a recibir el nivel de tratamiento t, a través de un modelo lineal generalizado con una función de enlace normal o logística y obtener para cada unidad observada la probabilidad de tratamiento estimada,. En la segunda etapa, este estimado se emplea como ponderador en la regresión lineal,, en la cual el parámetro μ_T corresponde al efecto del tratamiento.

En caso de que el supuesto fuerte de ignorabilidad se satisfaga, el estimador de A-IPTW es doblemente robusto, en cuanto brinda estimaciones insesgadas del tratamiento en presencia de errores de especificación en la regresión de los resultados o en la estimación de la propensión a hacer parte del tratamiento. Junto al supuesto de ignorabilidad, para interpretar este estimador de manera causal, se requiere asumir que el valor del tratamiento unitario es estable (SUTVA, por sus siglas en inglés). Esto significa que el resultado potencial para el individuo i no es afectado de manera alguna por la asignación al tratamiento de otros individuos k∈N, k≠i. Aunque posible, este supuesto resulta bastante restrictivo en estudios, donde las unidades observación están agrupadas por definición, como en ciertos estudios en educación (estudiantes en colegios) o en salud (pacientes en clínicas).

Con el fin de relajar parcialmente este supuesto y tener en cuenta la estructura anidada de los datos, se utilizó un modelo multinivel (o jerárquico) en la estimación de la probabilidad de tratamiento con grados i, anidados dentro del colegio j. De esta manera, para estimar la propensión al tratamiento se estimó el siguiente modelo:

(6)

Donde α_0j ∼N(0,σ_j²) es el parámetro de intercepto aleatorio. El vector X_j comprende el conjunto de variables relevantes a nivel de establecimientos que se relacionan con el nivel de implementación, el vector W_ij el conjunto de covariables relevantes a nivel de grado y los vectores β y γ su conjunto de parámetros correspondientes. En la especificación empleada, X_j incluye el área del colegio (rural frente a urbana), el NSE, el número de docentes por cada nivel educativo, el número de horas en matemáticas y lenguaje, el número de directivos docentes, el número de administrativos, el número de docentes de apoyo en el aula, el personal de apoyo en el aula, el número de docentes con labores administrativas y efectos fijos a nivel de ETC.

Por su parte, el vector W_ij contiene el número de estudiantes mujer, y el histórico de la variable de resultados (Y_ijt-1 ). Por último, el término ϵ_ij es el error idiosincrático del modelo. Una vez estimado el modelo de la ecuación (6), para obtener el efecto del tratamiento, se estimó una regresión multinivel para las variables de aprobación, deserción y reprobación, utilizando como pesos los resultados del estimado . La regresión de las variables de resultado está dada por la ecuación (7):

(7)

Donde β_j corresponde al parámetro de intercepto aleatorio, la variable T_ij al nivel de tratamiento y el parámetro μT su coeficiente asociado. Los vectores X_jy W_ij corresponden al mismo conjunto de variables empleadas en la primera etapa de la estimación, siendo Θ y Ψ sus coeficientes correspondientes. Finalmente, el término uij denota el error o la parte no explicada de la variable dependiente. Existe evidencia que indica que este tipo de modelos, en las cuales se incluye en el modelo la estructura anidada de los datos, reduce el sesgo en las estimaciones, particularmente cuando se excluyen covariables a nivel de grupo (^{Schuler et al., 2016}).

A. Balance

Usualmente, es fundamental en todo proceso de empare jamiento revisar el balance entre el grupo de tratamiento y de control en términos de las variables observables. (6) Esto es, debe realizarse una prueba de hipótesis para tener la certeza de que no hay diferencias estadís ticamente significativas entre los dos grupos, para ninguna de las variables independientes empleadas en el análisis. Sin embargo, la usual prueba de medias (prueba t) no es aplicable para los casos con variables de tratamiento continuas. Más aún, es fundamental considerar si el balance obtenido es a través de gru pos o al dentro de estos (^{Schuler et al., 2016})

Debido a esto, para probar el balance, se empleó la aproximación utilizada por Schuler y su equipo (²⁰¹⁶), que consiste en evaluar el balance, después del emparejamiento con bases simuladas, a partir de la muestra original. Estas bases fueron resultado de un proceso de remuestreo de 2000 observaciones, con reemplazo en función de las probabilidades de propensión estimadas. Para cada una de las 500 submuestras obtenidas, se calculó la correlación de Pearson entre las covariables de interés y la variable de tratamiento. Estos resultados se guardaron en una base de datos suplementaria.

De esa manera, la métrica de balance empleada fue el promedio de los resultados obtenidos en este ejerci cio de bootstrapping. Con base en lo propuesto por ^{Schuler et al. (2016)} y ^{Zhu et al. (2014}) se consideró la situación en la que r < 0.2 como indicativo de balance en la variable analizada y se realizó para cada variable una prueba t de dos colas (H_a: r = 0.2) y una de una cola (H_a: r <0.2). Los resultados del ejercicio de balance se encuentran en el cuadro A1 de los Anexos. Esta tabla evidencia que hay balance para todas las variables incluidas en el modelo, pues para todas las pruebas realizadas el valor p es menor al nivel de significan cia y, por tanto, se puede rechazar la hipótesis nula.

B. Análisis de regresión

El cuadro 2 presenta los resultados de la ecuación (7) para las tres variables de resultado. A partir de los coeficientes de correlación intraclase (ICC) del modelo nulo, los cuales muestran el fragmento de la varianza total, dada por la varianza entre grupos, resulta evidente que, para este contexto particular, se justifica haber empleado los modelos jerárquicos. Esto, puesto que para los tres resultados el ICC es estadísticamente diferente de cero.

Los resultados de las tres regresiones proveen suficiente evidencia para rechazar la hipótesis nula de que el programa no tuvo efecto, al 95 % de confianza. Más aún, los resultados muestran que un incremento de una unidad en el índice de implementación del programa tiene efectos positivos sobre la tasa de aprobación (β = 0.078***, IC = [0.067, 0.090]) y reduce las tasas de deserción (β = -0.024***, IC = [-0.030, -0.019]) y reprobación (β = -0.039***, IC =[-0.047, -0.031]). Adicionalmente, las regresiones indican que hay diferencias marcadas entre los colegios con NSE = 1 y NSE = 4. Estos últimos obtuvieron resultados considerablemente mejores en todas las medidas de eficiencia. este resultado recalca las fuertes desigualdades socioeconómicas del país y su relación con el progreso académico.

Por último, los resultados del cuadro 2 también indican que los colegios con mayor porcentaje de estudiantes mujeres cuentan con mejores resultados en aprobación (β = 6.741***, IC = [3.676, 9.805]), deserción (β = -1.470***, IC = [-2.420, -0.520]) y reprobación (β = -2.068***, IC = [-3.712,-0.424]).

Cuadro 2 Resultados regresión multinivel emparejada 

Nota: coeficientes beta estandarizados; intervalos de confianza (IC) al 95 % en paréntesis. * p < 0.05, ** p < 0.01 y *** p < 0.001.

Fuente: elaboración propia.

Fuente: elaboración propia con base en los datos del MEN y el Dane.

Figura 2 Resultados estimados a diferentes niveles del índice PTA 

Fuente: elaboración propia con base en los datos del MEN y el Dane.

Figura 3 Efectos heterogéneos del índice PTA por zona 

Fuente: elaboración propia con base en los datos del MEN y el Dane.

Figura 4 Efectos no lineales índice PTA 

Dado que en el modelo propuesto se considera una variable de tratamiento continua, resulta relevante considerar los efectos del programa para diferentes niveles de implementación. Con este fin, la figura 2 da a conocer los valores predichos de aprobación, deserción y reprobación para diferentes niveles del índice del PTA. Las gráficas de los tres paneles muestran que los efectos positivos considerados en el cuadro 2 varían según el nivel de implementación. Pero su cambio es relativamente pequeño, cuando se consideran valores adyacentes del índice, lo cual va en línea con los tamaños de efecto presentados. De esta manera, si bien es cierto que un incremento de 30 puntos en índice de PTA representa un cambio considerable en las variables de resultado, incrementos unitarios en el índice generan cambios marginales en la eficiencia.

C. Efectos heterogéneos

Adicional a los análisis de regresión múltiple basados en la ecuación (7), se consideraron dos tipos de efectos heterogéneos para evaluar la variación de los efectos estimados. Primero, se examinaron las diferencias por zona (rural frente a urbana), con el fin de explorar con más detalle la relación entre la implementación del PTA y los efectos de este sobre las variables de eficiencia de los colegios. De acuerdo con la figura 3, la cual presenta los efectos del índice del PTA para diferentes niveles de implementación por zona, no existen diferencias estadísticamente significativas entre los colegios en áreas rurales y áreas urbanas. Sin embargo, es evidente que, para todas las variables de resultado utilizadas y todos los niveles de implementación evaluados, las estimaciones en los colegios rurales presentan una mayor varianza y por ende una mayor incertidumbre.

Por último, se estimó una extensión del modelo, incluyendo términos cuadráticos para evaluar la existencia de rendimientos marginales decrecientes en la implementación del programa. El coeficiente asociado al término cuadrático del índice del PTA resultó estadísticamente diferente de cero en las tres variables de resultado (figura 4). De acuerdo con los valores predichos por la figura, el efecto del programa no solo depende del nivel de implementación, sino que, además, tiene un punto de saturación pasado el cual el programa no genera efectos positivos en las tasas de aprobación, deserción y reprobación. Puntualmente, el nivel óptimo de implementación se encuentra alrededor del puntaje 60 en el índice, y los estimados en los puntos de corte de 50 y 80 son bastante similares en magnitud.