Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Cited by Google 
Similars in
SciELO 
Similars in Google 
Permalink
Introducción
La adecuada nutrición en la etapa escolar es un factor determinante del rendimiento académico (OMS, 2003). En la infancia y, posteriormente, en la adolescencia, se adquieren y se maduran muchas funciones cerebrales que se mantienen en la edad adulta e influyen no solo en el rendimiento académico, sino también en el nivel de calidad de vida, en general (Organización Mundial de la Salud, [OMS], 2003). Reconociendo la importancia de una buena alimentación en la niñez, se han implementado en los últimos años en diversos países programas que buscan suplir tales deficiencias alimentarias en esta población.
En el caso colombiano, el Ministerio de Educación Nacional es el encargado de garantizar la implementación del Programa de Alimentación Escolar (PAE), que tiene como objetivo básico suministrar una alimentación balanceada con el propósito de disminuir la desnutrición, mejorar los procesos de aprendizaje y mitigar la deserción escolar en niños, niñas, adolescentes y jóvenes en el sistema educativo oficial. El programa es uno de los principales proyectos de inversión en el sector educativo nacional, cuenta con el 3% del presupuesto del Ministerio de Educación y tiene una cobertura geográfica del 60% en el país (Ardila, Flórez, Camargo y Loaiza, 2017).
El PAE funciona bajo un esquema descentralizado en el que las 95 entidades territoriales certificadas (ETC) en educación contratan a un operador o a una empresa privada para que suministre los alimentos durante el calendario escolar. El programa, sin embargo, ha sido cuestionado en los últimos años por los problemas de corrupción relacionados con la monopolización de contrataciones en los operadores, el incumplimiento en la entrega de raciones y la no ejecución del gasto presupuestado para el programa. Estos problemas son evidentes en departamentos como La Guajira, Atlántico, Chocó, Amazonas, Magdalena, Huila y Bolívar (Ardila et al., 2017).
En estas condiciones, el presente artículo tiene como objetivo contribuir a la evaluación de impacto de este tipo de programas de alimentación escolar en el país, considerando el caso particular de Ibagué. En este municipio, el número de beneficiados del PAE para el 2018 se ubicó en 36 147 estudiantes, que equivalen al 48% del total de matriculados en las instituciones oficiales. De acuerdo con el MEN (2018), en ese mismo año se entregaron 18 921 raciones de almuerzos y 17 226 raciones de complementos alimenticios con un costo por unidad de 2452 pesos (USD 0,82) y 3587 pesos (USD 1,2), respectivamente. El valor total del programa en el municipio ascendió a más de 12 800 millones de pesos (más de USD 4,3 millones) en el 2018.
De acuerdo con lo anterior, el presente artículo estima el efecto causal del PAE sobre el rendimiento académico de los estudiantes del sector oficial de grado once, en el 2018, utilizando la información del Sistema Integrado de Matrícula (Simat) y la base de datos de las pruebas Saber 11 del Icfes. Desde el punto de vista econométrico y debido a que los estudiantes beneficiados del programa no son asignados de forma aleatoria, el artículo utiliza un modelo de evaluación de impacto basado en la técnica de propensity score matching, la cual genera grupos tratamiento y control que permiten eliminar el sesgo de selección e identificar el efecto causal. Este modelo es el más utilizado en la literatura internacional para este tipo de estudios.
El articulo está organizado de la siguiente forma. Aparte de esta introducción, en la segunda sección se presenta una revisión de literatura y se expone el marco teórico del trabajo. En la tercera se explica la metodología a utilizar, mientras que en la cuarta se presentan los resultados. Finalmente, en la quinta sección se ofrecen algunas conclusiones y recomendaciones.
Revisión de literatura
Los estudios que evalúan el impacto de los programas de alimentación escolar sobre los resultados educativos han considerado diferentes variables dependientes y han utilizado una amplia variedad de metodologías. En el primer caso, los estudios han considerado como variables dependientes la asistencia escolar, la tasa de matriculación, el puntaje obtenido en pruebas institucionales o estandarizadas, la fluidez verbal, la memoria, la visión y la velocidad de procesamiento de los estudiantes, entre otras. En el caso de las metodologías, se han utilizado el análisis costo-beneficio, modelos de regresión lineal, variables instrumentales, modelos logit, probit y modelos de emparejamiento por puntaje de propensión. En general, los resultados son mixtos con relación a la identificación de dichos efectos. A continuación, se presenta una revisión internacional y nacional de los principales estudios realizados.
Estudios a nivel internacional
Con relación a los estudios que evalúan el impacto de los programas de alimentación escolar sobre la asistencia escolar a nivel internacional, se encuentran los trabajos de Moore (1994) para Burkina Faso, y de King (1990) para República Dominicana, en los que se reporta que la implementación de estos programas aumentó la tasa de matrícula, la asistencia regular y disminuyó la deserción escolar. En el caso de Perú, Paulini, Ravina y Cancho (2000) compararon el costo-efectividad del Programa de Desayunos Escolares Foncodes y el Programa de Alimentación Escolar del PRONAA para el año 1999, y encontraron que estos programas también aumentaron la probabilidad de asistencia en un 2,44% y un 3,54%, respectivamente. En el caso de Bangladés, Ahmed y Del Ninno (2002) encontraron que el programa Food for Education tuvo un resultado positivo en la asistencia escolar (la probabilidad de matrícula aumentó en un 8%).
Sin embargo, en estudios basados en metodologías cuasiexperimentales en los que se definen grupos de tratamiento y control en los que se evalúan programas como, por ejemplo, Comedores Escolares en el caso de Argentina (OPS, 1990), así como Programas de Alimentación Escolar (PAE) en los casos de Honduras (Rogers, Sanghvi, Tatian, Behrman, Calderón, Crelia, y García, 1995) y Uruguay (Cepal, 1997), no se encontraron efectos positivos sobre la asistencia escolar en estos programas. En esta misma línea y en el caso de Ecuador, Cadena (2004) evaluó el impacto del PAE utilizando variables instrumentales y técnicas de emparejamiento. En el primer caso, el autor reporta un impacto nulo del programa, mientras que en el segundo muestra cómo con las técnicas de vecino más cercano y kernel, el grupo tratamiento tiene 0,76 días menos de asistencia escolar en promedio.
Con relación a los estudios que reportan evidencia positiva entre el suministro de una alimentación balanceada y el rendimiento académico en la niñez, Pertz y Putnam (1982) muestran que un desayuno altamente nutricional mejora la atención de los estudiantes y su desempeño en clases. Por su parte, Simeon y Grantham-McGregor (1989) evidencian que una inadecuada nutrición afecta de forma negativa la resolución de problemas en aritmética. Considerando variables nutricionales relacionadas con el retraso en el crecimiento, la desnutrición, el nivel de hemoglobina y de ferritina y el grado de visión, Mitchelmore y Clarke (1993) encuentran una relación positiva entre el desarrollo mental y dichas variables nutricionales. En esta misma línea, Vaisman, Voet, Akivis y Vakil (1996), Wyon, Abrahamsson, Järtelius y Fletcher (1997), Pollit, Cueto y Jacoby (1998), Vegas y Santibáñez (2010), así como Wisniewski (2010), sugieren que omitir el desayuno interfiere con la cognición y el aprendizaje del menor.
En el caso de los adolescentes, Karol y Gold (1998) encuentran que el aumento en la ingesta de glucosa mejora la memoria y la atención. Benton y Parker (1998) muestran de igual modo que el aumento de la glucosa en los niveles de sangre mejora la capacidad funcional de la memoria. Por su parte, Wesnes, Pincok, Richardon y Hails (2003) evidencian que la alimentación puede mejorar el nivel de concentración y, por ende, los procesos de aprendizaje. Chandler, Walker, Connolly y Grantham-McGregor (1995), por su parte, encuentran para el caso de Jamaica que la nutrición mejora la fluidez verbal, pero no la memoria, la visión y la velocidad de procesamiento. Para el caso de Brasil, Gomes-Neto, Hanushek, Leite y Frota-Bezzera (1997) encuentran que el programa Edurural impacta de forma positiva las variables agudeza visual y espesor de la piel, mientras que no resulta ser significativo para las variables logro, deserción y promoción.
En el caso de Filipinas, Glewwe, Jacoby y King (2001) evalúan una cohorte de estudiantes, entre 1983 y 1995, y encuentran que los niños mejor alimentados tienen un mejor desempeño escolar en términos de menores probabilidades de repitencia de grados. En el caso de Perú, Rojas et al. (2003) estudian el efecto del programa de desayunos escolares considerando un test de conocimiento que incluye variables de destreza motora, planeación, memoria y abstracción, y encuentran un impacto positivo para las variables respuesta aritmética, comprensión lectora y memoria. Para el caso de Inglaterra, Belot y James (2011) evaluaron el impacto del programa Feed Me Better Primary School Children en Greenwich, utilizando un enfoque de diferencias en diferencias, y encuentran una mejora en el puntaje para las materias de inglés, matemáticas y ciencias naturales.
Contrario a los resultados anteriores, Villena (2013) realizó una evaluación del programa de alimentación Junaeb en Chile para el periodo 2007-2010 y no encontró ningún efecto. Utilizando la técnica de propensity score matching y un modelo lineal con efecto fijo a nivel de establecimiento, el autor encuentra que no existen diferencias significativas entre los tratados y controles, por lo que no existe una relación causal entre el programa de alimentación y la variable de interés rendimiento académico.
Estudios a nivel nacional
En el caso colombiano, Attanasio y Vera-Hernández (2004) estudian el impacto del programa Hogares Comunitarios de Bienestar Familiar (HC) sobre el estado nutricional de los niños de ocho a diecisiete años y sus efectos en el rendimiento escolar de las zonas rurales de Colombia para los años 2002 y 2003. Utilizando un enfoque de variables instrumentales los autores encuentran un efecto positivo del programa sobre la altura de niños de 72 meses y un impacto positivo sobre la asistencia escolar y la promoción para aquellos entre trece y diecisiete años de edad. Posteriormente, Attanasio, Vera-Hernández, Battistin, Fitzsimons y Mesnard (2005) evalúan el programa Familias en Acción para los años 2002 al 2003, mediante la metodología de diferencias en diferencias, y encuentran resultados positivos con respecto a asistencia y consumo. Por su parte, Attanasio y Gómez (2006) actualizan el estudio de Attanasio y Vera-Hernández (2004) y obtienen resultados similares al estudio inicial.
En esta misma línea, el DNP (2008) evaluó el impacto del programa Familias en Acción en la asistencia escolar, basado en tres encuestas panel de hogares para los años 2002, 2003 y 2006. Utilizando la metodología de diferencias en diferencias reportan un impacto positivo y significativo en el grupo de doce a diecisiete años, con un aumento de 5,12 y 7,21 puntos porcentuales en las áreas urbanas y rurales, respectivamente. En el caso de Medellín, Aguilar y Siza (2010) evalúan el impacto del programa Familias en Acción para los años 2006 y 2007, de manera que encuentran cómo el mayor impacto en educación se da en el grupo eta- rio de los adolescentes a partir de los doce años de edad, el cual fue positivo para la asistencia escolar, con un aumento de 5 puntos porcentuales, mientras el grupo etario de ocho a once años obtuvo un resultado no significativo.
En el caso del programa PAE, la Unión temporal G/Exponencial-Cinde (2013) evaluó el impacto de dicho programa mediante la metodología propensity score matching utilizando la encuesta de demografía y salud del año 2010. Los resultados indican que el programa afectó de forma negativa la deserción tanto en niños como en adolescentes, en 6,5% y 3,6% para el área rural y urbana, respectivamente. No obstante, la variable asistencia escolar muestra un resultado no significativo. Además, realizan un análisis costo-beneficio en el que se obtiene una mejor tasa para las zonas urbanas que en las rurales en variables de ausentismo, deserción escolar y hábitos alimenticios. En el 2016 Porto evaluó el impacto del programa sobre el trabajo infantil utilizando diferentes técnicas de emparejamiento. En su estudio concluye que el PAE redujo el trabajo infantil alrededor del 4% en el 2010, mejorando la asistencia escolar.
De igual modo, se han realizado evaluaciones del PAE por parte de dos entidades de control. La Procuraduría General de la Nación realizó un informe de seguimiento en el que se realizaron encuestas a 94 entidades territoriales a fin de conocer el desarrollo del programa en el 2015. Los resultados sugieren que el proceso para iniciar contrataciones es lento, lo que repercute en el suministro alimenticio y, por tanto, en la asistencia escolar (Hoyos, 2015). La Contraloría General de la República (2018) caracterizo el PAE analizando su financiación y cobertura. En este estudio se estimó la contribución del PAE a la permanencia en el sistema educativo mediante mínimos cuadrados ordinarios y propensity score matching (Ardila et al., 2017). El estudio sugiere que el impacto en la deserción escolar es significativo en 0,8 puntos porcentuales.
Con relación al impacto del PAE sobre las pruebas Saber de grado tercero del Icfes, López (2017) realizó un estudio a nivel nacional utilizando mínimos cuadrados ordinarios y técnicas de emparejamiento. Los resultados indican que mediante las técnicas de emparejamiento no se reporta efecto. A nivel de ciudades, Vargas (2013) analiza el programa PAE en un grupo de escolares del colegio Salud- coop Sur IED en Bogotá durante los años 2009, 2010 y 2011. Se tomaron los datos antropométricos y se realizaron interpretaciones cualitativas para proceder luego a realizar el análisis cuantitativo. Los resultados en las mediciones antropométricas para el grupo de escolares fueron significativos para la primera, octava y doceava medición.
Por su parte, Ospina y Garcés (2014) evaluaron el impacto del Programa de Restaurantes Escolares (PRE) en Medellín sobre el rendimiento académico de los estudiantes, medido por los resultados de la prueba Saber 11 para el año 2010. Utilizando la técnica de propensity socre macthing los autores sugieren que no existen diferencias estadísticamente significativas entre los puntajes obtenidos por los beneficiados y los no beneficiados por el programa. En estas condiciones y a manera de conclusión, los estudios, a nivel general, se enfocan en la cobertura del programa y la deserción escolar, sin considerar el mejoramiento que este pueda tener en los procesos de aprendizaje. En segundo lugar, a nivel de ciudades son pocos los estudios que se han realizado en Colombia, lo que sugiere la existencia de una brecha en términos de evidencia empírica para los municipios en Colombia.
Metodología
A fin de evaluar el impacto causal del programa PAE sobre el rendimiento de los estudiantes se necesita un método que considere las particularidades de los datos y estime de forma insesgada tal efecto. Para este caso específico, y dado que la focalización del programa implica la no aleatoriedad de la muestra que recibe PAE, se necesitará, en primer lugar, un método que permita obtener, a partir de los datos disponibles, una muestra aleatoria de modo que, en dicha muestra, la probabilidad de elegir a alguno de los estudiantes sea la misma. Por tanto, en esa muestra existirán individuos “clones” en los que la única diferencia es que unos reciben PAE y los otros no. Si no se elige y se aplica una metodología adecuada para avanzar en la evaluación de impacto, la estimación de cualquier efecto estaría sesgada. En particular, existiría un sesgo de selección en la estimación del efecto causal del PAE sobre el rendimiento. Con el fin de solucionar esta problemática, en este trabajo se utiliza la técnica de propensity score matching (PSM). Esta técnica asume que todas las variables que afectan de forma simultánea la asignación al tratamiento, es decir, la pertenencia o no al PAE, son observadas por el investigador, están incluidas en el modelo a estimar y, por tanto, los resultados son independientes a la asignación del programa. Lo anterior se conoce como condición de independencia condicional (Heckman, Ichimura y Tood, 1997).
Modelo econométrico de participación
La técnica del PSM inicia con la construcción del grupo control. Se han de encontrar individuos no tratados que sean similares a individuos tratados, en razón de las características del individuo, de manera que las características individuales deben ser cercanas entre estos grupos. La estimación del propensity score consiste en la estimación de un modelo de elección discreta que permita modelar la variable de participación en el programa, condicionado a un vector de características individuales. El modelo de participación o propensity score se define como un modelo de respuesta binaria en el que el interés está en la probabilidad de respuesta, tal como se muestra en la ecuación (1).
Donde la probabilidad de que ocurra el evento P(I =1|X) (probabilidad de que reciba PAE), está condicionada por el conjunto de variables explicativas X (edad, género, estrato, etc.). En el presente trabajo, la probabilidad de participación en el programa se realiza a partir de un modelo probabilidad probit bivariado, tal como se presenta en la ecuación (2).
Donde Y i tiene el valor de 1 para los estudiantes con PAE y 0 en otro caso. G es una función de distribución acumulada normal estándar que asume valores estrictamente entre 0 y 1: 0< G(z) <1, para todos los números reales z y se encuentra dada por la ecuación (3).
En este caso, las características observables X en la ecuación de participación serán género, edad, estrato y educación de la madre. Los parámetros beta se estimarán mediante máxima verosimilitud (MV), debido a la naturaleza no lineal de E(YlX).
Soporte común
La construcción de un buen grupo control dependerá de que las combinaciones de características observables en el grupo tratamiento existan en el grupo control. La región de soporte común permite encontrar precisamente individuos con el mismo vector de variables X que tienen probabilidad positiva de ser tanto participantes como no participantes en el programa (Bernal y Peña, 2014). En el presente trabajo, el SC se calcula considerando la probabilidad de participación para cada individuo, de acuerdo con el modelo especificado de participación. Posteriormente, se realiza un balance de probabilidad de participación en el que se dividen las observaciones en un número óptimo de bloques de manera que dentro de estos la probabilidad media del grupo de control no sea estadísticamente diferente de la probabilidad media del grupo de tratamiento.
Estimador de propensity score matching por vecino más cercano
Una vez conocido el SC, se procede a calcular el PSM mediante el procedimiento de vecino más cercano, el cual consiste en tomar a cada individuo del grupo de tratamiento (para el que D = 1) y buscar un individuo de control (para el que D = 0), con la probabilidad de participación más cercana. Suponiendo que no hay empates, el vecino de control más cercano, C(i), del individuo de tratamiento estaría dado por la ecuación (4):
Esta ecuación muestra el individuo en el grupo de control tal que la distancia entre su probabilidad predicha de participación y la probabilidad predicha de participación del individuo tratamiento sea mínima. En el caso de emparejamiento por vecino más cercano y, de acuerdo con Bernal y Peña (2014), el impacto promedio del programa sobre los tratados ATT viene dado por la siguiente ecuación:
La ecuación (5) muestra que el impacto del programa se obtiene promediando las diferencias entre la variable resultado de los participantes y la variable resultado de los no participantes que se han emparejado. Esta será, por tanto, la medida de impacto causal estimada en este trabajo.
Variables
En las tablas 1 y 2 se presentan las variables seleccionadas para el trabajo empírico mostrando el modelo en el que se incluirán y su rango o categoría, dependiendo de si son continuas o categóricas. La elección de las variables para el modelo de participación se hizo con base en la revisión de literatura y en el artículo de Heckman et al. (1997), quienes sugieren usar solo los factores que inciden en la participación y no los que incidan en la variable resultado.
Tabla 1 Variables en el modelo de participación
Fuente: elaboración propia.
Tabla 2 Modelo de efecto causal
Fuente: elaboración propia.
Datos
Los datos del presente estudio provienen de dos fuentes. La primera es la base de datos del Icfes de las pruebas Saber 11 para el 2018, y la segunda son los beneficiarios del PAE en el 2018; la información de estos últimos proviene del Simat (Sistemas de Matrículas Estudiantil), el cual fue suministrado por la Secretaría de Educación Municipal de Ibagué. La base de datos del Icfes contiene información sobre el desempeño académico de los estudiantes de grado once de todo el país y sobre las variables sociodemográficas, socioeconómicas y socioespaciales de los estudiantes. Es conveniente resaltar que la base de datos de los beneficiarios del PAE tiene su énfasis en la Resolución N.o 29452 del 29 de diciembre de 2017, en la que se exponen los criterios de focalización para estudiantes de instituciones oficiales.
Con relación a la unificación de las dos bases de datos, dado que no es posible identificar a priori cada uno de los estudiantes en cada base, se procede a calcular un identificador para cada observación, considerando la fecha de nacimiento, el sexo y la institución educativa. Este identificador provee un único código que permite enlazar las dos bases de datos. Una vez unidas las bases de datos, queda una base con 5600 observaciones, sobre la cual se aplicará el PSM descrito. En la Tabla 3 se presenta el total de observaciones en las respectivas bases de datos. Como se aprecia, el 45% de los estudiantes del grado once del sector oficial cuenta con acceso al programa.
Resultados
Características sociodemográficas de los estudiantes
En la Tabla 4 se presentan las características sociodemográficas de los estudiantes de grado once en términos del sexo y la edad. De acuerdo con la tabla, el porcentaje de estudiantes que se benefician del programa es del 41%. Gran parte de los estudiantes de grado once son mujeres (55%), y de estas el 21% recibe PAE. En el caso de los hombres, los que se benefician del programa representan el 20% de la población. Los estudiantes beneficiados se encuentran, principalmente, entre los dieciséis y los diecisiete años de edad.
Tabla 4 Características demográficas de los estudiantes
Fuente: elaboración propia con base en el Simat y el Icfes.
Con relación al estrato, la mitad de los estudiantes son de estrato dos, y un cuarto son de estrato uno. Los beneficiados del programa de estrato uno representan el 11% del total de estudiantes, mientras que los beneficiados de estrato dos representan el 23%. Con relación al número de personas en el hogar, el 82% de los estudiantes se encuentra en hogares que tienen entre tres y seis personas (51% entre tres y cuatro personas y 31% entre cinco y seis). Del total de estudiantes, el 21% reciben PAE y viven en hogares de entre tres y cuatro personas, mientras que quienes viven en hogares de cinco a seis y son beneficiaros representan el 14% del total. El 37% del total de los estudiantes son beneficiados y viven en la zona urbana, frente al 4% que vive en la zona rural.
Resultados econométricos
Modelo de participación
En la Tabla 5 se presentan los resultados del modelo probit de participación en el programa. En este caso, se utilizaron como factores asociados a la probabilidad de pertenecer al programa la edad del estudiante, el sexo, el estrato socioeconómico y la educación de la madre. De acuerdo con los resultados, casi todas las variables son estadísticamente significativas y tienen los signos esperados. A mayor edad, menor es la probabilidad de estar cubierto por el programa. Ser mujer está asociado a una menor probabilidad de pertenecer al programa, mientras que pertenecer a un estrato socioeconómico más alto reduce tal probabilidad, a excepción del estrato 6 en el que el efecto es nulo.
Tabla 5 Resultados del modelo probit de participación
| Variable dependiente: Pertenecer al PAE | Coeficiente | |
|---|---|---|
| Edad | -0,15*** | |
| (0,017) | ||
| Femenino | -0,19*** | |
| (0,035) | ||
| Estrato 2 | -0,08** | |
| (0,041) | ||
| Estrato 3 | -0,30*** | |
| (0,054) | ||
| Estrato 4 | -0,42*** | |
| (0,127) | ||
| Estrato 5 | -0,75** | |
| (0,354) | ||
| Estrato 6 | -0,13 | |
| (0,312) | ||
| Primaria incompleta | 0,31*** | |
| (0,061) | ||
| Primaria completa | 0,29*** | |
| (0,065) | ||
| Secundaria incompleta | 0,25*** | |
| (0,053) | ||
| Secundaria completa | 0,29*** | |
| (0,0417) | ||
| Constante | 2,54*** | |
| (0,309) | ||
| LR Chi2(13) | 205,44 | |
| Observaciones | 5.282 | |
| Cuenta R2 | 0,61 | |
Fuente: elaboración propia con base en el Simat y el Icfes, 2018.
Nota: ***p < 0,01; ** p < 0,05; *p < 0,10
Con relación a la educación de la madre, aquellos que tienen madres con bajos niveles educativos tienen mayores probabilidades de participar. En general, los resultados del modelo de participación son buenos dados los niveles de significancia estadística individual de los coeficientes, el valor del estadístico del ratio de verosimilitud y la medida de bondad de ajuste denominada cuenta R2, cercana al 61%. Una vez evaluado el modelo de participación, a partir de sus resultados se calcula la propensión a participar de cada uno de los individuos. Esta propensión a participar define la región de soporte común. En la Tabla 6 se presentan las estadísticas para la región de soporte común.
Tabla 6 Estadísticas de propensión a participar
| Percentiles | |||
|---|---|---|---|
| 1% | 0,199 | Observaciones | 5,282 |
| 5% | 0,246 | Media | 0,412 |
| 10% | 0,291 | Desviación | 0,096 |
| 25% | 0,347 | Mínimo | 0,097 |
| 50% | 0,416 | Máximo | 0,690 |
| 75% | 0,482 | ||
| 90% | 0,537 | Varianza | 0,009 |
| 95% | 0,560 | Asimetría | -0,131 |
| 99% | 0,613 | Curtosis | 2,557 |
Fuente: elaboración propia con base en el Simat y el Icfes, 2018.
Como se observa, en este caso el límite bajo de la región de soporte común (valor mínimo de la variable) es 0,097, y el límite superior (valor máximo de la variable) es de 0,690. La media de la propensión a participar es de 0,412, con una desviación estándar de 0,096. En la Figura 1 se presentan las funciones de densidad de probabilidad empíricas para el grupo de estudiantes cubiertos y no cubiertos por el programa. En este caso, los extremos de las dos distribuciones no exhiben grandes diferencias, lo que implica que gran parte de las observaciones se pueden utilizar en la estimación del efecto causal.
Una vez se ha estimado la propensión a participar, se evalúa este procedimiento. En la Tabla 7 se presentan los resultados del modelo probit de participación en el que se incluye como variable explicativa la variable de propensión a participar estimada del paso anterior. De acuerdo con los resultados, ninguna de las variables es estadísticamente significativa. Esto implica que el modelo de participación estimado en el paso anterior es el adecuado, ya que la inclusión de la nueva variable explicativa (propensión a participar) no resulta estadísticamente significativa y las variables que antes los eran, ahora ya no lo son.
Tabla 7 Resultados del modelo probit de participación con propensity score
| Variable dependiente: Pertenecer al PAE | Coeficiente | |
|---|---|---|
| Propensity score | -1,109 | |
| (4,309) | ||
| Edad | -2,224 | |
| (0,258) | ||
| Femenino | -0,279 | |
| (0,324) | ||
| Estrato 2 | -0,123 | |
| (0,149) | ||
| Estrato 3 | -0,432 | |
| (0,497) | ||
| Estrato 4 | -0,598 | |
| (0,684) | ||
| Estrato 5 | -1,030 | |
| (1,12) | ||
| Estrato 6 | -1,197 | |
| (0,386) | ||
| Primaria incompleta | 0,450 | |
| (0,521) | ||
| Primaria completa | 0,421 | |
| (0,487) | ||
| Secundaria incompleta | 0,365 | |
| (0,421) | ||
| Secundaria completa | 0,418 | |
| (0,483) | ||
| Constante | 4,109 | |
| (6,246) | ||
Fuente: elaboración propia con base en el Simat y el Icfes, 2018.
Nota: ***p < 0,01; ** p < 0,05; *p < 0,10
En la Tabla 8 se presentan los resultados detallados del test de igualdad de medias para las variables consideradas en el modelo de acuerdo con la muestra inicial (no enlazada) y con la muestra obtenida a partir de la propensión a participar (enlazada). En la Tabla 8 se relacionan las medias de las variables en el grupo tratamiento y control, el porcentaje de sesgo en cada caso y la reducción del sesgo en valor absoluto, una vez se han enlazado los estudiantes en la muestra. La Tabla 8 también reporta el valor estadístico t de la prueba y su p-valor para cada caso.
De acuerdo con los resultados, en la muestra inicial (NE) existían diferencias estadísticamente significativas en las medias de las variables. Bajo la hipótesis nula de igualdad de medias se rechaza dicha hipótesis (para casi todas las variables), dado un p-valor menor que 0,05. Sin embargo, cuando se considera la muestra enlazada, las diferencias y el sesgo en la media entre grupo tratamiento y control se reduce en todas las variables. En el caso de la edad, por ejemplo, el p-valor asociado a la prueba es ahora superior a 0,05. En este caso, no se puede rechazar la hipótesis nula de igualdad de medias. Por tanto, el PSM ha creado grupos de estudiantes que son prácticamente idénticos en características observables, a quienes lo único que los diferencia es que unos se benefician del programa y otros no.
Tabla 8 Comparación de medias con las dos muestras
| Variable dependiente: pertenecer al PAE | No enlazado | Media | % reducción | t-test | |||
|---|---|---|---|---|---|---|---|
| Enlazado | Tratamiento | Control | % sesgo | |sesgo| | t-test | P>|t| | |
| Edad | NE | 17,135 | 17,335 | -19,4 | -6,87 | 0,000 | |
| E | 17,137 | 17,142 | -1,6 | 97,7 | -0,15 | 0,881 | |
| Femenino | NE | 0,502 | 0,575 | -14,6 | -5,23 | 0,000 | |
| E | 0,503 | 0,512 | -1,7 | 88,6 | -0,55 | 0,586 | |
| Estrato 2 | NE | 0,519 | 0,481 | 7,6 | 2,71 | 0,007 | |
| E | 0,520 | 0,513 | 1,4 | 82,1 | -0,45 | 0,654 | |
| Estrato 3 | NE | 0,147 | 0,205 | -15,3 | -5,42 | 0,000 | |
| E | 0,147 | 0,151 | -1,9 | 87,6 | -0,66 | 0,507 | |
| Estrato 4 | NE | 0,161 | 0,028 | -8,2 | -2,85 | 0,004 | |
| E | 0,161 | 0,015 | 0,7 | 91,8 | 0,26 | 0,794 | |
| Estrato 5 | NE | 0,001 | 0,004 | -6,2 | -2,12 | 0,034 | |
| E | 0,001 | 0,001 | -0,1 | 98,3 | -0,05 | 0,958 | |
| Estrato 6 | NE | 0,003 | 0,003 | -0,0 | -0,01 | 0,995 | |
| E | 0,003 | 0,003 | 0,7 | 39,9 | 0,25 | 0,801 | |
| Primaria incompleta | Ne | 0,125 | 0,104 | 6,6 | 2,37 | 0,018 | |
| E | 0,125 | 0,125 | 0,3 | 96,1 | 0,08 | 0,936 | |
| Primaria completa | NE | 0,106 | 0,091 | 5,0 | 1,8 | 0,072 | |
| E | 0,106 | 0,103 | 0,9 | 82,8 | 0,28 | 0,783 | |
| Secundaria incompleta | NE | 0,187 | 0,158 | 7,8 | 2,81 | 0,005 | |
| E | 0,187 | 0,184 | 0,6 | 92,7 | 0,18 | 0,855 | |
| Secundaria completa | NE | 0,306 | 0,270 | 8,1 | 2,89 | 0,004 | |
| E | 0,307 | 0,296 | 2,3 | 71,7 | 0,74 | 0,458 | |
Fuente: elaboración propia con base en el Simat y el Icfes, 2018.
En la Tabla 9 se presentan los resultados de un test para evaluar el balance de las muestras. Como se observa, el grupo control y tratamiento en la muestra no enlazada exhibe un desbalance, dado que se rechaza la hipótesis nula de igualdad de grupos mediante un test de ratio de verosimilitud (Chi2 = 255,18 y p-valor < 0,000). Sin embargo, cuando se considera la muestra enlazada no es posible rechazar la hipótesis nula de igualdad de grupos. En este caso, tanto el grupo tratamiento como control están balanceados en la muestra.
Modelo de efecto causal
En esta sección se presentan los resultados de la estimación de modelo econométrico basado en la muestra enlazada en el paso anterior. El impacto del programa se calcula sobre el promedio de los tratados, tal como se explicó en la metodología del trabajo. Los resultados se presentan para el puntaje estandarizado global y para los puntajes estandarizados de las áreas de lectura crítica, matemáticas e inglés. La significancia estadística de los impactos estimados se evaluará a partir del cálculo de errores estándar mediante la técnica de boostrapping.
En la Tabla 10 se presentan las estimaciones del efecto causal del programa sobre el rendimiento académico en el puntaje global y en las otras áreas consideradas en este trabajo. La Tabla 10 muestra los resultados para la muestra no enlazada y enlazada, así como para los grupos tratamiento y control, evaluando sus diferencias mediante un error estándar y un estadístico t. El coeficiente de interés en este caso es el que indica la diferencia en el puntaje entre el grupo tratamiento y control en la muestra enlazada (ATT).
De acuerdo con los resultados de la Tabla 10, en el caso del puntaje global estandarizado el programa no parece haber tenido ningún efecto causal. Aunque la diferencia en el promedio del puntaje estandarizado de los dos grupos fue de -0,0152, esta diferencia no resulta ser estadísticamente significativa. El valor del estadístico t en este caso es de -0,52. Al considerar las otras áreas, el resultado es el mismo. Las diferencias estimadas en los puntajes de lectura crítica, matemáticas e inglés en los grupos tratamiento y control no resultan ser estadísticamente significativas.
Tabla 10 Impacto promedio del programa sobre los tratados
| Variable | Muestra | Tratamiento | Control | Diferencia | Error estándar | Estadístico t |
|---|---|---|---|---|---|---|
| Puntaje global estandarizado | No enlazada | -0,0003 | 0,0002 | -0,0006 | 0,0279 | -0,02 |
| ATT | -0,0006 | 0,0145 | -0,0152 | 0,0292 | -0,52 | |
| Puntaje lectura crítica estandarizado | No enlazada | -0,0033 | 0,0023 | -0,0057 | 0,0279 | -0,21 |
| ATT | -0,0037 | 0,0095 | -0,0132 | 0,0294 | -0,45 | |
| Puntaje matemáticas estandarizado | No enlazada | 0,0090 | -0,0063 | 0,0153 | 0,0279 | 0,55 |
| ATT | 0,0088 | 0,0237 | -0,0149 | 0,0292 | -0,51 | |
| Puntaje inglés estandarizado | No enlazada | -0,0320 | 0,0225 | -0,0545 | 0,0279 | -1,95 |
| ATT | -0,0317 | 0,0138 | -0,0455 | 0,0292 | -1,56 |
Fuente: elaboración propia con base en el Simat y el Icfes, 2018.
A fin de corroborar estos resultados, en la Tabla 11 se presenta la evaluación estadística de los coeficientes considerando la técnica de bootstrapping. La tabla reporta el error estándar estimado, el valor del estadístico que se distribuye como una normal, el p-valor asociado a esta prueba y los intervalos de confianza construidos al 95%. Los resultados de la Tabla 11 confirman que en ningún caso el programa afectó el rendimiento académico de los estudiantes. El valor p asociado a cada prueba en cada área es mayor que 0,05, lo cual implica que no se puede rechazar la hipótesis nula según la cual el impacto del programa es nulo. En este caso, los intervalos de confianza estimados contienen el valor de cero.
Tabla 11 Resultados del bootstrapping
| Variable | Muestra | Coeficiente | Error estándar Bootstrapping | z | P>|z| | Intervalo de confianza al 95 % basado en la Normal | |
|---|---|---|---|---|---|---|---|
| Puntaje global estandarizado | ATT | -0,015 | 0,031 | -0,48 | 0,629 | -0,076 | 0,046 |
| Puntaje lectura crítica estandarizado | ATT | -0,013 | 0,026 | -0,51 | 0,612 | -0,064 | 0,038 |
| Puntaje matemáticas estandarizado | ATT | -0,014 | 0,020 | -0,72 | 0,471 | -0,055 | 0,025 |
| Puntaje inglés estandarizado | ATT | -0,045 | 0,024 | -1,84 | 0,066 | -0,094 | 0,003 |
Nota: errores estándar mediante bootstrapping con cincuenta réplicas.
Fuente: elaboración propia con base en el Simat y el Icfes, 2018.
A manera de conclusión y de acuerdo con los resultados econométricos, el programa PAE en el municipio de Ibagué no tuvo, para el año 2018, ningún efecto causal sobre el rendimiento académico promedio ni en términos globales, ni por las áreas de lectura crítica, matemáticas e inglés, evaluadas en las pruebas Saber 11. Este resultado plantea la necesidad de reconsiderar el programa en muchos de sus aspectos relacionados con la focalización de la población, su contenido, la operatividad y la logística de los procesos que conllevan a que los estudiantes adquieran esta dieta alimentaria complementaria en el municipio.
Conclusiones
En el presente trabajo se estimó el efecto causal del programa de alimentación sobre el rendimiento académico en los estudiantes del sector oficial de grado once del municipio de Ibagué, para el año 2018, utilizando la información del Simat y la base de datos de las pruebas Saber 11 del Icfes. Desde el punto de vista metodológico, el trabajo caracterizó, en términos socioeconómicos, la población escolar beneficiada del programa en el municipio y estimó el efecto causal del programa sobre el rendimiento académico mediante un modelo econométrico de evaluación de impacto basado en la técnica de propensity score matching.
El estudio encontró que existe una mayor cantidad de participantes PAE en la zona urbana respecto a la zona rural. Los participantes del PAE pertenecen, en su mayoría, a los estratos 1 y 2, y viven en hogares de entre tres y cuatro personas. Con relación al efecto causal del programa sobre el rendimiento académico, el trabajo encontró que el impacto del programa fue nulo. La técnica de emparejamiento y la posterior estimación del impacto de PAE sugieren que el coeficiente no es estadísticamente significativo para el puntaje global, ni para las áreas de lectura crítica, matemáticas e inglés. Al comparar el resultado obtenido en Ibagué con las evaluaciones del PAE que se han realizado a nivel nacional, se resalta que, en este último caso, se reportan, en general, impactos positivos y significativos en asistencia y deserción, pero no en rendimiento (Ardila et al., 2017; DNP, 2008; Unión temporal G/Exponencial-Cinde, 2013).
Las recomendaciones que se derivan de este estudio están relacionadas con la cobertura urbana-rural del programa y los factores específicos relacionados con la cadena de suministro del PAE. En este último punto se destaca que el funcionamiento del programa en el municipio, durante el periodo 2016-2019, tuvo grandes inconvenientes en su desarrollo (MEN, 2016; 2017; 2018). En este sentido, se recomienda diseñar y garantizar con antelación las vigencias futuras, con el propósito de avanzar en el tema logístico de tal forma que se pueda iniciar el programa conforme al ciclo académico. Asimismo, la elección del operador logístico debe hacerse de manera participativa, a fin de que se elija el operador más eficiente.
