Evaluar para mejorar: el caso del programa Hogares Comunitarios de Bienestar del ICBF

Evaluation for Improving: The Impact Evaluation to the Program Hogares Comunitarios de Bienestar of ICBF

José Luis González Ramírez *
Iván Mauricio Durán **

* Magíster en Economía, profesional del Grupo de Evaluaciones Focalizadas de la Dirección de Evaluación de Políticas Públicas del Departamento Nacional de Planeación y profesor de cátedra de la Universidad de La Sabana. Correo electrónico: jgonzalezr@dnp.gov.co.

** Magíster en Ciencias Económicas, asesor de la Dirección de Evaluación de Políticas Públicas del Departamento Nacional de Planeación y profesor complementario de la Universidad de los Andes. Correo electrónico: iduran@dnp.gov.co.

Los autores agradecen el apoyo y los comentarios de Ximena Peña, de la Facultad de Economía de la Universidad de los Andes.

Resumen

El objetivo de este artículo es mostrar cómo las evaluaciones de políticas públicas, en particular las evaluaciones de impacto, pueden constituir insumos importantes para la toma de decisiones de parte de los hacedores de política y, por ende, para el mejoramiento de las intervenciones públicas. La discusión se desarrolla en torno al caso de la evaluación de impacto realizada al programa Hogares Comunitarios de Bienestar (HCB) del Instituto Colombiano de Bienestar Familiar (ICBF), entre 2007 y 2008, y a las medidas implementadas por dicha institución para mejorar la atención brindada por este programa a la primera infancia a raíz de los resultados y recomendaciones propuestas en los informes de evaluación. La rapidez y eficacia con las que estas intervenciones fueron llevadas a cabo por el ICBF y el proceso de evaluación al que posteriormente fueron sometidas posicionan la experiencia de los HCB como un ejemplo de gestión de la política pública, lo cual significó una mejora del bienestar de los niños y niñas pertenecientes a las comunidades más pobres y vulnerables del país.

Palabras clave: evaluación de impacto, política pública, primera infancia.

Clasificación JEL: D04, J18, J13.

Abstract

The purpose of this paper is to show how policy evaluations, especially impact evaluations, can influence the policymaking process and improve public interventions. The discussion focuses on the results and recommendations arising from the impact evaluation made to the program "Hogares Comunitarios de Bienestar (HCB)" of "Instituto Colombiano de Bienestar Familiar (ICBF)" in 2007 and 2008. The rapidness and efficiency in the ICBF response to create new interventions and redesign the program is a remarkable experience in Colombia. It shows how evaluations contributed to improve the programs design and policy formulation. These new interventions and the evaluation processes to which they were later subjected, meant an improvement in children's welfare of poor and vulnerable communities in the country.

Key words: Impact evaluation, public policy, early childhood.

Classification JEL: D04, J18, J13.

Introducción

Anualmente se financian cientos de evaluaciones de programas en el mundo, de las cuales aproximadamente el 15% corresponden a evaluaciones de impacto; para el caso particular de Colombia, el Sistema Nacional de Evaluación de Gestión y Resultados (Sinergia) del DNP realizó 70 evaluaciones entre los años 2002 y 2011, de las cuales 18 fueron de impacto¹. A pesar de este esfuerzo, la mayor parte de las evaluaciones quedan reducidas a los anaqueles de las entidades que las financian o se acumulan en las bibliotecas como productos informativos sin ninguna utilidad para la toma de decisiones de política (Savedoff, Levine y Birdsall, 2006). En este sentido, vale la pena preguntarse: ¿cuál es la utilidad real de hacer evaluaciones de programas gubernamentales? ¿son las evaluaciones de impacto una herramienta efectiva para determinar la continuidad o rediseño de un programa? Estas dudas parecen ser un común denominador en los países en vías de desarrollo, donde los programas en el ámbito social son de suma importancia por los montos de recursos invertidos y el tamaño de la población beneficiada, sin olvidar la necesidad perenne de garantizar el uso eficiente de los recursos escasos (Baker, 2000).

En este contexto, en el que es necesario el uso eficiente de los recursos mediante la implementación de programas y políticas públicas efectivas, este trabajo procura mostrar cómo las evaluaciones de impacto pueden ser herramientas útiles para la toma de decisiones informadas de los policy makers y, por ende, para la mejora continua de las intervenciones públicas. La discusión se desarrolla en torno al caso de la evaluación de impacto del programa Hogares Comunitarios de Bienestar (HCB) del ICBF, llevada a cabo en Colombia en 2007, y a las medidas implementadas por dicha institución con el propósito de mejorar la calidad de su intervención respecto al estado nutricional, psicosocial y de desarrollo cognitivo de los niños y niñas atendidos².

El documento se encuentra organizado en seis secciones, en las que se incluye esta introducción. En la primera sección se presenta una breve descripción del programa HCB y sus diferentes modalidades de atención. En la segunda se ilustra al detalle la evaluación de impacto del programa realizada en 2007 por la Unión Temporal Universidad de los Andes-Profamilia. En la tercera sección se presentan las acciones implementadas por el ICBF ante los resultados de la evaluación. En la cuarta se presentan los resultados de evaluaciones posteriores de dichas acciones implementadas en el programa como resultado de la evaluación inicial. Y finalmente, en la quinta sección se hacen algunas reflexiones con respecto a las lecciones que se desprenden del estudio de caso.

I. El programa Hogares Comunitarios de Bienestar del ICBF

Hogares Comunitarios de Bienestar quizá sea, junto con Familias en Acción, el programa social más reconocido por la población colombiana. Como ningún otro programa social del país, el de HCB cubre hoy casi todo el territorio nacional (tiene presencia en 1.089 de los 1.103 municipios) y beneficia a más de un millón de niños menores de 5 años, pertenecientes a los sectores más vulnerables de la sociedad³, situados en zonas marginadas de centros urbanos y zonas rurales.

El programa HCB nació en la década de 1980 como un esfuerzo conjunto del Estado y la comunidad para proveer cuidado a niños de familias vulnerables y garantizar su desarrollo físico, cognitivo y emocional, al tiempo que se fomentaba la participación laboral femenina. El funcionamiento del programa está a cargo de las familias de los niños beneficiarios, las cuales se organizan en asociaciones de padres de familia, que "celebran contratos con el ICBF y administran los recursos asignados por el Estado para el programa" (Valderrama, 2008). Para la operación del programa HCB, que incluye la entrega de raciones alimentarias, equipos didácticos (kits) y bonificación a las madres comunitarias, el ICBF destinó en 2011 cerca de $ 640.000 millones. Estos recursos provienen del presupuesto del ICBF, correspondiente al 3% del recaudo total de las nóminas mensuales pagadas por las empresas públicas y privadas del país, aproximadamente el 0,3% del producto interno bruto (PIB).

En la versión tradicional del programa, el hogar comunitario familiar, la atención se brinda en las casas de las "madres comunitarias", en su mayoría mujeres pertenecientes a la misma comunidad que reciben diariamente en su vivienda entre 12 y 14 niños de 0 a 5 años de edad, cinco días a la semana. Las madres comunitarias reciben del ICBF una beca, cuyo monto varía de acuerdo con el número de niños atendidos y el tiempo dedicado (medio tiempo o tiempo completo). De esta forma, la comunidad, en corresponsabilidad con el Estado, brinda a los niños atendidos cuidado, afecto, educación inicial y alimentación, que cumple entre el 65% y el 70% de las recomendaciones de energía y nutrientes diarios en la jornada de tiempo completo y entre el 50% a 55% en la jornada de medio tiempo.

Asimismo, el ICBF, por medio de sus centros zonales, debe hacer un seguimiento estricto al estado nutricional de los niños beneficiarios y promover la vacunación completa y la vinculación de la familia al sistema de salud. Además, mediante capacitación a las madres comunitarias, el programa debe ofrecer acompañamiento y charlas educativas a los padres de los niños para mejorar las prácticas de crianza, de modo que se reconozca a los menores como sujetos de derechos, se promueva su buen trato y prevalezca la armonía en las relaciones familiares.

En cuanto a la focalización, el programa prioriza la población vulnerable clasificada en el Sisbén 1, 2 y 3, con pertenencia étnica y discapacidad leve, y niños en condición de desplazamiento. En 2011, los HCB cubrieron cerca del 54% de la población pobre del país entre los 0 y 5 años, que equivale aproximadamente al 13% del total de niños de este grupo etario en Colombia. Comparado con otros países de América Latina, el programa HCB es, después de Educa a Tu Hijo, de Cuba, el de mayor cobertura nacional, tal como se puede ver en el gráfico 1, que compara programas similares al de Hogares Comunitarios en países de Latinoamérica.

La cobertura del programa HCB se da principalmente con la modalidad HCB familiares, por medio de la cual se atiende a 418.286 niños entre los 0 y 5 años, correspondientes al 54% del total de beneficiarios del programa. Actualmente, el ICBF cuenta con 77.377 madres comunitarias en 70.825 hogares comunitarios distribuidos por toda la geografía del país. Otras modalidades de atención consideras integrales⁴, como HCB múltiples, empresariales y Jardines Sociales, cubren solo a 25.785 niños, equivalentes al 2,2% del total de atendidos (véase cuadro 1). El gran reto del ICBF para el cuatrienio 2011-2014 es aumentar la cobertura de la atención integral en primera infancia a 1.200.000 niños, de modo que aquellos cubiertos por las modalidades no integrales migren a aquellas que sí lo son. De este modo, el Plan Nacional de Desarrollo 2010-2014 Prosperidad para Todos establece la necesidad de avanzar hacia la atención integral de la totalidad de la primera infancia en el país, priorizando los recursos públicos en programas dirigidos a la población pobre y vulnerable.

Actualmente, el programa HCB compromete más del 22% de los recursos de inversión del ICBF, entidad cuyo presupuesto anual equivale aproximadamente al 0,3% del PIB colombiano. El costo-niño varía dependiendo del tipo de hogar; así, mientras en un HCB tradicional tiempo completo es de $ 778.237 por año en el 2012, el costo-niño por año en un jardín social es de $ 2.000.000. La diferencia del costo-niño entre estas dos modalidades de atención es evidente, especialmente si se comparan los servicios entregados a los beneficiarios en cada una de ellas. Mientras en el HCB los niños son atendidos por las madres comunitarias en sus propias casas, situadas en las mismas comunidades marginadas donde residen los menores, los jardines sociales albergan entre 100 y 300 niños en infraestructuras nuevas, con espacios especialmente diseñados para apoyar el proceso pedagógico y el desarrollo de competencias. Dichas infraestructuras cuentan con espacios amplios para la realización de actividades al aire libre, salón de gimnasia, baños a la medida de los beneficiarios, salón de lectura y huerta, entre otros beneficios. Además, los agentes educativos encargados de la educación inicial y el cuidado de los niños en los jardines deben tener perfil profesional o técnico, es decir, son pedagogos y nutricionistas. A diferencia de los HCB tradicionales, en los jardines sociales las madres comunitarias trabajan como auxiliares.

Aunque se esperaría que todos los niños vulnerables del país recibieran la calidad de la atención y cuidado que se entrega en un Jardín Social, el alto costo de inversión en infraestructura, que oscila entre los 1.500 y 3.000 millones de pesos, junto con el costo-niño al año, hace que el proceso de transición hacia las modalidades de atención integral deba ser paulatino. A pesar de esta limitación, la cualificación progresiva de la atención a la primera infancia es hoy un aspecto prioritario de la política pública del país. La normativa que se ha desarrollado desde la Constitución de 1991, como el Código de Infancia y Adolescencia (2006), el documento Conpes Social 109 de 2007 y la Ley 1295 de 2009, que estableció los criterios para la definición de la política de primera infancia, reconoce la importancia de garantizar los derechos impostergables a esta población y evidencia la necesidad de fortalecer la articulación institucional, intersectorial y de la nación con los territorios, a fin de asegurar la prestación de servicios integrales a los niños y sus familias.

Estas acciones decididas de la política pública para lograr un aumento en la calidad de los servicios prestados a la primera infancia tienen su sustento teórico en la literatura desarrollada por Heckman y Wildavsky (2000), Nores y Barnett (2010) y Keane y Wolpin (1997), entre otros, que muestran que brindar atención de calidad durante la primera infancia es una estrategia eficaz para lograr una disminución de las brechas socioeconómicas de un país en el largo plazo. Por tanto, es claro que la inversión en primera infancia permite aumentar el potencial económico del país y generar desarrollo, en la medida en que las inversiones hechas en los primeros años de vida de un individuo resultan más rentables que las realizadas en etapas posteriores del ciclo de vida, como la adolescencia o la adultez. Para el caso del programa HCB, Bernal y Camacho (2012) encuentran una relación costo-beneficio superior a 4, utilizando una tasa de descuento social del 5% efectiva anual (EA). Programas como el de Familias en Acción presentan una relación costo-beneficio global de 1,59 (DNP, 2008).

En cualquier caso, la calidad del cuidado, alimentación, atención y estimulación recibida durante los primeros años de vida afectan el desempeño del individuo en el transcurso de su vida.

II. Evaluación de impacto del programa Hogares Comunitarios de Bienestar

En 2007 el ICBF y el Departamento Nacional de Planeación (DNP)contrataron la evaluación de impacto del programa HCB, la cual fue realizada por la Unión Temporal Universidad de los Andes-Profamilia. Si bien el programa había sido evaluado anteriormente en 1994 y 2007, dichos estudios no constituían una evaluación de impacto en el sentido estricto del término.

A. Aspectos metodológicos⁵

Las características iniciales del programa en 2007 imponían grandes retos metodológicos para el diseño de la evaluación. En particular: 1) el programa llevaba en funcionamiento cerca de veinte años en ese momento, por lo cual sus coberturas geográficas eran prácticamente universales; en ese sentido, era difícil o imposible encontrar regiones sin cobertura o diseñar una estrategia experimental de asignación de la intervención, que generalmente ocurre solamente en etapas iniciales o piloto de programas y 2) se observaba una gran heterogeneidad en la oferta del programa; en general, existen unos lineamientos que describen el funcionamiento del programa, pero en la práctica los HCB varían de manera significativa en diversas dimensiones que impactan en los niños, como por ejemplo, escolaridad y capacitación de la madre comunitaria, características de la vivienda, cantidad y calidad de las rutinas durante el día y protocolos de cumplimiento de los lineamientos del ICBF, entre otras.

De esta forma, se recolectó información de 26.000 niños beneficiarios y no beneficiarios del programa en todo el país, que incluyó mediciones antropométricas, variables de salud e indicadores de desarrollo cognitivo y psicosocial. Además, se recolectó información detallada de 1.100 hogares comunitarios, relacionada con la formación de las madres comunitarias, características físicas del HCB, calidad del cuidado en él, desarrollo de rutinas pedagógicas y el cumplimiento de normas y lineamientos del programa.

1. Encuesta de evaluación

La evaluación de impacto del programa HCB tenía como objetivo cuantificar los efectos causales del programa sobre niños entre los 0 y 6 años en función de nutrición, salud, desarrollo psicosocial y desarrollo cognitivo. Con este fin, la Unión Temporal llevó a cabo el levantamiento de una variedad de encuestas (a hogares de familia, madres comunitarias, asociaciones de padres de familia, etc.) y recolección de instrumentos de valoración de niños entre el 27 de febrero y el 31 de abril de 2007.

La selección de los grupos de tratamiento y de control para la evaluación se hizo de la siguiente manera⁶. Por un lado, el grupo de tratamiento se seleccionó básicamente de una muestra nacional de HCB escogida de forma aleatoria. La selección del grupo de control, por su parte, presentó algunas dificultades. En un primer momento se sugirió seleccionar una muestra de niños no beneficiarios del programa residentes en sectores donde no hubiera HCB, pero comparables desde el punto de vista geográfico y socioeconómico con aquellos donde sí existieran HCB. No obstante, fue difícil localizar este grupo, dada la rápida expansión del programa en el ámbito municipal y de otros programas, como Familias en Acción, que atienden a población con características similares. Por tanto, el grupo de control se determinó como el conjunto de niños entre 0 y 6 años residentes en las zonas de influencia de los HCB de la muestra de evaluación pero que no han participado en este programa ni en Familias en Acción y que pertenecen al Sisbén 1 y 2⁷.

La encuesta de evaluación recolectó una serie de información de las condiciones socioeconómicas de los niños, tanto para el grupo de tratamiento como para el de control. Se debe tener en cuenta que gran parte de los indicadores se midieron en la muestra total, pero algunos, como los relacionados con el desarrollo cognitivo y psicosocial, se tomaron sobre una submuestra de los niños de entre 3 y 6 años⁸. El resumen de las variables de resultados medidas en la evaluación se presenta en el cuadro 2.

El tamaño de la muestra total es de 26.254 niños, de los cuales 12.925 están en tratamiento y 13.329 en control. Por su parte, la submuestra es de 6.150 niños, 3.084 en tratamiento y 3.066 en control (véase cuadro 3).

]]>

Cuando se compararon los promedios entre el grupo de los niños beneficiarios y los no beneficiarios con respecto a las características socioeconómicas recogidas en la encuesta, se encontraron diferencias importantes. Particularmente, se evidenció que

[...] los niños del grupo de tratamiento provienen de hogares más pobres, tienen menores probabilidades de vivir con el padre, sus madres son levemente más jóvenes, con mayor probabilidad de ser separadas o madres solteras, y mayor probabilidad de trabajar que dedicarse a oficios del hogar (UT Universidad de los Andes-Profamilia, 2008, p. 4).

La diferencia importante que existe entre el grupo de tratamiento y el grupo de control en cuanto a las variables observables implica que es improbable que la selección al programa haya sido aleatoria⁹; por consiguiente, los niños que participan en el programa lo hacen porque tienen ciertas características -observadas y no observadas-¹⁰ que los diferencian de los niños del grupo de control. Este problema se denomina autoselección y ocasiona que no sea posible discernir el efecto del programa sobre las variables de resultado (nutrición, salud, desarrollo psicosocial y desarrollo cognitivo) con una simple comparación entre los grupos de tratamiento y control. Tal como lo señalan Briceño, Cuesta y Attanasio (2011), este es uno de los principales desafíos que enfrentó el equipo técnico de la evaluación del programa HCB. Más aún, las comparaciones mostraban que los niños que llevaban apenas un mes de participación en el programa exhibían ya resultados en pruebas cognitivas que eran cerca de 0,3 desviaciones estándar inferiores a las de niños no beneficiarios del programa. Entendiendo que es supremamente difícil modificar la habilidad cognitiva en períodos tan cortos, es más plausible interpretar este resultado como una diferencia preexistente entre los dos grupos (tratamiento y control) que imponía grandes retos para la evaluación de impacto.

Con el fin de superar el problema de autoselección y obtener una estimación insesgada del efecto del programa HCB, el equipo técnico de la evaluación propuso dos metodologías, a saber: método de emparejamiento para comparar los grupos de tratamiento y control y análisis de intensidad que utilizara solo el grupo de los niños beneficiarios en el programa. A continuación se explica a grandes rasgos el problema clave de toda evaluación de impacto y las metodologías propuestas por los autores.

2. Metodología de evaluación

La pregunta fundamental que enfrenta toda evaluación de impacto es: ¿qué habría pasado con las personas que participaron en el programa si este no hubiera existido o no hubieran participado en él? Esta pregunta implica que es necesario observar a una misma persona siendo beneficiaria del programa y no siéndolo al mismo tiempo. Por supuesto, esta situación es imposible. Por tal razón, es necesario construir, como señalan los autores de la evaluación, un "clon" de la persona que participó en el programa, esto es, lo que se conoce como contrafactual, y es lo que constituye el grupo de control (ut Universidad de los Andes-Profamilia, 2008).

Siguiendo a los autores, el efecto del tratamiento (o programa) se puede definir formalmente como:

Tal como se dijo, no es posible determinar esta diferencia, ya que solo es posible observar al individuo en uno de los dos estados: tratado o no tratado por el programa, pero no en ambos al mismo tiempo. Por tal razón, el análisis del impacto del programa no se centra en cada individuo particular, sino que lo que se busca es un impacto promedio sobre la población tratada (ATE, por sus siglas en inglés), donde E(.) es el operador de expectativas.

Ahora bien, dado que la población elegida debe tener ciertas características (o cumplir ciertos requisitos) para participar en el programa, se debe calcular un estimador que promedie el efecto sobre la población elegible en él, es decir, un efecto promedio del programa sobre los tratados (ATT, por sus siglas en inglés).

Dado que no es posible encontrar el contrafactual E[Y_i(0)|D=1], se debe utilizar como una aproximación E[Y_i(0)|D=0], denominado grupo de control, tal como se muestra en la ecuación:

Como muestran los autores, el grupo de control que se construyó con la encuesta de evaluación presenta importantes diferencias respecto al grupo de tratamiento en varios indicadores socioeconómicos. Por esta razón, el equipo técnico de la evaluación propone las siguientes estrategias de identificación del grupo de control: a) comparación entre el grupo de tratamiento y el grupo de control por el método de emparejamiento y b) comparación de los niños participantes que han estado expuestos al programa por períodos largos de tiempo con los niños participantes que han estado expuestos por períodos más cortos; esto se conoce como análisis de intensidad (UT Universidad de los Andes-Profamilia, 2008).

a. Método de emparejamiento

La primera estrategia de identificación que proponen los autores para lograr una aproximación adecuada al grupo de control, es decir, una metodología que permita utilizar el promedio en el grupo de control E[Y_i(0)|D=0] como una aproximación de la situación de los niños beneficiarios en el caso hipotético de que no hubiera existido el programa HCB E[Y_i(0)|D=1] para estimar τ_ATT, es suponer que la selección en el programa (las razones por las cuales unos niños participan y otros no) depende exclusivamente de características observadas por el investigador. Este supuesto se denomina independencia condicional (CI), y formalmente se denota como:

Este es un supuesto bastante fuerte, pues da por sentado que la participación de los niños en el programa no depende de características no observadas, como la habilidad cognitiva innata, la motivación y capacidad de las madres de los niños, entre otras. Por ejemplo, dos madres con características observadas (y medidas en la encuesta) muy parecidas (ingreso, educación, barrio en el que vive, edad, etc.) pueden diferenciarse en características no observadas, como que una de ellas está más enterada e interesada en acceder a los programas del ICBF; por ende, es más probable que inscriba a su hijo en el programa HCB. A su vez, el interés y los conocimientos de la madre pueden afectar directamente los indicadores de resultado de los niños, como su estado nutricional o desarrollo cognitivo.

Así pues, el método de emparejamiento comienza por determinar la probabilidad de que un niño participe en el programa HCB, dadas ciertas características observadas. En la medida en que un niño tenga más características parecidas a los que en efecto participan en el programa, esta probabilidad será más alta, la cual se conoce como Propensity Score Matching:

Suponiendo que se cumple el supuesto de independencia condicional, el estimador att mediante la metodología de emparejamiento (psm, por sus siglas en inglés) se puede estimar de la siguiente manera:

Es decir, el promedio ponderado de las diferencias en la variable de resultado entre cada niño de tratamiento y su clon, en el que los ponderadores son funciones de la cercanía entre los niños, y que define cercanía según la probabilidad de participación P(X).

b. Análisis de intensidad

Además de la estimación por el método de emparejamiento que compara los niños de tratamiento con los de control, los autores de la evaluación proponen hacer un análisis de intensidad. Este tipo de análisis estima el impacto de la evaluación de HCB utilizando solo el grupo de tratamiento y usando las diferencias en la duración de la exposición al programa.

Este estimador, llamado "efecto de intensidad", se calcula como la diferencia en las variables de resultado entre los niños de una misma edad que han estado expuestos bastante tiempo al tratamiento y los que han estado poco tiempo. La ventaja de esta metodología es que elimina el problema de autoselección en el programa mencionado, pues no es necesario utilizar un grupo de control para hallar el efecto del programa. Sin embargo, como señalan los autores, puede existir otra fuente de autoselección en la duración de exposición al programa, dado que es posible que los niños que han estado más tiempo en este tengan características no observadas diferentes de las de quienes han estado poco tiempo expuestos. Así las cosas, el estimador hallado por esta metodología supone que la duración del niño en el programa es aleatoria, después que se condiciona por un conjunto de variables observadas. Es decir, la comparación entre niños tratados expuestos al programa por períodos largos y niños tratados expuestos por períodos cortos también se hace por el método de emparejamiento.

Dada la evidencia abundante de problemas de autoselección en el programa que resulta de comparar características de niños tratados y controles, los autores aclaran que los estimadores más creíbles son los presentados en el análisis de intensidad y que las comparaciones entre grupos (tratamiento frente a control) deben leerse con sumo cuidado.

B. Principales resultados

1. Resultados del cumplimiento de los lineamientos del ICBF para los HCB

En el aspecto de complementación alimentaria, se observó que los HCB no presentaban un cumplimiento mayor del 82% de los requisitos en la preparación de alimentos. Asimismo, se evidenció que los HCB de tiempo completo tenían mayor nivel de cumplimiento que los HCB de medio tiempo (véase cuadro 4). Al resumir los resultados en tres categorías relacionadas con el manejo adecuado de alimentos, se observó que los HCB de tiempo completo tenían un 82,2% de cumplimiento respecto al entorno, 82% respecto a la limpieza y 76,2% respecto a las condiciones del área. Por su parte, los HCB de medio tiempo tenían 68,9%, 62,4% y 50,3%, respectivamente.

También se analizó el cumplimiento de los lineamientos en lo que se refiere a las características físicas del área de consumo de alimentos y las prácticas protectoras durante los horarios de comida. Según el informe del DNP (2009), "los HCB de tiempo completo presentan nuevamente un mayor cumplimiento, con la excepción del lavado de manos después de usar el sanitario (34%). El bajo porcentaje encontrado sugiere un descuido preocupante en la adopción de normas básicas de higiene" (p. 29). De la misma manera, los evaluadores encontraron los siguientes problemas: 1) falta de instrucciones para el manejo de los menús (14% de los HCB), 2) el 60% de los HCB reportan que el mercado no les alcanza, 3) 78% de los HCB utiliza agua hervida o filtrada, 4) en menos de 65% de los HCB, las MC [madres comunitarias] informan sobre inapetencia y otros problemas de nutrición de los niños a los padres o toman alguna acción y 5) en menos de 45% de los HCB, las mc reaccionan ante la inapetencia de un niño, ofreciéndole más alimentos (DNP, 2009, p. 29).

Con respecto al cumplimiento del aporte de nutrientes de la minuta, los lineamientos señalan que los HCB de tiempo completo deben aportar el 70% de los requerimientos de nutrientes de los niños y los de medio tiempo el 50%. No obstante, se observaba una leve subadecuación en el aporte de calorías promedio, especialmente en el grupo de niños de 4-6 años (véase cuadro 5).

2. Resultados de la evaluación de impacto

3. Algunas críticas metodológicas

Los hallazgos de la evaluación de impacto del programa HCB realizada por la Unión Temporal Universidad de los Andes-Profamilia no estuvieron exentos de controversia, a causa de posibles problemas metodológicos no superados. Tal como lo señalan Briceño et al. (2011), los evaluadores se encontraron con una cobertura del programa casi universal en el país, lo cual dificultó construir un grupo de control adecuado.

Como señalan los autores, los evaluadores del programa conformaron tres posibles grupos de comparación. El primero consistía de los niños menores de 6 años que vivían cerca de un HCB pero no participaron ni en este programa ni en el de Familias en Acción. El segundo grupo estaba conformado por niños que vivían en zonas donde el programa no tenía presencia. Y el tercero correspondía a los niños en tratamiento con diferente duración de exposición al programa. A causa de la cobertura casi universal del programa, el segundo grupo de control estaba virtualmente vacío; la mayoría de los municipios en Colombia tenían al menos un HCB.

Limitándose a utilizar el primer y el tercer grupo de control, los evaluadores no pudieron corregir por completo mediante el uso de técnicas de emparejamiento el problema de autoselección, por la ausencia de una línea de base¹³. Además, como señalan Briceño et al. (2011), el muestreo implementado para la evaluación del programa¹⁴ no permitió tener una estimación insesgada de la participación en él. Este método de muestreo, a su vez, dificultó la utilización de técnicas de variables instrumentales, dado que excluía por definición instrumentos definidos de localización geográfica, como la distancia al HCB. Es decir, habría sido ideal recolectar la información sobre una muestra nacional representativa del grupo de niños de hasta 6 años en el país y no una muestra representativa de hogares comunitarios con los niños de control recolectados en las mismas áreas de influencia. Según los autores de las críticas, este sistema de muestreo no permitió afirmar nada sobre la cobertura, ni en las áreas geográficas ni en general.

En efecto, Attanasio, Vera-Hernández y Di Maro (2010), utilizando una muestra de la Encuesta Nacional de Demografía y Salud (ENDS) de 2005, instrumentan la participación de los niños en el programa empleando la distancia a los HCB y la distancia promedio en el municipio. De esta forma, los autores encuentran que algunos resultados nulos y otros negativos hallados en la evaluación realizada por la Unión Temporal Universidad de los Andes-Profamilia resultan ser positivos. Por ejemplo, se encuentra que asistir a un HCB afecta la talla del niño positivamente en promedio 2 cm. Asimismo, la asistencia a los HCB durante la infancia temprana incrementó la probabilidad de estar actualmente matriculado en la educación primaria o secundaria. Más aún, al incrementarse el número de meses de asistencia de los niños al HCB, se aumentó en 0,7% la probabilidad de aprobación del último grado.

III. Acciones adelantadas por el ICBF ante los resultados de la evaluación de impacto

A pesar de las críticas al desarrollo metodológico de la evaluación, los efectos nulos y negativos del programa encontrados sobre los beneficiarios tuvieron eco no solo entre los responsables del programa y los directivos del ICBF, sino que movilizaron a todo el sector, encabezado por el Gobierno nacional, a fin de garantizar la atención de calidad de los niños atendidos por los HCB.

• Efectos nulos en la evolución de indicadores antropométricos.

• Efectos negativos sobre los indicadores de salud (EDA, IRA y vacunación completa).

• Efectos en contra del programa sobre los indicadores de desarrollo cognitivo.

• Efectos mayores en favor del programa en la prevalencia de desnutrición aguda, crónica y global, si el piso del HCB es de baldosa o de concreto y no de tierra.

Además, la evaluación permitió identificar aspectos débiles en el diseño y operación del programa que ponían en riesgo el cumplimiento de sus objetivos, a saber:

• Calidad deficiente de la infraestructura, hacinamiento y condiciones precarias de saneamiento ambiental de las viviendas.

• Ambiente pedagógico inadecuado y poco conocimiento de las madres comunitarias sobre rutinas pedagógicas y prácticas para incentivar el desarrollo cognitivo y psicosocial de los niños.

• Bajo cumplimiento de lineamientos y estándares de sanidad e higiene.

• Incumplimiento de las minutas en los aportes de nutrientes (calorías, proteínas, hierro y calcio), de acuerdo con lo establecido en los lineamientos del programa.

A. Infraestructura y ambientes pedagógicos

• Programa de Mejoramiento de Vivienda. Entre 2007 y el 2010 se llevaron a cabo 2.760 proyectos de mejoramiento de vivienda de las madres comunitarias, que incluyeron la remodelación o el mejoramiento de las casas, priorizando los espacios de atención (pisos, cocina, baño y espacios de recreación). Estas mejoras se realizaron en las comunidades más pobres de Sincelejo, la localidad de Usme en Bogotá, Buenaventura, Quibdó, Bahía Solano, Lloró, Itsmina, Tadó, Bagadó, Nuquí, Guapi, Tumaco, Barrancabermeja, Santa Marta, Valledupar, Medellín, Cali y Cartagena, con una inversión aproximada de $ 12.610 millones.

• Programa de Ahorro Voluntario. Se promovió desde el Gobierno Nacional el acceso a crédito a las madres comunitarias para reparar, remodelar o comprar casas. Una vez cumplido un año con ahorro voluntario, con el aporte inicial y el ahorro realizado, la madre comunitaria puede acceder a un crédito de mejoramiento o compra de vivienda, por medio del programa de la banca de oportunidades del Fondo Nacional de Ahorro (FNA). Para el año 2010, 67.700 madres comunitarias estaban afiliadas al Fondo Nacional de Ahorro (85% del total) y se habían aprobado 6.361 créditos por $ 61.500 millones.

• Disminución en las tarifas de servicios públicos. Se emprendieron acciones para garantizar que las tarifas de acueducto, alcantarillado, aseo, energía y gas de todos los inmuebles de uso residencial donde funcionan los HCB sean considerados estrato 1.

• Nueva construcción de infraestructura institucional. Con el objetivo de lograr la cualificación en la operación del programa, el ICBF implementó una estrategia ambiciosa de construcción de nuevos hogares múltiples y jardines sociales. Para el 2010 se terminaron de construir 51 hogares múltiples y 17 jardines sociales, con una inversión superior a los $ 100.000 millones.

B. Estado nutricional y de salud

• Incremento en el valor de la minuta patrón. En el 2008 se aumentó el valor del costo/ración por niño en HCB en un 8% ea y en el 2009 el incremento fue de 9,5% EA, porcentaje que sobrepasó el incremento del IPC de 2008 (7,67%). Se les exigió además a los contratistas encargados de la compra y distribución de alimentos que el 100% de los recursos para raciones llegara directamente al niño. Se promovieron estrategias de compra de alimentos buscando economías de escala, de manera que el ahorro logrado se tradujera en una mejor ración para los niños.

• Talleres de cocina experimental. A partir de 2008, el ICBF, por medio de sus centros zonales, inició la coordinación de talleres de cocina experimental con las madres comunitarias con el objetivo de capacitarlas en un mejor manejo de la minuta, la estandarización de porciones y medidas según la edad de los niños.

• Capacitación a las madres comunitarias. Mediante los centros zonales se amplió la capacitación a las madres comunitarias sobre normas básicas de higiene, identificación temprana y el manejo de signos y síntomas de EDA e IRA, y de canalización a servicios de salud.

• Fortalecimiento del sistema de supervisión. En el 2008 se realizaron cerca de 10.000 visitas a HCB, para verificar el cumplimiento de normas y lineamientos e implementar planes de mejoramiento. Anualmente se realizan visitas de supervisión a una muestra aleatoria correspondiente al 10% de los HCB de todo el país.

C. Desarrollo cognitivo y psicosocial

• Educación y profesionalización de madres comunitarias. Se emprendió un proceso de profesionalización de las madres comunitarias mediante la creación del programa Técnico de Formación de Atención a la Primera Infancia, en alianza con el SENA y el Ministerio de Educación Nacional. Entre los años 2008 y 2011 se vincularon 15.500 madres comunitarias al programa de formación técnica. Para el 2011 se habían graduado 4.486 madres comunitarias de formación técnica y se capacitaron 23.020 en pautas de crianza, en alianza con la empresa privada. Además, se alfabetizaron 1.289, y 5.254 madres lograron incorporarse a los ciclos de educación básica y media en alianza con el Ministerio de Educación Nacional.

• Compra masiva de materiales didácticos duraderos. Dentro de las acciones llevadas a cabo por el ICBF para favorecer el componente pedagógico de los HCB desarrollado por las madres comunitarias, se entregaron 63.787 equipos de materiales didácticos duraderos en el año 2007, con una inversión total de $ 4.551 millones; 64.139 equipos de instrumentos musicales en el 2008, con una inversión total de $ 4.557 millones y 70.893 paquetes de juguetes para el juego simbólico y de roles en el 2009, con una inversión de $ 3.273 millones, y en el año 2010, 66.606 cajas de material didáctico. Dicha entrega estuvo acompañada de un proceso de formación para su utilización que le permite a la madre comunitaria planear actividades acordes con el desarrollo de los niños beneficiados por el programa. Junto con los equipos de materiales didácticos, el ICBF entrega a las madres comunitarias una cartilla con instrucciones de uso y desarrollo de actividades lúdicas.

• Promoción de la estrategia Fiesta de la Lectura. La estrategia funciona bajo la orientación de Fundalectura, con el apoyo de organizaciones con experiencia en el desarrollo de proyectos educativos, sociales y en primera infancia. Consiste en la entrega de bibliotecas infantiles a los hogares comunitarios del ICBF, junto con sesiones de formación y acompañamiento a las madres comunitarias para el uso de los libros. Según el número de niños atendidos en las diferentes modalidades de HCB (comunitario, múltiple, agrupado y jardín social), la estrategia entrega una biblioteca infantil, con colecciones de 30, 60, 90 y 120 libros. Durante el 2009 se beneficiaron 724 hogares comunitarios y 9.412 niños con la estrategia Fiesta de la Lectura; en el 2010, 1.149 hogares comunitarios y 15.635 niños.

IV. Resultados de las acciones implementadas

Junto con las medidas implementadas por el ICBF para cualificar la atención de los servicios prestados en los HCB, la institución programó una agenda ambiciosa de evaluaciones de impacto de algunas de las nuevas intervenciones, con el objetivo de determinar si lograban mejorar los indicadores de salud, nutrición y desarrollo, y el cumplimiento de lineamientos y estándares, núcleos problemáticos identificados en la evaluación de impacto de hogares comunitarios.

A. Evaluación de impacto del programa Técnico de Formación en Atención a la Primera Infancia

La evaluación de impacto de los HCB de 2007 reveló aspectos preocupantes del programa con respecto al nivel educativo de las madres comunitarias y la calidad del cuidado recibida por los niños atendidos. Estos hechos se reflejaron en un bajo desempeño de los niños en variables de desarrollo cognitivo como habilidad verbal e intelectual, comparados con niños de similares características socioeconómicas que no asistían a los hogares comunitarios, lo cual sugería efectos causales negativos del programa sobre los beneficiarios.

Con respecto a la calidad del cuidado, medida con la escala fdcrs (Family Day Care Rating Scale)¹⁵, los resultados mostraron que el índice de procesos en los hogares comunitarios tradicionales era de alrededor de 2,67/7,0. Esta calificación baja sugiere que se logran únicamente las condiciones mínimas requeridas en un ambiente pedagógico ideal. Además, al analizar las rutinas pedagógicas se evidenció que las actividades desarrolladas en el hogar comunitario se orientaban casi exclusivamente al juego y con muy baja frecuencia se dedicaba tiempo a actividades pedagógicas tipo lectura, letras, números, colores, etcétera. Los resultados encontrados por la evaluación en cuanto a nivel educativo de las madres comunitarias y calidad del cuidado se resumen en el cuadro 7.

Como recomendaciones de la evaluación, los investigadores señalaron la necesidad de reforzar el conocimiento sobre desarrollo infantil de las madres comunitarias y la disponibilidad de recursos pedagógicos. Es así como el ICBF, en el proceso de cualificación de los servicios ofrecidos, diseñó e implementó a partir del año 2008, en alianza con el SENA, el programa de formación técnica en primera infancia para madres comunitarias que finalizaron el bachillerato¹⁶. El programa es impartido por el SENA en sus principales sedes del país y tiene una duración promedio de un año y medio. El título obtenido por las madres comunitarias participantes es el de técnico profesional en formación y atención a la primera infancia. El currículo que reciben establece horas de trabajo individual, con acompañamiento dirigido y prácticas, e incluye los siguientes seis módulos:

• Orientación de los procesos educativos en la primera infancia.

• Promoción del desarrollo de habilidades biopsicosociales de la primera infancia.

• Atención a las personas en caso de accidente y enfermedad súbita.

• Cuidado de la salud y nutrición de niños, desde la gestación hasta los seis años.

• Ética y transformación del entorno.

Entre 2008 y 2009 se llevó a cabo la evaluación de impacto del programa en Bogotá, a cargo de la investigadora Raquel Bernal, del Centro de Estudios sobre Desarrollo Económico (CEDE) de la Universidad de los Andes. Se diseñó una evaluación de tipo cuasiexperimental que consistió en la comparación de las variables de resultado en los aspectos de salud, nutrición, desarrollo cognitivo y psicosocial de dos grupos: el de tratamiento, conformado por niños en HCB de madres comunitarias graduadas del programa de formación técnica en diciembre de 2008 y en julio de 2009, y un grupo de control, conformado por HCB de madres comunitarias que manifestaron al ICBF interés por iniciar el programa a finales de 2009 (para comenzar clases en el último semestre de 2009 o primero de 2010), que asistieron a la presentación inicial en el SENA y además se incluyeron en la lista de espera para empezar en el proceso de formación en enero de 2010. La encuesta de evaluación se aplicó entre noviembre y diciembre de 2009 a una muestra total de 1.880 niños de entre los 0 y 6 años, en 139 HCB de Bogotá: 67 pertenecientes al grupo de tratamiento y 72 al grupo de control.

La evaluación arrojó resultados positivos en las variables de resultados, en las que se esperaba que el programa pudiera impactar, como estado de salud, desarrollo cognitivo y psicosocial de los niños (véase cuadro 8) y los indicadores de calidad de los HCB, como la escala estandarizada fdcrs, la frecuencia y tipo de actividades pedagógicas, la utilización de materiales pedagógicos, la interacción con los padres de familia de los niños, etcétera. Las áreas analizadas y variables de resultado medidas fueron las mismas que se tuvieron en cuenta para la evaluación de impacto de los HCB del 2007, lo que permite hacer comparables dichos resultados. En el anexo 5 se presentan las tablas de salida de la evaluación con los resultados detallados de las estimaciones de impacto.

Además de los resultados evidenciados en materia de impacto, la evaluación encontró mejoras significativas en la calidad del cuidado ofrecido por las madres comunitarias que obtuvieron el grado técnico; asimismo, se reportaron diferencias significativas en favor del grupo de tratamiento en cuanto a cumplimientos de lineamientos en el HCB, calidad del ambiente de aprendizaje y frecuencia de rutinas pedagógicas, además de un mayor liderazgo de la madre comunitaria en el desarrollo de actividades de protección y prevención, como la detección de síntomas de desnutrición.

B. Evaluación de impacto del programa de Mejoramiento de Vivienda de Madres Comunitarias

La evaluación de impacto de los HCB dejó en evidencia las precarias condiciones de infraestructura y saneamiento ambiental de las viviendas en las que habitan las madres comunitarias y donde se desarrolla el programa, condiciones que podían afectar negativamente el estado de salud y de nutrición de los niños beneficiarios. Por esta razón, el ICBF implementó a partir del año 2008 el programa de mejoramiento de vivienda, que como su nombre lo indica, consiste en la ejecución de obras en las viviendas de madres comunitarias que se encuentran en peores condiciones de infraestructura, específicamente renovación de pisos, techos, cocina, baños y zonas de juego. Con dichas obras se busca mejorar las condiciones sanitarias del hogar, disminuyendo por tanto la prevalencia de diarrea y anemia y reduciendo las infecciones causadas por parásitos en los niños.

Entre 2008 y 2009 se llevó a cabo una evaluación de impacto del programa, liderada por Julieta Trias, de University College London (UCL), en cooperación con Orazio Attanasio y Marcos Vera-Hernández, de University College London y del Institute of Fiscal Studies (IFS). En el diseño de la evaluación se seleccionaron 218 HCB de Cartagena, elegibles para ser beneficiarios del programa; de esta muestra, se escogieron aleatoriamente 106 hogares para llevar a cabo las mejoras de vivienda de forma inmediata, los cuales conformaron el grupo de tratamiento, y los 112 hogares restantes a los cuales se les programaron mejoras un año después constituyeron el grupo de control.

En 2008 se recolectó la línea de base de la evaluación con información detallada de las condiciones socioeconómicas de 2.864 niños y sus hogares, indicadores antropométricos (peso y talla) y de salud (EDA e IRA), a fin de estimar el impacto del programa sobre el estado nutricional y de salud de los niños beneficiarios. Se aplicó, además, una encuesta para obtener información sobre la asistencia a los hogares comunitarios, el consumo de suplementos nutricionales, el acceso a servicios de salud y a otros programas sociales, junto con características sociodemográficas de la madre comunitaria.

La principal causa de abandono se debió a que en el área geográfica de estudio se creó una nueva escuela primaria con nivel de pre-jardín [sic] y jardín, a la cual los niños podían trasladarse y continuar sus estudios allí. Adicionalmente, algunas familias recibieron nuevas viviendas y se mudaron fuera del área bajo estudio (Trias, Attanasio y Vera-Hernández, 2010, p. 3).

Esta pérdida de muestra tuvo efectos notables en la potencia de la evaluación de impacto, por lo cual no fue posible evidenciar impactos del mejoramiento de viviendas realizado en Cartagena sobre los indicadores de salud o nutrición de los niños del grupo de tratamiento que permanecieron entre la línea de base y el primer seguimiento. A pesar de estos resultados, es importante subrayar que la evaluación de HCB de 2007 con base en estimaciones de efectos heterogéneos del programa evidenció que los efectos positivos se potenciaban en los casos en que los pisos del HCB eran de baldosa o concreto en vez de arena o tierra (DNP, 2009), lo que permite afirmar que las mejoras planteadas por el programa generan con certeza efectos positivos sobre el bienestar de los niños.

C. Evaluación de impacto del programa Jardines Sociales

El ICBF, en el proceso de cualificación de la atención a la primera infancia, acelerado a partir de la evaluación del programa HCB de 2007, implementó la medida más ambiciosa para garantizar la atención integral a los niños vulnerables del país: la construcción y puesta en operación de "superinfraestructuras" denominadas jardines sociales (JS). Además de contar con espacios diseñados especialmente para los niños y contar con materiales de excelente calidad para el desarrollo de actividades físicas y pedagógicas, los jardines cuentan con personal muy capacitado y "están estructurados con base en la organización por grupos de edad en un modelo circular en el cual los niños rotan por diferentes áreas pedagógicas que propician el desarrollo de habilidades y competencias" (Bernal y Peña, 2011).

Actualmente está en curso la evaluación de impacto del programa, liderada por las investigadoras Raquel Bernal y Ximena Peña, del cede de la Universidad de los Andes. El quipo de evaluación incluye a Orazio Attanasio y Marcos Vera, de UCL-IFS. La evaluación tiene por objetivo medir el impacto del programa sobre el estado nutricional y de salud de los niños atendidos y su desarrollo cognitivo y psicosocial. Además, permitirá entender los mecanismos por medio de los cuales se dan los efectos del programa y analizar el costo-efectividad de este. Así se brindará información sobre las intervenciones en primera infancia que deben priorizarse cuando existen restricciones, por ejemplo, de recursos.

El programa Jardines Sociales está diseñado para cualificar el servicio que se presta en los HCB; es decir, se prevé que eventualmente los hogares comunitarios vecinos o más cercanos al jardín social que se construya transfieran a este, tanto madres comunitarias como niños, priorizando los que se encuentren en condiciones de vulnerabilidad. El diseño incluye una evaluación de tipo experimental basada en la estrategia de asignación de HCB al js de la comunidad. En particular, la muestra consiste en 16 JS construidos en 15 municipios del país y habilitados durante 2011. Para cada JS de la muestra se incluyen 20 HCB en la vecindad del JS en el estudio de evaluación. En cada caso, 15 de esos HCB se escogen aleatoriamente para migrar al JS de su comunidad (conformando así el grupo de tratamiento), mientras que los 5 HCB restantes, también escogidos aleatoriamente, permanecen en la modalidad tradicional, constituyendo así el grupo de control. La evaluación tiene en cuenta la recolección de datos longitudinales: la línea de base anterior a la implementación de la intervención se recolectó en los 16 JS a finales de 2010 y comienzos de 2011, y una encuesta de primer seguimiento se recolectó aproximadamente 9 o 10 meses después de la inauguración de los JS. Una primera etapa de seguimiento que recolectó información en 6 JS ya se terminó a finales de 2011.

El levantamiento de la línea base, en la que se recolectó información aproximadamente de 2.789 niños del grupo de tratamiento y 920 del grupo de control, se llevó a cabo entre 2010 y 2011. Para el 2012 se tiene planeado completar el primer seguimiento. Esta evaluación plantea retos metodológicos importantes por dos razones: 1) el protocolo de aleatorización que destinaba HCB para ser reasignados eventualmente al JS no se cumplió cabalmente en la práctica. Niños y madres comunitarias de los grupos de control fueron trasladados en varios casos al jardín social (es decir, fueron efectivamente intervenidos), y otros, en cambio, seleccionados en el grupo de tratamiento y que debían migrar al jardín social, no fueron reubicados y 2) Actualmente se lleva a cabo la transformación del programa Jardines Sociales hacia lo que serán los nuevos centros de desarrollo infantil (CDI), que garantizarán una atención integral a la primera infancia en el marco de la estrategia De Cero a Siempre, de modo que el costo niño anual pasa de $ 2.000.000 a $ 2.600.000, pues se cumplirán estándares de calidad mucho más altos y exigentes. Por tanto, los estándares del programa que se ha de evaluar han cambiado durante el transcurso de la recolección de información para su evaluación, lo cual podría ocasionar algunos retos metodológicos. Sin embargo, el diseño experimental y los tamaños de muestra en condiciones de pérdida de muestra razonables permiten lidiar con ambos inconvenientes de manera estadística, de tal suerte que no se afecta significativamente el alcance de la evaluación de impacto propuesta.

En últimas, las recomendaciones de esta evaluación pueden ser instrumentos valiosos para la construcción de la estrategia De Cero a Siempre, implementada recientemente por el Gobierno del presidente Santos y que tiene como objetivo principal ofrecer atención verdaderamente integral a la primera infancia en el país, con un gran énfasis en expansión con calidad.

V. Reflexiones finales

Las evaluaciones de impacto proporcionan, además, oportunidades para ampliar el alcance de la política creando redes e integración en los diferentes niveles de Estado (nacional, regional o local), lo cual genera ambientes propicios para estimular el dialogo y el debate entre los agentes que participan en la formulación de la política. Finalmente, Lindquist (2001) encuentra que el desarrollo de evaluaciones de impacto puede afectar los regímenes de política al ver la necesidad de modificar o rediseñar programas o políticas existentes cuando se encuentra suficiente evidencia para hacerlo.

En el caso colombiano, la evaluación de impacto del programa HCB del ICBF es un buen ejemplo de cómo las evaluaciones pueden ser instrumentos valiosos para ser utilizados por los diseñadores de política pública, en su proceso mejor informado de toma de decisiones. Esta evaluación realizada entre 2007 y 2008 encontró efectos nulos y otros negativos y significativos sobre algunas variables relacionadas con indicadores antropométricos, de salud y de desarrollo cognitivo, entre otros. De acuerdo con los evaluadores, estos resultados se pueden explicar por: 1) la calidad deficiente de la infraestructura, hacinamiento y condiciones precarias de saneamiento ambiental de las viviendas, 2) un ambiente pedagógico inadecuado y poco conocimiento de las madres comunitarias sobre rutinas pedagógicas y prácticas para incentivar el desarrollo cognitivo y psicosocial de los niños, 3) bajo cumplimiento de lineamientos y estándares de sanidad e higiene y 4) incumplimiento de las minutas en los aportes de nutrientes (calorías, proteínas, hierro y calcio), de acuerdo con lo establecido en los lineamientos del programa.

A pesar de las críticas recibidas por la evaluación, relacionadas con la dificultad de seleccionar grupos de tratamiento y control adecuados para un programa que ya llevaba más de veinte años de implementación, los resultados tuvieron una importante influencia no solo sobre los responsables del programa, sino sobre todo el Gobierno nacional, a fin de garantizar la atención de calidad a la primera infancia. De esta forma, se llevaron a cabo acciones en un lapso de dos años posteriores a la finalización de la evaluación, con las cuales se cualificaron los servicios ofrecidos por el ICBF. Las medidas implementadas por esta entidad se estructuraron sobre tres ejes, a saber: 1) infraestructura y ambientes pedagógicos, 2) estado nutricional y de salud y 3) desarrollo cognitivo y psicosocial. Cada uno de estos ejes estuvo constituido por una serie de programas e intervenciones encaminados a obtener los objetivos esperados. La rapidez y eficiencia con que se implementaron dichas intervenciones constituyen un ejemplo de buenas prácticas en función del uso de los resultados de una evaluación.

Posteriormente, estas intervenciones se sometieron también a procesos de evaluación y sus resultados se utilizan como insumo para la cualificación de los servicios ofrecidos a la primera infancia. En particular, la evaluación realizada al programa de Formación y Atención a la Primera Infancia en 2010 encontró mejoras sobre el estado de salud, desarrollo cognitivo y desarrollo psicosocial de los niños atendidos por el programa HCB. De esta forma, el programa logró una transformación significativa de las condiciones de vida de los niños pertenecientes a las comunidades más vulnerables del país, lo cual es sin duda un aporte valioso para el desarrollo económico y social del país, teniendo en cuenta que la calidad del cuidado, alimentación, atención y estimulación recibida durante los primeros años determinan en gran medida el desempeño del individuo en el transcurso de su vida. Además, la evaluación en marcha del programa de jardines sociales brindará información relevante para diseñar la política en general y la estrategia de atención integral a la primera infancia De Cero a Siempre, que se encuentra hoy en construcción.

Por último, resulta valioso mencionar algunas características particulares del caso de los HCB del ICBF, que a juicio de los autores permite explicar por qué la evaluación de impacto efectuada al programa fue efectiva, lo cual puede brindar luces al desarrollo de nuevos procesos exitosos de evaluación en el país:

• Importancia del proceso de difusión ("socialización"). La divulgación de resultados de la evaluación se hizo directamente con los responsables de la entidad, a saber: la directora general del ICBF, el director de Prevención, la subdirectora de Primera Infancia, la gerente del programa, el director de Planeación y la subdirectora de Investigaciones -hoy día Subdirección de Evaluación-. Al mismo tiempo, el ICBF compartió ("socializó") los resultados con los directores regionales y demás funcionarios relacionados directamente con la ejecución del programa. Esta amplia difusión permitió apropiárselos dentro de la entidad y generar una amplia discusión en torno al plan de acción, la necesidad de rediseñar los lineamientos del programa y, en general, la incorporación de recomendaciones.

• Importancia de contar con un grupo de evaluación dentro de la entidad. El ICBF cuenta con una Subdirección de Evaluación, que forma parte de la Dirección de Planeación del Instituto, la cual tiene una agenda anual de evaluaciones e investigaciones financiadas con recursos propios. Esta estructura organizativa garantiza la existencia de un grupo calificado de profesionales que lidera permanentemente los procesos, que entienden que la evaluación es una oportunidad y un insumo para mejorar los programas del ICBF y no una supervisión o una auditoría a la labor desarrollada por la entidad. En pocas palabras: se cuenta con una cultura de evaluación en el Instituto, lo que permite una apropiación efectiva de los resultados.

• Importancia de los programas de primera infancia para el país. La evaluación también fue exitosa porque se trataba de un programa que estaba presente en todo el territorio nacional y atendía directamente a la primera infancia; además, los HCB del ICBF quizá sean el programa público más querido y reconocido por la población colombiana. Esto puso en el centro de la discusión la importancia de tomar en cuenta los resultados de la evaluación y poner en marcha rápidamente las recomendaciones realizadas por ella.

• Importancia de la autonomía de la entidad. El ICBF contaba con la autonomía y capacidad financiera para cualificar su intervención; también contaba con la autonomía para redireccionar el programa de acuerdo con las recomendaciones de la entidad. Este aspecto es de suma importancia porque, por un lado, las evaluaciones requieren no solo la voluntad para hacerlas, sino también los recursos para desarrollarla, y por otro, para que la evaluación sea efectiva, las entidades deben contar con la autonomía y capacidad para tomar las decisiones pertinentes cuando se necesite cambiar el programa.

¹ Además de las evaluaciones de impacto, Sinergia realiza evaluaciones de resultado, operaciones, producto, costo-beneficio y evaluaciones ejecutivas, de acuerdo con los requerimientos específicos de los programas que se han de evaluar (DNP, 2012).

² A lo largo del documento se usa la palabra niños para hacer referencia a "niños y niñas".

³ En Colombia, la focalización de la población en situación de pobreza se hace por medio de un índice que proviene del Sistema de Identificación y Clasificación de Potenciales Beneficiarios de Programas Sociales (Sisbén). Este índice se funda en un concepto de pobreza multidimensional, es decir, no solo se relaciona con el ingreso, sino también tiene en cuenta otras características socioeconómicas de los hogares colombianos como la localización, las condiciones y servicios de la vivienda, la tenencia de bienes durables, el capital humano, la seguridad social y características demográficas y de ocupación.

⁴ De acuerdo con el Ministerio de Educación Nacional, una atención integral a la primera infancia (niños entre los 0 y 5 años) es aquella que ofrece de manera coordinada servicios de excelente calidad en los componentes de salud, nutrición, protección, cuidado y educación inicial, de tal manera que se garantiza la supervivencia, crecimiento, desarrollo y aprendizaje del niño.

⁵ Esta sección se apoya en el informe "Evaluación de impacto del programa Hogares Comunitarios de Bienestar del ICBF", elaborado en 2008 por la Unión Temporal Universidad de los Andes-Profamilia.

⁶ En evaluación de impacto, el grupo de control está conformado por las observaciones (niños de ambos sexos, en el caso del programa HCB) que no fueron beneficiarios del programa, con el cual se comparan los resultados del grupo de tratamiento, es decir, de aquellos niños que sí fueron tratados. De esta forma, el grupo de control, si cumple con las características adecuadas, se convierte en un contrafactual válido del grupo de tratamiento que permite contestar a la pregunta: ¿qué habría sucedido si las personas que fueron beneficiadas con el programa no lo hubieran sido?

⁷ También debían corresponder a las mismas fracciones por edad y sexo de los niños en el grupo de tratamiento.

⁸ La submuestra incluía cerca de 400 HCB del total de los 1.100 y algo más de 6.000 niños evaluados.

⁹ Si la selección a un programa se hace de forma aleatoria, se eliminan los sesgos de autoselección. Estos diseños se denominan experimentales.

¹¹ En los anexos 1 a 4 se pueden ver las salidas de los ejercicios econométricos realizados por los evaluadores.

¹² Los autores utilizan el método de variables instrumentales para corregir la posible endogeneidad de la participación en el programa HCB. En tal sentido, "se utiliza una medida de cupos totales disponibles en el Programa en el municipio de residencia del joven, por cada 1.000 habitantes en necesidades básicas insatisfechas como variable instrumental" (DNP, 2009, p. 48).

¹³ Es decir, la ausencia de datos longitudinales que permitieran hacer una comparación prepost de la situación de los niños.

¹⁴ Denominado en términos estadísticos choice-based sampling, porque sobremuestrea el grupo de los participantes.

¹⁵ La escala fdcrs evalúa siete dimensiones de los ambientes de cuidado infantil, a saber: 1) espacio y muebles, 2) rutinas de cuidado personal, 3) lenguaje y razonamiento, 4) actividades de aprendizaje, 5) interacción, 6) estructura del programa y 7) padres y personal. Cada dimensión tiene una valoración de 1 a 7, en la que 1 refleja las peores condiciones y 7 las mejores. Con base en esta información, los investigadores construyeron un indicador promedio de las condiciones de infraestructura (primera dimensión) y los procesos (dimensiones 2 a 7).

¹⁶ Las madres comunitarias interesadas en ingresar al programa y que no finalizaron el bachillerato son apoyadas por el ICBF en alianza con el Ministerio de Educación Nacional para incorporarlas a los ciclos de educación básica y media.

Referencias

1. AEDO, C. (2005). Evaluación de impacto. Cepal-Serie Manuales. Santiago de Chile, Cepal.        [ Links ]

2. ATTANASIO, O., VERA-HERNÁNDEZ, M. y DI MARO, V. (2010). "El impacto de un programa de cuidado infantil sobre resultados en nutrición: evidencia en Colombia". Londres, Institute of Fiscal Studies.        [ Links ]

3. BAKER, J. (2000). Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. Washington, D. C., Banco Mundial.        [ Links ]

4. BANCO MUNDIAL (2004). Evaluaciones influyentes: evaluaciones que mejoraron el desempeño y los efectos de los programas de desarrollo. Washington, D. C., Banco Mundial.        [ Links ]

5. BERNAL, R., FERNÁNDEZ, C., FLÓREZ, C., GAVIRIA, A., OCAMPO, P., SAMPER, B. y SÁNCHEZ, F. (2009). "Evaluación de impacto del programa Hogares Comunitarios de Bienestar del ICBF" (Documento cede No. 16). Bogotá, Universidad de los Andes.        [ Links ]

6. BERNAL, R. y HELO, J. (2010). "Evaluación de impacto del programa de Formación y Atención a la Primera Infancia" (informe de línea base). Bogotá, ICBF.        [ Links ]

7. BERNAL, R., y PEÑA, X. (2011). "Evaluación de impacto del programa Jardines Sociales" (primera parte del informe de línea Base). Bogotá, ICBF.        [ Links ]

8. BERNAL, R. y CAMACHO, A. (2012). "La política de primera infancia en el contexto de la equidad y la movilidad social en Colombia" (manuscrito no publicado). Bogotá.        [ Links ]

9. BRICEÑO, B., CUESTA, L. y ATTANASIO, O. (2011). "Behind the scenes: Managing and conducting large scale impact evaluations in Colombia". International Initiative for Impact Evaluation. (Working Paper 14).        [ Links ]

10. DEPARTAMENTO NACIONAL DE PLANEACIÓN (DNP) (2006). "Programa Familias en Acción: impacto del programa a un año y medio de su ejecución" (Evaluación de Políticas Públicas). Bogotá.        [ Links ]

11. DEPARTAMENTO NACIONAL DE PLANEACIÓN (DNP) (2007). "Política Pública Nacional de Primera Infancia: Colombia por la Primera Infancia" (Documento Conpes Social 109). Bogotá.        [ Links ]

12. DEPARTAMENTO NACIONAL DE PLANEACIÓN (DNP) (2008). "Programa Familias en Acción: impactos en capital humano y evaluación beneficio-costo del programa" (Evaluación de Políticas Públicas). Bogotá.        [ Links ]

13. DEPARTAMENTO NACIONAL DE PLANEACIÓN (DNP) (2009). Evaluación de impacto del programa Hogares Comunitarios de Bienestar del ICBF. Bogotá, DNP.        [ Links ]

14. DEPARTAMENTO NACIONAL DE PLANEACIÓN (DNP) (2010). 15 años del Sistema Nacional de Evaluación de Gestión y Resultados-Sinergia: una mirada desde las evaluaciones de políticas públicas más relevantes. Bogotá, DNP.        [ Links ]

15. DEPARTAMENTO NACIONAL DE PLANEACIÓN (DNP) (2012). "Guía para la evaluación de políticas públicas". Serie de Guías Metodológicas. Bogotá, DNP.        [ Links ]

16. HECKMAN, J. y WILDAVSKY, A. (2000). Policies to foster human capital. Chicago, University of Chicago-Ministry of Education.        [ Links ]

17. JONES, N., JONES, H., STEER, L. y DATTA, A. (2009). "Improving impact evaluation production and use" (Working Paper 300). Overseas Development Institute.        [ Links ]

18. JONES, N. y VILLAR, E. (2008). "Situating children in international development policy: Challenges involved in successful evidence-informed policy influencing", Evidence and Policy, 4(1):1-24.        [ Links ]

19. KEANE, M. y WOLPIN, K. (1997). "The career decision of young men", Journal of Political Economy, 105:3.        [ Links ]

20. KHANDKER, Sh., KOOLWAL, G. y SAMAD, H. (2010). Handbook of impact evaluation: Quantitative methods and practices. Washington, D. C., Banco Mundial.        [ Links ]

21. LINDQUIST, E. (2001). Discerning policy influence: Framework for a strategic evaluation of IDRC-supported research. School of Public Administration, University of Victoria.        [ Links ]

22. McPHEE, D. (1981). Knowledge of Infant Development Inventory KIDI. Friends National Resource Center for Community-Based Child Abuse Prevention.        [ Links ]

23. NORES, M. y BARNETT, S. (2010). "Benefits of early childhood interventions across the world: (Under) investing in the very young", Economics of Education Review, 29(2): 271-282.        [ Links ]

24. REPÚBLICA DE COLOMBIA (2006). "Ley 1098 de 2006, por la cual se expide el Código de la Infancia y la Adolescencia". Bogotá.        [ Links ]

25. REPÚBLICA DE COLOMBIA (2009). "Ley 1295 de 2009, por la cual se reglamenta la atención integral de los niños y las niñas de la primera infancia de los sectores clasificados como 1, 2 y 3 del Sisbén".        [ Links ]

26. SAVEDOFF, W., LEVINE, R. y BIRDSALL, N. (2006). When will we ever learn? Improving lives through impact evaluation. Washington, D. C., Center Global Development.        [ Links ]

27. TRIAS, J., ATTANASIO, O. y VERA-HERNÁNDEZ, M. (2010). Evaluación del programa de Mejoramiento de Vivienda en Hogares Comunitarios de Cartagena. Bogotá, ICBF.        [ Links ]

28. UNIÓN TEMPORAL UNIVERSIDAD DE LOS ANDES-PROFAMILIA (UT) (2008). "Evaluación de impacto del programa Hogares Comunitarios de Bienestar del ICBF" (informe de impacto en línea de base). Bogotá.        [ Links ]

29. VALDERRAMA, M. (2008). Estudio cualitativo complementario al proyecto Evaluación de Impacto del programa Hogares Comunitarios de Bienestar del ICBF. Bogotá, DNP.        [ Links ]

30. WEISS, C. (1999). "The interface between evaluation and public policy", Evaluation, 5(4): 468-486.        [ Links ]

31. WEYRAUCH, V. y DÍAZ, G. (2011). "Sound expectations: From impact evaluations to policy change. International Initiative for Impact Evaluation" (Working Paper, 12:1-49).        [ Links ]

32. WHITE, H. (2006). Impact evaluation: The experience of the Independent Evaluation Group of the World Bank. Washington, D. C., Banco Mundial.        [ Links ]

Anexos

Anexo 5