*Artículo de reflexión que presenta una aproximación para determinar cuáles son los modelos de evaluación aplicados en los programas sociales más relevantes en Colombia. El autor agradece los valiosos comentarios de Alfredo Sarmiento, Martha Piña, Mónica Andrea Peña y los comentarios de los dos árbitros anónimos de la Revista Papel Político.

Resumen ]]> Este documento presenta una aproximación para determinar cuáles son los modelos de evaluación aplicados en los programas sociales más relevantes en Colombia, para lo cual se presentará una aproximación a una comparación conceptual y metodológica de tres modelos predominantes: el modelo de evaluación de consecución de objetivos, el modelo de evaluación de impacto y el modelo cualitativo participativo.

Palabras clave autor
Evaluación, políticas públicas, programas sociales, Colombia.

Palabras clave o descriptores
Programas sociales - Colombia, Políticas públicas - Colombia.

Abstract
This document is an effort to identify the models of evaluation applied in the most prominent social programs in Colombia. For this purpose, an approximation to a methodological and conceptual comparison of three predominant models is presented: the model of evaluation of attainment of objectives, the impact evaluation model, and the participatory qualitative model.

Key words author
Evaluation, public policy, social programes,Colombia.

Key words plus ]]> Social programas - Colombia, Public policy -Colombia.

Introducción

El tema de la evaluación de políticas y programas sociales se ha ido convirtiendo en la última década en un problema central de la acción o intervenciones gubernamentales. Esto principalmente por tres razones: la primera es que el desarrollo y progreso social que se viven en el nuevo milenio no aminoran la persistencia y severidad de problemas sociales: pobreza, exclusión y desigualdad. La segunda, a pesar de las innovaciones institucionales y programáticas, las soluciones que se han puesto en marcha no arrojan los resultados esperados. La complejidad de nuestras sociedades, que presentan una muy desigual distribución de las oportunidades, y de los problemas que ello genera, exige miradas más rigurosas sobre las políticas y programas que se están implementando. La tercera, se relaciona con la permanente escasez de recursos, cuestión que puede ser mejor enfrentada si la evaluación permite asegurar el uso eficiente de los mismos.

La función de evaluación de las políticas públicas, incluidos los programas sociales, se ha ido asentando lentamente en el sector público, el privado y en el amplio mundo de los organismos no gubernamentales del país. El tema está instalado como necesidad en el sector público y como tópico de formación y entrenamiento en el ámbito académico y de las organizaciones no gubernamentales. La instalación del tema tampoco ha significado borrar el estigma o fantasma de la evaluación entendida como control y sanción, aunque, sin duda, para que los resultados de las evaluaciones tengan efecto, debe existir un sistema de premios y castigos (Wiesner, 1999). El más efectivo, en nuestros países, está asociado con las asignaciones presupuestarias.

El fin principal de la evaluación es el aprendizaje social de las formas que tiene el Estado en torno a los desafíos sociales que impone el desarrollo: enseñanzas que aporta la experiencia para hacerlo mejor, lograr políticas y programas más efectivos, más eficaces, más eficientes, más costo-efectivos, más sustentables en el tiempo. La evaluación alimenta la rendición de cuentas, vela por el buen funcionamiento de las instituciones públicas y sus políticas y programas, y ayuda a controlar los abusos.

La diversidad de perspectivas y prioridades en la evaluación deja en evidencia que la evaluación no es solo un ejercicio técnico. Tras esta hay siempre un marco de referencia, un punto de vista, un propósito, que son previos a las decisiones técnicas y a la rigurosidad metodológica. Estas decisiones intervienen después, una vez definidos el propósito de la evaluación y el parámetro o estándar según el cual evaluar. Es también en ese momento que se define el tipo de evaluación que se propone: evaluación ex-ante o ex-post, de procesos, de resultados, de impacto, con diseño experimental, cuasi experimental o no experimental, de costo-efectividad u otras. Más adelante en este documento se revisarán las principales metodologías de evaluación.

El presente texto tiene el objetivo de presentar una aproximación para determinar cuáles son los modelos de evaluación aplicados en los programas sociales más relevantes en Colombia, para lo cual en la primera parte se presentarán los tres principales modelos predominantes y, en la segunda, la aplicación de estos modelos en la evaluación de los principales modelos de evaluación de programas en el país.

A continuación se exponen los fundamentos conceptuales, metodológicos y prácticos de los principales modelos de evaluación de políticas y programas sociales. Para ello, se han tomado en cuenta principalmente los siguientes autores: Banco Mundial (1994), Raczynski-Serrano (2002), Baker (2000), Verdun (1997), Bamberger y Hewitt (1986), Cohen y Franco (1992), Valadez y Bamberger (1994), Nina (2007) y Sarmiento et al. (2005).

1. Modelos de evaluación de políticas y programas sociales

En la actualidad, la práctica de la evaluación de políticas y programas sociales en Colombia ha venido adquiriendo un carácter de creciente rigurosidad, lo que ha obligado a que sea cada vez más necesario tener claras las bases teórico conceptuales de las distintas aproximaciones a la evaluación, así como tener herramientas para distinguir cuál modelo es el más apropiado en un determinado contexto. Este documento pretende hacer una aproximación a una comparación conceptual y metodológica de tres modelos: el de evaluación de consecución de objetivos, el de evaluación de impacto y el cualitativo participativo.

La evaluación, en palabras de un experto en evaluación, Evert Vedung, es un proceso mediante el cual se realiza una “cuidadosa valoración retrospectiva de los meritos, importancia y valor de la aplicación, productividad y resultados de las intervenciones gubernamentales, que se pretende desempeñe un papel en futuras situaciones y acciones prácticas” (Vedung, 1997). Visto de esta manera, posee dos componentes determinados por su carácter retrospectivo , donde precisamente se mira hacia el pasado, sobre unas bases teóricas y académicas y se realiza un ejercicio de comparación contra un objetivo de política determinado, con el fin de lograr una formulación de políticas hacia el futuro —carácter prospectivo—. Por tanto, debe cumplir con unos parámetros específicos que la hacen completa dentro del proceso político, y de gestión de políticas públicas; estos son:

Por lo anterior, la evaluación de políticas y programas sociales, para cumplir su labor, debe tener claros los objetivos de su ejercicio; esto, teniendo en cuenta que no existe un modelo de evaluación que logre cumplir a cabalidad todos y cada uno de estos requisitos. En el presente documento sí se puede realizar, sobre estos parámetros, una comparación de los tres modelos de evaluación, la cual nos permita hacer un análisis acerca de cuáles serían las ventajas y deficiencias en la aplicación de estos modelos dentro de la administración y gestión públicas en el ámbito gubernamental. Dicho análisis se llevará a cabo teniendo en cuenta los denominados modelos de efectividad (Vedung, 1997), determinados por los siguientes modelos: el de evaluación de consecución de objetivos, el de evaluación para la medición del impacto, y el cualitativo participativo.

Las razones de la escogencia de estos modelos objeto de comparación están determinadas por las siguientes circunstancias:

Comparación conceptual: modelos de evaluación de consecución de objetivos y evaluación de impacto

Un primer paso a la hora de comparar estos modelos es examinar cuál es la pregunta inicial que cada modelo se hace. Por un lado, la evaluación de consecución de objetivos intenta resolver si los resultados de un programa corresponden o no a los objetivos que este se propuso. Esta pregunta va a determinar el énfasis de este modelo y su objeto de estudio, ya que al querer revelar la concordancia entre lo que un programa propuso y los resultados que introdujo, este modelo apunta a dar cuenta de alguna discrepancia entre los objetivos enunciados y los resultados alcanzados (Nina, 2007). En este sentido, para los partidarios de este modelo “la tarea más importante de la evaluación es la de determinar si los objetivos premeditados del programa se han alcanzado de hecho” (Vedung, 1997).

Por otro lado, la pregunta que se hace la evaluación de impacto tiene un interés distinto, pues busca establecer si los resultados son atribuibles o no a un programa determinado. Aquí, la evaluación quiere dar cuenta de la causalidad que existe entre la realidad y la intervención pública que la debió haber alterado. Según Vedung, la complicación fundamental a la que una evaluación debe enfrentarse es la de poder separar los efectos programáticos de los no programáticos: “Los resultados pueden depender de acontecimientos no relacionados con el programa (…) hablando en términos generales, el problema de impacto es extraordinariamente difícil de resolver. En política pública, puede ser irresoluble” (Vedung, 1997).

No obstante su sencillez y carácter descriptivo, la evaluación de consecución por objetivos tiene la gran limitación de que no da cuenta de si los resultados están o no relacionados con el programa. Así, este modelo de evaluación no es del todo aconsejado en casos en que lo importante sea establecer causas entre la intervención y los resultados.

De todas maneras, el juzgar los resultados de un programa a partir de los objetivos del mismo permite que la evaluación se mantenga dentro de una postura objetiva y que el evaluador no pueda adoptar posiciones personales sobre los méritos y deméritos del programa.

Por otro lado, como la razón de ser de la evaluación de impacto es precisamente examinar a qué se deben los resultados logrados, esta se enfoca en evaluar el impacto a través de diferentes formas. La dificultad en este tipo de evaluación se encuentra en la necesidad de escoger una variable que permita realmente evaluar el impacto del programa. Una manera para abordar este tipo de investigación es mediante la creación de escenarios contrafactuales, es decir, de escenarios proyectados hacia el futuro que evidencien lo que hubiera pasado si el programa no hubiera existido. Este escenario contrafactual se logra comparando a un grupo beneficiario (grupo de tratamiento) con un grupo equivalente de no-beneficiarios (grupo de control) (Nina, 2007; Vedung, 1997).

Otra ventaja de la evaluación de impacto es que posibilita observar los efectos colaterales, o los efectos no esperados de la intervención. En muchos casos, los programas tienen consecuencias indeseadas que se salen de lo premeditado, consecuencias que a veces son de igual o mayor importancia que los resultados originalmente esperados. En este sentido, mientras que la evaluación de consecución de objetivos es ciega a estas eventualidades, la evaluación de impacto posee herramientas para dilucidar estos efectos no previstos.

El problema con la evaluación de impacto es que, por lo complejo, requiere suficientes recursos y herramientas para una realización efectiva. Los altos costos, aunados a razones de carácter político relacionadas con la falta de disposición por parte de los ejecutores para que se estudie la incidencia del programa, en muchos casos llevan a que no se escoja este modelo de evaluación. Asimismo, este modelo implica un diseño metodológico de mucha rigurosidad, sobre todo en la selección y seguimiento de los grupos de tratamiento y de control (Nina, 2007). Aquí encontramos dos obstáculos para una evaluación consistente. El primero, es el riesgo de que la selección del grupo esté sesgada por falta de información o por cualquier otra razón. El segundo, tiene que ver con el denominado efecto Hawthorne o conejillo de indias. Este se refiere a que en algunas ocasiones el grupo de tratamiento varía su comportamiento al enterarse de que está siendo observado, lo cual termina afectando los resultados finales del programa (Vedung, 1997).

La evaluación de impacto es un proceso por el cual siempre se debe tener en cuenta el análisis causal, mucho más si está realizada con el fin de brindar bases hacia el futuro en cuanto a la adopción de decisiones. Sin embargo, es importante tener en cuenta que todo programa tiene dos tipos de efectos (Vedung, 1997):

• Directos: son resultado de la acción del programa y están determinados por los objetivos formulados.
• Colaterales: pueden ser el resultado de la intervención o de acciones concomitantes y simultáneas que, en últimas, afectan de manera directa el logro total.

A estos dos tipos de efectos es lo que denominaríamos, de manera total, como resultado general. Por tanto, para lograr tal medición se realiza un ejercicio de comparación entre lo real en un grupo beneficiario y una alternativa de referencia en un grupo control, que obedece a un patrón que sería el resultado de no haber aplicado la intervención. La diferencia entre los dos resultados es el impacto neto. Esto lo podemos observar en el siguiente: diagrama ]]> Por consiguiente, en la medición del impacto neto, el objetivo está en determinar si el programa ha logrado los efectos deseados a nivel individual, familiar e institucional y, sobre todo, si estos son atribuibles a su intervención.

Los requisitos para la medición del impacto son los siguientes:

• Definición de una serie temporal de datos sobre un resultado real.
• Conocimiento del estadio previo a la intervención y su modificación posterior, a través de una visión histórica.
• Definición del grupo control con el cual se va a establecer el patrón de comparación.

El establecimiento del grupo control, precisamente, permite dividir al modelo de medición de impacto en las siguientes categorías: a) Experimental o controles aleatorios: obedece a un proceso de comparación, con la confección de un modelo experimental clásico donde se utiliza el azar como método de aleatorización y control de variables. Es un modelo de comparación contrafactual. Las ventajas de este modelo son:

• Elimina los problemas de selección.
• No requiere ajustes estadísticos.
• Facilita la interpretación del resultado final.

Sin embargo, tiene las siguientes desventajas:

b) Cuasi-experimental o de controles equiparados: no se crean grupos de manera aleatoria, sino que se selecciona un grupo control lejano a la intervención y que dentro de sus características se encuentren similitudes y coincidencias con el grupo experimental. Es un modelo de comparación contrafactual. Las ventajas de la realización de un estudio sobre este modelo de evaluación son las siguientes:

• Utiliza fuentes de datos existentes.
• Consume menos tiempo y es menos costoso que los diseños experimentales.

No obstante, tiene las siguientes desventajas:

• Mantiene el problema de selección, ya que la comparación se realiza sobre la base de un emparejamiento de características observables.
• Requiere una metodología completa, en cuanto al conocimiento de procesos especializados de selección y equiparación.

• Realmente económico de y fácil ejecución.
• No tiene inestabilidad aleatoria.
• Aporta datos sobre evoluciones históricas en una cohorte determinada.

Pero tienen las siguientes deficiencias:

• Posee serias amenazas a la validez interna, toda vez que el resultado no siempre es atribuible a la intervención.
• Los cambios observados pueden ser atribuidos a modificaciones en el registro de los datos, factor que no tiene relación con el programa.
• La equiparación de los grupos puede ser imperfecta, con aparición de variables que se hacen manifiestas en controles posteriores de la evaluación.

La tendencia predominante en América Latina es la evaluación de impacto, como se puede observar en el enfoque que promueve el Banco Mundial, enfoque representado por el documento de Baker (2000). Este documento comienza por definir a la de impacto como una evaluación que conviene hacer posterior (ex post) a la finalización del programa, y que se caracteriza principalmente por estimar el escenario contrafactual en el mismo sentido de la propuesta de Vedung; es decir, parte de un escenario hipotético que trata de medir el nivel de bienestar tanto en presencia como en ausencia del programa o política social cuestionando qué hubiera sucedido si este no se hubiese realizado. Determinar el escenario contrafactual requiere la comparación entre el grupo de beneficiarios o personas que reciben la intervención (grupo de tratamiento) y el grupo de aquellos que no participan de un programa ni reciben sus beneficios (grupo de control o de comparación).

En esta comparación se supone que el grupo de control es semejante al de tratamiento, en varios aspectos, exceptuando que no participa del programa. Para seleccionar a los grupos se utilizan diversas metodologías que inciden en la definición de la evaluación de impacto, como son: diseños experimentales (aleatorios) y diseños cuasi experimentales (no aleatorios). Aquí, es importante destacar que la evaluación de impacto es tanto cuantitativa como cualitativa y hace uso del método participativo como uno de los instrumentos cualitativos que permiten complementar la medición del impacto de un programa.

El método cuasi experimental, por su parte, se realiza a partir de la selección de un grupo de comparación, de forma no aleatoria, utilizando métodos como (Baker, 2000, p. 15): a) la puntuación de la propensión, que implica buscar variables características las cuales den una mayor probabilidad para que el grupo de comparación sea similar y se parezca al grupo de tratamiento; b) de diferencia o diferencia de las diferencias, que compara un grupo de tratamiento con uno de comparación, antes (primera diferencia) y después de un programa (segunda diferencia); c) variables instrumentales o control estadístico, que usa una o varias variables que influyen en la participación, pero no en los resultados de la participación. Esto permite identificar las variables exógenas en los resultados que se atribuyen al programa de manera intencional y no aleatoria; d) comparaciones reflexivas, en el que se realiza una encuesta básica o de referencia de los participantes antes de la intervención (que permite establecer el grupo de comparación), y luego una encuesta de seguimiento que permite medir el efecto de acuerdo con el cambio en los indicadores de resultados antes y después de la intervención.

Como resumen de esta primera parte, dentro de un ámbito de comparación conceptual entre modelos, y de acuerdo con los objetivos propuestos en este documento acerca de la evaluación, se puede decir lo siguiente:

La medición del impacto es una medida mucho más amplia al tener en cuenta no solo la consecución de los objetivos propuestos, sino también al realizar una valoración de todos los efectos colaterales y del entorno a la aplicación de la intervención, y a otros elementos asociados, por lo que como elemento evaluativo cumple con la mayoría de los fines de la evaluación. Sin embargo, en comparación con el método de evaluación por objetivos, la evaluación de impacto es costosa, dispendiosa y onerosa. Además, si se intenta la realización de un modelo experimental, esta no siempre es aplicable en los programas sociales y modelos de investigación social. Adicionalmente, es un procedimiento que solo se puede aplicar cuando el proceso ha finalizado. En ese sentido, la evaluación por objetivos sí permite una actividad de monitoreo durante el transcurso del proyecto, en cuanto a cumplimiento de metas intermedias.

Ambos modelos tienen carácter retrospectivo, ya que realizan una valoración histórica del proyecto en comparación con una línea de base y una situación que se pretende mejorar. Igualmente, permiten realizar unas recomendaciones de ajuste del programa o de política hacia el futuro, lo cual les permite ser elementos útiles dentro de la acción gubernamental. No obstante, como tienen elementos que en un momento dado pueden evidenciar fallos o desaciertos del programa, en la medida de lo posible son métodos que deberían ser utilizados por organismos independientes de las instituciones gubernamentales, de tal manera que se disminuya la posibilidad de falseo o manipulación a la hora
de evaluar los resultados y consecuencias de las políticas y programas sociales.

Un punto a resaltar es que tanto el modelo de consecución de objetivos como el de evaluación de impacto no toman en cuenta como elemento principal la percepción de satisfacción los beneficiarios en la valoración de los resultados del programa o política.

El modelo cualitativo participativo

En general, la evaluación cualitativa participativa de impacto es un método basado en los procesos, instancias e impacto en los beneficiarios y otros actores de un proyecto (Zapata, 1999); es decir, más que evaluar la bondad de un proyecto con base en el seguimiento de objetivos, recursos ejecutados, fondos de financiación o entidad ejecutora, le interesa conocer lo que quedó del proyecto, a partir de la perspectiva de las personas que se encuentran involucradas en una situación problema a resolver. Evaluar de acuerdo con estos criterios básicos, implica asumir una perspectiva teórica en la cual la población beneficiaria ya no es un objeto de intervención o ente pasivo, sino que se constituye como actor o grupo de interés que interactúa con determinados equipos o instituciones que intervienen en los problemas que les afecta.

La evaluación cualitativa participativa parte de la identificación de los objetivos del proyecto, para luego estimar el cumplimiento de las metas a partir de la interacción directa con la comunidad beneficiaria, de tal manera que se pueda indagar sobre el impacto de un proyecto; esto incluye, por supuesto, la identificación de resultados no esperados que puedan afectar a la comunidad o a otros. En términos generales, en este modelo, el impacto se mide a través de la satisfacción de los beneficiarios y de la coincidencia y pertinencia social entre las carencias o necesidades básicas identificadas por el proyecto y las comunidades beneficiarias.

Así, las partes interesadas intervienen en todas las etapas de evaluación, determinando los objetivos, identificando los indicadores y participando en la recopilación y resultados de los datos. No obstante, la evaluación participativa no se aparta de la evaluación de impacto, toda vez que se utiliza como una metodología cualitativa que permite complementar el análisis cuantitativo; de esta forma, la evaluación participativa puede dar pistas sobre las preguntas clave de la evaluación de impacto, permite conocer la estratificación de la muestra cuantitativa y analizar el marco social, económico, cultural y político en el que se desarrolla el programa.

En la evaluación participativa se supone que los evaluadores deben ser sensibles a las preocupaciones de los participantes y tener un contacto con los afectados e involucrados en el programa; para ello, se utiliza una serie de metodologías que permiten ese contacto entre el evaluador y los participantes, que van desde la observación directa hasta la interacción con los participantes por medio de entrevistas.

Entre los métodos más destacados se encuentran (Moser, 2004): a) la evaluación del beneficiario, que se diseña a partir de una guía de entrevista la cual permite la recopilación de la información a través del diálogo entre beneficiarios y evaluadores, y luego los evaluadores analizan la información recopilada; b) evaluación rural rápida (ERR) y valoración rural participativa (VRP), que pone un mayor énfasis en la participación de la comunidad y cuyo objetivo es lograr que la información pueda ser apropiada por los evaluadores para que estos se acerquen a las realidades de los participantes, de manera rápida y con eficiencia de costos, y mediante el uso de técnicas verbales y visuales; c) El aprendizaje y la acción de participación, que usa varias metodologías las cuales permiten la plena participación de los implicados en el aprendizaje de sus necesidades, oportunidades y las acciones a emprender; d) la Sarar, una metodología que utiliza la autoestima, la fortaleza asociativa, la recursividad, la planeación de acciones y la responsabilidad, con el objetivo de construir capacidad local para planificar el desarrollo de la comunidad y crear conciencia sobre temas que la afectan; esta metodología utiliza variados instrumentos participativos preparados por los evaluadores, como lo es la ayuda visual.

Algunas características del método cualitativo participativo son:

• Legitima la percepción de los actores principales de los problemas sociales que deben ser abordados por los proyectos, dado que permite que aflore la vivencia y el conocimiento de estos actores.
• Permite profundizar en el conocimiento sobre los problemas sociales, porque el rol del evaluador cambia, en el sentido que este comparte las vivencias y el conocimiento de los actores sociales. Se requiere que el evaluador tenga un contacto directo con la población beneficiaria.
• La evaluación cualitativa de impacto permite que los datos emerjan y, en este sentido, que los resultados de la evaluación sean creíbles.
• La recolección de la información para hacer efectiva la evaluación exige procesos participativos e inductivos, lo que garantiza un mayor acercamiento a la realidad.
• En este tipo de evaluación el entrevistador puede generar una mayor confianza y, por tanto, las respuestas de la comunidad estarán más ajustadas a la realidad. ]]> • Es posible que a través de este tipo de evaluación se pueda obtener información en distintos niveles y que surjan aspectos relacionados con el género, las relaciones y diferencias entre los grupos, etc.
• La evaluación participativa, característica de este método, puede generar mayor capacidad de apropiación y gestión de los programas por parte de la comunidad.
• Desde el punto de vista ético, este método es mucho más consistente, en el sentido de que permite el acceso o participación de los grupos beneficiados a los resultados de los programas ejecutados.
• Es probable que la evaluación no se limite a comprobar la consecución de los objetivos del programa, sino que, de una manera amplia, sea posible identificar otras variables relacionadas con el programa.
• Es muy frecuente el uso de la evaluación cualitativa de impacto para complementar, perfeccionar, modificar o interpretar conclusiones derivadas del análisis de otras metodologías.

2. Evaluación de políticas y programas sociales en Colombia

Como se mencionó arriba, en la primera parte se presentó un análisis teórico conceptual que pretende resaltar y comparar los puntos de partida de cada modelo, los métodos que se utilizan en la recolección de la información, las ventajas y desventajas de cada uno. En esta segunda parte se presentan tres ejemplos ilustrativos de la aplicación los métodos arriba descritos, en la evaluación de algunos programas sociales en Colombia. Así, se usa el modelo de evaluación de consecución de objetivos en el caso del programa “Bogotá sin hambre”, de la Alcaldía Mayor de Bogota (2004-2006); para ejemplificar el modelo de evaluación de impacto cuantitativo, se presenta el programa “Familias en Acción”, de Acción Social del Gobierno Nacional (2002-2004); y para mostrar el modelo cualitativo participativo, se tiene en cuenta el programa de vivienda de interés social de la Red de Solidaridad Social (2000).

2.1. Evaluación de consecución de objetivos del programa “Bogota sin hambre” (2004-2006)

En este apartado se presenta el programa “Bogotá Sin Hambre” (BSH), de la actual administración distrital, y la evaluación que de este se desarrolló por parte de Jairo Núñez y Laura Cuesta, quienes para el momento de su realización hacían parte del Centro de Estudios de Desarrollo Económico (CEDE) de la Universidad de los Andes. La evaluación a la que se hace referencia fue contratada por la Personería de Bogotá y abarca el periodo de 2004 a 2006; fue realizada durante la ejecución del citado programa de la Alcaldía de Bogotá (Nina, 2007).

a. Objetivo del programa ]]> El programa BSH es una iniciativa consignada en el Plan de Desarrollo 2004-2008 “Bogotá Sin Indiferencia”, de la alcaldía de Luis Eduardo Garzón, que busca articular las estrategias de seguridad alimentaria y nutricional, y de abastecimiento de alimentos para Bogotá. Se enfoca en la atención a la población más pobre y vulnerable de la ciudad, con el fin de que esta pueda acceder a la cantidad de alimentos necesaria para asegurar una ingesta nutricional adecuada. Se diseñó como un programa que sería ejecutado por distintas entidades del distrito, pero que sería coordinado por una oficina creada especialmente para este fin. Entre las entidades que participan en la ejecución de BHS se encuentran El Instituto Distrital para la Niñez y la Juventud (Idipron), La Secretaria de Educación del Distrito (SED), La Secretaria Distrital de Salud (SDS), El Departamento Administrativo de Bienestar Social (DABS), que se encargan de la puesta en marcha de los proyectos del eje social.

Gran parte del accionar de BSH se materializa a través de los comedores comunitarios, los cuales son operados por el DABS (orientados a la generalidad de población objetivo), por el Idipron (orientado hacia los niños y jóvenes pobres o en riesgo) y la SED (comedores escolares). No obstante, BSH no solo busca garantizar el acceso a los alimentos, sino también crear estilos de vida saludables con respecto a la nutrición. La SDS es la encargada de los proyectos relacionados con lo anterior, enfocándose en la importancia de la lactancia.

Por otro lado, como se mencionó anteriormente, BSH también abarcó el tema del abastecimiento de alimentos para la ciudad, punto neurálgico de esta iniciativa, ya que de este depende que BSH pueda cumplir sus metas en cuanto a seguridad alimentaria y nutricional. La Unidad Especial de Servicios Públicos (UESP) fue la entidad encargada de ejecutar los proyectos de esta área: la creación del Banco de Alimentos y la puesta en marcha de la Red de Nutritiendas.

b. Resultados de la evaluación al Programa “Bogotá sin hambre” 2004-2006
La Personería de Bogotá contrató una evaluación de la evolución de BSH con el CEDE, la cual fue liderada por Jairo Núñez y Laura Cuesta, investigadores de la Universidad de los Andes. Esta evaluación se estructuró en cuatro segmentos: el primero, el cual hace referencia a la descripción del programa; el segundo, una evaluación orientada al cliente, a través de una encuesta de percepción; el tercero, una evaluación por consecución de objetivos, y el cuarto, recomendaciones para el desarrollo de esta política. Hay que recordar que esta evaluación fue aplicada durante la ejecución de BSH, en 2005.

Evaluación orientada al beneficiario
Esta evaluación tuvo como herramienta fundamental una encuesta de percepción a los beneficiarios del programa, la cual, en términos generales, estaba orientada a obtener información acerca de la participación en los proyectos, los procesos de inscripción, priorización y selección de los beneficiarios, calidad y cantidad de los alimentos ofrecidos por BSH, infraestructura de los comedores, así como solicitudes, quejas y reclamos.

La encuesta fue realizada a 3.924 personas, que corresponden al 7% del total de beneficiarios (54.238), todas mayores de edad, con el fin de obtener resultados objetivos. El ejercicio se llevó a cabo en la última semana de mayo de 2006, y fue ejecutado por 75 funcionarios de la Personería, los cuales visitaron 169 comedores y mantuvieron una conversación de 15 minutos con cada persona.

A grandes rasgos, los resultados positivos de las encuestas indican que la mayoría de la gente se enteró de los beneficios del programa por un amigo, que los comedores se encuentran bien ubicados; asimismo, fue un porcentaje mínimo el que manifestó mal trato y demora en los comedores; la mayoría de los beneficiarios consideró que los alimentos son de buena calidad y la cantidad es suficiente, y que BSH ha favorecido la economía familiar de la población participante. Es pertinente aclarar que la evaluación orienta al cliente sólo evaluó el eje social de BSH, ignorando la ejecución de los proyectos del eje urbano regional.

Evaluación de consecución de objetivos ]]> Esta evaluación se realizó a través de la valoración del logro de los objetivos establecidos para este programa. Según el Plan de Desarrollo 2004-2008, los objetivos de BSH son:

1. Alcanzar una cobertura de 625.000 personas con apoyo alimentario y nutricional diario, con preferencia por los niños, adultos mayores y personas con discapacidad.
2. Disminuir en 30% el índice de desnutrición de los beneficiarios del programa.
3. Orientar, formar y capacitar en nutrición y hábitos de vida saludable a 125.000 personas.
4. Promover una red de bancos de alimentos, a partir de la alianza con el Banco Arquidiocesano.

Estos objetivos fueron medidos a través de una serie de indicadores también especificados en el Plan de Desarrollo. Estos indicadores reflejan el progreso alcanzado en el cumplimiento de las metas de BSH. Teóricamente, estas mediciones deberían hacerse semestralmente, pero según los autores la disponibilidad de información acerca de estas es baja.

Las conclusiones a las que llegó esta evaluación afirman que para el objetivo número 1, en 2005 se estaba cerca de la meta propuesta, se atendían 528.162 usuarios. Para el objetivo número 2, en el año en que se realizó la evaluación aún no existía un ejercicio de este tipo que estableciera el impacto nutricional de BSH. Para el objetivo número 3, al 2006 no existían datos que dieran cuenta del logro de esta meta. Para el objetivo número 4, hasta el año de la evaluación no se había cumplido la meta. Los evaluadores afirman que este ha sido una de las debilidades de BSH.

Finalmente, Núñez y Cuesta sugieren unos indicadores extra para medir la evolución del programa. Entre estos se destacan unos propios de la evaluación económica de políticas públicas, que dan cuenta de la rentabilidad de la inversión en BSH. Finalmente, recomiendan la aplicación de una evaluación de impacto cuantitativa.

2.2. Evaluación de impacto al Programa Nacional de Lucha contra la Pobreza: “Familias en Acción”

El programa “Familias en Acción” es un programa nacional que surge luego de la crisis social como efecto de la recesión económica de 1999. Este programa fue apoyado por el Banco Mundial, el Banco Interamericano de Desarrollo (BID) y el Departamento Nacional de Planeación. Estas mismas entidades contrataron a la firma privada Unión Temporal Econometría - Instituto de Estudios Fiscales de Londres para la Evaluación Externa de los Impactos (Preliminares) del Programa Familias en Acción (DNP, 2004).

En particular, las madres deben llevar sus hijos a los controles de crecimiento y desarrollo, que incluyen vacunación, y participar en algunos eventos sencillos de capacitación sobre prevención de salud. Los subsidios para educación están condicionados a que las madres garanticen una mínima asistencia de sus hijos a los planteles educativos. El programa se encontraba focalizado en su primera etapa, hasta 2002, en 622 municipios de 26 departamentos, donde se tenía a 362.403 familias beneficiarias.

Es de mencionar que el subsidio de nutrición, para familias beneficiarias con niños entre cero y 6 años, es una alternativa a los Hogares Comunitarios del Instituto Colombiano de Bienestar Familiar, dado que los niños no pueden participar en los dos programas simultáneamente.

b. Resultados de la evaluación de impacto

Método cuasi-experimental
Según el documento del Departamento Nacional de Planeación (DNP), la metodología empleada fue el método cuasiexperimental y se basa en la comparación de los resultados con muestras de “tratamiento” (beneficiarios) y “control” (no beneficiarios) de la línea de base, en seguimientos realizados uno y dos años después de iniciado. La muestra abarcó cerca de 10.000 hogares en 122 municipios. La línea de base caracteriza la población beneficiaria según demografía, educación, ingresos y fuerza laboral, pobreza, nutrición, salud y condiciones de la mujer. Puesto que la muestra incluyó tanto municipios de tratamiento con pago (TCP) como sin pago (TSP), ello permitió una evaluación preliminar de impacto al comparar los dos grupos.

Los municipios fueron agrupados de acuerdo con la cantidad de familias elegibles existentes, para constituir las Unidades Primarias de Muestreo (UPM). Del universo de UPM tratamiento, se seleccionaron 50 UPM con un diseño muestral estratificado aleatorio. A dichas UPM tratamiento seleccionadas, se parearon 50 de control que no estaban incluidas en el programa, pero que eran razonablemente similares a las de tratamiento.

El pareamiento o emparejamiento fue realizado dentro de los estratos, definidos previamente sobre la base de variables geográficas, socioeconómicas y de infraestructura, de tal manera que cada UPM de control fuera similar a la UPM tratamiento seleccionada en el estrato. La mayoría de las UPM de control son poblaciones con establecimientos de educación básica primaria y secundaria, y con infraestructura de salud, pero sin un establecimiento bancario.

En cada una de las 100 UPM de tratamiento y control muestradas, se seleccionó una muestra de familias elegibles, por el método aleatorio estratificado. La metodología cuasiexperimental contempla la comparación de los resultados de interés en la totalidad de las muestras tratamiento y control. Dado que la asignación de las UPM tratamiento y control no fue aleatoria, las muestras respectivas tienen inevitables diferencias. Para afrontar este problema se utilizó una metodología de pareamiento por probabilidad de similitud (PPS) (Propensity Score Matching) para la comparación de los hogares con familias tratamiento y control.

Impactos del programa

En nutrición. El promedio de meses que dura la lactancia en los niños de los municipios TCP es sensiblemente superior a la de los TSP, (8,7 vs. 76), dado que en los primeros las madres han acudido en mayor proporción a seminarios donde se tratan temas de nutrición del niño y cuidados prenatales. En los TCP, el número de días de consumo de huevos, carne y verduras a la semana es significativamente mayor que en los TSP (0,7; 0,9 y 1,3 días, respectivamente). Asimismo, se observó que el Programa Familias en Acción ha influenciado positivamente el peso de los niños en la zona rural (indicador de peso/mediana de peso para la edad de 91, 93 en TCP vs. en 89,48 en TSP).

De igual manera, hay indicadores de desnutrición aguda y global claramente inferiores en los municipios TCP (1,2% y 8,7%) vs. TSP (1,9% y 12,2%). La población del Programa Familias en Acción presenta una diferencia importante en cuanto a desnutrición crónica frente a la media colombiana (22,9% vs. 13,5%, según la encuesta de Profamilia de 2000).

En el área de salud. El 14,3% de los niños de 0 a 6 años estudiados en los municipios tratamiento presentaron enfermedad diarreica aguda (EDA) en 15 días previos a la encuesta. Esta tasa es considerablemente menor (12,3%) en los municipios TCP, en especial en zona urbana (12,5% vs. 19,4% en TSP). En consecuencia, el Programa de Familias en Acción ha reducido en forma significativa (-10,2%) la probabilidad de sufrir de diarrea en esta zona, donde también ha tenido impactos notorios en la asistencia a charlas sobre diarrea. La infección respiratoria aguda (IRA) presentó una prevalencia tres veces más alta (42,1% de los niños), consistente con lo observado en las grandes encuestas nacionales de salud de 1965, 1980 y 1987. Diferencias claras entre TCP y TSP se observaron solamente en las zonas urbanas (39,4% vs. 47,8%), lo que sugiere un efecto precoz de la intervención del Programa en este frente.

Evaluación cualitativa al Programa de Vivienda de Interés Social (VIS) de la Red de Solidaridad Social
Esta evaluación fue realizada por la Red de Universidades (Reunirse), lideradas por el Centro Interdisciplinario de Estudios Regionales (Cider) de la Universidad de los Andes. La evaluación interinstitucional, específicamente, fue desarrollada por el investigador Raúl Ernesto Cárdenas y su equipo. Se trata de un evaluación cualitativa; esto significa que está orientada al cliente, lo que se quiere medir es la satisfacción del cliente y la capacidad de responder a los gustos, objetivos y expectativas, preocupaciones y necesidades de los beneficiarios; es descriptiva y se realiza expost y las actividades que comúnmente se llevan a cabo tienen que ver con un análisis a la oferta de los servicios ofrecidos (Vedung, 1997), en este caso en particular para la evaluación se tomo como clientes al grupo de entidades y a los mismos

Evaluación cualitativa participativa
Para el caso de la evaluación interinstitucional del modelo de gestión de los programas de vivienda de la Red de Solidaridad Social, se toma una serie de procedimientos, básicamente desarrollados en talleres en los cuales se indagó sobre la percepción que tienen los representantes de las instituciones del programa, tanto nacional como regionalmente, el cual cumple tres años y medio de desarrollo y que además pretendía considerar elementos innovadores en la política social de este subsector. Estos talleres fueron realizados en la ciudad de Bogotá y en el departamento de Santander.

Este modelo presenta los siguientes componentes:

Metodología del taller participativo
Se trabajó por sesiones en los siguientes temas: modelo de gestión, beneficiarios y entidades; estos, a su vez, contaron con subcomponentes.

Los resultados de estas indagaciones sobre la percepción de este programa se desarrollaron por cada eje temático. En el modelo de gestión se evaluó que a pesar de contener elementos innovadores en la participación, esta se cuestiono, valorándose su calidad, la definición de las competencias y el desempeño que cuestiona su validez. Asimismo, se estableció que se hace “necesario en la definición de objetivos y responsabilidades, dimensionar la realidad de los actores e instancias de acuerdo con sus capacidades” (Cárdenas, 1999).

En cuanto a la modificación de los ciclos, la evaluación plantea que se deben establecer unos techos presupuestales a nivel nacional, empezando por determinar las necesidades de las comunidades locales y su capacidad para ejecutar los recursos. En los mecanismos de participación, el Instituto Nacional de Vivienda de Interés Social y Reforma Urbana (Inurbe) opinó que la “capacidad de los actores en las instancias donde finalmente se toman las decisiones no son para nada compatibles con las decisiones de los comités técnicos y esto obstruye una buena focalización” (Cárdenas, 1999).

Para las entidades territoriales, las temáticas abordadas recogen el papel del alcalde como gerente y actor determinante en la gestión del proyecto y en la oferta institucional de gestión del municipio; es decir, que las instituciones actúen de forma mancomunada; la desarticulación desde el orden nacional frente a las gobernaciones y municipios, sobre todo en el tema de los desembolsos y la ejecución de los proyectos, el papel de los comités técnicos sectoriales en la localidad, la gerencia y los planes de desarrollo territorial, el poder local y el clientelismo, el papel de los Fondos de Vivienda de Interés Social (Fovis), entre otros.

Este procedimiento podría resumir los pasos de la evaluación:

• Trabajo sesiones.
• Cada participante recibió una propuesta con la hipótesis valorativa alrededor de losítems que tienen que ver con cada tema.
• Reflexión individual y crítica.
• Espacio de discusión por parejas, con un tiempo de 40 minutos.
• Plenaria.
• Conclusiones generales sobre la evolución interinstitucional.
• Relatoría del taller como insumo para entrega del informe. ]]> • Entrega de informe final.

Para finalizar, se presentará una breve comparación entre la evaluación de tipo cuantitativa y una cualitativa participativa.

Las diferencias para ambos casos son muy marcadas, ya que en el modelo cuantitativo, por ejemplo, el aplicado en el programa “Familias en Acción”, se recoge información casi netamente estadística, es decir, de manera agregada, generando así una serie de datos “operables aritméticamente, asépticos, externos al investigador y a los investigados, los cuales surgen de una realidad fáctica” (Alonso, 1998, p. 38).

Para el caso de la evaluación del Programa de Vivienda de la Red de Solidaridad Social se trata de indagar sobre una realidad simbólica estructurada por significaciones y símbolos determinados en una discursividad, desde la perspectiva de lo que Habermas denominaría el “mundo de la vida”, en donde se dan las relaciones cara a cara, dentro de una interacción discursiva y sobre una acción comunicativa, en un escenario lingüístico y semiológico (Nina, 2007).

En el primer caso, los datos implican una realidad manifiesta en donde los resultados son exteriores a las conciencias individuales, determinándolos como “objetivos”, situación contraria al segundo caso, en donde opera más una percepción subjetiva, pero que corresponde más al sentido mentado de los actores que externamente evalúan un producto, bajo la recreación discursiva con otros actores, tal como se realiza en los talleres temáticos (Nina, 2007).

En términos operativos, la evaluación cuantitativa realizada en el programa “Familias en Acción” tiene una mayor cobertura en la indagación frente a los grupos temáticos de viviendas de la Red, esto determinado por los estilos metodológicos. En términos de los impactos, se podría decir que en el programa de Familias se obtienen resultados de cobertura y asistencia, mientras que en Viviendas el resultado es más sobre las externalidades que se generaron con el proyecto. Este último caso permite correctivos más estructurales que en Familias, ya que dirigiría la mirada evaluativa hacia opciones relacionadas con el desarrollo y progreso social, y en beneficios en calidad de vida, entendida, como lo expresaría Sen, como una expansión de las libertades individuales, mediante la generación de una serie de logros y capacidades (Sen, 2000).

Ha sido tal la influencia del positivismo en los procesos evaluativos que en el campo de las ciencias sociales se han venido utilizando modelos que se han trasladado de proyectos de ciencias exactas, lo que ha generado una serie de resistencias de los científicos sociales, así como dificultades, puesto que esos modelos, a veces impuestos por las agencias de financiación o cooperación internacional, son poco adaptables en los escenarios sociales donde los proyectos tienen lugar (Nirenberg, Brawerman y Ruiz, 2000).

Como recomendación, se sugiere complementar ambas metodologías en la medida en que se tengan los recursos financieros y la logística para hacerlo. Por ejemplo, la evaluación del programa “Familias en Acción” puede complementarse con la realización de grupos focales de mujeres cabeza de familias, niños, padres o los mismos alcaldes, que ilustren su aprendizaje y empoderamiento gracias al programa; los cambios en las relaciones intrafamiliares; la reactivación de las economías locales; los efectos en las relaciones entre las comunidades; la movilidad de las familias de las veredas hacia los cascos urbanos; el papel de los no beneficiarios; efectos no esperados; frustraciones de las familias; aumento de las capacidades de los individuos, en su hacer y su ser, y otros asuntos que pueden relacionarse con las variables cuantitativas de la línea de base y de la evaluación de impacto.

3. Conclusiones

La escogencia de uno u otro modelo de evaluación depende, en últimas, de los criterios con que se quiera hacer la valoración de un programa. Decir que un modelo es mejor o peor que otro, en abstracto, no tiene sentido. Siempre se tiene que pensar en los modelos aplicados a una realidad concreta y a un programa específico. Cada modelo simplemente provee ciertos insumos que pueden servir o no en un determinado contexto. Así, la evaluación de consecución de objetivos puede ser adecuada si se pretende dar cuenta de si los objetivos están bien orientados o si deben ser ajustados para una próxima implementación.

La sociedad colombiana es compleja y diversa, por ello requiere un conjunto de metodologías de evaluación que se complementen a sí mismas, considerando la escasez de recursos para estos procedimientos. Una recomendación, entonces, gira en torno a considerar la realización de evaluaciones que busquen valorar y rescatar la expansión de las capacidades humanas de los beneficiarios mucho más allá de que la valoración de la cobertura de programa, que es factor importante; asimismo, que se busque una combinación de metodologías que permita la ampliación de los marcos interpretativos de la evaluación de los impactos de las políticas y programas sociales; por ejemplo, desde una perspectiva incluyente de la percepción de los beneficiarios considerados sujetos de la política pública.

Notas

1 El sesgo de selección implica que existen elementos no observables (capacidad individual, disposición al trabajo, vínculos familiares, condiciones preexistentes, entre otras) que afectan la muestra y sesgar los resultados. Tomado de Baker (2000, p. 12).

Referencias bibliográficas

1. ALONSO, L. (1998). La mirada cualitativa en Sociología. Madrid: Fundamentos.        [ Links ]

2. BAKER, J. (2000). Evaluating the Impact of Development Projects on Poverty. A Handbook for Practitionary. Washington: The World Bank.        [ Links ]

3. BAMBERGER, M. y HEWIT, E. (1986). Monitoring and Evaluating Urban Development Programs. World Bank Technical Paper Number 53. Washington: The World Bank.        [ Links ]

4. BANCO MUNDIAL (2004) Seguimiento y evaluación: instrumentos, métodos y enfoques. Washington: Banco Mundial.        [ Links ]

5. CÁRDENAS, R. (1999). La evaluación interinstitucional del modelo de gestión de los programas de vivienda de la Red. En Reunirse, Pobreza y vivienda de interés social en Colombia. Bogotá: Universidad de los Andes.        [ Links ]

6. COHEN, E. y FRANCO, R. (1992). Evaluación de proyectos sociales. México: Siglo XXI.        [ Links ]

7. MOSER, C. (2005). ¿Pueden los pobres influenciar las políticas? Bogotá: Alfaomega.        [ Links ]

8. NINA, E; GARCÍA, A.; BAUTISTA, J.; CÒRDOBA, C. y BOTELLO , D. (2006). Evaluación de impacto. Notas de clase del curso Evaluación de políticas y programas sociales, Maestría y Especialización en Política Social, Bogotá, Pontificia Universidad Javeriana. (mimeo).        [ Links ]

9. NIRENBERG J; BRAWERMAN, J y RUIZ, V. (2000). Evaluar para la transformación. Innovación en la evaluación de programas y proyectos sociales. Argentina: Paidós.        [ Links ]

10. NÚÑEZ, J. (2006). Evaluación Bogotá Sin Hambre. Bogotá: CEDE - Universidad de los Andes.        [ Links ]

11. RACZYNSKI, D. y SERANO, C. (2002). La función de evaluación de políticas sociales en Chile. Asesoría para el Desarrollo (mimeo).        [ Links ]

12. SARMIENTO, A. et al. (2005). Evaluación de la gestión de los colegios en concesión en Bogotá 2000-2003. Archivos de Economía, DNP. Documento 291 (medio magnético).        [ Links ]

13. SEN, A. (2000). Desarrollo y libertad. Planeta.        [ Links ]

14. VALADEZ, J. y BAMBERGER, M. (1994). Monitoring and Evaluating Social Programs in Developing Countries. Economic Development Institute of The World Bank. Washington: World Bank.        [ Links ]

15. VEDUNG, E. (1997). Evaluación de políticas públicas y programas. Madrid: IHP.        [ Links ]

16. WIESNER, E. (1999). Función de evaluación de planes, programas, estrategias y proyectos. Serie Gestión Pública Nº 4, ILPES.        [ Links ]

17. ZAPATA, J. G. (1999). Evaluación de impacto del Programa de Mejoramiento de Vivienda Urbana de la Red de Solidaridad Social 1994-1997. En Reunirse, Pobreza y vivienda de Interés Social en Colombia.        [ Links ] ]]> 1 1998 2 2000 3 1986 4 BANCO MUNDIAL 2004 5 Reunirse 1999 6 1992 7 2005 8 2006 9 2000 10 2006 11 2002 12 2005 13 2000 14 1994 15 1997 16 1999 17 Reunirse 1999