Percepciones sobre la evaluación de algunos profesionales y usuarios de los programas nutricionales en Medellín, Colombia

Perceptions about the evaluation of some professionals and users of nutritional programs in Medellin, Colombia

Juan Diego Goez-Rueda¹, Luz Stella Álvarez-Castaño²

¹ Nutricionista Dietista, Mg. Ciencias de la Alimentación y la Nutrición Humana. Docente de cátedra Escuela de Nutrición y Dietética Universidad de Antioquia. Medellín, Colombia. e-mail: diegogoez@gmail.com
² Nutricionista Dietista, PhD. Salud Pública. Docente de la Escuela de Nutrición y Dietética Universidad de Antioquia. Medellín, Colombia. e-mail: luz.alvarez@udea.edu.co

Fecha de recepción: Diciembre 19 - 2014 / Fecha de aceptación: Septiembre 18 - 2015

Goez-Rueda JD, Álvarez-Castaño LS. Percepciones sobre la evaluación de algunos profesionales y usuarios de los programas nutricionales en Medellín, Colombia. Rev Univ. salud. 2015;17(2):233-245.

Resumen

Introducción: Con el surgimiento de los programas sociales se creó también la necesidad de evaluar los recursos invertidos en ellos. Los métodos más utilizados para evaluar los programas y las políticas son los cuantitativos, sin embargo en los últimos años hemos visto el surgimiento de evaluaciones que combinan métodos, generando la necesidad de revalorizar a los actores. Objetivo: Conocer algunas de las percepciones sobre la evaluación que asumen los actores involucradas en los programas sociales. Materiales y métodos: Estudio cualitativo basado en entrevistas semiestructuradas y grupo focal. Siete participantes de los programas, cuatro líderes comunitarios y trece profesionales de la nutrición y dietética fueron entrevistados en Medellín. En el grupo focal participaron profesionales de una corporación operadora de los programas sociales. Resultados: A partir de la información analizada en las entrevistas se identificaron las siguientes categorías relacionadas con la evaluación de programas sociales: la concepción sobre la evaluación, el objeto de la evaluación, los sujetos y actores de la evaluación y algunas estrategias de evaluación. Conclusiones: En general los actores no identifican la importancia de los procesos de evaluación de programas sociales, además tienen una visión asistencialista de dichas intervenciones, contraria a un enfoque universal y de derechos humanos.

Palabras clave: Programas nutricionales, percepción, evaluación. (Fuente: DeCS, Bireme).

Abstract

Introduction: With the emergence of social programs, there was also a need to evaluate the resources invested in them. The most widely used methods for evaluating programs and policies are the quantitative, but in recent years the emergence of evaluations that combine methods was seen, which generates the need to revalue the actors. Objective: To know some of perceptions of assessment the actors involved in social programs assume. Materials and methods: A qualitative study based on semi-structured interviews and focal group was made. Seven participants of the programs, 4 community leaders and 13 nutrition and dietetics professionals were interviewed in Medellin. Professionals in a corporation which operates with the social programs participated in the focal group. Results: The following categories related to the evaluation of social programs was identified from the analyzed information in the interviews: the conception of evaluation, the object of the evaluation, subjects and actors in the evaluation and assessment strategies. Conclusions: In general, the actors do not identify the importance of the process of evaluation of social programs. Besides, they have a welfare vision of such interventions, contrary to a universal approach and human rights.

Keywords: Nutritional programs, perception, evaluation. (Source: DeCS, Bireme).

Introducción

Las políticas sociales constituyen un subconjunto de las políticas públicas y estas a su vez relacionan las acciones que determinan el patrón de protección social implementado por el Estado; por medio de la distribución de beneficios sociales busca reducir las desigualdades estructurales producto del desarrollo económico.₁

En Colombia los programas nutricionales tuvieron su punto de partida en la década de 1940. En este periodo el Estado asumió esta responsabilidad por medio de la iglesia católica que tenía la infraestructura y el recurso humano requerido. Posteriormente, sobre la década del 50 se desarrollaron estrategias para atender enfermedades carenciales entre las cuales se destacó la yodación de la sal para atacar el bocio._2,3 Ya en 1960 se implementó la Alianza para el Progreso agenciada por Estados Unidos que buscaba "promover el desarrollo social y económico de América Latina", pero con un objetivo subyacente que era vender excedentes de productos agrícolas producidos en el norte.₂

A finales de la década de los 70 las ayudas disminuyeron por la crisis del petróleo y el aumento en los costos de producción de alimentos. Para afrontar esta situación, en Colombia se creó en 1974 el Consejo Nacional de Alimentación y Nutrición con el objetivo de desarrollar una política nacional que hiciera posible la disminución de los problemas alimentarios.₄ En la década de 1980 Colombia creó múltiples programas enfocados mayoritariamente a la población materno-infantil en el cuidado y la alimentación, durante este periodo se consolidó también el Instituto Colombiano de Bienestar Familiar._3,4

Al final de la década de los 80 con la firma del Consenso de Washington se realizaron importantes reformas económicas de corte neoliberal, esto trajo como consecuencia que los programas se enfocaran en los más pobres de los pobres.₄ Esta tendencia fue reforzada a principios del año 2000, cuando bajo el direccionamiento del Banco Mundial se diseñó el enfoque de Manejo Social del Riesgo (MSR), el cual sostiene que el papel más importante de la política pública es impedir que la política macroeconómica aumente los riesgos en los más pobres.₅ Esta mirada de los programas sociales hace que se busque reducir la pobreza de manera transitoria, con un papel muy marginal del Estado. Actualmente el MSR es el enfoque que guía la mayoría de programas sociales en el país, entre los que se destacan el programa de transferencias condicionadas "Familias en Acción".₆ Igualmente se siguen desarrollando en el país algunos programas creados en décadas anteriores, como los Hogares FAMI y Comunitarios del Instituto Colombiano de Bienestar Familiar y los Restaurantes Escolares.

Con el surgimiento de los programas sociales se creó también la necesidad de evaluar la utilidad de los recursos invertidos en ellos. El campo de la evaluación de políticas y programas sociales no es nuevo. Autores como Guba y Lincoln₇ realizaron un recorrido histórico reconstruyendo el proceso evaluativo y propusieron las "cuatro generaciones de la evaluación" desde los años de 1930 y centrados en los Estados Unidos.

La evaluación de primera generación ha sido llamada como "orientada a la medición". La de segunda generación, predominante desde la segunda guerra mundial hasta mediados de la década de 1960, denominada como "orientada a los objetivos". La evaluación de tercera generación, prevalente entre mediados de los años de 1960 a mediados de la década siguiente, "orientada al juicio". Finalmente, plantean la evaluación de cuarta generación, "orientada a la negociación", la cual se fundamenta en el paradigma constructivista, que en términos concretos implica la inclusión de las perspectivas de los diversos actores implicados en la institución o servicio que está siendo evaluado; una aproximación desde el evaluador, subjetivista y transaccional para examinar el fenómeno en cuestión; y la inclusión de metodologías hermenéuticas y dialécticas en el proceso evaluativo.₈

En el transcurso de esta historia se encuentra que un periodo determinante para el desarrollo e impulso de la evaluación fue durante la revolución industrial que a su vez, catalizó el proceso de urbanización y democratización de la mayoría de las sociedades occidentales en el siglo XX. En ese periodo ganó relevancia la evaluación de la estructura, la dinámica y financiamiento de la acción de los gobiernos. Posteriormente, surgieron una multiplicidad de abordajes y metodologías orientadas a la producción de conocimiento sobre el impacto de las políticas públicas.₉

Durante el proceso de desarrollo de la evaluación, los métodos que más se han utilizado para evaluar los programas y las políticas sociales son los de corte cuantitativo, aunque en los últimos años hemos visto propuestas de evaluación que combinan métodos cuantitativos y cualitativos, como la evaluación por triangulación de métodos o la evaluación basada en un abordaje multidimensional de estructura, proceso y resultado._10,11

Los modelos de evaluación en los que se complementa información cuantitativa y cualitativa se clasifican dentro del enfoque constructivista el cual está fuertemente influenciado por la tradición fenomenológica y ha traído una mayor valorización del contexto y de los aspectos subjetivos ligados a las percepciones y las representaciones de los actores sociales involucrados en la dinámica de las políticas y programas sociales. Los constructivistas utilizan enfoques dialécticos y hermenéuticos, centrando su interés en el estudio de las singularidades y especificidades de las iniciativas e intervenciones. A diferencia de la lógica experimental que se basa en muestras representativas e inferencias estadísticas.₉

Partiendo de la importancia de revalorizar a los actores de los programas y políticas sociales, este trabajo tuvo como objetivo conocer algunas de las percepciones sobre el proceso de evaluación que asumen las personas involucradas en la dinámica de los programas sociales. Se realizó con el fin de contrastar sus expresiones y deseos con la información encontrada en la literatura sobre el tema. Su objetivo ulterior, fue acopiar insumos para la construcción de un diseño metodológico de evaluación de programas sociales con componente alimentario y nutricional que integre la producción académica sobre el tema y las expectativas de los actores que a diario se enfrentan al desarrollo de los programas sociales.

Materiales y métodos

Este estudio tuvo como principales fuentes de información los actores clave en el desarrollo de los programas sociales que contemplan dentro de sus estrategias de intervención algún componente de alimentación, nutrición o seguridad alimentaria y que son implementados en la ciudad de Medellín y el departamento de Antioquia. Estos actores fueron: a) los participantes de los programas, b) los líderes comunitarios encargados de hacer los enlaces entre las instituciones y la comunidad, c) los profesionales de campo que laboran para el municipio o para las organizaciones operadoras de los programas, y d) los profesionales administrativos de las instituciones municipales y departamentales.

Los actores fueron contactados de manera individual por los investigadores. Para ello se utilizaron dos bases de datos facilitadas por la Secretaría de Bienestar Social de la Alcaldía de Medellín. La primera con información de los diferentes líderes comunitarios que hacen parte del programa y por medio de estos líderes se contactaron a los beneficiarios de los programas. La segunda base de datos contenía información de las corporaciones operadoras de los programas de primera infancia de la ciudad. Así, se contactó a una de las corporaciones con más centros de atención, 19 sedes en las que se atienden 1632 niños y niñas en promedio. Mensualmente esta corporación realiza reuniones en su sede central, situación que fue aprovechada por los investigadores para la realización del grupo focal. De la misma manera, estos espacios de reunión fueron aprovechados para socializar los hallazgos más importantes de la investigación.

Se realizaron en total 24 entrevistas semiestructuradas y un grupo focal. Las personas entrevistadas fueron: 7 participantes de los programas, 4 líderes comunitarios y 13 profesionales del área de la nutrición y la dietética (5 profesionales administrativos y 8 profesionales de campo). El grupo focal, como se mencionó anteriormente, se realizó con diferentes profesionales de una de las corporaciones operadoras de los programas sociales de primera infancia desarrollados por la Alcaldía de Medellín.

La recolección de información se realizó a partir de entrevistas semiestructuradas y grupo focal. Las entrevistas semiestructuradas individuales consisten en un conversatorio o intercambio verbal, que tiene como propósito conocer lo que otra persona piensa o siente frente a determinada situación o circunstancia; ésta requiere un diseño flexible por lo cual el investigador puede ir modificando las temáticas y preguntas durante la recolección de la información.₁₂

Los grupos focales consisten en una conversación en grupos pequeños sobre temas específicos y definidos, que busca a partir de la interacción entre los individuos, una construcción y expresión de opiniones. Es guiado por un moderador que promueve el debate y estimula la participación de todos.₁₃

El análisis del material transcrito derivado de las entrevistas semiestructuradas y del grupo focal fue orientado por la intención de comprender qué significado le otorgan las personas a la evaluación y su importancia o relevancia en el desarrollo de los programas sociales, también se indagaron algunas percepciones que tenían los entrevistados sobre los programas implementados y sus estrategias. Con el fin de evitar desvíos en los temas durante las entrevistas y el grupo focal, los investigadores guiaron el diálogo a partir de las preguntas semiestructuradas y fueron los actores quienes desarrollaron las ideas y los temas.

Este trabajo siguió el protocolo de ética en investigación con seres humanos y fue aprobado por el Comité de Bioética de la Sede de Investigación Universitaria (SIU) de la Universidad de Antioquia. La recolección de la información se realizó entre los meses de agosto y noviembre de 2013.

Análisis de la información
La información recolectada durante las entrevistas fue grabada y transcrita en su totalidad. Posteriormente, se codificó y analizó a partir de las categorías más relevantes identificadas. Se realizó una codificación abierta, la cual estimula el descubrimiento de categorías, sus propiedades y dimensiones. Las transcripciones se analizaron línea por línea y párrafo por párrafo para descubrir categorías que permitieron agrupar por temas la información recolectada. Luego se agruparon los códigos para establecer relaciones entre ellos y elaborar categorías más generales hasta que se logró la saturación del contenido. Posteriormente, se realizó la estructura del análisis y la interpretación de los resultados.₁₄ La codificación se realizó usando el programa ATLAS/ti 6.1.

La información encontrada a partir de las entrevistas se confrontó con los resultados de una revisión integrativa de la literatura sobre métodos de evaluación a programas nutricionales de gran escala en Latinoamérica, esto con el objetivo de lograr el establecimiento de relaciones de similitud o diferencia entre las categorías emergentes y la teoría encontrada en los artículos y documentos. Algunos de los temas producto de la revisión integrativa y que se utilizaron para intercalar los resultados de esta investigación fueron: a) las características de los programas evaluados, b) las metodologías y tipos de estudios utilizados en las evaluaciones, y c) las dimensiones de la evaluación según los componentes evaluados de los programas, como la estructura, los procesos, el impacto o los resultados.₁₅

La presentación de los resultados que sigue a continuación se hace entonces analizando las percepciones de los actores e intercalando con aspectos derivados de la revisión de la literatura.

Resultados

A partir de la información analizada en las entrevistas se identificaron las siguientes categorías relacionadas con la evaluación de programas sociales: la concepción sobre la evaluación, el objeto de la evaluación, los sujetos y los actores de la evaluación y algunas estrategias de evaluación.

Concepción de la evaluación
Cuando nos referimos a la concepción de evaluación, indagamos no por una definición explícita que tuvieran los entrevistados sobre el tema, sino por las percepciones sobre los procesos evaluativos desarrollados o no dentro de los programas.

Con lo referente a la noción de evaluación encontramos que los actores que más se atreven a dar una aproximación a este concepto son los profesionales de campo, los profesionales administrativos y los líderes comunitarios, sin embargo, se alcanza a observar una diferencia en los argumentos que exponen unos y otros. Los profesionales tienen una concepción más amplia e integral de la evaluación, fundamentan la necesidad de integrar a todos los actores de los programas sociales en el proceso de evaluación y de realizarla en diferentes fases de desarrollo de los mismos. No obstante, llama la atención que no se percibe en ellos la necesidad de evaluar ni la estructura ni los fundamentos de los programas y las políticas, esta situación puede ser explicada por el hecho de que tradicionalmente la formulación de las políticas y programas se hace desde el nivel gubernamental donde los profesionales que desarrollan los programas, los líderes comunitarios y los destinatarios finales no participan. Se destaca como rasgo característico peculiar que en los participantes destinatarios de los programas, no se identificó una postura clara frente al concepto de evaluación.

En la literatura revisada una de las concepciones básicas sobre este tema, es la que plantea que la evaluación consiste fundamentalmente en acercar un juicio de valor sobre una intervención₁₆ o como lo plantea Bañon:₁₇ "evaluar es formar un juicio acerca de una acción o de la concatenación de acciones para establecer si su concepción y desarrollo corresponden a los objetivos deseados". Así parece entenderlo uno de los profesionales entrevistados que labora en el programa MANA (Mejoramiento Alimentario y Nutricional de Antioquia), el cual de manera concreta, plantea que evaluar es calificar bien o mal una de las acciones del programa desde una perspectiva económica.

"hay que ponerle como cierta rigurosidad en aras de que tristemente pues en nuestro medio todo se mide en términos económicos, entonces no es suficiente evaluar si está bien o está mal," PRO_MANA_H_F_ANT

Por otra parte, para una de las líderes comunitarias entrevistadas, la evaluación encierra actividades de seguimiento durante el proceso y una evaluación final luego de la intervención. Esta postura se acopla a la clasificación que se realiza a las evaluaciones de programas sociales según el momento de la evaluación, evaluación antes de la intervención (ex - ante), evaluación durante (in - intineri) y evaluación después (ex - post).₁₁

"evaluación es por ejemplo lo que, digamos cuando uno hace un programa y que al final, esto que al final recogen todo eso, también puede ser que van a una casa y averiguan cómo están funcionando las cosas donde ellos van, eso es lo que entiendo." LC_MANA_M_G_AUR

Otro aspecto relevante de la afirmación de la líder es que para la evaluación durante, es necesario que los evaluadores se desplacen al lugar en el que viven las personas, de esto podemos inferir que en la evaluación de programas sociales se debe contemplar cómo las intervenciones interactúan con las condiciones reales de vida, no solo en los resultados finales, sino como condicionantes para que estos resultados puedan ser alcanzados o no.

Uno de los profesionales que labora en los programas identifica un tipo de evaluación que debe ser centrada en los objetivos planteados desde el inicio de la intervención. Esta concepción encaja con la agrupación que realiza Worthen, quien clasifica los modelos de evaluación en abordajes según características similares. Para este autor en el primer grupo están aquellas evaluaciones que son centradas en los objetivos y que tiene como característica principal que se concentran en la determinación de los propósitos de la actividad y en qué medida esos propósitos son alcanzados.₁₈

"yo pienso que hay que irse como al objetivo del programa, cierto, o sea si el objetivo de MANA es mejorar las condiciones nutricionales de los niños, entonces qué tenemos que evaluar? Si realmente las condiciones nutricionales si están mejorando" PRO_BCMANA_M_L_ITM

Esta afirmación también permite identificar una de las tendencias que más ha caracterizado la evaluación de los programas sociales y en especial los programas que desarrollan componentes alimentarios o nutricionales, y es la evaluación centrada en los resultados biológicos de los programas, caso concreto sobre los indicadores de peso y talla. Desde esta perspectiva se pueden estar ignorando otra clase de resultados que producen los programas, no solo sobre los niños sino sobre sus familias, sobre los contextos en los que se desarrollan los programas y sobre las dinámicas en las que están inmersos los grupos sociales intervenidos.

Otro de los profesionales que labora en los programas sociales de la ciudad relaciona la evaluación con acciones de control referentes a la aplicación de normas y reglamentaciones, por ejemplo, en la preparación de alimentos, pero de la misma manera cree que se pueden realizar acciones de evaluación más allá de la normatividad. En este aparte comienza a presentarse una preocupación que se repite a lo largo de las entrevistas con los profesionales y es la necesidad de realizar evaluaciones a los gustos y rechazos, al consumo de alimentos y a las minutas que brindan las instituciones operadoras de los programas a los niños y niñas.

"porque muchas veces se limitan es a…, bueno está cumpliendo con las normas de higiene entonces que tiene el gorro, que tiene el tapa bocas que les está dando a los niños y las niñas la porción que es... pero no van más allá, cuanto están botando, que están botando,…" Grupo focal

Función de la evaluación
Se refiere al hecho de si las personas identificaban los fines últimos de las acciones de evaluación de los programas sociales a los que pertenecían.

Referente a este tema encontró que existe una concepción punitiva para algunos actores respecto al para qué de la evaluación. Tanto los participantes de los programas, como algunos profesionales ven en la evaluación una herramienta para identificar acciones que van en contravía con los parámetros de desarrollo de los programas, para posteriormente proceder con sanciones a los operadores o con la expulsión de los participantes que no cumplan con las condicionalidades, así como lo plantea una participante del programa MANA respecto al incumplimiento de los horarios que reiterativamente se presenta en la entrega de los complementos. Para ella los participantes de los programas que no asisten puntualmente a las entregas de bienes o servicios deben ser sancionados. El fundamento para esta solicitud es que desde su concepción, sin importar la razón, todas las madres deben llegar puntuales a los encuentros, de lo contrario se deben tomar acciones de corrección:

"nos parece injusto a muchas porque esa parte de la evaluación ya la habíamos hecho nosotros, ya habíamos hecho la critica el mes pasado a los que van allá del complemento (profesionales encargados de la entrega del complemento alimentario) diciéndoles que no era justo de que la gente se beneficiara igual sabiendo que todos estamos convocados a una misma hora y el que iba llegando a la hora que fuera le iban dando la leche, eso me parece mal hecho porque la ley debe ser para todos y si no se cumple entonces cual es el chiste" BEN_MANA_M_G

Un profesional que labora en el mismo programa, argumenta que se debe pasar de la emisión de juicios luego de realizar la medición y evaluación de los operadores de los programas, para continuar con acciones correctivas en caso de presentarse irregularidades por parte de estos.

"se corrija lo que se está haciendo mal, si no se pone como una sanción digámoslo así que puede ser económico, administrativo de acuerdo pues a lo que se aplique desde la gobernación de Antioquia," PRO_MANA_H_F_ANT

Una visión negativa acerca de la función de la evaluación es presentada por uno de los profesionales que participó en el grupo focal, este profesional comparte su experiencia con los procesos de evaluación, en la que argumenta que esta es utilizada como una herramienta para validar las acciones políticas guiadas por los gobernantes.

"la alcaldía mandó unos formatos de evaluación pero preconcebidos para resaltar o en muchas fases enmascarar la verdadera realidad, entonces mandan unos cuestionarios unas preguntas de acuerdo a las conveniencias políticas". Grupo focal

Una explicación a esta situación puede ser que en ocasiones los evaluadores poseen compromisos con aquellos que los contratan o simplemente hacen parte de los programas en el área administrativa, lo que en algunos casos puede incidir sobre la neutralidad y objetividad de la evaluación, convirtiéndola en una estrategia para justificar las acciones de los programas. Esta visión se alinea con críticas y desafíos que se formulan desde nuevos paradigmas de la evaluación como los paradigmas constructivistas y emancipatorio, en los que se plantea que la evaluación debe ir más allá de la presentación de resultados, ya que estos deben tener una perspectiva democrática y de control social sobre las políticas y los programas.₁₉

Proceso de evaluación deseado por los actores
En el grupo focal encontramos propuestas de seguimiento o monitoreo que buscan indagar sobre los comportamientos que tienen los niños y niñas que pertenecen a un programa social en los momentos que no están en las instituciones sino con sus familias. Además, para este monitoreo proponen temas claves para ser indagados concernientes a los hábitos, calidad de la alimentación, trato de los padres hacia los niños y en general sobre las condiciones de vida fuera de los lugares de atención.

"una evaluación por ejemplo de continuidad, ¿después del niño salir del programa cierto, la familia sigue teniendo hábitos alimenticios saludables?, sigue teniendo una canasta familiar más o menos balanceada?, sigue teniendo una relación eee… con la alimentación eee… de amor , cordial o ya se vuelve algo más parecido a lo que decía la compañera de la producción, usted tiene que engordar y ya cierto, yo creo que sería bueno como incluir no solo los indicadores nutricionales sino también indicadores psicosociales cierto". Grupo focal

En otro aparte de una entrevista a un profesional administrativo de un programa departamental se identificó una concepción más amplia de la evaluación y cómo esta debe ser realizada adoptando un abordaje metodológico mixto propio de lo que algunos autores clasifican como modelos alternativos o cualitativos, cuyo objetivo principal es comprender, interpretar y dar significado a las acciones desarrolladas por el programa.₁₀

"bueno metodologías de evaluación yo pienso que serían además de los indicadores cuantitativos y de cantidad de recursos invertidos, de cantidad de alimentos entregados, de los indicadores antropométricos, de los indicadores de acceso a los diferentes servicios del estado bueno, yo pienso que también sería bueno utilizar indicadores cualitativos percepción que las personas tienen" PRO_ICBF_H_A_M

Estrategias de evaluación
Aquí indagó sobre algunas de las estrategias de evaluación que los actores reconocían dentro de los programas. Los participantes de los programas identifican en este tema las acciones evaluativas que actualmente realizan a los niños y a los padres. Una participante del principal programa de primera infancia de la ciudad de Medellín, reconoce como estrategias de evaluación el seguimiento que se le hace a los niños y niñas con los indicadores de peso, talla y el monitoreo al consumo de alimentos.

"a ellos le tienen el crecimiento y desarrollo y a nosotros nos llaman a informarnos como van y quién está atrasado y quién no se está alimentando bien, quién no ha avanzado" BEN_ICBF_M_PA_VOL

De la misma manera que los participantes de los programas, los líderes comunitarios identifican como estrategias de evaluación el seguimiento al crecimiento y desarrollo de los niños y las niñas, reconocen además otras estrategias para evaluarlos, las cuales se aplican luego de los encuentros que se realizan periódicamente para la entrega de paquetes alimentarios o luego de los encuentros educativos:

"Evalúan cada mes por ejemplo los niños, los pesan, los tallan. A nosotras también nos hacen evaluaciones sobre las capacitaciones a ver que hemos aprendido" "pues nos hacen.. nos dan charlas y nos preguntan, nos hacen exámenes por escrito" LC_MANA_M_VOL "pues no sé, en la evaluación, nos preguntan, a veces nos ponen a llenar formatos" LC_MANA_M_ME_IGUA

Los profesionales por su parte, identifican como estrategias de evaluación los registros que ellos deben llenar según las actividades que desarrollan dentro del programa, como una forma de monitoreo que es supervisada a su vez, por una persona que está a cargo.

"bueno nosotros de acuerdo a todas las funciones que tenemos pues en el cargo hay formatos, registros en los cuales uno diariamente como, ese listado de actividades por parte del programa lo que hace es revisar precisamente eso. Internamente en la fundación la jefe del proceso de nutrición también hace un seguimiento a todas esas actividades ya que desde la fundación se realiza pues una auditoría interna que también va pues enfocada a mejorar la calidad del servicio prestado" PRO_BC_M_P_M

Se encontró que dentro de las estrategias de evaluación son reiterativas las asociaciones que hacen los profesionales con las auditorías internas y externas como medios de control. Esta situación refleja una confusión, ya que las auditorias se hacen con el objetivo de realizar acciones correctivas simultáneas a la ejecución de los contratos convenidos entre dos instituciones. Casi siempre las auditorias son centradas en la contención de costos y búsqueda de rentabilidad y son llevadas a cabo por grupos interdisciplinarios que realizan procesos definidos e independientes.₂₀ Por su parte, la evaluación de programas sociales es un proceso más integral que busca comprender el desarrollo del programa y medir sus resultados para la toma de decisiones, para esto se basa en la combinación de metodologías y la triangulación de información en la que los actores son parte fundamental.

Se presenta también como relevante el hallazgo en la concepción de los profesionales sobre quienes deben realizar las evaluaciones, para ellos, la evaluación debe ser realizada por personas ajenas al proceso como queda ejemplificado en el siguiente párrafo:

"entonces el hecho de que quien venga y nos evalúe sea alguien completamente ajeno a nosotros como prestadores del servicio y al usuario que es el que lo está recibiendo no tiene ningún tipo de sesgos, es alguien objetivo, permite que la evaluación sea clara y objetiva" PRO_BC_M_P_M

Para Cavalcanti, la evaluación externa en la mayoría de los casos es realizada por profesionales investigadores o consultores ajenos a las instituciones ejecutoras de los programas que se están evaluando. Estos evaluadores son personas expertas o de amplia experiencia contratados por las instituciones responsables del programa o por una institución superior a la institución ejecutora. Este tipo de evaluaciones pueden tener ventajas ya que en teoría los evaluadores externos no tiene intereses por lo que se espera mayor objetividad, sin embargo, también existen desventajas ya que puede tener dificultad en captar los factores de funcionamiento y la dinámica interna del programa, además de la dificultad para acceder a la información y la posible resistencia de los actores a aceptar los resultados que cuestionen los objetivos, las metas o líneas de acción.₂₁

Sujetos de la evaluación y actores participantes en la evaluación
En este tema se identificó en las entrevistas quiénes deberían ser, según los actores, los sujetos sobre quien o quienes medir los efectos de los programas, los cuales pueden ser individuos, familias, instituciones y/o territorios.

Para los participantes de los programas, los sujetos de la evaluación deben ser los profesionales que se desempeñan en sus diferentes modalidades de intervención, además según ellos, las personas que actúan como receptores de los programas deben participar de esa evaluación ya que son ellos mismos los destinatarios primarios de las actividades. Así se resume en una de las entrevistas. Cuando la entrevistada se refiere a "ellos", son los participantes que a diario asisten a las actividades, como son los niños y los padres de familia:

"porque ellos son los que están ahí, porque ellos son los que se están dando cuenta de lo que está pasando, de lo que están haciendo los psicólogos y los nutricionistas y las personas que están yendo a entregar el complemento y hacer el tiempo recreativo allá y de enseñanza" BEN_FA_M_V

Por su parte, para una de las líderes comunitarias, también deben ser sujetos de la evaluación, además de los profesionales del programa, los padres de familia. Agrega a su vez que estos se deben evaluar entre sí por medio de evaluaciones reciprocas.

Entrevistador: "y entonces, según su concepto, esa evaluación se le debe de hacer a quién?"

Respuesta: "la evaluación tanto de los docentes a los padres de familia y los padres de familia a los docentes" LC_MANA_M_LD_VOL

En esta parte del análisis es pertinente referenciar que gran parte de los programas sociales que desarrollan componentes alimentarios y nutricionales en Medellín son operados por terceros, que en su mayoría son organizaciones no gubernamentales o instituciones académicas. Así, los organismos municipales, departamentales y nacionales solo se encargan de realizar las contrataciones de estas instituciones, ante ello una de las líderes comunitarias reclama la presencia de las personas que están directamente como responsables de los programas. Esta líder cuestiona la dinámica como se desarrollan los programas por medio de los operadores, a los cuales llama "terceros" y que están encargados de brindar los servicios, además de realizar las actividades de seguimiento.

"hay mucho programa pero ellos mandan a terceros, nunca lo hacen como ellos mismos, no sé, que ellos mismos se den cuenta, ellos se dan cuenta pero por encima de lo que le digan los que viene acá que son los que yo les digo a usted," LC_MANA_M_G_AUR

Por su parte, los profesionales que laboran en los programas presentan una propuesta interesante en la cual plantean como sujetos de la evaluación a los niños participantes de los programas y que sean ellos los que evalúen actividades relacionadas a la alimentación y nutrición.

"pienso que también sería importante unas encuestas de satisfacción a los niños atendidos cierto, de acuerdo a la edad se pueden crear estrategias y diseñar esas encuestas de satisfacción" PRO_BC_M_M_M

En el tema sobre los sujetos de las evaluaciones, los participantes de los programas y los líderes comunitarios identifican otros actores diferentes a ellos mismos, por ejemplo, estos tienden a solicitar que los evaluados sean los profesionales y las personas encargadas a nivel directivo de los programas sociales. Por su parte, para algunos profesionales de campo y profesionales administrativos los sujetos de la evaluación deben ser los padres de familia y los mismos niños que son los que viven las actividades de los programas a diario. Sin embargo, también se encontró profesionales que proponen que los sujetos de las evaluaciones deben ser todos los actores involucrados en el desarrollo de los programas.

"los padres cierto, darles como una… sentarse con los padres a evaluar qué les gusta del encuentro, que no, por qué no están asistiendo, yo pienso que habría que hacer una evaluación como en varios niveles, hablar con los papás y ya como que los lideres, los profesionales y un coordinador como de área por decirlo así, o de zona" PRO_BCMANA_M_L_ITM

Esta interacción dentro del proceso de evaluación que se propone involucrando a todos los actores participantes es central dentro de metodologías que combinan herramientas de corte cualitativo y lo cuantitativo. La evaluación por triangulación de métodos, por ejemplo, se fundamenta en la teorización del contexto y el contenido del programa a ser evaluado y utiliza los instrumentos operacionales para analizar la productividad, los efectos y el rendimiento de la intervención, como en los modelos cuantitativos, pero agrega la observación y el análisis de la dinámica de los actores sociales involucrados en el proceso.₁₀

Objeto de la evaluación
Aquellas variables o aspectos sobre los cuales se desea obtener información a partir de un proceso de evaluación. Hace referencia también a la unidad de análisis que se considerará para llevar a cabo la evaluación.

Los participantes de los programas consideran que dentro de los objetos de la evaluación deben estar los lineamientos que se siguen por parte de los programas para que las personas puedan acceder a ellos. Concretamente, los participantes mencionan los criterios de inclusión, los criterios de exclusión y el seguimiento que se haga a las personas para que en el momento que mejoren sus condiciones económicas, salgan del programa y según ellos puedan ceder el cupo a otras personas que lo necesiten.

"la evaluación si la hacen, pero no la hacen muy concienzudamente porque hay gente que está bien, está mal en un momento pero más luego salen adelante, o consiguen empleo dos o tres de la familia y ya no tienen la necesidad de eso pero siguen utilizándola que no debería ser" BEN_MANA_M_G

Esta participante del programa en su afirmación deja ver también inconformidades con los procesos de evaluación ya que manifiesta tener conocimiento de personas que hacen parte del programa y que según su pensamiento no lo necesitan o no deberían recibir el beneficio. Esta situación también pone en evidencia que las personas conciben los programas como algo transitorio y que pueden hacer parte de ellos mientras se encuentran en condiciones desfavorables en lo económico o laboral y que los hace "merecedores", reflejando una visión netamente asistencialista de los programas sociales.

Por otro lado, los participantes de los programas también enfatizan en la necesidad de evaluar la entrega de los bienes y servicios a las personas, con miras a evitar desvíos o vencimientos.

"no, de las personas que ellos primero si estudian si verdaderamente necesitan o si solamente lo utilizan, pues si gente que tiene pero quiere por tener más y que más, y que ya si estudian que la plata o los alimentos que vayan a dar si sean entregados a las personas y nos los dejen vencer o los utilicen las, pues entre ellos mismos" BEN_FA_M_V_ROB

Por su parte, los líderes comunitarios consideran que una situación a tener en cuenta dentro de los procesos de evaluación es la no inclusión de personas que por sus condiciones de vida necesitan del programa, además, de tener más claro las diferentes situaciones contextuales por las que atraviesan las familias.

"que es lo que está pasando con la comunidad, por ejemplo aquí hay mucho niño con desnutrición, mucho niño que no tienen una alimentación" LC_MANA_M_G_AUR

A partir de una crítica a la evaluación actual de los programas, los profesionales proponen evaluar aspectos que vayan más allá de los indicadores antropométricos de peso y talla. Les inquieta el hecho de que ellos mismos hoy en día no cuentan con las herramientas pedagógicas necesarias para abordar problemáticas con el consumo de los alimentos de los niños y niñas que participan de las actividades de intervención.

"debería medir más cómo el impacto con la población que estamos atendiendo con respecto no solo a la parte nutricional sino también como en la parte de la pedagogía de todo lo que se hace por ellos, como en la atención integral me parece que la parte que nos evalúan es muy cerrada y muy de lineamiento de una modalidad o de un programa" PRO_BC_M_M_M

Específicamente, los profesionales se refieren a que una actividad que debe ser objeto de evaluación es la que tiene que ver con los gustos y los rechazos de los niños y las niñas durante el consumo de alimentos que brindan los programas. De igual manera, según ellos se deben evaluar los ciclos de minutas ya que muchas veces se realizan de manera técnica y no tienen en cuenta las condiciones culturales de los infantes.

"los rechazos y los gustos de los niños y las niñas y a veces también hay cambio en esas minutas, lo podría pensar por ese lado, que hayan algunos cambios por esas actividades que se realizan y los resultados que estas arrojan," Grupo focal

Consideran además, que es importante iniciar seguimiento a los cambios que puedan tener los niños y niñas con el consumo de alimentos y preparaciones que no conocen. También, como se mencionó anteriormente, la forma como los profesionales enfrentan este tipo de situaciones relacionadas a los gustos y rechazos de la alimentación.

"y ese cambio sería interesante medirlo, o sea el cambio se da porque la primer semana ¿quienes quieren ensalada? Los peladitos no la conocen, a la semana a al mes ya unos la están probando, a los dos meses ya la mitad la están comiendo, a los cuatro o cinco meses si no la ven ya preguntan por ella es un proceso muy lindo, eso es un impacto". Grupo focal

Discusión

Los estudios sobre las percepciones que tienen los actores clave de programas o proyectos dentro de los procesos de evaluación no son muy abundantes, especialmente en el campo de los programas sociales. En la literatura anglosajona, por ejemplo, se encuentran investigaciones al respecto pero la mayoría de ellas relacionadas con la evaluación de proyectos en compañías privadas o también en evaluaciones a procesos educativos.₂₂

Cuando se refiere a evaluaciones de programas sociales usualmente se consultan las percepciones de los actores sobre el programa, no sobre la validez, el uso o los criterios con que debería ser evaluado el programa.₂₃ Esta situación presenta un reto que se debe considerar por parte de los investigadores en temas que aún no han sido discutidos a profundidad, como la calidad de la evaluación, la equidad en la evaluación y el grado en que están involucrados los actores, entre otros.₂₄

Latinoamérica y Colombia no son la excepción, ya que carecen de este tipo de estudios. En esta región los tipos de evaluación de programas que más se realizan son aquellos centrados en el impacto y los resultados de los programas, que siguen estudios cuantitativos e indicadores biológicos. También, se encuentran evaluaciones que enfatizan en aspectos técnicos, económicos y financieros de los programas, tendiendo principalmente a determinar la relación costo-beneficio y a comparar la rentabilidad de las intervenciones.₁₅

Aunque la literatura no es abundante, quienes han logrado mayores desarrollos teóricos y prácticos en el tema de evaluar las percepciones son evaluadores y agencias de ayuda internacional, quienes fueron los primeros en integrar actores, especialmente "beneficiarios" en sus evaluaciones en lo que de manera genérica han denominado evaluación participativa.₂₅ En este sentido cabe destacar que los estudios han encontrado que es imprescindible incorporar en las evaluaciones un amplio espectro de actores clave para la marcha de los programas y tomar en consideración sus creencias, valores y percepciones pues ese factor, así como el contexto es lo que más influye para que las recomendaciones generadas en una evaluación se conviertan en cambio real._24,25

En una investigación con propósitos muy similares a esta, realizada en Ghana sobre las percepciones de los procesos de evaluación en un programa social se encontraron diferencias sustanciales entre los directivos del programa, quienes afirmaron que el proceso de evaluación contribuía a consolidar atributos positivos como el empoderamiento de los beneficiarios y la responsabilidad social de las instituciones, en contraste con los miembros de las organizaciones sociales y de la comunidad "beneficiaria" quienes consideraron estos procesos poco participativos y que no aumentaban sus capacidades, además de no mejorar su injerencia en la marcha cotidiana de las actividades realizadas.₂₆

De la revisión de resultados de investigaciones se puede deducir la necesidad de promover la participación de un número amplio de actores, pues se ha encontrado que esta condición, incluyendo a las instituciones financiadoras, los ejecutores del programa, los beneficiarios directos e indirectos inclusive aquellos que pueden afectarse con la implementación del programa, es lo que le otorga validez y legitimidad al proceso de evaluación.

Conclusiones

Durante la realización de este estudio se evidenció que los actores involucrados en el desarrollo de los programas relacionan acciones de auditoría e interventoría con el proceso de evaluación, además estos actores en general, no reconocen la importancia, ni identifican prácticas de evaluación dentro de los programas en los cuales participan.

A lo anterior, se suma el hecho de que los destinatarios finales (los beneficiarios) de los programas tienen nociones punitivas de la evaluación, inclusive en su contra, ya que insisten en autocastigarse y extremar criterios de inclusión, exclusión y permanencia en los programas, a partir de las acciones que se puedan emprender desde los procesos de evaluación.

Pareciera que las prácticas, es decir lo que hasta ahora han experimentado son evaluaciones en donde se constata el seguimiento de normas. Escasamente, en casos excepcionales se piensa la evaluación como cumplimiento de objetivos y esta evaluación centrada en los resultados biológicos de las intervenciones, dejando de lado otros cambios que son relevantes en lo social, como los aprendizajes de los sujetos y organizaciones que pueden ser atribuir a los programas. Menos aún, no hay una noción de analizar los fundamentos mismos de los programas, sus alcances, su racionalidad, sus efectos en esferas como la construcción de ciudadanía democrática y el papel de la mujer dentro de estos.

Lo anterior implica que los actores consultados no conciben el programa como un mecanismo para la realización del derecho a la alimentación. La noción que los atraviesa parece estar anclada en el asistencialismo, ya que ellos mismo se ven como individuos con unas condiciones de pobreza económica que los desfavorecen y que necesitan ser intervenidos de manera focalizada, compitiendo inclusive entre ellos mismo por un cupo en los programas.

Así, las personas que se presentan como destinatarios de los programas no conciben que los beneficios entregados son derechos, por el contrario consideran que son ayudas de los gobiernos que deben aprovechar y que en caso de incumplir con los condicionamientos del programa deben ser expulsados.

Sin embargo, también estos mismos actores en ocasiones plantean inquietudes y propuestas de los que se pueden inferir nociones más avanzadas de evaluación: participación de múltiples actores, auscultar resultados que no solo son biológicos, conocer aspectos cultuales de la alimentación de los niños. Esas pequeñas vetas de cambio serían una posible entrada para evaluaciones más comprehensivas.

Agradecimientos
Los autores agradecen a las personas que posibilitaron la realización de esta investigación, entre ellas algunos participantes de los programas, profesionales y líderes comunitarios que accedieron atender las entrevistas y el grupo focal, a los estudiantes de nutrición Liliana Gaviria, Alejandra Morcillo y Juan Marroquín quienes participaron en la primera fase del proyecto.

Financiación
Este proyecto fue financiado por la convocatoria interna para proyectos de investigación de postgrado 2013-2014 de la Escuela de Nutrición y Dietética de la Universidad de Antioquia.

Conflictos de interés
Los autores declaran que no tienen conflictos de intereses.

Referencias

1. Castro H, Walter M, Santana C, Stephanou M. Percepções sobre o programa bolsa família na sociedade brasileira. Opinião Pública. 2009;15(2):333-355.         [ Links ]

2. Krause W. La alianza para el progreso. Journal of Inter American Studies. 1963;5(1):67-81.         [ Links ]

3. Bejarano J. Contexto alimentario y nutricional. En: Fundamentos de contratación pública para proyectos sociales en alimentación y nutrición. Universidad Nacional de Colombia. 2009:11-46.         [ Links ]

4. Mancilla L, Álvarez LS, López E. Contexto histórico y descripción de los programas alimentarios y nutricionales. Universidad de Antioquia, Medellín. 2012:80.         [ Links ]

5. Holzmann R, Jorgensen S. Manejo social del riesgo: Un nuevo marco conceptual para la protección social y más allá. Washington. 2000:1-36.         [ Links ]

6. Departamento Nacional de Planeación - SINERGIA - Colombia. Evaluación de políticas públicas Programa Familias en Acción. Bogotá. 2008:122.         [ Links ]

7. Guba E, Lincoln Y. Fourth generation evaluation. Newbury Park: SAGE Publicationes. 1989.         [ Links ]

8. Pimenta de Faria C. A política da avaliação de políticas públicas. RBCS. 2005;20(59):97-109.         [ Links ]

9. Magalhães R. Implementação de programas multiestratégicos: Uma proposta de matriz avaliativa. Ciência & Saúde Coletiva. 2014;19(7):2115-2123.         [ Links ]

10. De Souza M. Gonçalvez S. Ramos E. Evaluación por triangulación de métodos: Abordaje de programas sociales. Lugar Editorial. 2005.         [ Links ]

11. Chaves S. Pacheco L. Avaliação de políticas públicas de segurança alimentar e combate à fome no período de 1995-2002. Abordagem metodológica. Cad. Saúde Pública. 2007;23(5):1029-1040.         [ Links ]

12. Alcaraz G. Restrepo S. La investigación cualitativa y sus aportes prácticos a la alimentación y nutrición humana. En: Memorias 11° Simposio Nacional de Nutrición Humana: una visión de futuro. Perspect Nutr Humana. 2006; Separata: 67-78.         [ Links ]

13. Sout A. Percepciones de usuarios, gestores y representantes de instancias de control social sobre las condicionalidades de salud del Programa Bolsa Família. Universidade Federal Fluminense - Programa de Estudios Postgraduados en Política Social. 2008:1-17.         [ Links ]

14. Galeano ME. Estrategias de investigación social cualitativa. El giro en la mirada. Medellín: La Carreta Editores. 2004.         [ Links ]

15. Álvarez L, Pérez E, Goez J, Rivera A, Peña C. Métodos de evaluación de programas nutricionales de gran escala en América Latina: una revisión integrativa. Nutr Hosp. 2014;31(01):143-54.         [ Links ]

16. Aronna A. Evaluación de un programa de política social: Programa materno infantil y nutrición. Cadernos de Saúde Pública. 2006;22(2):335-345.         [ Links ]

17. Bañon R. La evaluación de la acción y de las políticas públicas. España: Ed. Díaz de Santos. 2003.         [ Links ]

18. Assumpção J, de Souza L. Avaliação de projetos sociais em ONGs da Grande Florianópolis: um estudo sobre modelos relacionados ao foco de atuação. rap - Rio de Janeiro. 2011;45(1):209-42.         [ Links ]

19. Ferreira V. Tendências da avaliação no âmbito das políticas públicas - desafios e perspectivas. En: I Seminário Internacional & III Seminário de Modelos e Experiências de Avaliação de Políticas, Programas e Projetos. Recife; 2010.         [ Links ]

20. Molina G, Vargas J, Berrío A, Muñoz D. Características de la contratación entre aseguradores y prestadores de servicios de salud, Medellín, 2007-2008. Revista Gerencia y Políticas de Salud. 2010;9(18):10-115.         [ Links ]

21. Cavalcanti P. Sistematizando e comparando os enfoques de avaliação e de análise de políticas públicas: uma contribuição para a área educacional (Tesis Doctoral). Brasil: Universidad de Campinas; 2007.         [ Links ]

22. Michalski V, Cousing J. Bradley. Multiple perspectives on training evaluation: Probing stakeholder perceptions in a global network development firm. American Journal of Evaluation. 2001;22(1):37-53.         [ Links ]

23. Velásquez F. El Programa Familias en Acción en Colombia: Focalización territorial, relaciones intergubernamentales, organización, participación y enfoque de género. Fundación Foro Nacional por Colombia. Bogotá D.C, 2012.         [ Links ]

24. Brandon P, Landry L. The state of the empirical research literature on stakeholder involvement in program evaluation. American Journal of Evaluation. 2013;35(1):26-44.         [ Links ]

25. Cullen A, Chris C, Jim R. The politics and consequences of including stakeholders in international development evaluation. American Journal of Evaluation. 2011;32(3):345-361.         [ Links ]

26. Abdul-Rahman R, Donkoh S, Kudadze S. Stakeholders' perceptions of actionaid's social audit processes in the Northern region of Ghana. Finance Department, Action Aid Ghana. 2014:1-20.         [ Links ]