SciELO - Scientific Electronic Library Online

 
 issue74Digital Media as a Tool of Manipulation in Democratic Electoral Processes: An Analysis of the Brexit CaseA Contribution to the Study of Socio-political Polarization in Brazil author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista de Estudios Sociales

Print version ISSN 0123-885X

rev.estud.soc.  no.74 Bogotá Oct./Dec. 2020

https://doi.org/10.7440/res74.2020.07 

Otras Voces

Avances en la evaluación integral: aportes para programas sociales de intervención en pobreza en organizaciones no gubernamentales*

Progress in Comprehensive Assessment: Contributions to Social Programs for Poverty in Non-governmental Organizations

Avanços na avaliação integral: contribuições para programas sociais de intervenção em pobreza em organizações não governamentais

Marianne Daher** 

Andrea Jaramillo*** 

Antonia Rosati**** 

**Doctora en Psicología por la Pontificia Universidad Católica de Chile. Profesora Asistente Adjunta en la Escuela de Psicología y Coordinadora de Formación Profesional en Psicología Comunitaria de la Pontificia Universidad Católica de Chile. Últimas publicaciones: “Opportunities and Tensions in Supporting Intercultural Productive Activities” (en coautoría). Culture and Psychology [s. n.]: 1-29, 2020; “Care in Social Policies from a Comprehensive Perspective: A Proposal to Conceptualize and Address It Based on Community and Psychosocial Praxis” (en coautoría). Journal of Community Psychology [s. n.]: 1-14, 2020. mdaher@uc.cl

***Doctora en Psicología por la Universidad de Salamanca, España. Profesora Asistente Adjunta y Directora de la Carrera de Psicología de la Universidad Alberto Hurtado, Chile. Últimas publicaciones: “Opportunities and Tensions in Supporting Intercultural Productive Activities” (en coautoría). Culture and Psychology [s. n.]: 1-29, 2020; “A ser emprendedor se aprende: efectos técnicos y psicológicos de un programa de emprendimiento” (en coautoría). Revista Interamericana de Psicología 52 (2): 212-221, 2018. ajaramillo@uahurtado.cl

****Titulada en Psicología por la Pontificia Universidad Católica de Chile. Asistente de investigación en la Escuela de Psicología de la Pontificia Universidad Católica de Chile. Últimas publicaciones: “Opportunities and Tensions in Supporting Intercultural Productive Activities” (en coautoría). Culture and Psychology [s. n.]: 1-29, 2020; “Care in Social Policies from a Comprehensive Perspective: A Proposal to Conceptualize and Address It Based on Community and Psychosocial Praxis” (en coautoría). Journal of Community Psychology [s. n.]: 1-14, 2020. aarosati@uc.cl


RESUMEN

En Chile, así como en el resto de Latinoamérica, se ha dado un auge de programas sociales de intervención en pobreza; sin embargo, hay información insuficiente acerca de sus resultados, y las evaluaciones de estos programas suelen tener limitaciones técnicas y metodológicas. En este contexto, se identifican una serie de barreras en la evaluación de los programas, para luego proponer un modelo que permite evaluar programas sociales de manera integral en organizaciones no gubernamentales, velando así por el perfeccionamiento del quehacer social en pobreza. Esta propuesta es consistente con una visión compleja y multidimensional de la pobreza, integra la evaluación a la intervención, aplica métodos cuantitativos y cualitativos e incluye las voces de los distintos actores involucrados. La ventaja de este modelo, que consiste en ocho fases flexibles, es que es factible de realizar, y esto se ejemplifica a partir de su aplicación en una organización no gubernamental chilena.

PALABRAS CLAVE Evaluación integral; métodos mixtos; organizaciones no gubernamentales; pobreza; programas sociales

ABSTRACT

Chile, as the other countries of Latin America, has experienced a boom in social programs aimed at poverty reduction; however, their results are poorly reported, and assessments of these programs are often subject to technical and methodological limitations. In this context, we identify a series of barriers in program assessment, and then propose a model that enables non-governmental organizations to evaluate social programs in a comprehensive manner, thus ensuring improvements in social work aimed at poverty relief. This proposal is consistent with a complex and multidimensional vision of poverty, integrates evaluation into intervention, applies quantitative and qualitative methods, and includes the voices of the different actors involved. The advantage of this model, comprising eight flexible phases, is that it is feasible to carry out, and this is exemplified here by its application in a Chilean non-governmental organization.

KEYWORDS Comprehensive assessment; mixed methods; non-governmental organizations; poverty; social programs

RESUMO

No Chile, mas também em toda a América Latina, os programas sociais de intervenção em pobreza estão no auge. Contudo, há informação insuficiente sobre seus resultados, e as avaliações desses programas costumam ter limitações técnicas e metodológicas. Nesse contexto, são identificadas barreiras na avaliação dos programas sociais para, em seguida, ser proposto um modelo que permite avaliá-los de maneira integral em organizações não governamentais, zelando pelo aperfeiçoamento do fazer social em pobreza. Essa proposta é consistente com uma visão complexa e multidimensional da pobreza, integra a avaliação da intervenção, aplica métodos quantitativos e qualitativos, e inclui as vozes dos diferentes atores envolvidos. A possibilidade de realização é uma vantagem desse modelo, que consiste em oito fases flexíveis, e isso é exemplificado a partir de sua aplicação em uma organização não governamental chilena.

PALAVRAS-CHAVE Avaliação integral; métodos mistos; organizações não governamentais; pobreza; programas sociais

La intervención social y la constatación de su quehacer

En las últimas décadas se ha tomado mayor conciencia acerca de los efectos adversos que tiene la pobreza sobre el bienestar y la calidad de vida de las personas que padecen esta situación, razón por la cual se ha relevado como un asunto urgente y prioritario de intervenir (Banco Mundial 2018; FSP 2010; UNDP 2016). Esto coincide, además, con el objetivo del milenio planteado por las Naciones Unidas de superar la pobreza extrema (UN 2014), así como con uno de los temas centrales en los Objetivos de Desarrollo Sostenible (UN 2016). De esta forma, se constata un aumento de programas sociales dirigidos a personas en situación de pobreza, tanto en Latinoamérica como en el mundo (ECLAC 2009; Fiszbein et al. 2009; Heller 2010; Ramos y Calderón 2011; UNDP 2003).

En la base de las intervenciones hay distintas formas de conceptualizar la pobreza. Diversos autores e instituciones han realizado importantes reflexiones al respecto (Chacín 2016; Feres y Villatoro 2012; FSP 2013; Kanbur y Squire 1999) y han tendido a agrupar los enfoques sobre la pobreza en dos grandes modelos. Por un lado, está el modelo tradicional, centrado en la pobreza objetiva ligada a los ingresos o a la satisfacción de necesidades básicas, conocido como enfoque de carencias (Feres y Mancero 2001a y 2001b). Por otro lado, están los enfoques basados en el desarrollo humano con una mirada multidimensional, que van más allá del mero crecimiento económico (Sen 2000; Raczynski 2002; PNUD 2012), donde la pobreza es comprendida como un fenómeno complejo que involucra diversas dimensiones, desde las de tipo material hasta la vivencia subjetiva de la pobreza (Chacín 2016). Esta perspectiva incorpora la conceptualización y medición desde el enfoque tradicional centrado en los ingresos (Denis, Gallegos y Sanhueza 2010), variables asociadas a la denegación de oportunidades, la limitación del despliegue de capacidades personales, la vivencia de exclusión social (FSP 2010), la falta de participación en la toma de decisiones y el sentimiento de falta de poder (Raczynski 2002), entre otras.

Este tipo de dimensiones psicológicas, relacionales y sociales de la pobreza deben ser abordadas por los programas para contribuir a la movilidad y el desarrollo social (FSP 2010; Raczynski 2002). Así, esta conceptualización de la pobreza llama a fortalecer y complejizar también la evaluación de aquellos programas que la abordan, considerando su diversidad de dimensiones y sus características objetivas y subjetivas.

En el ámbito social, se ha ido revelando que tan importante como intervenir, es contar con buenas evaluaciones que den cuenta de su quehacer, dado que la evaluación de programas sociales cumple un rol crucial al ofrecer recomendaciones para perfeccionarlos (Briones 2008; Valadez y Bamberger 1994), instalar buenas prácticas en las instituciones (Wholey y Hatry 1992), generar reflexiones para futuros diseños (Olavarría y Figueroa 2012; Stufflebeam y Shinkfield 2007), conseguir financiamiento y tomar decisiones (Mertens y Wilson 2018) y contribuir a visibilizar su importancia (Flores y García 2013). Además, la evaluación permite movilizar la discusión sobre el quehacer en el ámbito social en general. Así, un sistema de evaluación adecuado puede repercutir de un modo directo en el bienestar de las personas a quienes están dirigidos los programas, más allá de corresponder a un mero control de gestión.

Clásicamente, la evaluación de programas sociales puede entenderse de múltiples maneras, según el foco en aspectos distintivos de su labor, tales como verificar el cumplimiento de objetivos o metas (Valadez y Bamberger 1994), analizar la estructura y el funcionamiento de un programa (Briones 2008) o detectar resultados previstos, o efectos inesperados (Ballart 1992; Fernández-Ballesteros 1996). Dichas acciones evaluativas permitirían conocer la utilidad de un programa (Rossi, Freeman y Lipsey 2019), establecer un juicio de valor sobre este (APA 2004) y tomar decisiones (Mertens y Wilson 2018).

Existen distintos modelos de evaluación que ponen énfasis en uno o más aspectos de estas definiciones. Desde una perspectiva histórica, es en el ámbito educacional donde se impulsó la evaluación de programas (Aguilar y Ander-Egg 1992); es posible rastrear investigaciones con un énfasis evaluativo como la desarrollada por Smith y Tyler (1942). Sin embargo, la evaluación no entró en auge sino hasta la década de 1960, momento en el que hubo mayor inversión en evaluación, tanto en Estados Unidos como en Europa, lugares en los que se comenzó a exigir rigurosidad en las estrategias utilizadas para la constatación del cumplimiento de las metas planteadas por los programas (Rossi, Freeman y Lipsey 2019). Para ello, se privilegió una aproximación analítica empleando métodos cuantitativos, a partir de lo cual surgieron numerosos modelos, por ejemplo, la evaluación de impacto causal (Campbell y Stanley 1963) y la evaluación formativa y sumativa (Scriven 1980), como resultado de la evaluación econométrica (Baker 2000).

Hacia 1970 se empezaron a cuestionar estos modelos, pues se consideraron limitados por no incluir la perspectiva de las personas participantes sobre el valor del programa. Así, surgieron nuevas propuestas basadas en métodos cualitativos (Ballart 1992). Los modelos más emblemáticos provienen, nuevamente, de la educación, donde destacan la evaluación responsiva (Stake 1973), la evaluación iluminativa (Parlett y Hamilton 1972) y la evaluación de tipo naturalista (Guba 1978). A estos modelos se les criticó el ser poco rigurosos y dejar de lado aspectos relevantes de los programas, como el cumplimiento de metas.

Así, ante las limitaciones encontradas en ambos paradigmas de evaluación, se desarrollaron modelos que empleaban métodos mixtos (Bouza 2005), como el modelo de utilización focalizado en educación (Patton 1978). Sin embargo, a estos modelos se les cuestionó, a su vez, la falta de integración de sus resultados, y se observó también que muchas veces hacían un uso secundario (Aguilar y Ander-Egg 1992; Valadez y Bamberger 1994) o errado de los métodos cualitativos (como en Plewis y Mason 2005).

Más adelante, se desarrolló un enfoque de evaluación de impacto más cercano y sensible a las particularidades del ámbito social, a las instituciones implicadas y al bienestar integral de las personas destinatarias de los programas sociales (como es el caso de Pichardo 2014). Además, se reconoció la propuesta de enfoques de evaluación basados en la participación (Núñez et al. 2014), tales como la evaluación colaborativa, la evaluación participativa práctica, la evaluación participativa transformadora y la evaluación para el empoderamiento. Si bien los anteriores destacan por su carácter dialógico, el respeto por las perspectivas de todos los/as actores y la promoción del aprendizaje colectivo y organizacional, tienden a ser utilizados solo en contextos limitados y/o en proyectos acotados. A estos enfoques se suman en las últimas décadas los aportes del modelo de evaluación transformadora (Mertens 2008), que mediante la intersección de métodos cualitativos y cuantitativos busca una aproximación culturalmente adecuada a las inequidades sociales, ofreciendo bases para el cambio social desde la perspectiva de los/as sujetos y desde herramientas e instrumentos académicos. Asimismo, se reconoce la evaluación con enfoque de derechos humanos -un aporte fundamental en el contexto de las organizaciones no gubernamentales que se desempeñan en pobreza-, que evalúa de qué manera estos programas avanzan efectivamente en garantizar derechos humanos (Schmitz 2012) y en qué medida promueven el empoderamiento de los/as participantes, en especial de aquellos grupos discriminados, por medio de métodos participativos e inclusivos (Faúndez y Weinstein 2014).

Además, se aprecia en este mismo periodo el avance hacia un enfoque integral en la evaluación de políticas públicas, donde se reconoce la necesidad de trascender el análisis de eficacia, el razonamiento costo-beneficio y las perspectivas económico-administrativas (Amaya 2010). Desde este enfoque, se reconoce la importancia de producir información durante la implementación de los programas, que permita su reestructuración y el fortalecimiento del diseño de la política, con la participación de todos los/as agentes involucrados (Luna 2014). Esto conecta con la posibilidad de instalar y/o desarrollar capacidades evaluativas en las personas y organizaciones implicadas en determinado proyecto social (Bucheli y Rotondo 2009), lo que resulta ser una alternativa muy relevante en el contexto de las organizaciones no gubernamentales de intervención en pobreza. Sin embargo, se identifica en estos enfoques un desarrollo teórico aún en proceso, así como una escasez de modelos específicos para aplicarlo de manera más concreta y sistemática.

Además de las limitaciones señaladas, muchos de los modelos de evaluación suelen ser complejos técnicamente o difíciles de implementar por su alta demanda de tecnología, recursos y tiempo (Olavarría y Figueroa 2012). Así, el desafío que surge en el contexto de este artículo consiste en efectuar una evaluación integral que, retomando algunas fortalezas y diversos aspectos clave de estos enfoques, sea suficientemente compleja y profunda, a la vez que factible de aplicar en contextos con recursos escasos, como en las organizaciones no gubernamentales.

En el caso chileno, se puede constatar que la evaluación en el ámbito social ha sido una tarea más bien reciente. Al rastrear evaluaciones de programas sociales implementados por el Estado chileno, estas corresponden mayoritariamente a las últimas dos décadas, lo cual coincide con el impulso que han tenido los programas sociales en este periodo (Olavarría y Figueroa 2012). Estas evaluaciones se han centrado en aspectos presupuestarios y de la cobertura (Ministerio de Desarrollo Social 2016), pero la evidencia sobre los resultados o efectos sustantivos de los programas sociales y de otros aspectos relevantes de su implementación es escasa (Briones 2008; Centro de Estudios de Emprendimientos Solidarios 2012).

Este desarrollo reciente de la evaluación de programas sociales caracteriza también la situación a nivel latinoamericano (Cardozo 2006), donde, si bien desde el 2000 se comenzaron a dirigir mayores esfuerzos hacia la evaluación (por ejemplo, el caso de México, con la evaluación de alta calidad de su principal programa gubernamental de intervención en pobreza [Cardozo 2003]), aún se hace evidente la importancia de desarrollar una práctica más sistemática metodológicamente. De manera específica, se reconoce la necesidad de formalizar la actividad evaluativa, pues es una disciplina central para mejorar las acciones orientadas a la superación de problemáticas sociales predominantes en la región, como la pobreza y la exclusión social (Lagos y Cabrera 2014).

De esta forma, la evaluación de programas resulta ser una tarea a la que no siempre se le han otorgado la centralidad y dedicación que merece, especialmente en las organizaciones no gubernamentales que ejecutan programas sociales con financiamiento estatal. Al respecto, cabe aclarar que, en Chile, gran parte de la implementación y evaluación de políticas sociales es licitada a terceros, que consisten, mayoritariamente, en organizaciones no gubernamentales pequeñas y con escasos recursos. Así, para el caso chileno, se ha reportado hace ya varios años que, a pesar de la estrecha relación entre Estado, organizaciones gubernamentales y/u organizaciones de la sociedad civil, y del fundamental rol que estas últimas tienen en la ejecución de programas públicos, no se suelen realizar evaluaciones sistemáticas de los impactos de las acciones de estos organismos (Ferrer, Monje y Urzúa 2005). Esta situación, en la que dichas organizaciones tienen una participación muy limitada en la evaluación y retroalimentación de los programas ejecutados, se ha mantenido hasta la actualidad (Irarrázaval, Sagredo y Streeter 2019), lo cual establece una gran distancia entre la intervención y la evaluación. En este contexto, es necesario avanzar en materia de evaluación de programas sociales y en la certificación de tales organizaciones, valorando las experiencias de sus equipos e incentivando su participación en los procesos de evaluación (Centro de Estudios de Emprendimientos Solidarios 2012).

Esta distancia entre la evaluación y la intervención produce una serie de problemas. Las evaluaciones pocas veces se traducen en un aporte real a los programas y cumplen, más bien, un rol de fiscalización -asociada a la sustentabilidad y a garantizar o no la continuidad del programa (Dirección de Presupuestos del Ministerio de Hacienda 2018)- o de verificación -relacionada con el cumplimiento de metas (por ejemplo, para el caso chileno, el número de personas atendidas [Arenas y Berner 2010]), o con la realización de actividades dentro de los plazos estipulados (Irarrázaval, Sagredo y Streeter 2020)-. Asimismo, en los programas gubernamentales chilenos, las evaluaciones suelen ofrecer recomendaciones genéricas que no permiten efectuar cambios concretos en estos (Centro de Medición Pontificia Universidad Católica de Chile 2005). Además, al tener escaso conocimiento acerca de los programas, no se puede aprender de ellos, lo que impide ofrecer un servicio de calidad (Guba 1978; Wholey y Hatry 1992).

No tener información disponible obstaculiza la toma de decisiones políticas y económicas respecto a los programas sociales (Stufflebeam y Shinkfield 2007), lo que puede repercutir en la dificultad de conseguir financiamiento y poner en riesgo la continuidad de los programas. Todo esto se relaciona con un tema ético ineludible: si se trabaja con población en riesgo, que por esto mismo requiere intervenciones de máxima calidad, es una negligencia no chequear que los programas sean efectivos. Así, se perpetúan los problemas sociales, se cometen los mismos errores y se replican programas ineficientes.

Barreras para la evaluación de programas sociales

El análisis de las barreras para la evaluación de programas sociales ha sido realizado, principalmente, en el marco de las políticas públicas. Desde esta perspectiva, es posible destacar los aportes tempranos desde Francia, en relación con la existencia de obstáculos sociopolíticos, administrativos y metodológicos (Nioche 1982) que dificultan el desarrollo de la evaluación, incluso en países desarrollados. Al respecto, en el ámbito de la política pública (que va de la mano con el quehacer de muchas organizaciones no gubernamentales que ejecutan programas públicos), es posible reconocer una serie de barreras para la evaluación, como la falta de recursos económicos y la dificultad para persuadir a quienes toman decisiones de actuar en consonancia con los resultados de las evaluaciones (Orr 2018). Asimismo, Assumpção y Goulart (2017) reconocen la compleja relación entre los actores políticos y quienes toman decisiones en el contexto de la evaluación de políticas públicas. En ese sentido, se reconoce que la labor de evaluar encuentra una serie de resistencias en este ámbito y en la consecuente toma de decisiones políticas.

Para el caso de los programas sociales en general, esta situación no es tan distinta. Sin embargo, dado su carácter situado y específico, es necesario un análisis de las condiciones inmediatamente implicadas en la evaluación, desde un enfoque interactivo y operativo del programa social. Por ello, a partir de una revisión teórica y empírica, así como desde la experiencia práctica en el ámbito social, es posible plantear que la falta de evaluaciones de calidad en los programas sociales responde a una serie de barreras.

Barreras de formación y lenguaje. La interacción entre personas de diferentes disciplinas, a menudo hiperfocalizadas, puede reducir las posibilidades de colaboración y restringir el trabajo multidisciplinario, lo que limitaría el alcance de la mirada evaluativa.

Barreras metodológicas y de diseño. Las primeras se manifiestan en la clásica división entre métodos cuantitativos y cualitativos, desavenencia histórica tanto en sus marcos paradigmáticos como en el estilo de trabajo cotidiano de los equipos (Cook y Reichardt 2005; Dávila 1995; Sandoval 1996), que puede llevar a una elección superficial del método, ya sea porque “está de moda” o porque es lo que maneja el equipo. Las segundas se expresan en la réplica de diseños de evaluación exitosos sin adecuación a los programas o sin la consideración de la evaluación desde su inicio, lo que puede llevar a la improvisación y a la falta de prolijidad. Además, como las evaluaciones suelen ser complejas técnicamente, puede crearse una dependencia en los evaluadores externos, lo que restringe la continuidad de estas.

Barreras de los actores y su interacción. Los diversos actores implicados suelen tener concepciones distintas sobre la evaluación, los aspectos por evaluar y cómo evaluarlos, según el rol que ocupen en las instituciones. Así, se observa una distancia entre los técnicos (policy makers o ejecutores de programas), los evaluadores (académicos o consultores internos/externos) y los equipos de los programas (que pueden ver la evaluación como un trabajo adicional) (Briones 2008). A esto se suma el usual riesgo de que los miembros del personal del programa se puedan sentir amenazados por la evaluación (Linfield y Posavac 2018), por el temor de que se cuestione su quehacer o de que los resultados repercutan negativamente en la comunidad donde se efectuó el trabajo.

Barreras de contextualización. Aluden a la distancia que algunos evaluadores establecen con los programas y sus participantes (Bebbington 2005), con una precaria o nula inserción en el terreno, que produce una lejanía del “campo” por evaluar y no permite llegar a conocer características básicas e importantes de los programas, los/as participantes o el contexto, y que pueden influir en la evaluación.

Barreras de poder. Dada la confluencia de instituciones en el momento de evaluar, puede haber “agendas” particulares involucradas, así como un “uso político” de la evaluación (Weiss 1975). Por ejemplo, al decidir no evaluar por el “riesgo” que pueden implicar los resultados u optar por mostrar solo algunos de estos. Un hito que amenaza la realización y continuidad de las evaluaciones es el de los cambios de autoridades y/o contrapartes, y, con ello, de los intereses institucionales, tanto en el mundo público (asociado a los periodos presidenciales) como en el privado (por la rotación del personal).

Barreras económicas. Estas afectan de manera muy importante las posibilidades reales de evaluar los programas sociales (Valadez y Bamberger 1994). Realizar una evaluación de calidad implica un costo financiero que varía según el tipo de evaluación y que es vital de considerar cuando existe un marco de restricción presupuestaria. Por ejemplo, elegir entre una metodología cuantitativa o cualitativa involucra, en términos económicos, diferencias no menores relativas a los requerimientos humanos y logísticos para llevar a cabo la evaluación. Además, la dependencia de financiamiento externo, que conlleva fondos de los cuales muchas veces no se tiene certeza, puede significar que se vean alterados los tiempos y los focos de la evaluación.

Barreras operativas. Existen múltiples barreras asociadas al quehacer práctico de la evaluación. Por ejemplo, la burocracia de las instituciones (que se expresa en una rutina de convenios y contratos que se dilatan y acuerdos que en ocasiones no se cumplen); los impedimentos de los distintos actores para reunirse y trabajar en conjunto (ineficiencia de las reuniones y falta de reflexión en torno a la evaluación); la dificultad en el acceso efectivo al campo (trabajo en terreno y contacto con los/as participantes del programa); o la falta de capacitaciones de quienes ejecutan labores de recolección de datos.

Todas estas barreras se pueden convertir en amenazas para la evaluación, que provocan tensión y frustración que se pueden extender a los distintos actores involucrados, como el equipo de evaluación, las instituciones y los/as participantes del programa. El modelo propuesto en este artículo intenta hacerse cargo de estos problemas y barreras, y ofrece una aproximación compleja y profunda a los programas sociales, sin dejar de lado su posibilidad real de realización en organizaciones no gubernamentales.

El modelo propuesto: tres fundamentos y ocho fases

A partir del análisis documental y el trabajo propositivo, y teniendo en cuenta además la experiencia práctica en evaluación de programas sociales, se propone un modelo de evaluación integral orientado a la evaluación de programas sociales en organizaciones no gubernamentales, que pueden o no corresponder a iniciativas gubernamentales con financiamiento estatal. En caso de que sí lo fueran, cabría agregar otros fundamentos o etapas asociados a la lógica pública de gestión. Considerado esto, el modelo propuesto es elaborado a partir de tres fundamentos y está organizado en ocho fases. En cuanto a sus fundamentos, estos son:

  1. Integrar la evaluación con la intervención. La evaluación debería acompañar desde el inicio a los programas sociales, nutriéndolos en su formulación, retroalimentándolos durante el proceso y valorándolos al final (Aguilar y Ander-Egg 1992; Matos 2005; Valadez y Bamberger 1994). Esto motiva a que durante la implementación del programa y del proceso de evaluación se generen reflexiones útiles para efectuar ajustes y recomendaciones, sin necesidad de esperar hasta el final de ambas acciones. Este tipo de resultados ayuda a perfeccionar los programas, pues permite constatar aquello que se está haciendo bien y reforzarlo, así como a poder realizar correcciones al terminar el ciclo de la intervención. Esto último evita que tales ajustes modifiquen las condiciones de la evaluación e interfieran en la captación de los resultados del programa. A su vez, los ajustes en la intervención deberían llevar a modificaciones en las próximas evaluaciones.

  2. Integrar métodos cualitativos y cuantitativos. Tal como discuten Arancibia et al. (2015), son escasas las evaluaciones que combinan métodos cualitativos y cuantitativos para estudiar los procesos y/o resultados de los programas sociales. Sin embargo, esta aproximación, que persigue la amplitud, profundización, comprensión y corroboración de la información generada (Johnson, Onwuegbuzie y Turner 2007), permite captar elementos claves de los programas, tanto desde la experiencia subjetiva de sus participantes como al registrar resultados objetivos. Ambas dimensiones son importantes, en especial si se busca conocer el funcionamiento y los efectos de un programa (Raczynski 2002), y para ello es necesario lograr una mayor compatibilidad y triangulación entre ambas aproximaciones metodológicas (Pardo 2011). Si bien los métodos mixtos han recibido críticas asociadas al eclecticismo metodológico y el pragmatismo, su uso ha sido aconsejado cuando los problemas y preguntas de investigación son complejos y se necesita convocar equipos multidisciplinarios (como es el caso de los programas sociales de intervención en pobreza), o cuando los fines prácticos requieren la implementación de políticas o la elaboración de recomendaciones (aspectos centrales de la evaluación de programas sociales) (Mendizábal 2016). En efecto, si se acepta que la naturaleza de los resultados de los programas sociales no es exclusivamente cuantitativa ni cualitativa, se hace necesario poner en conversación ambas aproximaciones, para posibilitar, así, un análisis que permita acercarse a una comprensión más profunda de los programas evaluados.

  3. Integrar las voces de diferentes actores relevantes. Usualmente, los sistemas de evaluación se orientan a medir los logros objetivos sobre las personas, dejando de lado las valoraciones que estas llevan a cabo sobre su participación en el programa evaluado, así como también las de otros actores relevantes que podrían contribuir a una visión interdisciplinaria, multiestamental y aplicada que asegure la utilidad de los hallazgos (por ejemplo, agentes de intervención, coordinadores y directivos) (Lagos y Cabrera 2014). Lo anterior es fundamental si se considera que todas las personas involucradas tienen algo que aportar para comprender el programa y sus resultados (Montero 2006), y, por tanto, es necesario complementar miradas y triangular la información desde distintas perspectivas (Cornejo y Salas 2011). De esta manera, el modelo propuesto asume que, para que en efecto haya un puente entre evaluación e intervención, es fundamental involucrar al equipo de trabajo de la institución y reivindicar la voz de sus participantes. Ello no solo permite dar un sentido a la evaluación del programa, sino también comprometer a quienes lo ejecutan, o son sus participantes, en su comprensión y mejoramiento, y favorecer la instalación de capacidades evaluativas (Bucheli y Rotondo 2009). Además, la incorporación de los equipos de intervención potencia el aprendizaje organizacional y una mayor comprensión de la teoría que se encuentra en la base de los programas sociales, asuntos que destacan en países con amplia trayectoria en la evaluación de programas sociales, como es el caso de Canadá (Quiroz et al. 2016; Sieppert 2005). En este contexto, la interacción entre el evaluador y los actores es clave, con potencial de ser altamente colaborativa, y donde el primero actúa como consultor o facilitador para un grupo de partes interesadas que asumen la responsabilidad principal de planificar, dirigir y usar la evaluación (Rossi, Freeman y Lipsey 2019), y se compromete con el proceso evaluativo y sus resultados.

Considerando estos fundamentos, el modelo propuesto sigue una serie de fases, flexibles en su aplicación, que permiten concretar la mirada integral y enfrentar las barreras anteriormente detectadas. Estas fases, cuya presencia y cuyo orden son importantes de ajustar a cada caso, fueron diagramadas en la figura 1 y son explicadas a continuación.

Fuente: elaboración propia.

Figura 1 Modelo de evaluación integral 

  1. Fase preparatoria. Su objetivo es llevar a cabo un acercamiento preliminar para conocer el programa y sus actores y los resultados que busca, y adecuar la evaluación a las particularidades del programa. Esta fase se puede efectuar desde una aproximación cualitativa por medio de la revisión de documentos y la realización de entrevistas, grupos focales y reuniones evaluativas con los distintos actores. Esta fase ayuda a contestar la pregunta ¿cuál será el sentido de esta evaluación? y permite levantar aspectos de interés y pensar sobre la posible relación entre dichos aspectos.

  2. Fase de diseño. Su propósito es delimitar el diseño de la evaluación, con énfasis en lograr una mirada integral del programa -sus efectos y procesos-. Esto obliga a plantear varias preguntas que es necesario abordar reflexivamente con los distintos actores implicados: ¿qué evaluar? -para detectar variables y dimensiones de análisis-; ¿cómo evaluar? -que contempla estrategias para la recolección de datos cuantitativos y la producción de datos cualitativos-; ¿cuándo evaluar? -asociado a la temporalidad de la evaluación-; ¿a quiénes evaluar? -que variará según el tipo de programa y las preguntas que se tengan-; y, para efectos de este modelo de evaluación, también es fundamental la pregunta ¿quiénes evalúan?, pues permite derivar tareas de la evaluación a las personas que implementan el programa y, por tanto, instalar capacidades y enriquecer los resultados a partir de sus experiencias en el proceso. Además, es necesario realizar una reflexión sobre aquello que permite asegurar buenas prácticas en la evaluación, asociado a los aspectos éticos.

  3. Fase de construcción de dispositivos. Esta fase tiene como objetivo elaborar y/o seleccionar los dispositivos metodológicos necesarios para efectuar la evaluación. Para los instrumentos de medición cuantitativos, se debe seguir el procedimiento tradicional de elaboración de escalas o cuestionarios, o bien, seleccionar instrumentos estandarizados que se adecuen a la evaluación y validarlos, así como realizar un pre-test y estimar la confiabilidad. Por otro lado, se deben generar los dispositivos de producción de datos cualitativos, cuidando de llevar a cabo ajustes durante el proceso, para lograr abarcar más aristas de los fenómenos conexos con el programa. Esta fase ofrece la oportunidad de chequear el “modelo de cambio”, muchas veces asociado a la relación entre las variables o dimensiones por evaluar, así como al pilotaje de la evaluación. Es necesario asegurar la rigurosidad de los registros (por ejemplo, digitación y grabación) y capacitar a las personas implicadas, para lo cual es prioritaria la elaboración de un manual de la evaluación. También es importante considerar los registros administrativos de los programas, particularmente cuando se cuenta con un control de gestión (por ejemplo, número de beneficiarios y sus características, acciones o actividades ejecutadas, tasa de deserción, entre otros).

  4. Fase de recolección inicial. El objetivo de esta fase es establecer una línea base cuantitativa. Se aplican los instrumentos de medición a los/as participantes del programa al iniciar las actividades. En esta fase es importante instaurar la práctica de chequear la información obtenida, por ejemplo, la correcta digitación de las encuestas. Una vez sistematizados los datos, estos se deben analizar y complementar con la información obtenida previamente de manera cualitativa. Esta fase de recolección inicial es una oportunidad para informar a los/as participantes del programa sobre la evaluación, así como para explicarles su importancia y asegurarles la confidencialidad -aspectos éticos relevantes de la evaluación-. En este punto, es importante incluir una mención explícita respecto a que la decisión de participar o no en la evaluación no tiene ni tendrá ninguna consecuencia sobre la participación en el programa.

  5. Fase de monitoreo. El propósito de esta fase es efectuar un monitoreo de la evaluación en proceso. En esta, se pueden sostener reuniones evaluativas con los actores involucrados en la evaluación, con miras a resolver asuntos prácticos de esta, realizar ajustes y complementar la interpretación de los primeros resultados desde la perspectiva de las distintas personas implicadas. Esta fase permite constatar qué está ocurriendo con el programa y con la evaluación.

  6. Fase de recolección final. Su propósito es determinar, por medio de la aplicación de instrumentos cuantitativos, la línea de salida del programa para conocer los efectos esperados. Así, también se busca identificar, por medio de la producción de datos cualitativos, resultados no esperados -facilitadores u obstaculizadores de la intervención-, entre otros fenómenos emergentes.

  7. Fase de seguimiento. Esta fase es opcional y ayuda a profundizar en fenómenos identificados en el análisis de las fases anteriores. Se sugiere realizarla, dado que los tiempos en que ocurren los resultados de los programas no siempre son inmediatos, así como para observar si los efectos detectados se sostienen tras la intervención. Se pueden aplicar métodos cualitativos y cuantitativos.

  8. Fase de análisis integral. Su objetivo es lograr una mirada holística del programa y una discusión integrada de sus resultados y procesos, centrada fuertemente en las implicaciones prácticas de lo encontrado y en dar recomendaciones concretas. Esto se puede desarrollar por medio de talleres de análisis participativos con el equipo de la institución que implementa el programa, así como con los/as participantes del programa en las interpretaciones realizadas, a modo de inter-analistas. Es importante efectuar estos talleres durante todo el proceso de la evaluación y no solo al final. Además, se sugiere llevar a cabo una evaluación de la evaluación, que consiste en reflexionar junto con los diversos actores acerca del acto completo de evaluar, sus facilitadores y obstaculizadores. Con esto, se busca implementar mejoras, en caso de desarrollar evaluaciones sucesivas. También es importante considerar los hitos reflexivos que han surgido durante el proceso de evaluación y que permiten ejecutar ajustes, redefiniciones y cuestionamientos sobre la evaluación misma, la intervención y la institución.

Proceso transversal de comunicación constante. Discurre sobre la devolución, difusión y socialización de la información generada de manera transversal a todas las fases señaladas. Según este modelo, la devolución deja de ser un acto único y final al constituirse en un proceso permanente y de reflexión continua con los diversos actores del programa. Además, siguiendo las consideraciones éticas del trabajo con población en riesgo, también es importante la devolución de los resultados a los/as participantes del programa. A su vez, la difusión de los informes y publicaciones elaborados, así como la presentación de los resultados, deberían exponerse a un público perteneciente al ámbito social, a la academia y a creadores de políticas públicas. Con ello, se debería buscar la socialización de la información con una audiencia más amplia, por medio de redes sociales, medios de comunicación y nuevas tecnologías.

Finalmente, un punto crucial que se debe tener en cuenta es que, si bien para este modelo se definió un marco general que incluye ciertas fases, en el momento de implementarlo resulta importante efectuar ajustes en dos líneas. Primero, la institución que decida aplicarlo debe adaptar el modelo a la realidad de los programas que pretende evaluar. Segundo, en caso de mantener un proceso de evaluación continuo de los programas, el modelo tiene que ser flexible y receptivo a los posibles cambios realizados al diseño o a los objetivos de estos -producto de las evaluaciones previas-, así como considerar en las evaluaciones sucesivas posibles focos interesantes por profundizar. De esta forma, el presente modelo, al ofrecer fundamentos y fases claramente delimitados -pero flexibles-, sirve de lineamiento inicial y/o general -deberán llevarse a cabo ajustes de acuerdo a los contenidos de cada programa y a lo que se busca evaluar-.

La factibilidad del modelo: un ejemplo de su aplicación en Chile

Tras presentar las bases del modelo y los procedimientos que permiten un acercamiento integral a los programas sociales, se piensa que el mayor aporte de esta propuesta es que sea factible de realizar, particularmente, cuando se trata de instituciones pequeñas y con escasos recursos, como es el caso de muchas organizaciones no gubernamentales.

Para retratar esto, se presentan las reflexiones derivadas de la aplicación del modelo en Acción Emprendedora, organización no gubernamental chilena que lleva más de quince años formando a microemprendedores en situación de vulnerabilidad social y/o económica. Se trabajó durante dos años junto con la organización para ajustar el modelo a su programa de capacitaciones microempresariales, afinar el diseño de la evaluación y realizar el registro y análisis de la información a lo largo de todo el proceso -siempre con la invaluable colaboración de los/as profesionales y encargados/as de la institución-. La aplicación del modelo no solo logró captar interesantes resultados, lo cuales se encuentran disponibles en Daher (2015), sino también desarrollar importantes reflexiones sobre el proceso evaluativo, presentadas a continuación.

Con respecto a los problemas de la evaluación, se constató que esta forma de evaluar fue un aporte real, pues ofreció una comprensión profunda del programa y proporcionó recomendaciones concretas, lo que posibilitó tomar decisiones y, así, asegurar la calidad de las intervenciones. Asimismo, conversar sobre las implicaciones de los resultados de la evaluación, no solo desde el efecto estadístico, sino desde la explicación que los/as participantes del programa y los/as profesionales y encargados/as de la institución le daban, permitió pensar acerca de los contenidos de la intervención. Por ejemplo, al considerar los contenidos señalados como relevantes por los/as participantes del programa, se decidió incluir asesoría legal dentro de los cursos de manera más explícita, y, para ello, se realizaron convenios con espacios universitarios, con el fin de instalar un estudio jurídico. En cuanto a lo anterior, se comentó lo siguiente:

Participante 1: Gracias a esto podemos ver si hay mejoras, podemos sustentar lo que estamos haciendo, y si nos estamos equivocando nos podemos dar cuenta también. Participante 2: Entonces, yo creo que, para nosotros, ahora es mucho más fácil poder orientarnos, “acá debe haber una mejora porque aquí se muestra que en verdad no se está entregando lo que se debería entregar” [refiriéndose a las capacitaciones]. Entonces, nos orienta mucho. (Evaluación de la evaluación, Santiago de Chile, 2014)

Además, la evaluación ofreció insumos para que la institución se revisara a sí misma -por ejemplo, con respecto a su misión y a sus prioridades-, pues, inicialmente, no se tenía contemplado el desarrollo de los negocios como un objetivo explícito por alcanzar, y el enfoque estaba solo en la transmisión de conocimientos. Lo anterior motivó su reformulación.

En lo referente a las barreras de la evaluación, la aplicación de este modelo permitió que estas se abordaran a través de la promoción del trabajo con personas de distintas disciplinas, lo que posibilitó superar la distancia que se establece entre profesionales. En este caso, si bien al inicio fue complejo “entenderse”, a medida que avanzó la evaluación se fue construyendo un lenguaje común. Así, por ejemplo, para una psicóloga, fue posible comprender nociones relacionadas con el “mundo de los negocios”, así como para un ingeniero, aquellas nociones asociadas a las “habilidades personales”.

La mirada integral que promueve el modelo facilitó la reflexión sobre la pertinencia de los métodos que se querían emplear, considerando sus aportes y riesgos. También, posteriormente, incentivó la interacción de los resultados provenientes de distintas fuentes de información. De esta forma, se abordaron las barreras metodológicas y de diseño, por medio de la complementariedad de estrategias, lo que enriqueció el trabajo evaluativo y generó una mirada holística del programa y sus efectos. Esto ayudó a profundizar y complejizar el conocimiento que la organización tenía sobre tales efectos. Un funcionario lo explicó de la siguiente manera:

También fueron súper importantes los cuestionamientos que se originaron a partir de estos resultados. Fue como decir “¡oh, esto está pasando acá!” y preguntarse “¿por qué?”. Por ejemplo, te ayuda a entender el perfil de ese microempresario que está llegando y los problemas que ese microempresario trae asociados. Entonces, ayuda justamente a ver nuestra oferta de capacitaciones. Creo que de todas formas es beneficioso. (Taller de Análisis, Santiago de Chile, 2014)

Además, la aplicación del modelo generó un verdadero trabajo en equipo, que permitió abordar las barreras entre actores y su interacción, acercando así la brecha establecida por la posición institucional. Esto ocurrió a medida que se formalizó la inclusión de los diversos actores en reuniones y talleres de análisis, entre otros espacios, lo cual posibilitó conciliar opiniones, intereses y visiones, a la vez que nutrió la evaluación desde dentro. Ahora bien, ello fue viable gracias a que dichas actividades se basaron en el respeto, la confianza y la validación del trabajo mutuo. Un integrante del equipo central de la institución mencionó lo siguiente al respecto:

Lo que facilitó, sin duda, el proceso fue la coordinación del equipo. Al inicio estuvimos bien descoordinados, pero al fin logramos coordinarnos en la distribución de esta labor y no dejarle solamente al encargado de la evaluación de resultados la aplicación de los instrumentos. Eso facilitó enormemente el proceso. (Reuniones Evaluativas, Santiago de Chile, 2014)

Otro punto rescatable respecto a la aplicación de este modelo de evaluación fue que, al instalar un estilo de trabajo colaborativo, en el que se implicaba activamente a los actores en la recogida de datos y el reporte de los resultados parciales de la evaluación, se ganó mayor comprensión y se entendió el sentido de esta. Ello generó mayor compromiso y apoyo mutuo, y se superó, así, la barrera de contextualización dada por la falta de inserción y conocimiento sobre el campo en el momento de evaluar. Así lo declaró una de las personas encargadas de aplicar el instrumento cuantitativo:

A mí me parece que lo que vimos ayer [presentación de resultados en un Taller de Análisis] nos sirvió para tomarse más en serio para qué sirve la evaluación. Yo sabía que los instrumentos eran importantes, pero no me lo tomaba tan en serio. Ahora, creo que a todos nos quedó bien claro y se le dio mayor importancia. […] En definitiva, a pesar de los tropiezos [refiriéndose a la situación inicial de estrés], se logró generar un aprendizaje y ahí están los resultados. (Evaluación de la Evaluación, Santiago de Chile, 2014)

Además, el acto de participar en la evaluación, independiente de la tarea que se cumplió o el rol que se tenía, generó una concientización en los actores involucrados. Esto movilizó a la organización y a sus dirigentes a instalar la evaluación como una práctica habitual. Esta participación en la evaluación también facilitó la continuidad de esta; aun cuando encargados/as claves de la institución renunciaron o fueron sustituidos, fue posible lidiar con las barreras de poder que surgen en estos casos.

Asimismo, el instalar capacidades para la evaluación de programas en el equipo de trabajo -al contar con espacios de asesoría externa solo si esta era requerida- redujo los costos asociados a la evaluación, haciéndola posible de mantener en el tiempo. Ello permitió superar las barreras económicas que presentaba la institución al respecto.

Por último, conversar sobre el proceso de evaluación produjo ajustes operativos sobre esta. Por ejemplo, se hicieron mejoras (de diseño y lenguaje) en el instrumento y se afinó la coordinación entre los diversos actores (desde las personas dedicadas a la producción de datos hasta el director de la organización y financistas). Se validaron la elaboración del manual de la evaluación y los espacios de capacitación como instancias fundamentales para entender la importancia de la evaluación, disminuir la ansiedad asociada a implementar algo desconocido e instalar el hábito de evaluar dentro de su actividad cotidiana. Todo ello permitió impulsar acciones frente a las barreras operativas típicas de la evaluación.

De esta forma, la aplicación del modelo tuvo una evaluación general positiva por parte de los actores involucrados. Tanto funcionarios/as de la institución como participantes de las intervenciones señalaron que les parecía muy adecuada y pertinente esta forma de evaluar. Así, fue una sensación común entre los integrantes de la organización la satisfacción con el proceso implementado, pues generó un respaldo de su quehacer. Estas personas expresaron que los resultados aportaron al mejoramiento de la intervención y al crecimiento como institución, con grandes aprendizajes que sustentan su labor y actúan como elementos motivadores y orientadores. Así, se validó la importancia de evaluar:

Con la incorporación de la evaluación de los resultados, yo creo que hay un antes y un después en Acción Emprendedora. Sin lugar a dudas, es un avance gigante y el trabajo ha sido potente; los resultados son interesantes y nos tranquilizan. Me hace decir que todo este esfuerzo ha valido la pena. Nos potenció a movilizarnos como organización. (Evaluación de la Evaluación, Santiago de Chile, 2014)

Por su parte, los/as participantes del programa tuvieron una muy buena acogida y disposición durante toda la evaluación; estaban muy deseosos/as de compartir sus experiencias y hacer comentarios sobre el programa. Apreciaron el rol protagónico que tuvieron en la evaluación, no solo al ser consultados/as por las capacitaciones, sino también al preguntarles por su valoración del programa y sus opiniones sobre los facilitadores, obstaculizadores y recomendaciones para mejorarlo. Así, los/as participantes del programa realizaron grandes aportes a este y dieron sugerencias concretas. Una persona señaló al respecto:

Ha sido buena experiencia conocerlos [refiriéndose a Acción Emprendedora]; el que siempre estén pendientes de nosotros, de los que pasamos por aquí, es bueno. Es bueno que hagan este seguimiento y que uno quede en la base de datos. Le permite a uno devolver la mano. En este caso, ustedes requieren de esta información, ya que hay un curso detrás, y uno también puede cooperar [refiriéndose a la posibilidad de ofrecer recomendaciones de mejora]. (Reunión Evaluativa, Santiago de Chile, 2014)

Reflexiones finales

La pobreza es un asunto complejo y urgente de abordar, que exige intervenciones de calidad y cuya evaluación se torna crucial. Sin embargo, aunque es ampliamente reconocida la importancia de la evaluación, existen problemas y barreras que dificultan su aplicación y que hacen necesario el desarrollo de modelos capaces de hacerse cargo de la complejidad creciente del fenómeno de la pobreza y de las estrategias que se emplean para abordarla, en especial en el contexto de las organizaciones no gubernamentales.

El modelo propuesto da respuesta a dicha complejidad al integrar la evaluación con la intervención, rescatar la dimensión objetiva y subjetiva por medio del uso complementario de métodos, e incluir la voz de los distintos actores involucrados, particularmente de las personas que participan y las que ejecutan los programas. Ahora bien, se considera que el mayor beneficio de este modelo es que permite generar una mirada profunda sobre los programas y sus resultados, y, a la vez, es factible de ejecutar por estar dentro de las posibilidades reales de organizaciones pequeñas y sin fines de lucro. Este aporte conecta claramente con el contexto de las evaluaciones, en el cual los recursos rara vez son suficientes y las presiones del tiempo son sobresalientes (Trochim 1998, citado en Rossi, Freeman y Lipsey 2019), lo que exige modelos precisos y eficientes.

Respecto al primer fundamento del modelo propuesto -integrar la evaluación con la intervención-, se puede señalar que la intervención se vuelve más integral en la medida en que la evaluación la modela con esa mirada. Esto releva la importancia de llevar a cabo un proceso de evaluación que vaya retroalimentando la intervención en el curso de esta, y que, intencionalmente, ubique la mirada sobre la evaluación más allá de sus resultados, lo que posibilita cambios a futuro. Esto conecta con la idea de que la evaluación no es un evento de una sola vez, sino que, en palabras de Mertens y Wilson (2018, 10), “es un ejercicio que involucra evaluaciones de diferentes alcances, varios puntos en el tiempo en respuesta a las necesidades cambiantes de conocimiento evaluativo y aprendizaje durante el esfuerzo por lograr un resultado”. Se trata, entonces, de un tipo de evaluación en la que los resultados no se reducen a un juicio sobre el éxito o el fracaso final del programa, sino que estos matizan dicha valoración indicando, además, aquellos aspectos que sobresalen o que modifican la intervención, con miras a su continuo mejoramiento.

En cuanto al segundo fundamento -integrar métodos cualitativos y cuantitativos-, si se considera que, hoy por hoy, los programas sociales de intervención en pobreza suelen operar bajo una concepción multidimensional de esta -que tiene en cuenta los aspectos objetivos o tangibles de la pobreza, así como los aspectos subjetivos o intangibles de esta (Raczynski 2002)-, se hace necesario el uso de metodologías de evaluación que recojan dichas dimensiones. Esto se traduce, más allá del uso paralelo de métodos cualitativos y cuantitativos, en un posicionamiento en el que ambas dimensiones estén imbricadas en la comprensión de los fenómenos. Tal como exponen Creswell y Plano Clark (2007), más que simplemente recolectar y analizar ambos tipos de información, se trata de incorporar, más bien, el uso de ambos enfoques en conjunto, de tal forma que la solidez del estudio sea mayor. Además, se hace fundamental la integración de los datos tanto en la recolección como en el análisis y en la interpretación (Mendizábal 2016). De esta manera, se apela a la integración de métodos para constatar cómo estas dimensiones se entrelazan y dan cuenta de manera profunda del programa y el fenómeno de la pobreza. Así, es posible evaluar, con la profundidad y pertinencia necesarias, aspectos objetivos de la pobreza (asociados al enfoque centrado en los ingresos [Denis, Gallegos y Sanhueza 2010] o a la denegación de oportunidades), así como aspectos subjetivos (relacionados con la limitación del despliegue de capacidades personales o la vivencia de exclusión social, entre otros aspectos [FSP 2010]).

En relación con el tercer fundamento -integrar las voces de diferentes actores relevantes-, las personas, al ser consideradas como agentes activos y no meros “sujetos de investigación”, se van empoderando y formando en el proceso de evaluar, y esto permite que se establezca una distancia con el paradigma analítico cartesiano (Montero 2006) y se avance hacia el modelo de evaluación empoderadora (Donaldson 2017) o transformadora (Mertens 2008). A los/as participantes de los programas se los ve como agentes competentes que se encuentran en una situación que pueden superar, y por lo cual tiene sentido incluir su perspectiva en la evaluación. Esto último se relaciona con la restitución del derecho básico de las personas a levantar su voz y ser tenidas en cuenta en asuntos que incumben a sus propias vidas (Sen 2000), como lo es participar en un programa social. Además, al incorporar a los agentes de intervención y al equipo a cargo de los programas, estos pueden participar efectivamente en la evaluación y retroalimentación de los programas que ejecutan (Irarrázaval, Sagredo y Streeter 2019), aportando su visión sobre la intervención social en la definición de los aspectos por evaluar, dando su opinión acerca del proceso de evaluación y sus implicaciones, generando interpretaciones y proponiendo análisis adicionales. Así, se potencian la aplicabilidad y futuras replicaciones de la evaluación.

Todo esto demuestra que evaluar no es solo ejecutar un diseño (de evaluación), sino pensar y repensar sobre la marcha y reflexionar, a partir de los resultados, sobre la intervención y la institución. Esta corresponde a una poderosa herramienta de la evaluación integral, entendida también como una forma de Investigación Acción Participativa (Durston y Miranda 2002), donde las personas participantes no solo son los/as participantes de los programas, sino también quienes están a cargo de estos y de quienes dependen las futuras modificaciones. Esto coincide con la importancia de incorporar en las evaluaciones tanto a los/as participantes de los programas como a los/as profesionales y/o encargados/as de los programas (Quiroz et al., 2016; Sánchez Pérez 2016), en reconocimiento de su experiencia y experticia (Centro de Estudios de Emprendimientos Solidarios 2012). La importancia de incorporar a estos últimos conecta con el reconocimiento de la evaluación como una acción que posibilita el aprendizaje de la experiencia y, así, el desarrollo del aprendizaje organizacional que se debe potenciar en el ámbito social (Sieppert 2005). Esto permite, a su vez, reorientar la operación de los programas a través de la adecuación o adaptación de los diseños a las condiciones cambiantes del contexto (Perea 2017). Además, favorece que el foco de la evaluación no esté solamente en el “problema”, sino en pensar la información que necesita la comunidad (en este caso, la organización) para su mejora continua (Mertens 2008).

De esta manera, promover la evaluación integral de programas sociales permitirá avanzar hacia una etapa de mayor complejidad en la evaluación, en la que será posible obtener una comprensión más amplia de los fenómenos que subyacen en los programas o que emergen de estos. Más allá del cumplimiento de los objetivos, esto se hace con el fin de explorar la “caja negra” de los programas o proyectos sociales, es decir, los mecanismos a través de los cuales dichos efectos suceden (Solmeyer y Constance 2015), y donde la visión de los encargados del programa, profesionales, participantes del programa y otros actores relevantes se constituye en un aporte central.

Esta forma de comprender la evaluación coincide con la planteada por González (2019), quien, a partir de una revisión sistemática de los enfoques teóricos en la base de la evaluación de la intervención social, sostiene que en la actualidad se detecta una tendencia a un enfoque teórico y metodológico integrador, pragmático y adaptado que esté orientado a generar información para solucionar problemas sociales. Así, gracias a la evaluación es que se pueden acercar las “buenas intenciones” a una estrategia factible y pertinente de superación de la pobreza.

Conclusiones

Teniendo a la vista nuevas preguntas y agendas de investigación, se propone extender el uso del modelo propuesto en programas gubernamentales en el contexto latinoamericano y chileno, así como en otras áreas de intervención social (por ejemplo, en salud y/o educación). Tal como argumenta Vendung (2017), la evaluación se constituye en un mecanismo clave para monitorear, sistematizar y calificar las actividades del gobierno y sus resultados, y para que, desde ahí, los/as funcionarios/as públicos/as, en su trabajo orientado hacia el futuro, puedan actuar de la manera más responsable, creativa y eficiente posible. Esto exige, sin embargo, la modificación de los enfoques hegemónicos y la flexibilización de criterios para proteger, así, siempre la calidad de la evaluación. De todas formas, se reconocen iniciativas incipientes en la política social chilena de intervención en pobreza, que permiten realizar evaluaciones con las características del modelo propuesto en este artículo, como el fondo concursable Chile Compromiso de Todos o el concurso Innova FOSIS (FOSIS 2020; Ministerio de Desarrollo Social y Familia 2019).

Considerando una perspectiva relacional de la pobreza (Simmel 2011) y la importancia de fortalecer los vínculos entre las personas que viven esa situación, los actores públicos (entre ellos, ejecutores de iniciativas gubernamentales) y otros círculos sociales de interacción significativa (Araya 2016), se identifican dos aspectos por explorar en la aplicación de este modelo de evaluación. Se podrían analizar dimensiones asociadas, por un lado, al trabajo en red (Martínez 2006) y, por el otro, al vínculo entre agentes de intervención y participantes (Daher, Jaramillo y Rosati 2018), con miras a generar conocimiento e insumos para la asistencia técnica de los programas sociales de intervención en pobreza desde una perspectiva relacional.

Por último, retomando la perspectiva ética señalada al inicio, trabajar con personas en situación de pobreza exige ofrecerles intervenciones de máxima calidad, y para ello es necesario saber si dicha entrega cumple con esta exigencia. Ello es posible de recoger con este tipo de evaluación. Se espera, por tanto, que este modelo sea de utilidad para distintas organizaciones no gubernamentales y para los programas sociales de intervención en pobreza en general, y que lo puedan ajustar a sus propias necesidades para así asumir el desafío de captar la complejidad en la base de tales programas.

Referencias

Aguilar, María José y Ezequiel Ander-Egg. 1992. Evaluación de servicios y programas sociales. Madrid: Siglo XXI. [ Links ]

Amaya, Paula. 2010. “La evaluación de las políticas públicas como estrategia para la integración de la acción estatal”. Ponencia presentada en las VI Jornadas de Sociología. Universidad Nacional de la Plata, Argentina. http://www.memoria.fahce.unlp.edu.ar/trab_eventos/ev.5231/ev.5231.pdfLinks ]

American Evaluation Association (APA). 2004. “Guiding Principles for Evaluators”. APA, consultado el 25 de agosto de 2019, APA, consultado el 25 de agosto de 2019, http://www.eval.org/p/cm/ld/fid=51 Links ]

Arancibia, Sara, Luis Felipe De la Vega, Angela Denis y Paulina Saball. 2015. “Evaluation of Social Programmes: A Multicriteria Approach”. Reforma y Democracia 63: 101-126. [ Links ]

Araya, Lorena. 2016. “La dimensión relacional de la política contra la pobreza”. Revista Políticas Públicas 9 (2): 1-22. [ Links ]

Arenas, Alberto y Heidi Berner. 2010. “Presupuesto por esultados y la consolidación del sistema de evaluación y control de gestión del gobierno central”. Dirección de Presupuesto del Gobierno de Chile, consultado el 12 de agosto de 2019, Dirección de Presupuesto del Gobierno de Chile, consultado el 12 de agosto de 2019, https://www.dipres.gob.cl/598/articles-60578_doc_pdf.pdf Links ]

Assumpção, Flaviana y Joana Goulart. 2017. “Reflexões sobre a policy making e avaliação em política pública”. Revista on line de Política e Gestão Educacional 21 (1): 47-63. https://doi.org/10.22633/rpge.v21.n1.2017.9987 Links ]

Baker, Judy. 2000. Evaluating the Impact of Development Projects on Poverty: A Handbook for Practitioners. Washington: World Bank. [ Links ]

Ballart, Xavier. 1992. ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudio de caso. Madrid: Ministerio para las Administraciones Públicas. [ Links ]

Banco Mundial. 2018. “Informe anual 2018. Poner fin a la pobreza. Invertir para generar oportunidades”. World Bank Group, consultado el 12 de agosto de 2019, World Bank Group, consultado el 12 de agosto de 2019, https://elibrary.worldbank.org/doi/pdf/10.1596/978-1-4648-1314-6Links ]

Bebbington, Anthony. 2005. Estrategias de vida y estrategias de intervención: el capital social y los programas de superación de la pobreza. Santiago: CEPAL. [ Links ]

Bouza, Ramón. 2005. “Los caminos de la evaluación de políticas públicas: una revisión del enfoque”. Revista de Investigaciones Políticas y Sociológicas 4 (2): 69-86. [ Links ]

Briones, Guillermo. 2008. Evaluación de programas sociales. Teoría y metodología de la investigación evaluativa. México: Trillas. [ Links ]

Bucheli, Brenda y Emma Rotondo. 2009. “Diagnóstico del funcionamiento de los sistemas de seguimiento y evaluación y medición del desarrollo de capacidades. Guía para unidades e instituciones gubernamentales ejecutoras de proyectos de desarrollo rural”. Serie Documentos de Trabajo No. 3. EvalPerú, consultado el 10 de septiembre de 2019, EvalPerú, consultado el 10 de septiembre de 2019, http://www.evalperu.org/sites/default/files/resources/file/GUIA%20DC%20EN%20SYE%20vf%20(1).pdf Links ]

Campbell, Donald y Julian Stanley. 1963. Experimental and Quasi-experimental Designs for Research. Boston: Houghton Mifflin Company. [ Links ]

Cardozo, Myriam. 2003. “Evaluación de políticas de desarrollo social”. Política y Cultura 20: 139-154. [ Links ]

Cardozo, Myriam. 2006. La evaluación de la política y programas públicos. El caso de los programas de desarrollo social en México. México: Cámara de Diputados. [ Links ]

Centro de Estudios de Emprendimientos Solidarios. 2012. Análisis del modelo de gestión de calidad para programas sociales. Avanzar en calidad 4. Santiago: Editorial Librosdementira Ltda. [ Links ]

Centro de Medición Pontificia Universidad Católica de Chile. 2005. Asesoría para la elaboración de un instrumento cuantitativo de evaluación de efectos psicosociales del Programa Puente. Santiago: FOSIS. [ Links ]

Chacín, Neritza. 2016. “Debate internacional sobre pobreza”. Revista de Ciencias Sociales 22 (3): 104-121. [ Links ]

Cook, Thomas y Charles Reichardt. 2005. Métodos cualitativos y cuantitativos en investigación evaluativa. Madrid: Ediciones Morata. [ Links ]

Cornejo, Marcela y Natalia Salas. 2011. “Rigor y calidad metodológicos: un reto a la investigación social cualitativa”. Psicoperspectivas, Individuo y Sociedad 10 (2): 12-34. https://doi.org/10.5027/psicoperspectivas-vol10-issue2-fulltext-144Links ]

Creswell, John y Vicki Plano Clark. 2007. Designing and Conducting Mixed Methods Research. Thousand Oaks: Sage. [ Links ]

Daher, Marianne. 2015. “Evaluación de programas de intervención en pobreza: oportunidades y desafíos de integrar las dimensiones objetiva y subjetiva”, tesis de doctorado, Pontificia Universidad Católica de Chile. [ Links ]

Daher, Marianne, Andrea Jaramillo y Antonia Rosati. 2018. “Agentes de intervención en programas psicosociales: Tipos de apoyo y efectos según nivel de vulnerabilidad”. Psicoperspectivas 17 (1): 1-16. https://doi.org/10.5027/psicoperspectivas-vol17-issue1-fulltext-996 Links ]

Dávila, Andrés. 1995. “Las perspectivas metodológicas cualitativa y cuantitativa en las ciencias sociales: Debate teórico e implicaciones praxiológicas”. En Métodos y técnicas cualitativas de investigación en ciencias sociales, editado por Juan Manuel Delgado y Juan Gutiérrez, 69-86. Madrid: Síntesis. [ Links ]

Denis, Ángela, Francisca Gallegos y Claudia Sanhueza. 2010. Medición de pobreza multidimensional en Chile. Santiago: Universidad Alberto Hurtado. [ Links ]

Dirección de Presupuestos del Ministerio de Hacienda. 2018. “Resultados Evaluaciones 2018”. Dirección de Presupuesto del Gobierno de Chile, consultado el 14 de agosto de 2019, Dirección de Presupuesto del Gobierno de Chile, consultado el 14 de agosto de 2019, http://www.dipres.gob.cl/598/articles-177385_doc_pdf.pdfLinks ]

Donaldson, Stewart. 2017. “Empowerment Evaluation: An Approach that has Literally Altered the Landscape of Evaluation”. Evaluation and Program Planning 63: 136-137. https://doi.org/10.1016/j.evalprogplan.2016.10.002Links ]

Durston, John y Francisca Miranda. 2002. Experiencias y metodología de la investigación participativa. Santiago: Naciones Unidas; CEPAL. [ Links ]

Economic Commission for Latin America and the Caribbean (ECLAC). 2009. Social Panorama of Latin America. Santiago: United Nations. [ Links ]

Faúndez, Alejandra y Marisa Weinstein. 2014. “Guías para la aplicación del enfoque de igualdad de género y derechos humanos en el Sistema Nacional de Evaluación en Colombia”. Consultora Inclusión y Equidad, consultado el 20 de enero de 2020, Consultora Inclusión y Equidad, consultado el 20 de enero de 2020, http://inclusionyequidad.org/home/wp-content/uploads/2018/05/GUIAS-SINERGIA-FINAL.pdf Links ]

Feres, Juan Carlos y Xavier Mancero. 2001a. “Enfoques para la medición de la pobreza. Breve revisión de la literatura”. Serie Estudios Estadísticos y Prospectivos 4. CEPAL, consultado el 24 de julio de 2019, CEPAL, consultado el 24 de julio de 2019, https://repositorio.cepal.org/handle/11362/4740 Links ]

Feres, Juan Carlos yXavier Mancero . 2001b. “El método de las necesidades básicas insatisfechas (NBI) y sus aplicaciones en América Latina”. Serie Estudios Estadísticos y Prospectivos 7. CEPAL, consultado el 30 de julio de 2019, CEPAL, consultado el 30 de julio de 2019, https://repositorio.cepal.org/bitstream/handle/11362/4784/S0102117_es.pdf?sequence=1 Links ]

Feres, Juan Carlos y Pablo Villatoro. 2012. “La viabilidad de erradicar la pobreza: un examen conceptual y metodológico”. Serie Estudios Estadísticos y Prospectivos 78, CEPAL, consultado el 28 de junio de 2019, Serie Estudios Estadísticos y Prospectivos 78, CEPAL, consultado el 28 de junio de 2019, https://www.cepal.org/es/publicaciones/4781-la-viabilidad-erradicar-la-pobreza-un-examen-conceptual-metodologico Links ]

Fernández-Ballesteros, Rocío. 1996. Evaluación de programas: una guía práctica en ámbitos sociales, educativos y de salud. Madrid: Editorial Síntesis. [ Links ]

Ferrer, Marcela, Pablo Monje y Raúl Urzúa. 2005. “El rol de las ONGs en la reducción de la pobreza en América Latina. Visiones sobre sus modalidades de trabajo e influencia en la formulación de política públicas”. Documento de Políticas 16. Unesco, consultado el 29 de julio de 2019, Unesco, consultado el 29 de julio de 2019, http://www.unesco.org/new/fileadmin/MULTIMEDIA/HQ/SHS/pdf/most_policy_paper_16_es.pdf Links ]

Fiszbein, Ariel, Norbert Schady, Francisco Ferreira, Margaret Grosh, Niall Kelleher, Pedro Olinto y Emmanuel Skoufias. 2009. “Conditional Cash Transfers: Reducing Present and Future Poverty”. World Bank Group, consultado el 27 de julio de 2019, World Bank Group, consultado el 27 de julio de 2019, https://doi.org/10.1596/978-0-8213-7352-1 Links ]

Flores, Lucio y María Luisa García. 2013. “Evaluación de programas públicos mediante lógica difusa: el caso del Programa Hábitat”. Política y Cultura 40: 231-255. [ Links ]

Fondo de Solidaridad e Inversión Social (FOSIS). 2020. “Innova FOSIS: piloteando Innovación Social en el Estado”. FOSIS, consultado el 24 de enero de 2020, FOSIS, consultado el 24 de enero de 2020, https://innova.fosis.cl/es/ Links ]

Fundación Superación de la Pobreza (FSP). 2010. “Voces de la pobreza. Significados, representaciones y sentir de personas en situación de pobreza a lo largo de Chile”. FSP, consultado el 20 de julio de 2019, FSP, consultado el 20 de julio de 2019, http://www2.superacionpobreza.cl/wp-content/uploads/2019/06/Libro-Voces-de-la-Pobreza.pdf Links ]

Fundación Superación de la Pobreza (FSP). 2013. “Umbrales sociales para Chile. Una nueva mirada sobre la pobreza”. FSP, consultado el 19 de julio de 2019, FSP, consultado el 19 de julio de 2019, http://www2.superacionpobreza.cl/wp-content/uploads/2019/06/Umbrales-Sociales-2013_Resumen-Ejecutivo.pdfLinks ]

González, Miguel Santos. 2019. “The Evaluation of the Social Intervention. Theoretical Approaches”. Ehquidad 11: 55-90. [ Links ]

Guba, Egon. 1978. “Toward a Methodology of Naturalistic Inquiry in Educational Evaluation”. CSE Monograph Series in Evaluation 8, Center for the Study of Evaluation University of California, consultado el 4 de octubre de 2018, CSE Monograph Series in Evaluation 8, Center for the Study of Evaluation University of California, consultado el 4 de octubre de 2018, http://cresst.org/wp-content/uploads/cse_monograph08.pdf Links ]

Heller, Lidia. 2010. “Mujeres emprendedoras en América Latina y el Caribe: realidades, obstáculos y desafíos”. CEPAL, consultado el 5 de agosto de 2019, CEPAL, consultado el 5 de agosto de 2019, https://www.cepal.org/es/publicaciones/5818-mujeres-emprendedoras-america-latina-caribe-realidades-obstaculos-desafios Links ]

Irarrázaval, Ignacio, María Paz Sagredo y Paula Streeter. 2019. “Un nuevo trato para las organizaciones de la sociedad civil. Desafíos y propuestas”. Sociedad en Acción, consultado el 25 de enero de 2020, Sociedad en Acción, consultado el 25 de enero de 2020, https://www.sociedadenaccion.cl/publicacion/un-nuevo-trato-para-las-organizaciones-de-la-sociedad-civil-desafios-y-propuestas/Links ]

Irarrázaval, Ignacio , María Paz Sagredo yPaula Streeter . 2020. “Colaboración Estado y organizaciones de la sociedad civil en la implementación de políticas públicas. Desafíos y propuestas para el Fondo Subsidio para Establecimientos de Larga Estadía para Adultos Mayores”. Sociedad en Acción, consultado el 25 de enero de 2020, Sociedad en Acción, consultado el 25 de enero de 2020, https://www.sociedadenaccion.cl/publicacion/colaboracion-estado-y-organizaciones-de-la-sociedad-civil-en-la-implementacion-de-politicas-publicas/Links ]

Johnson, Burke, Anthony Onwuegbuzie y Lisa Turner. 2007. “Toward a Definition of Mixed Methods Research”. Journal of Mixed Methods Research 1 (2): 112-133. [ Links ]

Kanbur, Ravi y Lyn Squire. 1999. “The Evolution of Thinking about Poverty: Exploring the Interactions”. Cornell University, Department of Applied Economics and Management, Working Paper No. 127697. https://ideas.repec.org/p/ags/cudawp/127697.htmlLinks ]

Lagos, Pablo y Saúl Cabrera. 2014. “Evaluación de políticas y programas sociales en América Latina: situación actual”. Revista de Ciencias Sociales 20 (3): 446-458. [ Links ]

Linfield, Kenneth y Emil Posavac. 2018. Program Evaluation: Methods and Case Studies. Londres: Routledge. [ Links ]

Luna, Rodrigo. 2014. “El nuevo paradigma de la evaluación de las políticas públicas”. Revista Electrónica de Investigación en Ciencias Económicas 2 (4): 34-48. [ Links ]

Martínez, Víctor. 2006. El enfoque comunitario: el desafío de incorporar a las comunidades en las intervenciones sociales. Santiago: Universidad de Chile. [ Links ]

Matos, Ruth. 2005. “Enfoques de evaluación de programas sociales: análisis comparativo”. Revista de Ciencias Sociales 11 (2): 360-377. [ Links ]

Mendizábal, Nora. 2018. “La osadía en la investigación: el uso de los métodos mixtos en las ciencias sociales”. Espacio Abierto. Cuaderno Venezolano de Sociología 27 (2): 5-20. [ Links ]

Mertens, Donna. 2008. “Social Justice Research: The Power to Reveal Hidden Agendas”. Educational Researcher 37: 102-105. [ Links ]

Mertens, Donna y Amy Wilson. 2018. Program Evaluation Theory and Practice. Nueva York y Londres: The Guilford Press. [ Links ]

Ministerio de Desarrollo Social. 2016. “Informe de Desarrollo Social 2016”. Gobierno de Chile, consultado el 17 de agosto de 2019, Gobierno de Chile, consultado el 17 de agosto de 2019, http://www.desarrollosocialyfamilia.gob.cl/pdf/upload/Informe_de_Desarrollo_Social_2016.pdf Links ]

Ministerio de Desarrollo Social y Familia. 2019. “Fondo Chile Compromiso de Todos 2019”. Gobierno de Chile, consultado el 18 de agosto de 2019, Gobierno de Chile, consultado el 18 de agosto de 2019, http://sociedadcivil.ministeriodesarrollosocial.gob.cl/fondos_concursables/fondo-chile-compromiso-de-todos-2019/Links ]

Montero, Maritza. 2006. Teoría y práctica de la psicología comunitaria. La tensión entre comunidad y sociedad. Buenos Aires: Paidós. [ Links ]

Nioche, Jean-Pierre. 1982. “De l'évaluation à l'analyse des politiques publiques”. Revue française de science politique 32 (1): 32-61. [ Links ]

Núñez, Héctor, Estefanía Crespo, Xavier Úcar y Asun Llena Berñe. 2014. “Enfoques de evaluación orientados a la participación en los procesos de acción comunitaria”. Pedagogía Social. Revista Interuniversitaria 24: 79-103. [ Links ]

Olavarría, Mauricio y Verónica Figueroa. 2012. Una agencia de evaluación de políticas públicas para Chile: lecciones de la historia y de la experiencia internacional. Santiago: Editorial Universitaria. [ Links ]

Orr, Larry. 2018. “The Role of Evaluation in Building Evidence-based Policy”. Annals of the American Academy of Political and Social Science 678 (1): 51-59. [ Links ]

Pardo, Ignacio. 2011. “¿Necesitamos bases filosóficas y epistemológicas para la investigación con métodos combinados?”. Empiria. Revista de Metodología de Ciencias Sociales 22: 91-112. https://doi.org/10.5944/empiria.22.2011.86 Links ]

Parlett, Malcolm y David Hamilton. 1972. Evaluation as Illumination: A New Approach to the Study of Innovatory Programs. Edinburgh: University of Edinburgh. [ Links ]

Patton, Michael. 1978. Utilization Focused Evaluation. Beverly Hills: Sage. [ Links ]

Perea, Óscar. 2017. Guía de evaluación de programas y proyectos sociales. Madrid: Plataforma de ONG de Acción Social. [ Links ]

Pichardo, Arlette. 2014. “Los programas de transferencias monetarias condicionadas en América Latina y el Caribe: ¿un nuevo rostro de la política social?”. Cuadernos de Política Económica 001-2014, consultado el 4 de septiembre de 2019, Cuadernos de Política Económica 001-2014, consultado el 4 de septiembre de 2019, https://www.repositorio.una.ac.cr/bitstream/handle/11056/8629/Cuaderno%2001-14_Arlette%20Pichardo%20051114.pdf?sequence=5&isAllowed=y Links ]

Plewis, Ian y Paul Mason. 2005. “What Works and Why: Combining Quantitative and Qualitative Approaches in Large-scale Evaluations”. International Journal of Social Research Methodology 8 (3): 185-194. https://doi.org/10.1080/13645570500154659 Links ]

Programa de las Naciones Unidas para el Desarrollo (PNUD). 2012. “Desarrollo Humano en Chile 2012. Bienestar subjetivo: el desafío de repensar el desarrollo”. Naciones Unidas, consultado el 2 de septiembre de 2019, Naciones Unidas, consultado el 2 de septiembre de 2019, https://www.cl.undp.org/content/chile/es/home/library/human_development/publication_3.html Links ]

Quiroz, Rodrigo, Nathaline Bigras, Julie Dion y Karine Doudou. 2016. “La production de la théorie du programme dans le cadre d’une évaluation participative: une étude de cas”.Canadian Journal of Program Evaluation 31 (2): 137-164. [ Links ]

Raczynski, Dagmar. 2002. “Equidad, inversión social y pobreza. Innovar en cómo se concibe, diseña y gestiona las políticas y los programas sociales”. Conferencia presentada en el seminario “Perspectivas innovativas en política social: desigualdades y reducción de brechas de equidad”, MIDEPLAN-CEPAL, Chile. https://www.cepal.org/noticias/discursos/0/10250/Raczynski.pdf Links ]

Ramos, Jaime y Fernando Calderón. 2011. “Matriz de programas de educación financiera en América Latina y el mundo”. En Breve 25, Proyecto Capital, consultado el 12 de agosto de 2019, En Breve 25, Proyecto Capital, consultado el 12 de agosto de 2019, http://repositorioproyectocapital.com/wp-content/uploads/2018/02/En-breve-25-matriz-programas-educacion-financiera-america-latina-mundo-2011-spa.pdf Links ]

Rossi, Peter, Howard Freeman y Mark Lipsey. 2019. Evaluation. A Systematic Approach. Thousand Oaks: Sage. [ Links ]

Sánchez Pérez, María Carmen. 2016. “Satisfacción de usuarios y profesionales en la evaluación de programas sociales”. Revista de Evaluación de Programas y Políticas Públicas 7: 116-140. https://doi.org/10.5944/reppp.7.2016.16352 Links ]

Sandoval, Carlos. 1996. “Investigación Cualitativa”. Instituto Colombiano para el Fomento de la Educación, consultado el 10 de abril de 2019, Instituto Colombiano para el Fomento de la Educación, consultado el 10 de abril de 2019, https://panel.inkuba.com/sites/2/archivos/manual%20colombia%20cualitativo.pdfLinks ]

Schmitz, Hans. 2012. “Human Rights-Based Approach (HRBA) in Practice: Evaluating NGO Development Efforts”. Polity 44 (4): 523-541. [ Links ]

Scriven, Michael. 1980. The Logic of Evaluation. Inverness: Edgepress. [ Links ]

Sen, Amartya. 2000. Desarrollo como libertad. Madrid: Editorial Planeta. [ Links ]

Sieppert, Jackie. 2005. “Evaluation in Canada’s Social Services: Progress, Rifts, and Challenges”. The Canadian Journal of Program Evaluation 20 (3): 101-121. [ Links ]

Simmel, Georg. 2011. El pobre. Madrid: Ediciones Sequitur. [ Links ]

Smith, Eugene y Ralph Tyler. 1942. Appraising and Recording Student Progress. Nueva York: McGraw-Hill. [ Links ]

Solmeyer, Anna y Nicole Constance 2015. “Unpacking the ʻBlack Boxʼ of Social Programs and Policies”. American Journal of Evaluation 34 (4): 470-474. https://doi.org/10.1177/1098214015600786 Links ]

Stake, Robert. 1973. “Program Evaluation Particularly Responsive Evaluation”. Journal of Multidisciplinary Evaluation 7 (15): 180-201. [ Links ]

Stufflebeam, Daniel y Anthony Shinkfield. 2007. Evaluation Theory, Models and Applications. San Francisco: Jossey-Bass. [ Links ]

United Nations (UN). 2014. “The Millennium Development Goals Report”. United Nations, consultado el 12 de agosto de 2019, United Nations, consultado el 12 de agosto de 2019, https://www.un.org/millenniumgoals/2014%20MDG%20report/MDG%202014%20English%20web.pdf Links ]

United Nations (UN). 2016. “Progress towards the Sustainable Development Goals. Report of the Secretary-General”. United Nations, consultado el 8 de abril de 2019, United Nations, consultado el 8 de abril de 2019, https://unstats.un.org/sdgs/files/report/2016/secretary-general-sdg-report-2016--EN.pdf Links ]

United Nations Development Programme (UNDP). 2003. Human Development Report 2003. Millennium Development Goals - A Compact among Nations to End Human Poverty. Nueva York: Naciones Unidas. [ Links ]

United Nations Development Programme (UNDP). 2016. “Ending Poverty by 2030: UNDP’s Perspective and Role”. United Nations, consultado el 10 de agosto de 2019, United Nations, consultado el 10 de agosto de 2019, https://www.undp.org/content/dam/undp/library/Sustainable%20Development/ISSUE_BRIEF_Ending_Poverty_by_2030.pdf Links ]

Valadez, Joseph y Michael Bamberger. 1994. Monitoring and Evaluating Social Programs in Developing Countries: A Handbook for Policymakers, Managers and Researchers. Washington: The World Bank. [ Links ]

Vendung, Evert. 2017. Public Policy and Program Evaluation. Nueva York: Routledge. [ Links ]

Weiss, Carol. 1975. Investigación evaluativa: métodos para determinar la eficiencia de los programas de acción. México: Trillas. [ Links ]

Wholey, Joseph y Harry Hatry. 1992. “The Case for Performance Monitoring”. Public Administration Review 52 (6): 604-609. https://doi.org/10.2307/977173Links ]

*Este artículo se deriva de la tesis doctoral “Evaluación de programas de intervención en pobreza: Oportunidades y desafíos de integrar las dimensiones objetiva y subjetiva”. Se agradece el apoyo económico de la Comisión Nacional de Investigación Científica y Tecnológica (CONICYT) y del Centro Interdisciplinario de Estudios Interculturales e Indígenas (ICIIS) (FONDAP 15110006).

2Cómo citar: Daher, Marianne, Andrea Jaramillo y Antonia Rosati. 2020. “Avances en la evaluación integral: aportes para programas sociales de intervención en pobreza en organizaciones no gubernamentales”. Revista de Estudios Sociales 74: 84-98. https://doi.org/10.7440/res74.2020.07

Recibido: 04 de Septiembre de 2019; Aprobado: 14 de Febrero de 2020

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons