Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Cited by Google 
Similars in
SciELO 
Similars in Google 
Permalink
Las tendencias actuales para evaluación de intervenciones de naturaleza compleja muestran la importancia identificar la relación entre el contexto, los mecanismos que se dan en las intervenciones y los resultados obtenidos como un conjunto articulado, pero no lineal. La revisión de la literatura en el tema de evaluación de intervenciones en salud conduce a la exploración de nuevos enfoques, como los propuestos por la teoría de la complejidad. Edgar Morín sostiene que la teoría de la complejidad es "la ciencia del siglo XXI" y defiende que "el mundo como un todo está cada vez más presente en cada una de sus partes". Este es el punto de vista central de la teoría de la complejidad, que descubre su infinita profundidad, la complejidad de lo real y que permite asociar en la unidad elementos antagónicos pero complementarios, reconocer la dualidad en el seno de la unidad y ver la cohabitación del orden y el desorden en todas las cosas 1.
En el campo científico crece cada vez más la conciencia de que la ciencia se configura como una práctica epistemológica de construcción de modelos, formulación y solución de problemas en un mundo en constante cambio y es bajo esta premisa que la visión antropocéntrica se ha ido desvirtuando, para fortalecer cada vez más la descentralización y el relativismo 2.
Las intervenciones complejas son ejecutadas ampliamente en los servicios de salud y en la práctica de la salud pública. No obstante, a la hora de ser evaluadas presentan varios problemas para los evaluadores, por las dificultades prácticas y metodológicas que representa la evaluación de una intervención con estas características. El contexto en el que se desarrollan los programas e intervenciones de la salud, los múltiples actores, las partes interesadas, los diferentes objetivos y estrategias llevan a que estas intervenciones deban entenderse y evaluarse de manera distinta a lo tradicional, debido a que la incertidumbre en los resultados contribuye a la complejidad de las intervenciones 3.
Revisar la teoría de la complejidad y su aplicación en la evaluación de intervenciones en salud puede ayudar a abordar algunos desafíos de la evaluación. En la medida en que la evaluación se base en modelos que den cuenta de contextos cambiantes y resultados emergentes, proporcionarán información que faciliten la práctica reflexiva, permitiendo al evaluador obtener una mejor comprensión de la influencia del contexto y otros factores de implementación en un entorno complejo. El modelo seleccionado por el evaluador debe contribuir a la construcción de evidencia y conocimiento acumulativos para identificar los principios de efectividad de la intervención en salud que puedan ser transferibles a nuevas intervenciones 4.
Desde el año 2000 se han publicado documentos orientados a fortalecer el desarrollo de evaluaciones de efectividad apoyado en la teoría de la complejidad, como el del Consejo de Investigación Médica Londinense (MRC), que publicó la guía deominada Developing and Evaluating Complex Interventions, la cual abarca los componentes de la evaluación para permitirles a los investigadores y financiadores de la investigación reconocer y adoptar métodos apropiados para evaluar intervenciones complejas. Esta guía fue complementada y ajustada en el año 2008 (5). La guía ajustada resalta la importancia de conocer teóricamente cómo la intervención genera cambios a fin de identificar los vínculos débiles en la cadena causal, para ser fortalecidos, planteando que "la mejor práctica es desarrollar intervenciones sistemáticamente, utilizando la mejor evidencia disponible y la teoría apropiada" 5.
La segunda guía propuesta, Process Evaluation of Complex Interventions, centra su atención en la evaluación del proceso y complementa teórica y técnicamente la primera Guía 5,6. El complemento se orienta al enfoque sistémico que involucra intervención, mecanismos y contexto, apoyándose en definiciones de la teoría de la intervención e identificando preguntas del proceso 7.
Los investigadores de intervenciones complejas están interesados en introducir cambios en sistemas complejos, pero las consecuencias de modificar el funcionamiento de estos sistemas suelen ser impredecibles. La propuesta para generar cambios en la salud de la población se centra en la necesidad de comprender cómo funciona un sistema en el que se planifica un cambio, antes de realizar intentos para cambiarlo 8.
En la actualidad, se reconoce la importancia de realizar la evaluación del diseño y de los procesos, para que, en la etapa de la evaluación de la efectividad, se genere mayor confianza en las conclusiones basadas en la calidad de la intervención y analizar la posibilidad de generalizar sus resultados teniendo en cuenta el contexto 7. Este artículo pretende identificar los modelos evaluativos propuestos para intervenciones complejas en salud con sus respectivas características.
METODOLOGÍA
Se realiza revisión de literatura en modelos evaluativos para intervenciones complejas. Se identificaron y seleccionaron los modelos evaluativos propuestos desde el año 2000, publicados en revistas indexadas, basados en la teoría de la complejidad que presentan y explican el modelo teórico.
RESULTADOS
Al revisar la literatura, los modelos teóricos propuestos para evaluar intervenciones complejas en salud están basados en los elementos clave para el desarrollo de una intervención y de su proceso evaluativo, propuesto por Craig en el año 2008, (Figura 1).
Esta guía propone cuatro elementos para el diseño e intervención de toda intervención compleja, a saber:
Desarrollo: Antes de realizar la evaluación se recomienda identificar evidencia de intervenciones similares y los métodos utilizados para evaluarlos; en segundo lugar, identificar y desarrollar la teoría que sustenta el desarrollo de la intervención buscando la comprensión teórica del posible proceso de cambio a partir de la evidencia y la teoría existentes; en tercer lugar, realizar el proceso de modelado y resultados que proporcionen información sobre el diseño tanto de la intervención como de la evaluación 5.
Viabilidad: Para evitar problemas de aceptación o dificultades en la evaluación total se sugiere realizar pruebas de viabilidad a la intervención, entre otras para comprender el contexto en el que se realizan las intervenciones. Se recomienda un estudio piloto a fin de examinar las incertidumbres clave que se han identificado durante el desarrollo de la intervención 5.
Implementación: La evaluación del proceso tiene como objetivo captar la fidelidad (si la intervención se realizó según lo previsto) y la dosis (la cantidad de intervención implementada). Las intervenciones complejas usualmente se someten a adaptaciones cuando se implementan en diferentes contextos. Capturar lo que se entrega en la práctica, con una referencia cercana a la teoría de la intervención, permite a los evaluadores distinguir entre las adaptaciones realizadas a la intervención para que se ajuste a diferentes contextos y los cambios que alteran la fidelidad de la intervención 7. Los alcances de esta etapa radican en conocer cómo se realizó la intervención y el alcance de las intervenciones, que representa cómo los beneficiarios entraron en contacto con la intervención 9.
En el campo de la efectividad de intervenciones complejas en salud, la literatura aporta modelos para evaluar sistemas de salud basados en Atención Primaria en Salud (APS) como el de Lawless et ál., quienes, a través del modelo lógico del programa basado en la teoría, proporcionan un marco para la evaluación del progreso de resultados esperados y exploran aspectos particulares del contexto y los mecanismos que producen los resultados. Justifican su importancia debido a la ausencia de modelos que permitan realizar la evaluación de los servicios de APS en su totalidad 4 (Figura 2).
Este modelo fue desarrollado para el contexto australiano. A través de un enfoque realista, propone explorar la relación entre contexto, los mecanismos y los resultados. Los mecanismos y el contexto del modelo se teorizan como la interacción entre los espacios para la acción que pueden habilitar o restringir las cualidades del servicio, que deben caracterizar un servicio del sistema de salud y que, con el tiempo, contribuyen a la salud individual y comunitaria y a los mejores resultados de equidad 4. El modelo se encuentra en proceso de implementación y validación.
Otro modelo es el propuesto por Friedrich et ál. 10, quienes integran los componentes teóricos del contexto, procesos y resultados para una intervención en salud ocupacional 10 (Figura 3).
Este modelo busca integrar los diferentes elementos que constituyen una intervención, para que, de manera articulada, se pueda dar cuenta de su efectividad, comprendiendo cómo se desarrollaron cada una de sus 7 fases.
Fase 1. Identificación de actores
Propone reconocer los actores claves de la intervención, la intención es conocer las personas que idearon la intervención, personal operativo que intervino y usuarios propuestos desde el inicio y reales durante la intervención, con el propósito de contar con informantes clave para las otras etapas del proyecto de investigación.
Fase 2. Identificar o reconstruir el diseño de la intervención Es esta etapa los evaluadores revisarán actas, contratos y demás documentos que permitan conocer o reconstruir las bases teóricas de la intervención, el modelo teórico que sustentó la propuesta y un diseño de marco o modelo lógico en el que se identifiquen los componentes de la intervención, actividades, grupos objetivo y resultados esperados.
Fase 3. Describa el contexto
Se basa en el concepto de Friedrich (10) en el que contexto se define como el marco que influye y está influenciado por una intervención de salud. Por eso, se habla de los componentes políticos, económicos, sociales y normativos que enmarcaron el desarrollo de la intervención y que permiten reconocer las particularidades del fenómeno en las condiciones reales en que se implementó.
Fase 4. Reconstruir y evaluar el proceso de implementación Se propone reconstruir el plan de intervención o la arquitectura de la intervención. Da cuenta de la combinación y secuencia de las actividades específicas de la intervención realizados por cada uno de los actores. En esta etapa se identifican los grupos a quienes la intervención ha beneficiado, tipo de actividades realizadas, que incluyen talleres, encuestas, presentaciones y lecciones prácticas e implementadores involucrados.
Una herramienta que facilita esta aproximación es la propuesta por el Modelo REAIM (reach, effectiveness, adoption, implementation and maintenance), que establece cinco categorías de interés para el evaluador. De cada componente se genera la sigla en inglés Reach, effectiveness, adoption, implementation and maintenance) 11-13.
Fase 5. Procesos de Cambio
El proceso de cambio se define como las dinámicas individuales y colectivas previstas y no intencionadas activadas durante el proceso de implementación, lo que lleva a alteraciones en la intervención y sus miembros. Este análisis involucra los niveles del contexto de intervención desde el individuo a la institución (y sus entornos). Los procesos de cambio incluyen, aprendizaje individual y organizativo, procesos sociales, toma de control de las perspectivas de otros, realización de planes de acción desarrollados conjuntamente para mejorar el trabajo, la estructura organizativa y la estrategia 10.
Fase 6. Resultados
Esta es la etapa en la que se estudian y miden los cambios producidos como consecuencia directa o indirecta (atribuibles o no) a una intervención. Teniendo en cuenta la temporalidad, se dividen en individuales y colectivos. Los evaluadores deben definir en cuáles resultados centrarán su interés 14.
Fase 7. Mecanismos de atribución
Las evaluaciones de intervenciones complejas se basan en la teoría de la evaluación realista, basada en la postura epistemológica del realismo crítico. Este enfoque tiene un carácter exploratorio que busca identificar los mecanismos de cambio que están relacionados con los razonamientos humanos, opciones de las personas y sus aptitudes. Si una intervención funciona es porque las personas así lo han decidido, por lo tanto, esta etapa busca conocer el mecanismo (M) accionado por la intervención para producir unos efectos (E) en un contexto determinado. Esto es lo que se denomina Contexto-Mecanismo-Resultado (CMR)" 15. Al respecto, se sugiere comparar la CMR con la teoría de la intervención o la lógica de la intervención que describe la cadena de resultados y la producción de los efectos 16.
El último modelo es el propuesto por Jolley para la promoción de la salud. Incluye las etapas de planeación, implementación y evaluación y busca explorar las intervenciones a fondo, aplicándolo de manera retrospectiva 3. El modelo hace énfasis en reconocer y responder a contextos cambiantes y resultados emergentes, proporcionando retroalimentación rápida y facilitando la práctica reflexiva. Esto le permite al evaluador obtener una mejor comprensión de la influencia del contexto y otros factores de implementación en un entorno complejo. El uso del modelo debe contribuir a la construcción de evidencia y conocimiento acumulativos para identificar los principios de efectividad de la promoción de la salud que pueden ser transferibles a nuevas situaciones 3 (Figura 4).
Fuente: (3).
Figura 4 Modelo de planificación, implementación y evaluación para intervenciones de promoción de la salud
Los fundamentos teóricos de este modelo partieron del trabajo realizado con los stakeholders para identificar las teorías implícitas y la lógica de los programas, para ello utilizaron métodos interpretativos, a fin de validar los hallazgos de atribución y causalidad 3.
En la fase de planeación se propone realizar una revisión de la literatura para consolidar la teoría macro del programa y el modelo lógico para producir la teoría del programa que permitirá identificar cómo funcionará y los resultados esperados de acuerdo con la revisión de literatura efectuada. Esta teoría del programa debe adaptarse a la situación local con base en el contexto, los recursos, la población objetivo, los factores sociales, políticos y económicos, entre otros 3.
Desde esta etapa se identifican las preguntas de evaluación. Luego, dadas las condiciones cambiantes del contexto, se reconoce que las implementaciones de las intervenciones complejas no son lineales, debido a las adaptaciones que se dan por influencias de factores internos y externos. Por ello, el rol del evaluador es moni-torear estos cambios de manera permanente 3.
En la fase de evaluación se debe dar cuenta del dinamismo del sistema, sus interacciones y hacer retro-alimentación permanente. Los hallazgos de la evaluación son contexto dependiente y están relacionadas con la teoría del programa identificada antes de la implementación. Por ello, la habilidad del evaluador para identificar aspectos que producen mayor efectividad en una intervención puede sumarse a este modelo evaluativo para lograr que otras intervenciones sean más efectivas 3.
Entender las intervenciones en salud de manera integrada, con la posibilidad de develar la "caja negra" y de conocer a profundidad el contexto en el que se ejecutan han permitido que la evaluación incorpore elementos explicativos y de atribución a los resultados y de efectividad con mayores elementos de comprensión de cómo y porque una intervención funciona. Los modelos teóricos propuestos reconocen la dinámica cambiante del entorno y las adaptaciones de las estrategias como un factor común de las intervenciones.
Los autores plantean que cada modelo aplica a contextos específicos, lo que implica que no son universales y que, al ser altamente influenciados por el contexto, deben ajustarse a las realidades específicas de las intervenciones por evaluar.
Existen dos aspectos comunes a los modelos, su visión integral y la necesidad de articular el contexto con los mecanismos causales y los resultados a fin de dar cuenta de la intervención ♥
