SciELO - Scientific Electronic Library Online

 
vol.62 suppl.1The Universidad Nacional de Colombia's Nutrition and Dietetics Programme's curricular concepts (1965-2013) author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista de la Facultad de Medicina

Print version ISSN 0120-0011

rev.fac.med. vol.62  supl.1 Bogotá Dec. 2014

https://doi.org/10.15446/revfacmed.v62n3sup.40651 

http://dx.doi.org/10.15446/revfacmed.v62n3sup.40651

Opiniones, debates y controversias

Consideraciones bioéticas en estudios experimentales de evaluación de impacto de programas

Bioethical considerations regarding experimental studies for evaluating programme impact

Edna Magaly Gamboa-Delgado1, Sonia Rodríguez-Ramírez2

1 Fundación Cardiovascular de Colombia. Bucaramanga, Colombia.
2 Centro de Investigación en Nutrición y Salud. Escuela de Salud Pública de México. Instituto Nacional de Salud Pública, Cuernavaca. Morelos, México.

Correspondencia: Edna Magaly Gamboa-Delgado. Calle 155 A No. 23-58. Urbanización El Bosque, Oficina de Diseño y Desarrollo de Investigaciones. Floridablanca, Colombia. Teléfono: +57 6399292. Extensión: 344. Correo electrónico: ednagamboa@fcv.org.

Recibido: 02/11/2013 Aceptado: 10/07/2014


Resumen

Todo tipo de estudio con intervención en personas requiere consideraciones éticas. Los estudios de evaluación de programas que utilizan diseños aleatorizados requieren consideraciones importantes en sus fases de selección, asignación de la intervención y seguimiento a través del tiempo.

En la fase de selección es necesario un especial enfoque hacia la equidad en el proceso de inclusión de los sujetos como participantes de los estudios, el consentimiento informado y la confidencialidad desde el inicio del estudio. En la fase de asignación de la intervención es necesario tener en cuenta la privación de beneficios de los programas en el grupo que sirve como control, la asignación de los beneficios por sorteo y la justicia en la asignación de las intervenciones. En la fase de seguimiento, es relevante considerar los resultados adversos de las intervenciones y las retribuciones que requieren los participantes del estudio.

Las implicaciones éticas de la aleatorización de individuos beneficiarios de programas requieren amplio análisis y organización de procesos de consenso, así como la divulgación de guías de lineamientos éticos para investigadores y evaluadores.

Palabras clave: Evaluación de Programas y Proyectos de Salud; Distribución Aleatoria; Ética (DeCS).


Gamboa-Delgado EM, Rodríguez-Ramírez S. Consideraciones bioéticas en estudios experimentales de evaluación de impacto de programas. Rev. Fac Med 2014; 62 Supl 1:S115-20. http://dx.doi.org/10.15446/revfacmed.v62n3sup.40651.


Summary

Ethical considerations must be taken into account in studies involving people. The evaluation of programmes using randomised designs requires careful consideration regarding their enrolment, intervention allocation and follow/up phases.

From the outset, special emphasis must be placed on equity during the enrolment phase concerning the inclusion of subjects participating in such studies, gaining/giving their informed consent and confidentiality.

The allocation intervention phase should consider the control group's deprivation of benefits, their assignation by random draw and equity regarding the distribution of benefits. Special consideration should be paid to adverse events during the follow-up phase and participants' remuneration.

The ethical implications of randomising individuals benefitting from programmes require extensive analysis, the organisation of consensus and ethical guidelines being disseminated for researchers and evaluators.

Keywords: Program Evaluation; Random Allocation; Ethics (MeSH).


Gamboa-Delgado EM, Rodríguez-Ramírez S. Bioethical considerations regarding experimental studies for evaluating programme impact. Rev Fac Med. 2014; 62 Supl 1:S115-20. http://dx.doi.org/10.15446/revfacmed.v62n3sup.40651.


Introducción

La evaluación es un conjunto de actividades diseñadas para determinar el valor de un programa, intervención o proyecto específico (1). Dentro de los diferentes tipos de evaluación que pueden realizarse se encuentran la evaluación de diseño, evaluación de proceso y evaluación de impacto. La evaluación de impacto se refiere a los resultados finales atribuibles al programa y se enfoca en los desenlaces o cambios producidos respecto a los objetivos del programa, en un periodo de tiempo.

Por otra parte, la evaluación de programas se fundamenta en la necesidad de generar conocimiento sobre el funcionamiento de los programas, evidencia sólida sobre los efectos que tienen y rendir cuentas sobre los recursos invertidos en ellos. Esto resulta de gran utilidad para responder preguntas clave sobre la implementación y la efectividad de los programas, para optimizar recursos y para identificar aspectos que requieran mejorar, rediseñar o reorientar los programas. De esta manera es posible obtener los resultados esperados.

El aspecto de mayor interés en la realización de la evaluación de impacto de un programa consiste en establecer la diferencia entre los resultados obtenidos con el programa y los resultados que se podrían obtener si el programa no se hubiera implementado (2). Este segundo componente de la diferencia corresponde al término contrafactual (3), el cual, ante la imposibilidad de poderse observar, requiere estimaciones para su aproximación.

Existen diferentes diseños de evaluación –observacionales, experimentales y cuasi experimentales– para realizar esta estimación con el fin de identificar un término contrafáctico que, con un nivel adecuado de validez, permita responder a las preguntas de la evaluación.

El diseño experimental involucra la asignación aleatoria a grupos que reciben los beneficios del programa y a grupos que cumplirán las funciones de control. Mediante la asignación aleatoria se pretende lograr la comparabilidad e intercambiabilidad, de tal manera que los grupos sean equivalentes en cuanto a las características observadas y las no observadas. Este tipo de diseño pretende estimar el elemento contrafáctico a través del grupo control. Es decir, se busca obtener la diferencia entre lo que ocurre con el programa –observado en los beneficiaros– y lo que hubiese ocurrido sin el programa –escenario hipotético en el caso de que no hubiera existido el programa–.

Dado que no es posible observar al mismo sujeto en dos escenarios en el mismo momento del tiempo –observado e hipotético–, se comparan los beneficiarios del programa con sujetos en grupos control, que sean similares o comparables al grupo de tratamiento o intervención, para estimar el impacto del programa. No obstante, después de la asignación aleatoria de la intervención, el diseño experimental requiere del cumplimiento de ciertos supuestos (4) que incluyen: Homogeneidad de la intensidad del programa en el grupo asignado aleatoriamente a recibir la intervención; composición idéntica de los grupos de intervención y control en términos de características relacionadas con el programa y con el desenlace; predisposiciones idénticas en los grupos de comparación que les permitan alcanzar todas las características relacionadas con el resultado esperado; mínimo o nulo cambio de los participantes en el estudio como consecuencia de su participación en el programa –efecto Hawthorne– (5); influencia similar de los factores externos tanto sobre los grupos de intervención como los grupos control; nula contaminación de los grupos de estudio; y ausencia de pérdidas sistemáticas, diferenciales entre grupos de estudio durante la duración del mismo.

La mayoría de aspectos relacionados con la evaluación de programas con diseños de evaluación de tipo experimental son complejos y diversos; con frecuencia, pueden presentarse conflictos entre principios éticos (6,7). Así mismo, los estudios de evaluación de impacto de los programas sociales y en salud también requieren ciertas consideraciones éticas esenciales que merecen especial atención.

Consideraciones éticas y bioéticas

La ética se reconoce como una disciplina filosófica dedicada a la fundamentación racional del comportamiento moral del hombre (8), mientras que la bioética es considerada como "el uso creativo del diálogo para formular, articular y, en lo posible, resolver los dilemas que plantean la investigación y la intervención sobre la vida, la salud y el medio ambiente" (9).

Una conexión de la ética y la salud pública corresponde a las Funciones Esenciales en Salud Pública (FESP), constituidas por el conjunto de acciones realizadas con el fin de mejorar la salud de las poblaciones (10). Dentro de las FESP, se hace referencia a la promoción de las prácticas sociales saludables como instrumento para la protección de la salud y calidad de vida. Dado lo anterior, toda intervención en personas debe tener en cuenta aspectos como el respeto por la dignidad humana, la autonomía y libertad de participación de los sujetos en un estudio. De la misma manera se debe garantizar la justicia y equidad, la responsabilidad de los investigadores en la minimización, eliminación o atenuación del daño bajo cualquier circunstancia, el derecho a la confidencialidad y el derecho a disponer de lo propio, como tejidos, sangre y otros componentes corporales.

En contraste con lo anterior, durante las dos últimas décadas se ha incrementado el interés por la evaluación de impacto de programas y políticas sociales en desenlaces relacionados con salud, de los cuales algunos de ellos tienen diseños de evaluación de tipo experimental. En algunos estudios de evaluación de impacto la aleatorización es realizada de manera individual, mientras en otros esta es llevada a cabo por conglomerados como las comunidades o los hogares (11).

Las diferencias metodológicas entre los ensayos comunitarios aleatorizados y los ensayos clínicos controlados plantean grandes retos en cuanto al abordaje ético de las investigaciones de evaluación de impacto de programas que tienen diseños experimentales. Ante ese escenario, recientemente se ha planteado un nuevo principio ético (12) –además de los de justicia, autonomía, beneficencia y no maleficencia (8)– , según el cual, se requiere que los investigadores garanticen el respeto por los valores comunitarios, la protección y empoderamiento de las instituciones sociales y, donde aplique, la aceptación de las decisiones de las autoridades comunitarias.

Bajo este contexto, existen diversos aspectos éticos esenciales que deben ser considerados de la mejor manera y que cobran mayor relevancia si se trata de estudios experimentales en donde se realiza algún tipo de intervención en humanos. Por eso, el proceso de evaluación de impacto de programas representa un ejercicio de investigación que debe regirse por los criterios metodológicos propios del método científico y, por tanto, por los aspectos éticos que eso conlleva. Es importante considerar esos aspectos en cada una de las fases de desarrollo de un estudio de evaluación de un programa, con diseño experimental.

Fase de selección/reclutamiento de participantes/inicio del programa

La selección de los participantes en un estudio de evaluación de impacto de programas demanda que se realice teniendo en cuenta la población objetivo del programa. Como parte de las responsabilidades éticas de los evaluadores de programas se encuentra la búsqueda continua de validez interna del estudio de evaluación y, en lo posible, de validez externa. En el contexto de diseños experimentales, la validez interna se refiere al grado en que un experimento elimina las explicaciones alternativas de los resultados (13); por lo tanto, para el caso de evaluaciones de impacto de programas se refiere al grado en que las intervenciones del programa realmente producen cambios en las variables de desenlace, atribuibles a esas intervenciones. Lo anterior quiere decir que se debe dar sin que esos cambios sean producto de errores sistemáticos o de factores de confusión. Entre tanto, la validez externa hace referencia a la extensión y forma en que los resultados de un diseño experimental se pueden generalizar a condiciones, poblaciones y lugares diferentes.

En general, bajo condiciones adecuadas de focalización, se espera que los programas sociales que tienen por objetivo mejorar desenlaces en salud estén dirigidos a poblaciones que tengan necesidades insatisfechas y que puedan ser cubiertas por intervenciones de los programas. Las poblaciones más vulnerables suelen ser comunidades en condición de pobreza, indígenas, localidades rurales, mujeres y niños bajo situaciones de inequidad y subdesarrollo económico (14).

Por otra parte, hay programas que requieren la selección de adultos mayores, los cuales representan una población vulnerable ya que con frecuencia experimentan deterioro cognitivo. Estos podrían encontrarse institucionalizados, lo cual dificulta la toma de decisiones autónomas. Además, la inclusión de adultos mayores representa limitaciones metodológicas debido a la presencia de enfermedades crónicas, lo cual podría llevar a dificultades en estudios controlados, altas tasas de pérdidas en el seguimiento y pérdida de autonomía. Otros grupos vulnerables son las personas con discapacidad cognitiva, personas dentro de instituciones –como ejército o reclusos de cárceles– y personas pertenecientes a grupos étnicos indígenas o desplazados y refugiados (15).

En el momento de incluir a las personas que conformarán el grupo de participantes de un programa es esencial considerar la condición de vulnerabilidad, la capacidad de participar, el nivel de dependencia y la relación riesgo-beneficio (16). De ahí que el consentimiento informado –entendido como un procedimiento realizado al inicio de todo estudio, antes de la inclusión de los sujetos y extendido hasta la finalización de la participación (16-19)–, debe garantizar el acceso equitativo de todos los potenciales participantes a la información relacionada con el estudio. También recopila todos los aspectos esenciales que las personas deben conocer para tomar la decisión informada de participar o no en el estudio propuesto.

Aunque el consentimiento informado pudiera parecer un requisito administrativo de toda investigación, goza de suficiente trascendencia ética en todo sentido. Es por esto que debe ser aplicado bajo metodologías que tengan en cuenta diversos elementos como la edad, grupo étnico, nivel de educación, y características culturales de la población objetivo. De esta forma se permite a los sujetos que decidan si participan o no después de comprender muy bien la información ofrecida en el consentimiento.

Otro aspecto esencial a partir de la selección de los participantes de un programa consiste en asegurar la confidencialidad de los datos desde el momento de selección de los participantes (14). Gran parte de las consideraciones éticas en la investigación social se enfocan en el sostenimiento de la confidencialidad de la información. También se hace especial énfasis en la confidencialidad de los datos en los estudios de evaluación de programas que involucran información sobre comportamientos socialmente no aceptados y conductas estigmatizadas –consumo de sustancias psicoactivas y alcohol, trastornos mentales, conductas sexuales de riesgo, homosexualidad, prostitución, delincuencia y violencia–. Por lo tanto, bajo toda circunstancia debe preservarse la privacidad de la información y dignidad de los participantes (6, 20).

Fase de asignación de las intervenciones del programa

Uno de los obstáculos que enfrentan las evaluaciones de programa bajo un diseño aleatorizado (21) consiste en privar, arbitrariamente, a los grupos control de los efectos el programa. Esto podría llevar a una falta ética en la cual el grupo control puede dejar de recibir beneficios del programa. Con frecuencia, los individuos en el grupo control quedan excluidos de recibir los beneficios del programa debido a que al inicio del programa las intervenciones o beneficios no pueden ser otorgadas a todos los individuos. En este sentido, algunos estudios de evaluación de programas utilizan la aleatorización para que toda la población elegible tenga la misma probabilidad de pertenecer ya sea al grupo de control o al de intervención (22).

Si los programas tienen varias intervenciones se puede aleatorizar la asignación de esas de intervenciones. De esta manera se puede evaluar el impacto relativo de cada tipo de intervención, si el diseño de evaluación de impacto así lo plantea. Existen diferentes formas de aleatorización que al ser aplicadas pueden disminuir ciertas limitaciones éticas, que se exponen a continuación:

La aleatorización de implementación por fases: esta permite estimar efectos de un programa a distintos tiempos de exposición. Es recomendable en contextos donde no es aceptable dejar sin beneficios o intervenciones a ciertos grupos. Los beneficiarios saben que en una fase posterior tendrán acceso a las intervenciones del programa. El problema radica en que, a menudo, no es posible estimar los efectos del programa a largo plazo. Puede haber una violación del supuesto de anticipación, el cual consiste en que aquellos que no han participado en el programa podrían anticipar ciertas acciones.

La aleatorización por sorteo o lotería: es factible cuando la demanda por un programa excede a la oferta y se tiene restricción presupuestal. Es útil cuando no existe un motivo a priori para realizar la asignación. Presenta un dilema ético en términos de nutrición en casos donde, por ejemplo, si por sorteo quedan asignados al grupo control niños severamente desnutridos que requieren intervención. Este dilema sucede aún más cuando empieza a existir evidencia de que las intervenciones de un programa ocasionan algún tipo de efecto benéfico.

La aleatorización por estímulo o fomento aleatorio: consiste en introducir un elemento aleatorio de incentivos para participar en el programa. Esta aleatorización de incentivos aumenta la probabilidad de recibir las intervenciones o beneficios del programa. El elemento aleatorio se convierte en una variable instrumental natural.

La aleatorización en burbuja: se presenta cuando, en ocasiones, no es posible aleatorizar entre las personas elegibles. Las personas en la burbuja, o área son personas que están en los límites de los puntos de corte establecidos en términos de elegibilidad.

Finalmente, la aleatorización por componentes o cross-cuting: esta forma de aleatorización busca probar diferentes tratamientos o combinaciones de tratamientos simultáneamente. Permite identificar efectos marginales y efectos interactuados y se recomienda para efectos de diseño de política pública.

En síntesis, la asignación de intervenciones en programas sociales también requiere que las actividades, servicios y recursos sean ofrecidos bajo el máximo nivel de justicia y equidad posible (22-24). En salud pública esa equivalencia se refiere tanto a las compensaciones que se deben otorgar a los participantes como al ofrecimiento equitativo, tanto de los bienes como de los riesgos. Este aspecto es relevante en el caso de la asignación de intervenciones de programas, donde se requiere que los recursos escasos de los cuales se dispone, sean distribuidos de manera homogénea a través de intervenciones eficaces y efectivas en las poblaciones más necesitadas y vulnerables. Este es el caso de ciertos programas sociales de transferencia monetaria condicionada en varios países de bajos y medianos ingresos, los cuales se dirigen a las poblaciones más pobres (25).

Fase de seguimiento de los participantes

Respecto a los resultados que se pueden presentar durante la implementación y desarrollo de un programa, como parte de los principios éticos, se deben seguir estrictos procesos de monitoreo y evaluación para detectar efectos adversos de los programas. El propósito debe ser el de poder solucionarlos de manera oportuna, de manera tal que se garantice la beneficencia y no maleficencia a los participantes del estudio y con el fin de evitar que sucedan desenlaces contrarios a los esperados.

El seguimiento y observación estrictos de los estudios de evaluación de impacto de programas, con diseños experimentales, debe realizarse no solo en cuanto a efectos adversos, sino a la duración pertinente de las intervenciones. También en cuanto a los eventos nuevos que ocurran en los participantes, especialmente los más vulnerables como niños, adultos mayores, y mujeres embarazadas y en periodo de lactancia. Resulta relevante considerar la proporción y motivos de los rechazos de la participación en el programa y el tipo y calidad de las intervenciones realizadas como parte de los programas, evitando al máximo que sean invasivas o que causen cualquier tipo de daño ya sea físico o emocional.

De igual manera, es importante tener en cuenta las evidencias de beneficio que se van presentando a medida que se va implementando el programa, violaciones al protocolo de investigación, vigilancia de los eventos relacionados y no relacionados con el estudio, cumplimiento estricto del consentimiento informado y seguimiento de cualquier hecho que afecte la integridad de los participantes (26).

Al finalizar el estudio, como parte de los beneficios de los participantes, los sujetos deberían tener una retribución de información sobre los resultados del efecto que tiene el programa en la población intervenida, aspecto que no siempre es llevado a cabo. En algunos casos los resultados de la evaluación de programas sirven de base para la formulación de políticas públicas, que posteriormente son implementadas y no tienen cobertura en las poblaciones que aportaron la información.

Conclusiones

Los estudios de evaluación de impacto de programas aportan información fundamental para la toma de decisiones basada en la evidencia y la implementación de políticas y programas sociales. Estos estudios requieren atención en diversos aspectos éticos en cada una de las fases de desarrollo de los programas implementados. Se requiere considerar que los programas ajusten sus condiciones a ciertos grupos especiales como adultos mayores, personas con algún tipo de discapacidad, menores de edad, mujeres embarazadas, personas que padecen VIIH/SIDA, procurando siempre que el riesgo para los participantes sea nulo o mínimo.

De igual manera, es importante tener en cuenta la legislación en investigación que rige a los lugares donde se realicen evaluaciones de impacto con diseños experimentales. Las evaluaciones de impacto con diseños experimentales son útiles para la toma de decisiones en salud pública en cuanto al diseño, implementación y modificación de programas. Por lo tanto, la inclusión de prácticas bioéticas en ese tipo de estudios es importante para obtener una interpretación correcta y transparente de los resultados que genere una traducción en acción.

Conflicto de intereses

Ninguno declarado por las autoras.

Financiación

Subvención parcial por Plan de Fortalecimiento institucional, COLCIENCIAS-FCV, REF. Contrato 734 de 2013.

Agradecimientos

Agradecimiento especial para José E. Urquieta Salomón, por su colaboración en la revisión del manuscrito.


Referencias

1. Peck LR. Subgroup analysis in social experiments: Measuring program impacts based on post-treatment choice. Am J Eval. 2003;24:157-87. http://doi.org/c6jp36.         [ Links ]

2. Habicht JP, Victora CG, Vaughan JP. Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. Int J Epidemiol. 1999;28:10-185. http://doi.org/dv5xv7.         [ Links ]

3. Peck LR. Using cluster analysis in program evaluation. Evaluation Review. 2005;29:178-96. http://doi.org/csxjr6.         [ Links ]

4. Bauman KE, Viadro CI, Tsui AO. Use of tTrue experimental designs for family planning program evaluation: Merits, problems and solutions. International Family Planning Perspectives. 1994;20:108-13. http://doi.org/cjm27v.         [ Links ]

5. McCarney R, Warner J, Iliffe S, van Haselen R, Griffin M, Fisher P. The Hawthorne Effect: a randomized, controlled trial. BMC Med Res Methodol. 2007;7:30. http://doi.org/cv78bf.         [ Links ]

6. National Commission for the Protection of Human Subjects of Biomedical and Behavioral Research. The Belmont Report. Ethical Principles and Guidelines for the Protection of Human Subjects of Research [Internet]. 1978 [citado 2014 junio 10]. Disponible en: http://goo.gl/2GFjqW.         [ Links ]

7. Taljaard M, Weijer C, Grimshaw JM, Belle Brown J, Binik A, Boruch R, et al. Ethical and policy issues in cluster randomized trials: rationale and design of a mixed methods research study. Trials. 2009;28:61. http://doi.org/dmvdzd.         [ Links ]

8. Morales JA, Nava G, Esquivel J, Díaz LE. Principios de ética, bioética y conocimiento del hombre. Primera edición. Pachuca, Hidalgo, México: Universidad Autónoma del Estado de Hidalgo; 2011.         [ Links ]

9. Outomuro D. Reflexiones sobre el estado actual de ética de la investigación en Argentina. Acta Bioética. 2004;10:81-94.         [ Links ]

10. Paho.org [Internet] Washington: Panamerican Organization of public health [citado 2010 julio 7]. Disponible en: http://goo.gl/nsGVFo.         [ Links ]

11. Donner A, Klar N. Design and analysis of cluster randomization trials in health research. London: Arnold; 2000.         [ Links ]

12. Weijer C, Emanuel EJ. Protecting communities in biomedical research. Science. 2000; 289:1142-4. http://doi.org/dp9fnf.         [ Links ]

13. Szklo M, Nieto J. Epidemiología intermedia. Conceptos y aplicaciones. Madrid: Díaz de Santos; 2003.         [ Links ]

14. Center for global development. When Hill we ever learn? Improving lives through impact evaluation. Report of evaluation gap working group. Washington, DC: Center for global development; 2006.         [ Links ]

15. Arboleda-Florez J. La investigación en sujetos humanos: poblaciones vulnerables. En Pellegrini Filho A, Macklin R (editores.). Investigación en sujetos humanos: Experiencia internacional. Santiago de Chile: Programa Regional de Bioética OPS/OMS; 1999.         [ Links ]

16. CIOMS. Pautas Éticas Internacionales para la Investigación Biomédica en Seres Humanos (rev. 2002). Santiago de Chile: Programa Regional de Bioética OPS/OMS; 2003.         [ Links ]

17. Aguilera RM, Mondragón LB, Medina Mora ME. Consideraciones éticas en Intervenciones comunitarias: la pertinencia del consentimiento informado. Salud Ment. 2008;31:129-38.         [ Links ]

18. Mondragón LB. Consentimiento informado: una praxis dialógica para la Investigación. Rev Invest Clin. 2009;61:73-82.         [ Links ]

19. Boyd KM. Medical ethics: principles, persons, and perspectives: from controversy to conversation. J Med Ethics. 2005;31:481-6. http://doi.org/cxnww2.         [ Links ]

20. Declaración de Helsinki de la Asociación Médica Mundial. Principios éticos para las investigaciones médicas en seres humanos [Internet]. [citado 2014 junio 10]. Disponible en: http://goo.gl/4de2CQ.         [ Links ]

21. Calva-Mercado J. Estudios clínicos experimentales. Salud Pública de México. 2000;42:349-58. http://doi.org/cczpz4.         [ Links ]

22. Organización Panamericana de la Salud. La Salud Pública en las Américas. Publicación Científica y Técnica Nº589. Washington: OPS; 2002.         [ Links ]

23. Lolas F. El desafío bioético de la equidad: su relevancia en salud pública. Revista Española de Salud Pública. 2001;75:187-92. http://doi.org/dzdzs4.         [ Links ]

24. Schweigert FJ. The priority of justice: A framework approach to ethics in program evaluation. Eval Program Plann. 2007;30:394-9. http://doi.org/drnrpn.         [ Links ]

25. Leroy JL, Ruel M, Verhofstadt E. The impact of conditional cash transfer programmes on child nutrition: a review of evidence using a programme theory framework. Journal of Development Effectiveness. 2009;1:103-29. http://doi.org/fs3937.         [ Links ]

26. Lolas F. La bioética en el contexto de los programas globales de salud. Rev Panam Salud Pública. 1999;6:65-8. http://doi.org/bf7pf7.         [ Links ]