http://dx.doi.org/10.15446/rsap.v17n3.52918
Ensayo
Exploración de modelos para la evaluación del impacto económico, social, político y científico de la investigación en salud
Exploring models for the assessment of the economic, social, political, and scientific impact of health research
Beatriz Macías-Angel1 y Carlos A. Agudelo-Calderón2
1 Investigadora independiente. Bogotá, Colombia. bpmaciasa@unal.edu.co
2 Instituto de Salud Pública. Facultad de Medicina, Universidad Nacional de Colombia. Bogotá, Colombia. caagudeloc@unal.edu.co
Recibido 5 Julio 2014/Enviado para Modificación 16 Noviembre 2014/Aceptado 9 Marzo 2015
RESUMEN
]]> La investigación en salud incide sobre la salud de las poblaciones. El presente ensayo realiza un acercamiento a los marcos y modelos empleados por los países desarrollados para la evaluación del impacto de las investigaciones en salud, por medio del análisis documental. De esta manera se identifican dos ejes orientadores de análisis: uno de enfoque y el otro de énfasis, en los que se relacionan los modelos publicados, sus orígenes, sus alcances y sus usos. Esto permite conocer las características que poseen y los ámbitos en los cuales Colombia podría implementarlos. El modelo de evaluación "retorno de la inversión" es un modelo que permite seguir el proceso y los resultados de investigación, por medio de la categorización multidimensional de los impactos de la investigación.Palabras Clave: Evaluación del impacto en salud, proyectos de investigación e innovación, evaluación (fuente: DeCS, BIREME).
ABSTRACT
Health research produces effects on the health of populations. This document approaches the frameworks and the models used by developed countries to assess the impact of health research through documentary analysis of research with the highest impact. With this, it was possible to identify two guiding axes of analysis: one having to do with focus, and the other having to do with emphasis. With these, the published models, their uses, their reach, and their origins are related. Our study brings awareness to the features they have and the areas in which Colombia could implement them. We found that the framework for evaluating health research known as the "payback model" is a model for monitoring research that tracks the process and research results with multidimensional categorization of the impacts of research.
Key Words: Health impact assessment, research and innovation projects, evaluation (source: MeSH, NLM).
La inversión en investigación y desarrollo (I+D) en los países de América Latina y el Caribe (ALC) aumentó en los últimos años a un ritmo proporcional mayor que en los países industrializados aunque no tanto como en otras regiones en desarrollo como África y Oceanía (1). El conocimiento científico repercute directamente en la calidad de vida y el desarrollo de un país (2) y puede incidir sobre la salud de las personas y las poblaciones (3). Por esta razón, es conveniente evaluar el impacto de la investigación en salud.
En este ensayo nos acercamos a algunos de métodos más empleados en los países desarrollados, que han tenido la oportunidad y el presupuesto para construir e implementar modelos de análisis que relacionan la financiación de la investigación en salud (IS) con los resultados e impactos de la misma.
En general, la salud se define como un estado de completo bienestar físico, mental y social, y no solamente la ausencia de enfermedad. Esta definición de la Organización Mundial de la Salud (OMS) expresa un ideal que debe ser la meta de toda actividad de desarrollo en salud. Sin embargo, es frecuente que en medicina y en investigación la salud se entienda la salud como ausencia de enfermedad (4).
La investigación en salud se concibe como el trabajo de investigación realizado de manera sistemática y rigurosa por medio de métodos cuantitativos y/o cualitativos, que tiene por objeto generar nuevos conocimientos para mejorar la salud física, mental, social y el bienestar de los individuos y las poblaciones (5). Es también un concepto amplio que incluye no solo la investigación biomédica y clínica, sino también la investigación epidemiológica, salud comunitaria, sistemas y servicios de salud, entre otros (6).
El impacto de la investigación en salud es entendido como los resultados y efectos, en términos de valores y beneficios de salud, asociados al uso del conocimiento producido por medio de la investigación (7).
]]> El impacto en salud se define como los cambios en todos los ámbitos del funcionamiento saludable de las personas, en los servicios de salud o en los determinantes de la salud. "El impacto social" incluye cambios diversos en los sistemas de trabajo, la comprensión ética de las intervenciones de salud, o las interacciones de la población, entre otros. "Los impactos económicos" pueden ser considerados como los beneficios de la comercialización, el valor monetario neto de la mejora de la salud, y los beneficios de la realización de investigación en salud (8).Evaluación se refiere a la estimación sistemática y objetiva de la pertinencia, el cumplimiento de los objetivos, la eficiencia, la eficacia, el impacto y la sostenibilidad de un proyecto en curso, un programa o política. Una evaluación debe proporcionar información que sea creíble y útil, que permita incorporar las enseñanzas aprendidas en la toma de decisiones de beneficiarios y donantes (9).
La OMS denominó Evaluación de Impacto en Salud (EIS) el conjunto de procedimientos, métodos y herramientas para medir los efectos de una política, programa o proyecto sobre la salud y su distribución en una población (10).
La evaluación del impacto de la investigación en salud se ha entendido como un proceso que va más allá del análisis bibliométrico o de resultados estrictamente científicos (11). En el contexto de la evaluación de la investigación en salud, el impacto incluye los productos y resultados que afectan al sector salud y a la sociedad. También incluye los efectos que no hacen parte de los objetivos de la investigación, tales como las contribuciones a la sociedad del conocimiento o al crecimiento económico (8).
¿Cómo surgen los marcos de evaluación de impactos de la investigación en salud?
En 1979 Carol H. Weiss, en su trabajo titulado "Los diferentes significados de la utilización de la investigación" (The many meanings of research utilization) realiza un análisis de "¿cómo?" los investigadores desean que sus proyectos en ciencia sean útiles a la sociedad y contribuyan a generar políticas a partir de sus resultados. Este aporte es quizás uno de los primeros marcos de trabajo, que sirve de soporte a los múltiples modelos de evaluación de los impactos de investigación en salud (12).
En los años 90 cobra interés la evaluación de impacto de los programas y políticas, gracias a estudios de impacto ambiental, en los que se desarrollan los primeros modelos de análisis (13). Por este camino se han generado modelos para examinar los impactos de políticas, programas e inversiones en la salud de las poblaciones, lo cual ha incorporado de manera progresiva la investigación en salud.
El modelo de evaluación de impacto como eje orientador de análisis de la investigación
Un modelo de evaluación de impacto en salud ayuda a visualizar las vías posibles de investigación, las formas de impacto que pueden existir, permitiendo conocer el sistema por el cual se producen los impactos y como mejorarlos. Los modelos se diferencian principalmente por el enfoque y por su énfasis, así:
Los modelos que se centran en el enfoque o las vías de los impactos son diseñados para realizar un seguimiento de los factores contextuales valiosos que se deben tener en cuenta para comprender cómo la investigación realmente causa el impacto (9). La mayoría de estos marcos están vinculados a las evaluaciones de aprendizaje organizacional y tienden a centrarse en una especie de modelo de lógica que vincula los insumos de la investigación, los procesos, los productos y los resultados. Algunos ejemplos de este tipo de modelo son la escala de utilización de la investigación (14) y el modelo del enfoque lógico de Weiss (15).
]]> Los modelos centrados en el énfasis funcionan con diferentes tipos de impacto o clasificación de los impactos. Son modelos que no proporcionan abundante información sobre cómo se generan los impactos, pero permiten que un método de recogida de información sobre impactos pueda comparar los mismos. Estos modelos son apreciados para la rendición de cuentas o la defensa de organizaciones. Ejemplos de este tipo de modelo son el cuadro de mando integral de Kaplan y Norton (16), el marco de impacto social (17), el Marco de la Organización de Evaluación de Tecnologías Sanitarias (Health Technology Assessment-HTA) (18), el modelo para toma de decisiones en transferencia de conocimiento de evaluación de impacto de la investigación, de Lavis (19), el marco de investigación de impacto de Kuruvilla, (20) y el Modelo de Walt y Gilson (21).El marco de evaluación de salud "el retorno de la inversión", posee un modelo lógico que permite el seguimiento de la investigación desde el proceso hasta sus resultados, así como la categorización multidimensional de los impactos de la investigación que corre paralela con el modelo lógico (22).
Con el fin de acercarnos a la comprensión integral de los modelos comenzaremos con el Marco de retorno de la inversión que refleja las dos dimensiones mencionadas, luego desarrollaremos dos ejemplos de este enfoque y finalmente los seis modelos de clasificación por impacto.
Marco de recuperación de la Inversión
Conocido como el modelo "payback", es de tipo lógico ya que demuestra de dónde provienen los beneficios de la investigación en salud. Desarrollado inicialmente por Buxton y Hanney en 1994 (23), este modelo se basa en una aproximación multidimensional en la que se categorizan los beneficios de la investigación. Ha sido aplicado a varios tipos de investigación en salud, clínica y biomédica (24,25).
Este modelo proporciona una estructura para los avances de una idea de investigación desde su Etapa 0 (inicial) hasta la Etapa 6 (final). Estas etapas permiten rastrear el progreso del conocimiento y analizar la consistencia de las técnicas de investigación para recopilar los datos. Esto se logra porque posee una estructura común a todas las evaluaciones ya que se fundamenta en ciclos múltiples de retroalimentación y es compatible con los flujos de conocimiento a usuarios potenciales. El marco permite categorizar los impactos en cinco áreas, como se indica en el Cuadro 1.
Ha sido empleado en varios países como Canadá, Holanda, Irlanda y Hong Kong(9,27).Aunque es uno de los modelos más empleados, algunos investigadores consideran que este Marco es poco realista y que no permite identificar plenamente todos los resultados finales (28,29).
La "escala de utilización de la investigación"es uno de los modelos por enfoque que ha investigado las formas en que la investigación avanza paralelamente con su aplicación, por medio de seis pasos, de tal forma que la investigación pueda ser utilizada por los médicos o por los tomadores de decisión (14).
El paso 1, denominado también de transmisión, consiste en la transferencia de los resultados de la investigación a los practicantes y profesionales; en el paso 2, de conocimiento, los investigadores y profesionales leen y comprenden la información generada por la investigación; el paso 3, de referencia, se da cuando la investigación es citada en otros informes, estudios e investigaciones elaboradas por expertos y profesionales; el paso 4, conocido como el de esfuerzos, consiste en estrategias realizadas para adoptar los resultados de investigación; el paso 5, de influencia, se materializa con los primeros cambios en las decisiones de profesionales, y; el paso 6, de aplicación, recoge todo cambio que se produce con los resultados de la investigación (14).
]]> Este modelo permite visualizar la investigación en Investigación y Desarrollo I+D. Es utilizado para evaluar la capacitación de investigadores en I+D, pero no permite examinar la traducción del conocimiento, ni la calidad de la investigación (14).El Modelo del Enfoque Lógico de Weiss surgió como un intento de comprender los resultados de la investigación médica, con base en el modelado de la lógica de los resultados de la investigación diseñada por United Way, en los Estados Unidos de América, en 1996 (15).
En el modelo original de evaluación, los insumos, los procesos y los resultados se expresan como recursos, actividades y productos. Estos resultados son observados como beneficios o cambios de una población de interés. En el modelo de Weiss el concepto de resultados de la investigación médica es clasificado en tres categorías de tiempo: resultados iniciales a mediano y a largo plazo.
Los resultados iniciales se juzgan con el aumento del conocimiento de la investigación médica en la toma de decisiones de la comunidad; los resultados intermedios se examina con el cambio de prácticas que se derivan de una mayor conciencia o apropiación del conocimiento, y; los resultados de largo plazo se aprecian con los cambios en la salud de los pacientes (15).
Este modelo vincula los resultados clínicos que se derivan de la investigación en la salud de los pacientes. Weiss lo plantea como la forma de entender la eficacia de la investigación en el mejoramiento de los resultados clínicos. El modelo ha permitido comprender el retorno de la inversión en investigaciones deportivas (30).
El cuadro de mando integral de Kaplan y Norton esconsiderado como un modelo de enfoque completo, porque calcula el rendimiento y la conducción estratégica de una organización, permitiendo obtener resultados financieros y desempeño financiero simple por medio del cliente, procesos de negocio, aprendizaje y crecimiento (16). Tiene un eje central que se enfoca en la visión y la estrategia para cada uno de sus cuatro centros: el financiero, el cliente, el proceso de negocio y el aprendizaje o crecimiento. Cada uno de estos se caracteriza por unas metas definidas, con indicadores específicos que permiten establecer si se alcanzan los objetivos, de los que se desprenderán las iniciativas a integrar.
Este modelo es considerado como un sistema de gestión estratégica, gracias a que permite el desarrollo de indicadores para cada una de las áreas. En cuanto a la investigación y desarrollo ha tenido éxito en la transferencia del conocimiento hacia la comercialización y el beneficio económico en empresas como IBM y Ford (16).
El Marco de Impacto Social se basa en la "metáfora de la comunicación". Sostiene que "la evaluación de los resultados de I+D se considera como la valoración de la comunicación de grupos de investigación en un determinado contexto". Por esto es considerado un marco de enfoque que identifica cuatro diferentes grupos sociales que se comunican para producir un impacto (17): el público, las industrias y compañías, las instituciones públicas y políticas y, las comunidades científicas. Clasifica los impactos según cada sector o comunidad social, así: impacto del sector público, impacto al público, impacto científico e impacto al sector privado (17).
El modelo utiliza cuatro categorías para medir el impacto: Los productos de conocimiento (publicaciones, patentes, productos, etc.), el intercambio de conocimiento (presentaciones, consultorías, etc.), el uso del conocimiento (citas, producción de productos, entre otros.) y captura de atención (cuando capta nuevos fondos para financiación). En consecuencia, el modelo no es útil cuando se trata de comprender los beneficios económicos o sobre la salud de la población (17).
El Marco de la Organización y Evaluación de Tecnologías Sanitarias tiene su enfoque en el desempeño, al abordar las cuatro dimensiones que una organización necesita para tener éxito en la prestación de servicios. Estas son: primero, la consecución de objetivos (eficacia y eficiencia para cumplir con su misión y producir impacto en la toma de decisiones); segundo, la producción (obtención de resultados en volúmenes de producción); tercero, la adaptación al medio ambiente (al ser amigable para el ambiente puede atraer y mantener recursos), y; cuarto, la cultura y mantenimiento de los valores (en cuanto a la independencia en la acción, la transparencia del proceso y la rendición de cuentas).
]]> Estos ejes le dan liderazgo, trabajo en equipo, habilidades de comunicación y motivación que podrían garantizar el éxito de una organización. Entre cada categoría existen vínculos que muestran los diferentes aspectos, alineados para mejorar el impacto (18).Dado que es un marco relativamente nuevo, publicado en el 2008, aún se están evaluando sus alcances y están por definirse sus limitaciones (18).
El Modelo para toma de decisiones de transferencia de conocimiento de evaluación de impacto de la investigación, descrito por Lavis en el 2003, se concentra en los factores que afectan la toma de decisiones de un individuo o de una organización. Para alcanzar este objetivo se debe dar respuesta a cuatro preguntas, así: primera, ¿Quiénes son los destinatarios de la investigación? (investigadores, público, pacientes, médicos, administradores, fabricantes o políticos); segunda, ¿Cómo podemos medir el impacto? (producción de investigación, difusión de resultados y medida de cambios); tercera, ¿Cuáles son las métricas más apropiadas para verificar el intercambio de conocimiento?, y; finalmente ¿Cuáles son las medidas para la evaluación? (19). Este modelo se caracteriza por la creación de indicadores con un alcance limitado que dan una respuesta específica a un proyecto determinado.
El Marco de Investigación de Impacto de Kuruvilla se centra en cuatro áreas de impacto de la investigación: los impactos relacionados con la investigación, los efectos de las políticas, los impactos en los servicios y los impactos sociales (20). Este marco se ha utilizado para evaluar el trabajo de investigaciones en la Escuela de Higiene y Medicina Tropical de Londres. Una de las principales críticas al marco es que no proporciona información sobre cómo se derivan los impactos (20).
Para la evaluación de los impactos relacionados con la investigación es necesario conocer el tipo de problema, los métodos de investigación, las publicaciones y documentos, los productos, patentes, redes de investigación, reconocimientos, premios, gestión de la investigación y comunicación.
Los impactos de las políticas se asocian con el nivel de formulación de las políticas, tipo de política, redes de política y capital político.
Los impactos en el servicio de salud dependen del tipo de servicio, la calidad de la atención, los sistemas de información y la gestión de los servicios. Por último, el impacto social está relacionado con el cambio de actitudes, comportamientos, la alfabetización en salud, en equidad y en los derechos humanos, relacionados con el empoderamiento, la cultura y el arte.
El Modelo de Walt y Gilson fue desarrollado principalmente para abordar la evaluación de impactos de carácter político en la salud. Este modelo es una versión simplificada de la estrategia para formulación de políticas que la pone en medio de una dinámica de cuatro factores, el contexto, el contenido de las políticas, el proceso de formulación de las políticas y los actores involucrados en la misma. Los actores son ubicados como centro de la relación pues son el grupo con mayor influencia en la toma de decisiones (21).
Cuando se habla de investigación y desarrollo, este modelo ofrece una orientación importante debido a que no sólo las políticas en salud producen impactos en salud. Si lo tomamos en el contexto de la evaluación, este modelo puede ser empleado para identificar las formas en que la investigación en salud llega a impactar las políticas en salud (31).
Por último, no debe dejarse de mencionar los esfuerzos que se han realizado en Colombia, financiados por Colciencias, con respecto a la evaluación del impacto de la investigación en salud, concentrada en algunos aspectos económicos y en el impacto de la financiación pública en el desarrollo de la investigación en el país (32,33).
]]> Las instituciones financiadoras de la investigación en salud en Colombia, deberían implementar modelos o marcos que permitan hacer la rendición de cuentas con respecto a los recursos invertidos en investigación en salud. El reto es identificar cuál de estos modelos o marcos podría ser adecuado para evaluar el impacto que produce una determinada investigación en salud. Para ello es necesario definir el objetivo de la evaluación e identificar los tipos de proyecto de investigación.Es posible afirmar, a manera de conclusión, que los modelos de evaluación de impacto en salud tienen alcance limitado y la mayoría de ellos cuentan con poco tiempo de aplicación, menos de 20 años. Algunos de ellos están en fase experimental y su desarrollo requiere una inversión importante.
Será necesario que en Colombia se implementen algunos de estos modelos, para contar con resultados iniciales y comparables con los resultados obtenidos en otros países, de acuerdo con los contextos específicos.
REFERENCIAS
1. Albornoz M. El Estado de la Ciencia. Principales indicadores de Ciencia y Tecnología Iberoamericanos /Interamericanos. Buenos Aires: REDES, RYCIT; 2009. [ Links ]
2. Rondón- León L. Indicadores del impacto de la ciencia y la tecnología (CT) en la sociedad: reflexiones y avances. Espacios. 2004, 22(2). [ Links ]
3. Medical research. Assessing the benefits to society. London: UK Evaluation Forum; 2006. [Internet]. Disponible en: http://www.wellcome.ac.uk/stellent/groups/corporatesite/@msh_publishing_group/documents/web_document/wtx031817.pdf. Consultado diciembre 2009. [ Links ]
]]>4. Banque de Données Santé Publique (BDSP). Glossaire multilingue. [Internet]. Disponible en: http://www.bdsp.ehesp.fr/Glossaire/Default.asp. Consultado diciembre 2009. [ Links ]
5. Queensland Government, 2006. How Does Queensland Health Define Research? Clinical Practise Improvement Centre. [Internet]. Disponible en: http://www.health.qld.gov.au/cpic/content/definition.asp. Consultado diciembre 2009. [ Links ]
6. White F. Capacity-building for health research in developing countries: a manager approach. Rev Panam Salud Pública. 2002; 12(3): 165-172. [ Links ]
7. Beacham B, Kalucy LM. Understanding and Measuring Research Impact. Focus on. 2005; 2:1-12. [ Links ]
8. Canadian Institutes of Health Research (CIHR), 2005. Developing a CIHR Framework to Measure the Impact of Health Research. [Internet]. Available at: http://www.cihr-irsc.gc.ca/e/30418.html. Consultado: marzo 2014. [ Links ]
]]>9. Panel on Return on Investment in Health Research [Internet].. Making an Impact: A preferred framework and indicators to measure returns on investments in health research. Ottawa: Canadian Academy of Health Sciences, 2009. Disponible en: http://www.cahs-acss.ca/e/assessments/completedprojects.php. Consultado: 7 diciembre 2012. [ Links ]
10. Calderon C, Bacigalupe A, Esnaola S. La investigación cualitativa en la evaluación del impacto en la salud: la experiencia de un plan de reforma en un barrio de Bilbao. Revista Facultad Nacional de Salud Pública. 2009; 27(1): 45-49. [ Links ]
11. Sarli CC, Dubinsky EK, Holmes KL. Beyond Citation Analysis: a model for assessment of research impact. J Med Libr Assoc. 2010; 98(1): 17-23. [ Links ]
12. Weiss C, The many meanings of research utilization. Public Administration Review. 39(5),426-431, 1979. [ Links ]
13. Jones N, Jones H, Steer L, Datta A. Improving impact evaluation production and use. Working Paper 300. March 2009 [Internet]. London: Overseas Development Institute. Disponible en: http://www.odi.org.uk/resources/odi-publications/working-papers/300-impact-evaluation-production-use.pdf. Consultado: 8 abril 2013. [ Links ]
]]>14. Landry R, Amara N, Lamari M. Climbing the Ladder of Research Utilization: Evidence from Social Science Research. Science Communication. 2001. (396), pp. 422. [ Links ]
15. Weiss AP. Measuring the Impact of Medical Research: Moving From Outputs to Outcomes. American Journal of Psychiatry. 2007:. 164(2): 206-214. [ Links ]
16. Kaplan RS, Norton DP. The Balanced Scorecard-Measures that Drive.Performance. Harvard Business Review. January-February, 1992;71-79. [ Links ]
17. Van Ark G. Societal impact evaluation of research groups: The communication metaphor.Presentation to the Swedish Research Council Workshop on Economic Returns of Medical Research 2007. [Internet]. Disponible en: http://www.vr.se/download/18.34261071168fe6a62080001004/ZonMw+van+Ark+2.pdf. Consultado diciembre 2009. [ Links ]
18. Lafortune L, Farand L, Mondou I, Sicotte C, Battista R. Assessing the performance of health technology assessment organizations: a framework. International Journal of Technology Assessment in Health Care. 2008; 24(1):76-86. [ Links ]
]]>19. Lavis JN, Ross SE, McLeod CB, Gildiner A. Measuring the impact of health research. J Health Serv Res Policy. 2003; 8(3):165-170. [ Links ]
20. Kuruvilla S, Mays N, Pleasant A, Walt G. Describing the impact of health research: a Research Impact Framework. BMC. Health Services Research. 2006; 6: 134. [ Links ]
21. Walt G, Gilson L. Reforming the health sector in developing countries: the central role of policy analysis. Health Policy and Planning. 1994; 9(4): 353‐370. [ Links ]
22. Buxton M, Hanney S. How can payback from health research be assessed? J Health Serv Res Policy. 1996; 1:35-43. [ Links ]
23. Buxton MJ, Hanney SR. Assessing payback from Department of Health research and development: second report. Volume 1: the main report. HERG Research Report No. 19. Uxbridge, UK: HERG. Brunel University;1994. [ Links ]
]]>24. Hanney SR, Frame I, Grant J, Green P, Buxton MJ. From Bench to Bedside: Tracing the Payback Forwards from Basic or Early Clinical Research ‐A Preliminary Exercise and Proposals for a Future Study. HERG Research Report No 31. Uxbridge, UK: HERG. Brunel University; 2003. [ Links ]
25. Hanney S, Mugford M, Grant J, Buxton M. Assessing the benefits of health research: Lessons from research into the use of antenatal corticosteroids for the prevention of neonatal respiratory distress syndrome. Social Science & Medicine. 60, pp. 937‐947. [ Links ]
26. Hanney SR, Gonzalez-Block MA, Buxton MJ, Kogan M. The utilisation of health research in policy-making: concepts, examples and methods of assessment. Health Research Policy and Systems. 2003; 1:2. [ Links ]
27. Nason E, Janta B, Hastings G, Hanney S, O'Driscoll M, Wooding S. Health Research-Making an Impact: The Economic and Social Benefits of HRB Funded Research. Dublin: Ireland: HRB Ireland; 2008. [ Links ]
28. Wooding S, Nason E, Klautzer L, Rubin J, Hanney S, Grant J. Policy and practice impacts of research funded by the Economic and Social Research Council: A case study of the Future of Work programme, approach and analysis. Cambridge, UK: RAND Europe; 2007. [ Links ]
]]>29. Hanney SR, Buxton M, Green C, Coulson D, Rafferty J. An assessment of the impact of the NHS Health Technology Assessment Programme. 2007;11 (53). Norwich, UK: HMSO. [ Links ]
30. Lippi G, Franchini M. Guidi GC. Doping in competition or doping in sport? British Medical Bulletin. 2008; 86(1): 95‐107. [ Links ]
31. Trostle J, Bronfmann M, Langer A. How do researchers influence decision makers? Case studies of Mexican Policies. Health Policy and Planning. 1999; 14: 103‐114. [ Links ]
32. Alvis-Guzmán N, De La Hoz Restrepo F. Valoración económica de la producción científica en salud en Colombia 2000-2005. Rev. MVZ Córdoba. 2008; 13 (1): 1170 - 1183. [ Links ]
33. Jaramillo H, Lopera C, González BE, Vecino A. Impacto del financiamiento en investigación en salud Colciencias 1970 - 2007. Informe final. Bogotá, Colciencias; agosto 2009. [ Links ]
]]>