<?xml version="1.0" encoding="ISO-8859-1"?><article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
<front>
<journal-meta>
<journal-id>0034-7450</journal-id>
<journal-title><![CDATA[Revista Colombiana de Psiquiatría]]></journal-title>
<abbrev-journal-title><![CDATA[rev.colomb.psiquiatr.]]></abbrev-journal-title>
<issn>0034-7450</issn>
<publisher>
<publisher-name><![CDATA[Asociacion Colombiana de Psiquiatria.]]></publisher-name>
</publisher>
</journal-meta>
<article-meta>
<article-id>S0034-74502009000400015</article-id>
<title-group>
<article-title xml:lang="es"><![CDATA[Metodología de calificación y resumen de las opiniones dentro de consensos formales]]></article-title>
<article-title xml:lang="en"><![CDATA[Methodology of Qualification and Summary of the Opinions in Formal Consensus]]></article-title>
</title-group>
<contrib-group>
<contrib contrib-type="author">
<name>
<surname><![CDATA[Sánchez Pedraza]]></surname>
<given-names><![CDATA[Ricardo]]></given-names>
</name>
<xref ref-type="aff" rid="A01"/>
</contrib>
<contrib contrib-type="author">
<name>
<surname><![CDATA[Jaramillo González]]></surname>
<given-names><![CDATA[Luis Eduardo]]></given-names>
</name>
<xref ref-type="aff" rid="A02"/>
</contrib>
</contrib-group>
<aff id="A01">
<institution><![CDATA[,Universidad Nacional de Colombia Facultad de Medicina ]]></institution>
<addr-line><![CDATA[Bogotá ]]></addr-line>
<country>Colombia</country>
</aff>
<aff id="A02">
<institution><![CDATA[,Universidad Nacional de Colombia Facultad de Medicina ]]></institution>
<addr-line><![CDATA[Bogotá ]]></addr-line>
<country>Colombia</country>
</aff>
<pub-date pub-type="pub">
<day>00</day>
<month>12</month>
<year>2009</year>
</pub-date>
<pub-date pub-type="epub">
<day>00</day>
<month>12</month>
<year>2009</year>
</pub-date>
<volume>38</volume>
<numero>4</numero>
<fpage>777</fpage>
<lpage>786</lpage>
<copyright-statement/>
<copyright-year/>
<self-uri xlink:href="http://www.scielo.org.co/scielo.php?script=sci_arttext&amp;pid=S0034-74502009000400015&amp;lng=en&amp;nrm=iso"></self-uri><self-uri xlink:href="http://www.scielo.org.co/scielo.php?script=sci_abstract&amp;pid=S0034-74502009000400015&amp;lng=en&amp;nrm=iso"></self-uri><self-uri xlink:href="http://www.scielo.org.co/scielo.php?script=sci_pdf&amp;pid=S0034-74502009000400015&amp;lng=en&amp;nrm=iso"></self-uri><abstract abstract-type="short" xml:lang="es"><p><![CDATA[Actualmente el desarrollo y uso de guías de práctica clínica es un aspecto importante desde el punto de vista político y desde del cuidado de la salud. Los métodos de consenso se usan para desarrollar guías de práctica clínica, especialmente cuando la evidencia es insuficiente o contradictoria. Debido a sus características (ser un proceso sistemático y transparente), los consensos formales se prefieren sobre los no formales al desarrollar guías de práctica clínica. Este artículo describe algunos métodos utilizados en el proceso de calificación y resumen de los resultados de un consenso formal.]]></p></abstract>
<abstract abstract-type="short" xml:lang="en"><p><![CDATA[Currently, the development and use of clinical guidelines is an important political and healthcare issue. Consensus methods are used to develop clinical guidelines, mainly when there is insufficient or contradictory evidence. Formal rather than informal consensus methods are preferred in guideline development, because of its characteristics (being a systematic and transparent process). This paper describes some methods used to scoring and summarizing results of a formal consensus.]]></p></abstract>
<kwd-group>
<kwd lng="es"><![CDATA[guía de práctica clínica]]></kwd>
<kwd lng="es"><![CDATA[consenso]]></kwd>
<kwd lng="en"><![CDATA[Practice guidelines]]></kwd>
<kwd lng="en"><![CDATA[consensus]]></kwd>
</kwd-group>
</article-meta>
</front><body><![CDATA[  <font face="verdana" size="2">      <p align="right"><b>Metodolog&iacute;a de investigaci&oacute;n y lectura cr&iacute;tica    de estudios</b></p>     <p align="center"><font size="4"><b>Metodolog&iacute;a de calificaci&oacute;n y resumen    de las   opiniones dentro de consensos formales</b></font></p>     <p align="center"><font size="3"><b>Methodology of Qualification and Summary of the    Opinions in Formal Consensus</b></font></p>     <p> <b>Ricardo S&aacute;nchez Pedraza<sup>1</sup>   Luis Eduardo Jaramillo Gonz&aacute;lez<sup>2</sup></b></p>     <p><sup>1</sup> Psiquiatra, MSc en Epidemiolog&iacute;a Cl&iacute;nica. Profesor titular    de la Facultad de Medicina   de la Universidad Nacional de Colombia. Grupo de Investigaci&oacute;n Cl&iacute;nica    del Instituto   Nacional de Cancerolog&iacute;a. Bogot&aacute;, Colombia.</p>     <p>   <sup>2</sup> Psiquiatra, MSc en Farmacolog&iacute;a. Profesor asociado de la Facultad de    Medicina de la   Universidad Nacional de Colombia. Bogot&aacute;, Colombia.</p>     <p>Correspondencia   Ricardo S&aacute;nchez Pedraza   Departamento de Psiquiatr&iacute;a   Facultad de Medicina   Universidad Nacional de Colombia   Ciudad Universitaria, carrera 30, calle 45, edificio 471   Bogot&aacute;, Colombia   <a href="mailto:rsanchezpe@unal.edu.co">rsanchezpe@unal.edu.co</a></p>     <p align="center">Recibido para evaluaci&oacute;n: 30 de agosto del 2009   Aceptado para publicaci&oacute;n: 18 de noviembre del 2009</p>     <hr size="1">      <p>   <b>Resumen</b></p>     ]]></body>
<body><![CDATA[<p>   Actualmente el desarrollo y uso de gu&iacute;as de pr&aacute;ctica cl&iacute;nica    es un aspecto importante desde   el punto de vista pol&iacute;tico y desde del cuidado de la salud. Los m&eacute;todos    de consenso se usan   para desarrollar gu&iacute;as de pr&aacute;ctica cl&iacute;nica, especialmente    cuando la evidencia es insuficiente   o contradictoria. Debido a sus caracter&iacute;sticas (ser un proceso sistem&aacute;tico    y transparente),   los consensos formales se prefieren sobre los no formales al desarrollar gu&iacute;as    de pr&aacute;ctica   cl&iacute;nica. Este art&iacute;culo describe algunos m&eacute;todos utilizados    en el proceso de calificaci&oacute;n y   resumen de los resultados de un consenso formal.</p>     <p>   <b>Palabras clave</b>: gu&iacute;a de pr&aacute;ctica cl&iacute;nica, consenso.</p>  <hr size="1">      <p> <b>Abstract</b></p>     <p>   Currently, the development and use of clinical guidelines is an important political    and healthcare   issue. Consensus methods are used to develop clinical guidelines, mainly when    there   is insufficient or contradictory evidence. Formal rather than informal consensus    methods   are preferred in guideline development, because of its characteristics (being    a systematic and   transparent process). This paper describes some methods used to scoring and    summarizing   results of a formal consensus.</p>     <p>   <b>Key words</b>: Practice guidelines, consensus.</p>     <hr size="1">      <p><b><font size="3">Introducci&oacute;n</font></b></p>     <p>   El consenso es una metodolog&iacute;a   extensamente utilizada para la   elaboraci&oacute;n de gu&iacute;as de pr&aacute;ctica   cl&iacute;nica. Debe tenerse en cuenta que   en dicho proceso pueden darse los   siguientes escenarios (1-4):</p>     <p>   1. No hay suficiente evidencia   cl&iacute;nica para generar las recomendaciones   de la gu&iacute;a.</p>     <p>   2. Existe evidencia cl&iacute;nica contradictoria.</p>     <p>   3. La evidencia cl&iacute;nica es robusta,   pero la aplicaci&oacute;n en &aacute;mbitos   locales genera discrepancias   entre los miembros del grupo   que elabora la gu&iacute;a.</p>     ]]></body>
<body><![CDATA[<p>   4. Existe evidencia no publicada   que poseen algunos expertos, la   cual no puede ser detectada por   una revisi&oacute;n sistem&aacute;tica, y que   puede ser necesaria para generar   las recomendaciones de la gu&iacute;a.</p>     <p>   Los m&eacute;todos de consenso se   pueden agrupar en dos grandes categor&iacute;as:   formales e informales. Los   primeros est&aacute;n caracterizados por   los siguientes elementos (5-8):</p>     <p>   1. Existe como insumo una revisi&oacute;n   sistem&aacute;tica sobre los   t&oacute;picos de discusi&oacute;n.</p>     <p>   2. El proceso de discusi&oacute;n, calificaci&oacute;n de opiniones y s&iacute;ntesis   de estas es sistem&aacute;tico; esto es,   sigue un proceso estructurado   que asegura su replicabilidad y   transparencia.</p>     <p>   Los anteriores elementos permiten   que en un consenso formal   se puedan integrar las opiniones de   los expertos con la evidencia cient&iacute;fica en el tema, utilizando t&eacute;cnicas   grupales basadas en retroalimentaci&oacute;n   e iteraci&oacute;n controladas, junto   con m&eacute;todos de calificaci&oacute;n de las   opiniones que permitan reducir los   sesgos (9,10).</p>     <p>   En el presente art&iacute;culo se describir&aacute;n   algunos de estos m&eacute;todos   de calificaci&oacute;n cuantitativa de las   opiniones de los integrantes del   grupo, as&iacute; como algunas estrategias   empleadas para la s&iacute;ntesis y presentaci&oacute;n   de los resultados. Dichas   estrategias se aplican a cualquiera   de los siguientes tres m&eacute;todos recomendados   en la elaboraci&oacute;n de   gu&iacute;as de pr&aacute;ctica cl&iacute;nica (11,12):</p>     <p>   1. T&eacute;cnica Delphi (13-16): es una   t&eacute;cnica que en su forma original   plantea enviar cuestionarios   por correo a un grupo de   expertos, para que califiquen   una serie de recomendaciones.   Estas calificaciones se resumen   y reenv&iacute;an a los expertos,   de manera iterativa, para   evaluar la posibilidad de que   haya cambios en la calificaci&oacute;n   que permitan llegar a un mayor   grado de acuerdo. Existen   modificaciones a este m&eacute;todo   (Delphi cara a cara, Delphi telef&oacute;nico).   El n&uacute;mero recomendado   de expertos oscila entre 6 y   30, aunque pueden manejarse   grupos m&aacute;s grandes.</p>     <p>2. Grupo nominal (7): en esta t&eacute;cnica,   bajo la coordinaci&oacute;n de un   facilitador, un grupo de 9 a 12   expertos se re&uacute;nen para analizar   y calificar una serie de preguntas.   Esta calificaci&oacute;n se realiza de   manera iterativa en dos rondas,   buscando reducir la variabilidad   de las opiniones, con el fin de   alcanzar un acuerdo. Este tipo   de t&eacute;cnica se ha utilizado ampliamente   para generar recomendaciones   en salud. La ventaja   de esta t&eacute;cnica sobre la anterior   es que permite interactuar a los   expertos, pero anula, a la vez, el   efecto de influencias de personajes   con estilos dominantes sobre   la opini&oacute;n de otros.</p>     <p>   3. Conferencia de consenso (11,17):   es una t&eacute;cnica que permite una   participaci&oacute;n amplia de interesados.   Un grupo de expertos   efect&uacute;a una presentaci&oacute;n sobre   los t&oacute;picos de las preguntas ante   un jurado y un p&uacute;blico. El p&uacute;blico   puede participar haciendo   preguntas y comentarios a los   expertos. Tanto el contenido   de las presentaciones como el   resultado de la discusi&oacute;n con   el p&uacute;blico se utilizan a manera   de insumo para que el jurado   genere las recomendaciones.</p>     <p>   <font size="3"><b>Formatos para calificaci&oacute;n</b></font></p>     ]]></body>
<body><![CDATA[<p>   Los formatos utilizados para   este fin est&aacute;n dise&ntilde;ados buscando   obtener una calificaci&oacute;n cuantitativa   de una opini&oacute;n. A partir de la propuesta   del m&eacute;todo de conveniencia   RAND/UCLA, desarrollada en los   a&ntilde;os ochenta (18), se ha convenido   en utilizar escalas ordinales con   nueve niveles para calificar una recomendaci&oacute;n.   De acuerdo con estos   niveles, un procedimiento en salud   puede ser recomendado (apropiado),   contraindicado (inapropiado) o   estar en un nivel de incertidumbre,   dependiendo del valor de la mediana   (19). Adicionalmente, seg&uacute;n el grado   de dispersi&oacute;n de las calificaciones,   puede calificarse sobre el nivel de   acuerdo o consenso. Los formatos   de calificaci&oacute;n tienen la estructura   que se presenta en la <a href="#f1">Figura 1</a>   (18,19).</p>       <p>    <center><a name="f1"><img src="img/revistas/rcp/v38n4/v38n4a15f1.gif"></a></center></p>     <p>   Los formatos para calificaci&oacute;n   presentan tres componentes:</p>     <p>   1. Zonas de calificaci&oacute;n: son espacios   destinados para que se   marque la calificaci&oacute;n escogida.   En la <a href="#f1">Figura 1</a>, tales espacios   corresponden a los c&iacute;rculos en   la parte superior. No utilizar   estas zonas puede generar confusiones, pues los calificadores   pueden se&ntilde;alar opiniones en   los puntos intermedios de la   escala (cabe recordar que esta   es una escala ordinal, en la   que los valores son discretos   y no admiten puntuaciones   intermedias).</p>     <p>   2. Zona de escala: muestra num&eacute;ricamente   los valores en los   cuales se deber&aacute; efectuar la   calificaci&oacute;n (de los n&uacute;meros 1   a 9). La zona de escala insin&uacute;a   que hay tres regiones (de los   n&uacute;meros 1 a 3, de 4 a 6 y de 7   a 9), que corresponder&aacute;n a la   calificaci&oacute;n del grado de recomendaci&oacute;n.</p>     <p>   3. Zona de anclaje: corresponde a   los textos, debajo de los valores   de la zona de escala, que relacionan   algunos valores num&eacute;ricos   con un concepto verbal. Adem&aacute;s   del sistema usado en la Figura 1   (completamente en desacuerdo,   en desacuerdo, etc.), y dependiendo   de las caracter&iacute;sticas   del enunciado que se califica,   pueden usarse sistemas tales   como (16,20):</p>     <p>   a. Completamente inapropiado;   parcialmente inapropiado; ni   inapropiado ni apropiado;   parcialmente apropiado;   completamente apropiado.</p>     <p>   b. Completamente contraindicado;   parcialmente contraindicado;   ni contraindicado   ni indicado; parcialmente   indicado; completamente indicado.</p>     <p>   c. Para nada; muy poco; algo;   mucho; demasiado.</p>     ]]></body>
<body><![CDATA[<p>   d. Completamente en desacuerdo;   en desacuerdo;   algo en desacuerdo; algo de   acuerdo; de acuerdo; completamente   de acuerdo.</p>     <p>   e. Nunca est&aacute; indicado; muy   pocas veces est&aacute; indicado;   algunas veces est&aacute; indicado;   muchas veces est&aacute;   indicado; siempre est&aacute; indicado.</p>     <p>   <b><font size="3">M&eacute;todos de calificaci&oacute;n</font></b></p>     <p>   Dada la naturaleza ordinal del   sistema de calificaci&oacute;n, la medida   de resumen utilizada en estos casos   es la mediana (percentil 50) (18). Se   pueden distinguir dos m&eacute;todos de   calificaci&oacute;n:</p>     <p>   1. M&eacute;todo descriptivo: tiene las   siguientes fases:</p>     <p>   a. Una vez se han recopilado   todas las calificaciones de   los expertos, se calcula la   mediana de estas calificaciones   y se ubican los puntos   extremos del rango de respuestas   (el puntaje m&aacute;s alto   y el puntaje m&aacute;s bajo).</p>     <p>   b. Si los puntos extremos del   rango de respuestas se ubican   dentro de alguna de las   tres regiones de la zona de   escala (1 a 3; 4 a 6; 7 a 9), se   considera que hay acuerdo   fuerte y se declara consenso.   Si los puntos extremos del rango se ubican dentro   de dos regiones consecutivas   (1 a 3 y 4 a 6, por ejemplo),   se considera que hay acuerdo   relativo. Si los puntos   extremos del rango est&aacute;n   dispersos entre dos regiones   no consecutivas (1 a 3 y 7 a   9) se considera que no hubo   consenso. En los casos en   los que no hubo consenso   o hubo acuerdo relativo se   lanza una segunda ronda de   calificaci&oacute;n, durante la cual   se utilizan preguntas con la   estructura que se presenta   en la <a href="#f2">Figura 2</a>.</p>       <p>    <center><a name="f2"><img src="img/revistas/rcp/v38n4/v38n4a15f2.gif"></a></center></p>     <p>   Seg&uacute;n los resultados anteriores,   puede requerirse una   tercera ronda, en la cual se   utilizar&aacute; la misma metodolog&iacute;a,   y, adicionalmente,   se enviar&aacute; a los expertos el   texto de los comentarios de   quienes no estuvieron de   acuerdo con la medida de resumen.</p>     ]]></body>
<body><![CDATA[<p>   c. Dependiendo del valor de la   mediana, puede calificarse   el grado de la recomendaci&oacute;n,   de la siguiente manera   (5,18):</p>     <p>   i. Si la mediana se ubica   en la zona de la escala   7 a 9 se considera que   la recomendaci&oacute;n es   adecuada, indicada o   de primera l&iacute;nea.</p>     <p>   ii. Cuando la mediana se   ubica en la zona de la   escala 1 a 3 se toma la   recomendaci&oacute;n como   no indicada o no recomendada.   iii. Si la mediana se encuentra   en la zona 4 a   6 no es posible plantear   afirmaciones sobre qu&eacute; tan adecuada o   indicada es la recomendaci&oacute;n.   En estos   casos, as&iacute; haya consenso,   se recomienda   lanzar una nueva ronda   de consulta a los   expertos, buscando un   pronunciamiento sobre   la indicaci&oacute;n o contraindicaci&oacute;n   de la recomendaci&oacute;n.   En caso de   no lograr un acuerdo   en esta nueva ronda, se   deben documentar los   motivos presentados   por los expertos que   justificaron este punto   de indecisi&oacute;n.</p>     <p>   2. M&eacute;todo estad&iacute;stico: se utiliza   cuando el grupo de expertos   tiene un tama&ntilde;o de 20 o m&aacute;s   personas. Se fundamenta en   pruebas estad&iacute;sticas que hacen   comparaciones m&uacute;ltiples de   medianas. Sus etapas son las   siguientes (21):</p>     <p>   a. Cuando se recolectan todas   las calificaciones de los   expertos, se calcula la mediana   y se aplica un m&eacute;todo   estad&iacute;stico de comparaci&oacute;n.   La prueba que se suele utilizar   es el test de Kruskal-   Wallis, con opci&oacute;n de comparaciones   post-hoc cuando   hay m&aacute;s de dos medianas;   dependiendo del tama&ntilde;o del   grupo de expertos, puede   considerarse la opci&oacute;n de   usar niveles de significaci&oacute;n   menos exigentes; incluso,   menores de 0,1. Por   ejemplo, si se plantea un   consenso sobre el manejo   recomendado en pacientes   con depresi&oacute;n mayor leve y   se plantean como opciones   psicoterapia-inhibidores de   recaptaci&oacute;n de serotoninaantidepresivos   tric&iacute;clicos,   cada una de estas tres opciones   tendr&aacute;, luego de la   calificaci&oacute;n de los expertos,   una mediana.</p>     <p>   b. Aplicar criterios de decisi&oacute;n   para definir consenso: en el   caso de que se comparen   m&aacute;s de dos opciones (y, por   lo tanto, m&aacute;s de dos medianas)   se tiene en cuenta   como criterio para declarar   consenso que exista una   diferencia significativa, y   que esta sea atribuible a   alguna de las dos opciones   con la mayor mediana. Tal   situaci&oacute;n puede darse en   los siguientes casos:</p>     <p>   i. La mediana mayor es   diferente de todas las   otras medianas.</p>     <p>   ii. Todas las medianas son   diferentes entre ellas.</p>     <p>   iii. Las dos medianas m&aacute;s   grandes son diferentes   de la menor, pero entre   las m&aacute;s grandes no hay   diferencia. En este caso   se declara consenso,   pero cuando se redacte   el documento final debe aclararse que no hubo   diferencia significativa   ente las recomendaciones   de primera y   segunda l&iacute;nea.</p>     <p>   En caso de que no haya diferencia   significativa entre ning&uacute;n par de   medianas se considera que no hubo   consenso.</p>     ]]></body>
<body><![CDATA[<p>   Si la opci&oacute;n que se est&aacute; calificando tiene s&oacute;lo dos observaciones   se declara consenso &uacute;nicamente si   hay diferencia significativa entre   las medianas. Obviamente, en esta   situaci&oacute;n no son necesarias las   pruebas post-hoc.</p>     <p>   Adicionalmente, deben calcularse   los intervalos de confianza   para cada una de las medianas que   se van a reportar.</p>     <p>   <b><font size="3">S&iacute;ntesis y presentaci&oacute;n</font></b></p>     <p>   Adem&aacute;s del texto que declara   tanto los puntos de consenso como el   grado de la recomendaci&oacute;n (22), son   &uacute;tiles las herramientas gr&aacute;ficas que   incorporan las mencionadas dimensiones.   Estos gr&aacute;ficos deben contener   la siguiente informaci&oacute;n (23):</p>     <p>   1. Las diferentes opciones sometidas   a consenso.</p>     <p>   2. Las medianas junto con sus intervalos   de confianza (o los l&iacute;mites   del rango de respuestas, dependiendo   del m&eacute;todo utilizado).</p>     <p>   3. Una convenci&oacute;n que represente el   grado de recomendaci&oacute;n (usualmente   se recurre a colores).</p>     <p>   En la <a href="#f3">Figura 3</a> se presenta un   ejemplo hipot&eacute;tico sobre la forma derepresentar gr&aacute;ficamente los    resultados   del consenso en relaci&oacute;n con   una recomendaci&oacute;n terap&eacute;utica.</p>       <p>    <center><a name="f3"><img src="img/revistas/rcp/v38n4/v38n4a15f3.gif"></a></center></p>     ]]></body>
<body><![CDATA[<p>   <font size="3"><b>Referencias</b></font></p>     <!-- ref --><p>   1. Black N, Murphy M, Lamping D, McKee   M, Sanderson C, Askham J, et al.   Consensus development methods:   a review of best practice in creating   clinical guidelines. J Health Serv Res   Policy. 1999;4(4):236-48.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000074&pid=S0034-7450200900040001500001&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   2. Rycroft-Malone J. Formal consensus:   the development of a national   clinical guideline. Qual Health Care.   2001;10(4):238-44.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000075&pid=S0034-7450200900040001500002&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   3. Ferlie EB, Shortell SM. Improving the   quality of health care in the United   Kingdom and the United States: a   framework for change. Milbank Q.   2001;79(2):281-315.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000076&pid=S0034-7450200900040001500003&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   4. Olmos ME, S&aacute;nchez R, Venegas MA.   Los consensos de expertos: una metodolog&iacute;a   &uacute;til en la toma de decisiones   en salud. Revista Colombiana de Cancerolog&iacute;a.   2006;10(1):50-60.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000077&pid=S0034-7450200900040001500004&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   5. Haute Autorit&eacute; de Sant&eacute;. Bases m&eacute;thodologiques   pour l&#39;elaboration de   recommandations professionnelles   par consensus formalis&eacute;. Guide m&eacute;thodologique.   France: Haute Autorit&eacute;   de Sant&eacute;; 2006.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000078&pid=S0034-7450200900040001500005&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   6. Lomas J, Anderson G, Enkin M, Vayda   E, Roberts R, MacKinnon B. The role   of evidence in the consensus process.   Results from a Canadian consensus   exercise. JAMA, 1988;259(20):3001-5.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000079&pid=S0034-7450200900040001500006&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   7. Dobbie A, Rhodes M, Tysinger   JW, Freeman J. Using a modified   nominal group technique as a curriculum   evaluation tool. Fam Med.   2004;36(6):402-6.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000080&pid=S0034-7450200900040001500007&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   8. Tong R. The epistemology and ethics   of consensus: uses and misuses   of &#8216;ethical&#39; expertise. J Med Philos,   1991;16(4):409-26.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000081&pid=S0034-7450200900040001500008&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   9. Fink A, Kosecoff J, Chassin M, Brook   RH. Consensus methods: characteristics   and guidelines for use. Am J Public   Health. 1984;74(9):979-83.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000082&pid=S0034-7450200900040001500009&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   10. Brook RH, McGlynn EA, Shekelle PG.   Defining and measuring quality of care:   a perspective from US researchers. Int   J Qual Health Care. 2000;12(4):281-   95.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000083&pid=S0034-7450200900040001500010&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   11. Murphy MK, Black NA, Lamping   DL, McKee CM, Sanderson CF, Askham   J, et al. Consensus development   methods, and their use in clinical guideline   development. Health Technol   Assess. 1998;2(3):i-iv, 1-88.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000084&pid=S0034-7450200900040001500011&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   12. Murphy KJ, Kelekis DA, Rundback   J, Gomolka B, Faciszewski T, Gangi   A, et al. Development of a research   agenda for skeletal intervention:   proceedings from a multidisciplinary   consensus panel. J Vasc Interv Radiol.   2008;19(5):631-8.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000085&pid=S0034-7450200900040001500012&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   13. Astigarraga E. El m&eacute;todo Delphi. San   Sebasti&aacute;n: Universidad de Deusto;   2003.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000086&pid=S0034-7450200900040001500013&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   14. Williams PL, Webb C. The Delphi technique:   a methodological discussion. J   Adv Nurs. 1994;19(1):180-6.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000087&pid=S0034-7450200900040001500014&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   15. Powell C. The Delphi technique:   myths and realities. J Adv Nurs.   2003;41(4):376-82.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000088&pid=S0034-7450200900040001500015&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   16. Green B, Jones M, Hughes D, Williams   A. Applying the Delphi technique in   a study of GPs&#39; information requirements.   Health Soc Care Community.   1999;7(3):198-205.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000089&pid=S0034-7450200900040001500016&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   17. Jones JH. Consensus methods for medical   and health services research. En:   Pope CM, Mays N, Editors. Qualitative   research in health care. Massachusetts:   BMJ books; 2000. 46-58.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000090&pid=S0034-7450200900040001500017&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   18. Fitch KB, Bernstein SJ, Aguilar MD,   Burnand B, La Calle JR, Lazaro P, et   al. The RAND/UCLA appropriateness   method. Santa Monica: RAND; 2001.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000091&pid=S0034-7450200900040001500018&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   19. Coulter I, Adams A, Shekelle P. Impact   of varying panel membership on ratings   of appropriateness in consensus   panels: a comparison of a multi- and   single disciplinary panel. Health Serv   Res. 1995;30(4):577-91.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000092&pid=S0034-7450200900040001500019&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   20. Kravitz RL, Park RE, Kahan JP. Measuring   the clinical consistency of panelists&#39;   appropriateness ratings: the case   of coronary artery bypass surgery.   Health Policy. 1997;42(2):135-43.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000093&pid=S0034-7450200900040001500020&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   21. Colciencias, M.d.P.S.C. Manual metodol&oacute;gico   para elaboraci&oacute;n de Gu&iacute;as de   Pr&aacute;ctica Cl&iacute;nica (GPC) basadas en la   evidencia, evaluaciones econ&oacute;micas de GPC y del impacto de la implementaci&oacute;n   de las GPC en el POS y la UPC   del Sistema General de Seguridad   Social en Salud Colombiano. Bogot&aacute;:   Ministerio de Protecci&oacute;n Social;   2009.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000094&pid=S0034-7450200900040001500021&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   22. Oxman AD, Sch&uuml;nemann HJ, Fretheim   A. Improving the use of research   evidence in guideline development:   14. Reporting guidelines. Health Res   Policy Syst. 2006;4:26.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000095&pid=S0034-7450200900040001500022&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><!-- ref --><p>   23. Sachs GS, Printz DJ, Kahn DA, Carpenter   D, Docherty JP. The Expert Consensus   Guideline Series: Medication   Treatment of Bipolar Disorder 2000.   Postgrad Med. 2000;Spec No:1-104.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;[&#160;<a href="javascript:void(0);" onclick="javascript: window.open('/scielo.php?script=sci_nlinks&ref=000096&pid=S0034-7450200900040001500023&lng=','','width=640,height=500,resizable=yes,scrollbars=1,menubar=yes,');">Links</a>&#160;]<!-- end-ref --><p>   Conflicto de inter&eacute;s: los autores manifiestan   que no tienen ning&uacute;n conflicto de inter&eacute;s en este art&iacute;culo.</p> </font>      ]]></body><back>
<ref-list>
<ref id="B1">
<label>1</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Black]]></surname>
<given-names><![CDATA[N]]></given-names>
</name>
<name>
<surname><![CDATA[Murphy]]></surname>
<given-names><![CDATA[M]]></given-names>
</name>
<name>
<surname><![CDATA[Lamping]]></surname>
<given-names><![CDATA[D]]></given-names>
</name>
<name>
<surname><![CDATA[McKee]]></surname>
<given-names><![CDATA[M]]></given-names>
</name>
<name>
<surname><![CDATA[Sanderson]]></surname>
<given-names><![CDATA[C]]></given-names>
</name>
<name>
<surname><![CDATA[Askham]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Consensus development methods: a review of best practice in creating clinical guidelines]]></article-title>
<source><![CDATA[J Health Serv Res Policy]]></source>
<year>1999</year>
<volume>4</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>236-48</page-range></nlm-citation>
</ref>
<ref id="B2">
<label>2</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Rycroft-Malone]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Formal consensus: the development of a national clinical guideline]]></article-title>
<source><![CDATA[Qual Health Care]]></source>
<year>2001</year>
<volume>10</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>238-44</page-range></nlm-citation>
</ref>
<ref id="B3">
<label>3</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Ferlie]]></surname>
<given-names><![CDATA[EB]]></given-names>
</name>
<name>
<surname><![CDATA[Shortell]]></surname>
<given-names><![CDATA[SM]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Improving the quality of health care in the United Kingdom and the United States: a framework for change]]></article-title>
<source><![CDATA[Milbank Q]]></source>
<year>2001</year>
<volume>79</volume>
<numero>2</numero>
<issue>2</issue>
<page-range>281-315</page-range></nlm-citation>
</ref>
<ref id="B4">
<label>4</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Olmos]]></surname>
<given-names><![CDATA[ME]]></given-names>
</name>
<name>
<surname><![CDATA[Sánchez]]></surname>
<given-names><![CDATA[R]]></given-names>
</name>
<name>
<surname><![CDATA[Venegas]]></surname>
<given-names><![CDATA[MA]]></given-names>
</name>
</person-group>
<article-title xml:lang="es"><![CDATA[Los consensos de expertos: una metodología útil en la toma de decisiones en salud]]></article-title>
<source><![CDATA[Revista Colombiana de Cancerología]]></source>
<year>2006</year>
<volume>10</volume>
<numero>1</numero>
<issue>1</issue>
<page-range>50-60</page-range></nlm-citation>
</ref>
<ref id="B5">
<label>5</label><nlm-citation citation-type="book">
<collab>Haute Autorité de Santé</collab>
<source><![CDATA[Bases méthodologiques pour l&#39;elaboration de recommandations professionnelles par consensus formalisé: Guide méthodologique]]></source>
<year>2006</year>
<publisher-loc><![CDATA[France ]]></publisher-loc>
<publisher-name><![CDATA[Haute Autorité de Santé]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B6">
<label>6</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Lomas]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
<name>
<surname><![CDATA[Anderson]]></surname>
<given-names><![CDATA[G]]></given-names>
</name>
<name>
<surname><![CDATA[Enkin]]></surname>
<given-names><![CDATA[M]]></given-names>
</name>
<name>
<surname><![CDATA[Vayda]]></surname>
<given-names><![CDATA[E]]></given-names>
</name>
<name>
<surname><![CDATA[Roberts]]></surname>
<given-names><![CDATA[R]]></given-names>
</name>
<name>
<surname><![CDATA[MacKinnon]]></surname>
<given-names><![CDATA[B]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[The role of evidence in the consensus process: Results from a Canadian consensus exercise]]></article-title>
<source><![CDATA[JAMA]]></source>
<year>1988</year>
<volume>259</volume>
<numero>20</numero>
<issue>20</issue>
<page-range>3001-5</page-range></nlm-citation>
</ref>
<ref id="B7">
<label>7</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Dobbie]]></surname>
<given-names><![CDATA[A]]></given-names>
</name>
<name>
<surname><![CDATA[Rhodes]]></surname>
<given-names><![CDATA[M]]></given-names>
</name>
<name>
<surname><![CDATA[Tysinger]]></surname>
<given-names><![CDATA[JW]]></given-names>
</name>
<name>
<surname><![CDATA[Freeman]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Using a modified nominal group technique as a curriculum evaluation tool]]></article-title>
<source><![CDATA[Fam Med]]></source>
<year>2004</year>
<volume>36</volume>
<numero>6</numero>
<issue>6</issue>
<page-range>402-6</page-range></nlm-citation>
</ref>
<ref id="B8">
<label>8</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Tong]]></surname>
<given-names><![CDATA[R]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[The epistemology and ethics of consensus: uses and misuses of &#8216;ethical&#39; expertise]]></article-title>
<source><![CDATA[J Med Philos]]></source>
<year>1991</year>
<volume>16</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>409-26</page-range></nlm-citation>
</ref>
<ref id="B9">
<label>9</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Fink]]></surname>
<given-names><![CDATA[A]]></given-names>
</name>
<name>
<surname><![CDATA[Kosecoff]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
<name>
<surname><![CDATA[Chassin]]></surname>
<given-names><![CDATA[M]]></given-names>
</name>
<name>
<surname><![CDATA[Brook]]></surname>
<given-names><![CDATA[RH]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Consensus methods: characteristics and guidelines for use]]></article-title>
<source><![CDATA[Am J Public Health]]></source>
<year>1984</year>
<volume>74</volume>
<numero>9</numero>
<issue>9</issue>
<page-range>979-83</page-range></nlm-citation>
</ref>
<ref id="B10">
<label>10</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Brook]]></surname>
<given-names><![CDATA[RH]]></given-names>
</name>
<name>
<surname><![CDATA[McGlynn]]></surname>
<given-names><![CDATA[EA]]></given-names>
</name>
<name>
<surname><![CDATA[Shekelle]]></surname>
<given-names><![CDATA[PG]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Defining and measuring quality of care: a perspective from US researchers]]></article-title>
<source><![CDATA[Int J Qual Health Care]]></source>
<year>2000</year>
<volume>12</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>281- 95</page-range></nlm-citation>
</ref>
<ref id="B11">
<label>11</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Murphy]]></surname>
<given-names><![CDATA[MK]]></given-names>
</name>
<name>
<surname><![CDATA[Black]]></surname>
<given-names><![CDATA[NA]]></given-names>
</name>
<name>
<surname><![CDATA[Lamping]]></surname>
<given-names><![CDATA[DL]]></given-names>
</name>
<name>
<surname><![CDATA[McKee]]></surname>
<given-names><![CDATA[CM]]></given-names>
</name>
<name>
<surname><![CDATA[Sanderson]]></surname>
<given-names><![CDATA[CF]]></given-names>
</name>
<name>
<surname><![CDATA[Askham]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Consensus development methods, and their use in clinical guideline development]]></article-title>
<source><![CDATA[Health Technol Assess]]></source>
<year>1998</year>
<volume>2</volume>
<numero>3</numero>
<issue>3</issue>
<page-range>1-88</page-range></nlm-citation>
</ref>
<ref id="B12">
<label>12</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Murphy]]></surname>
<given-names><![CDATA[KJ]]></given-names>
</name>
<name>
<surname><![CDATA[Kelekis]]></surname>
<given-names><![CDATA[DA]]></given-names>
</name>
<name>
<surname><![CDATA[Rundback]]></surname>
<given-names><![CDATA[J]]></given-names>
</name>
<name>
<surname><![CDATA[Gomolka]]></surname>
<given-names><![CDATA[B]]></given-names>
</name>
<name>
<surname><![CDATA[Faciszewski]]></surname>
<given-names><![CDATA[T]]></given-names>
</name>
<name>
<surname><![CDATA[Gangi]]></surname>
<given-names><![CDATA[A]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Development of a research agenda for skeletal intervention: proceedings from a multidisciplinary consensus panel]]></article-title>
<source><![CDATA[J Vasc Interv Radiol]]></source>
<year>2008</year>
<volume>19</volume>
<numero>5</numero>
<issue>5</issue>
<page-range>631-8</page-range></nlm-citation>
</ref>
<ref id="B13">
<label>13</label><nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Astigarraga]]></surname>
<given-names><![CDATA[E]]></given-names>
</name>
</person-group>
<source><![CDATA[El método Delphi]]></source>
<year>2003</year>
<publisher-loc><![CDATA[San Sebastián ]]></publisher-loc>
<publisher-name><![CDATA[Universidad de Deusto]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B14">
<label>14</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Williams]]></surname>
<given-names><![CDATA[PL]]></given-names>
</name>
<name>
<surname><![CDATA[Webb]]></surname>
<given-names><![CDATA[C]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[The Delphi technique: a methodological discussion]]></article-title>
<source><![CDATA[J Adv Nurs]]></source>
<year>1994</year>
<volume>19</volume>
<numero>1</numero>
<issue>1</issue>
<page-range>180-6</page-range></nlm-citation>
</ref>
<ref id="B15">
<label>15</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Powell]]></surname>
<given-names><![CDATA[C]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[The Delphi technique: myths and realities]]></article-title>
<source><![CDATA[J Adv Nurs]]></source>
<year>2003</year>
<volume>41</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>376-82</page-range></nlm-citation>
</ref>
<ref id="B16">
<label>16</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Green]]></surname>
<given-names><![CDATA[B]]></given-names>
</name>
<name>
<surname><![CDATA[Jones]]></surname>
<given-names><![CDATA[M]]></given-names>
</name>
<name>
<surname><![CDATA[Hughes]]></surname>
<given-names><![CDATA[D]]></given-names>
</name>
<name>
<surname><![CDATA[Williams]]></surname>
<given-names><![CDATA[A]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Applying the Delphi technique in a study of GPs&#39; information requirements]]></article-title>
<source><![CDATA[Health Soc Care Community]]></source>
<year>1999</year>
<volume>7</volume>
<numero>3</numero>
<issue>3</issue>
<page-range>198-205</page-range></nlm-citation>
</ref>
<ref id="B17">
<label>17</label><nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Jones]]></surname>
<given-names><![CDATA[JH]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Consensus methods for medical and health services research]]></article-title>
<person-group person-group-type="editor">
<name>
<surname><![CDATA[Pope]]></surname>
<given-names><![CDATA[CM]]></given-names>
</name>
<name>
<surname><![CDATA[Mays]]></surname>
<given-names><![CDATA[N]]></given-names>
</name>
</person-group>
<source><![CDATA[Qualitative research in health care]]></source>
<year>2000</year>
<page-range>46-58</page-range><publisher-loc><![CDATA[Massachusetts ]]></publisher-loc>
<publisher-name><![CDATA[BMJ books]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B18">
<label>18</label><nlm-citation citation-type="book">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Fitch]]></surname>
<given-names><![CDATA[KB]]></given-names>
</name>
<name>
<surname><![CDATA[Bernstein]]></surname>
<given-names><![CDATA[SJ]]></given-names>
</name>
<name>
<surname><![CDATA[Aguilar]]></surname>
<given-names><![CDATA[MD]]></given-names>
</name>
<name>
<surname><![CDATA[Burnand]]></surname>
<given-names><![CDATA[B]]></given-names>
</name>
<name>
<surname><![CDATA[La Calle]]></surname>
<given-names><![CDATA[JR]]></given-names>
</name>
<name>
<surname><![CDATA[Lazaro]]></surname>
<given-names><![CDATA[P]]></given-names>
</name>
</person-group>
<source><![CDATA[The RAND/UCLA appropriateness method]]></source>
<year>2001</year>
<publisher-loc><![CDATA[Santa Monica ]]></publisher-loc>
<publisher-name><![CDATA[RAND]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B19">
<label>19</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Coulter]]></surname>
<given-names><![CDATA[I]]></given-names>
</name>
<name>
<surname><![CDATA[Adams]]></surname>
<given-names><![CDATA[A]]></given-names>
</name>
<name>
<surname><![CDATA[Shekelle]]></surname>
<given-names><![CDATA[P]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Impact of varying panel membership on ratings of appropriateness in consensus panels: a comparison of a multi- and single disciplinary panel]]></article-title>
<source><![CDATA[Health Serv Res]]></source>
<year>1995</year>
<volume>30</volume>
<numero>4</numero>
<issue>4</issue>
<page-range>577-91</page-range></nlm-citation>
</ref>
<ref id="B20">
<label>20</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Kravitz]]></surname>
<given-names><![CDATA[RL]]></given-names>
</name>
<name>
<surname><![CDATA[Park]]></surname>
<given-names><![CDATA[RE]]></given-names>
</name>
<name>
<surname><![CDATA[Kahan]]></surname>
<given-names><![CDATA[JP]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Measuring the clinical consistency of panelists&#39; appropriateness ratings: the case of coronary artery bypass surgery]]></article-title>
<source><![CDATA[Health Policy]]></source>
<year>1997</year>
<volume>42</volume>
<numero>2</numero>
<issue>2</issue>
<page-range>135-43</page-range></nlm-citation>
</ref>
<ref id="B21">
<label>21</label><nlm-citation citation-type="book">
<collab>Colciencias, M.d.P.S.C</collab>
<source><![CDATA[Manual metodológico para elaboración de Guías de Práctica Clínica (GPC) basadas en la evidencia, evaluaciones económicas de GPC y del impacto de la implementación de las GPC en el POS y la UPC del Sistema General de Seguridad Social en Salud Colombiano]]></source>
<year>2009</year>
<publisher-loc><![CDATA[Bogotá ]]></publisher-loc>
<publisher-name><![CDATA[Ministerio de Protección Social]]></publisher-name>
</nlm-citation>
</ref>
<ref id="B22">
<label>22</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Oxman]]></surname>
<given-names><![CDATA[AD]]></given-names>
</name>
<name>
<surname><![CDATA[Schünemann]]></surname>
<given-names><![CDATA[HJ]]></given-names>
</name>
<name>
<surname><![CDATA[Fretheim]]></surname>
<given-names><![CDATA[A]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[Improving the use of research evidence in guideline development]]></article-title>
<source><![CDATA[Health Res Policy Syst]]></source>
<year>2006</year>
<volume>4</volume>
<page-range>26</page-range></nlm-citation>
</ref>
<ref id="B23">
<label>23</label><nlm-citation citation-type="journal">
<person-group person-group-type="author">
<name>
<surname><![CDATA[Sachs]]></surname>
<given-names><![CDATA[GS]]></given-names>
</name>
<name>
<surname><![CDATA[Printz]]></surname>
<given-names><![CDATA[DJ]]></given-names>
</name>
<name>
<surname><![CDATA[Kahn]]></surname>
<given-names><![CDATA[DA]]></given-names>
</name>
<name>
<surname><![CDATA[Carpenter]]></surname>
<given-names><![CDATA[D]]></given-names>
</name>
<name>
<surname><![CDATA[Docherty]]></surname>
<given-names><![CDATA[JP]]></given-names>
</name>
</person-group>
<article-title xml:lang="en"><![CDATA[The Expert Consensus Guideline Series: Medication Treatment of Bipolar Disorder 2000]]></article-title>
<source><![CDATA[Postgrad Med]]></source>
<year>2000</year>
<numero>Spec No</numero>
<issue>Spec No</issue>
<page-range>1-104</page-range></nlm-citation>
</ref>
</ref-list>
</back>
</article>
