SciELO - Scientific Electronic Library Online

 
vol.19 número1Mortalidad y recaída en pacientes con cáncer de mama infiltrante sometidas a cirugía conservadoraInvestigación en cáncer en Colombia, 2000-2010 índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Revista Colombiana de Cancerología

versión impresa ISSN 0123-9015

rev.colomb.cancerol. vol.19 no.1 Bogotá ene./mar. 2015

https://doi.org/10.1016/j.rccan.2014.09.001 

http://dx.doi.org/10.1016/j.rccan.2014.09.001

Original

Consistencia interna y validez de contenido del instrumento DELBI

Internal consistency and content validity of DELBI scale

Fabio Sierraa,*, Esperanza Peñaa, Magda Albaa y Ricardo Sáncheza,b

a Grupo de Investigación Clínica, Instituto Nacional de Cancerología, Bogotá D. C., Colombia
b Facultad de Medicina, Universidad Nacional de Colombia, Bogotá D. C., Colombia

* Autor para correspondencia. Correo electrónico: fasierra@cancer.gov.co (F. Sierra).

Recibido el 10 de diciembre de 2013; aceptado el 27 de septiembre de 2014 Disponible en Internet el 19 de diciembre de 2014


Resumen

Objetivos: Evaluar la consistencia interna y la validez de contenido de la escala DELBI para evaluación de guías de práctica clínica (GPC).

Métodos: Fueron seleccionadas 146 GPC de cáncer de mama, colorrectal y de próstata, a las que se aplicó el instrumento DELBI. Se evaluó la consistencia interna de la escala completa y por dominios utilizando el coeficiente alfa de Cronbach y se evaluó la validez de contenido de la escala por medio de un análisis factorial exploratorio (AFE) con rotación ortogonal y uno confirmatorio (AFC) a través de ecuaciones estructurales; para el AFE se determinó que la matriz fuera factorizable por medio del test de esfericidad de Bartlett y el criterio KMO y para el AFC se utilizaron matrices policóricas y métodos de estimación asintótica, teniendo en cuenta que las opciones de respuesta son ordinales.

Resultados: Se observó una consistencia interna buena para la escala total (0,89), la cual varió entre 0,46 y 0,74 en los dominios. El AFE mostró una estructura de cuatro factores sugiriendo una agrupación de los ítems en cuatro dominios: aplicabilidad, claridad y presentación, rigor en la elaboración y participación de los implicados. El AFC mostró un mejor ajuste de la escala organizada en cuatro dominios que en los ocho dominios de la escala original, los cuales tuvieron mejor consistencia interna.

Conclusiones: Se concluye que la escala tiene propiedades psicométricas aceptables y se sugiere considerar cuadro dimensiones de calidad de las GPC en la interpretación de las evaluaciones realizadas con el DELBI.

Palabras clave: Cuestionario; Guía de práctica clínica; Neoplasias de la mama; Neoplasias de la próstata; Neoplasias del colon; Investigación sobre Servicios de Salud; Indicadores de Calidad de la Atención de Salud.


Abstract

Objectives: To assess internal consistency and content validity of the DELBI scale used to evaluate clinical practice guidelines (CPG).

Methods: The DELBI scale was applied to a selection of 146 CPG for breast, colorectal and prostate cancer. Internal consistency of the full scale and by domains was assessed using Cronbach's alpha coefficient, and the content validity was assessed using an Exploratory Factor Analysis (EFA) with orthogonal rotation and a Confirmatory Factor Analysis (CFA) applying structural equation modelling. Bartlett's test of sphericity and KMO test were used to determine the factorability of the intercorrelation matrix, with the ordinal nature of the item-scores as a Likert-type scale. Estimation methods were performed using polychoric correlation, and asymptotic covariance matrices.

Results: For the full scale, a good internal consistency was observed (0.89), which varies between 0.46 and 0.74 by domains. A four-factor structure was found: applicability, clarity and presentation, rigour of development, and stakeholder involvement. The goodness-of-fit tests of the scale organised by 4 domains was better than the 8 domains from the original scale and had a better internal consistency.

Conclusions: It is concluded that the scale has acceptable psychometric properties and it is suggested to consider four dimensions of quality of CPGs in the interpretation of the evaluations performed with the DELBI scale.

Keywords: Questionnaires; Practice guidelines; Breast neoplasm; Prostatic neoplasms; Colonic neoplasms; Health services research; Health care quality indicators.


Introducción

El cáncer tiene una importante carga de la enfermedad para Colombia. De acuerdo con los datos reportados por Globocan, la incidencia es de 160,8 por 100.000 hombres al año y 144,1 por 100.000 mujeres al año, con una mortalidad de 97,5% por 100.000 hombres al año y 81,7% por 100.000 mujeres al año, para mujeres y hombres, respectivamente1. Debido a la importancia de esta enfermedad, se han propuesto herramientas que ayuden a los profesionales de salud a realizar una detección temprana así como un tratamiento integral del cáncer. Entre estas se encuentran las guías de práctica clínica (GPC) y los protocolos de manejo.

Las GPC consisten en conjuntos de afirmaciones (recomendaciones) para asistir a médicos y pacientes en la toma de decisiones sobre atención en salud apropiada para circunstancias específicas2-4. Se han propuesto actualizar el conocimiento de los profesionales para disminuir variabilidad en la práctica clínica y hacer más racional la prestación de los servicios de salud y así mejorar la calidad al brindar la atención de forma efectiva, consistente y eficiente5,6. La elaboración de GPC basadas en la evidencia puede desarrollarse por medio de dos metodologías: desarrollo de novo o adaptación. Se ha recomendado la adaptación de GPC existentes teniendo en cuenta que el proceso requiere el uso de recursos y que la información de las GPC elaboradas en otros países puede ser aplicable en un contexto local y así se evita la duplicación de tareas y esfuerzos5.

La adaptación de GPC consiste en el uso o la modificación de una guía producida en un contexto cultural u organizacional para aplicarla en un contexto diferente7,8. Este proceso requiere varios pasos que son propuestos por diferentes grupos desarrolladores de GPC7,9,10, y puede implicar la búsqueda, la selección y la evaluación de la calidad de GPC existentes. La evaluación se enfoca en la calidad metodológica de la guía, por lo tanto en su validez interna, es decir, se refiere a los elementos apropiados que debieron considerarse durante su elaboración, además, de la factibilidad de sus recomendaciones, su validez externa, y la capacidad para influir en el cuidado de la salud5,11,12.

Teniendo en cuenta los elementos de calidad de una GPC, se han elaborado instrumentos que faciliten una evaluación rigurosa de las mismas. Entre estos se encuentran el Instrumento para la Evaluación de Guías de Práctica Clínica (AGREE, por sus siglas en inglés, The Appraisal of Guidelines forResearch and Evaluation) y el Instrumento Alemán para la Apreciación Metodológica de Guías de Práctica Clínica (DELBI, por sus siglas en alemán, Deutsches Instrument zur methodischen Leitlinien-Bewertung). El DELBI es un instrumento genérico para asistir a los desarrolladores y usuarios de GPC (profesionales de la salud, educadores, tomadores de decisiones) en la evaluación de su calidad metodológica11, publicado en junio del 2005 y enmendado en septiembre de 2008, como resultado de la cooperación entre la Asociación de Sociedades Médicas Científicas en Alemania (AWMF, por sus siglas en alemán, Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften), la Agencia Alemana para Calidad en Medicina (AQuMed, por sus siglas en alemán, Áerztliches Zentrum für Qualitat in der Medizin) y un grupo de expertos13.

El DELBI está organizado en ocho dominios, seis de los cuales corresponden a los dominios del AGREE (alcance y objetivos, participación de los grupos de interés, rigor metodológico en la elaboración, claridad y presentación, aplicabilidad e independencia editorial)12,14; los otros dos dominios son la aplicabilidad de las guías en el sistema de salud alemán y la calidad metodológica de guías cuya elaboración siguió un proceso de adaptación de GPC existentes. Este fue el instrumento propuesto por la Guía Metodológica para la elaboración de Guías de Atención Integral en el Sistema General de Seguridad Social en Salud Colombiano5, dado que tiene más dominios y, además, tiene ayudas para la evaluación como son los criterios para seleccionar cada una de las opciones de respuesta en la escala tipo Likert11.

En el momento de realización de este trabajo no había sido reportado algún estudio que evaluara propiedades psi-cométricas del DELBI. El conocimiento de la validez de esta herramienta es necesario en cuanto aporta elementos adicionales para decidir cuál herramienta es la mejor para evaluar la calidad de las GPC y garantiza un proceso de adaptación riguroso.

Teniendo en cuenta que este instrumento se comporta como una escala, se consideró necesario analizar su consistencia interna y su validez de contenido, como se realizó con el instrumento AGREE15-17. La consistencia interna es una medida de confiabilidad que mide el grado de correlación entre los ítems de la escala18 e indica si los ítems son o no homogéneos. La validez de contenido indica si la muestra de ítems que conforman la escala es representativa del universo de ítems que pueden medir el constructo19 y la calidad de la guía. Esta se evalúa por medio de análisis factorial exploratorio o confirmatorio: en el primer caso, se determina el número de factores en que pueden agruparse los ítems; en el segundo caso, se parte de la estructura previamente determinada de la escala o de la encontrada en el análisis exploratorio y se determina si cada ítem correlaciona con el factor para el que fue propuesto20.

En este estudio se analizó la consistencia interna y la validez de contenido del instrumento DELBI, con el propósito de analizar si es una herramienta confiable en la evaluación de GPC y si la estructura dominios propuesta es adecuada o si los ítems pueden agruparse en una estructura de dominios diferente.

Metodología

Instrumento

El instrumento DELBI consiste en 34 ítems en escala tipo Likert con cuatro opciones de respuesta (1: "fuertemente en desacuerdo", 2: "en desacuerdo", 3: "de acuerdo" y 4: "fuertemente de acuerdo"), organizados en 8 dominios (alcance y objetivos; participación de los implicados; rigor en la elaboración; claridad y presentación; aplicabilidad; independencia editorial; aplicabilidad al sistema de salud local (alemán en la versión original de la escala) y rigor metodológico cuando se usan GPC existentes) (tabla 1). Este instrumento puede ser aplicado a GPC de cualquier área clínica y de cualquier área de cuidado (diagnóstico, prevención, promoción, tratamiento, etc.). En este estudio no se incluyó el dominio 8 (rigor metodológico cuando se usan GPC existentes) debido a que no todas las GPC se realizaron por medio de un proceso de adaptación.

Procedimiento

El proceso de validación consistió en la búsqueda y selección de GPC, aplicación del instrumento DELBI y evaluación de su consistencia interna y validez. Este trabajo hizo parte del desarrollo de GPC realizado en el Instituto Nacional de Cancerología E.S.E., que siguió los lineamientos de la Guía Metodológica para la elaboración de Guías de Atención Integral en el Sistema General de Seguridad Social en Salud Colombiano5.

Se incluyeron guías para cáncer de mama, próstata y colon-recto publicadas en inglés, español, francés o alemán. Estas guías fueron evaluadas por tres revisores independientes que fueron entrenados en la aplicación del instrumento DELBI; dos con formación en epidemiología clínica y uno con formación clínica (oncología, mastología, urología y gas-troenterología). Posterior a su aplicación se calificó cada GPC de acuerdo con el algoritmo propuesto por el sistema DELBI11.

Análisis estadístico

La consistencia interna de la escala fue analizada por medio del coeficiente alfa de Cronbach. Estos coeficientes fueron calculados con todos los ítems y retirando ítems para la escala completa y para cada uno de los dominios.

La validez de contenido fue evaluada por medio de análisis factorial exploratorio (AFE por sus siglas en español) y confirmatorio (AFC por sus siglas en español). Para el análisis factorial exploratorio, se determinó si la matriz de correlaciones entre ítems era factorizable, a partir del test de esfericidad de Bartlett y del criterio de Kaiser Meyer Olkin (KMO por sus siglas en inglés) y se empleó el método de factores principales y una rotación ortogonal para extraer los factores. Para escoger el número de factores se utilizó el criterio de valores propios mayores o iguales a 1 más proporción de la varianza explicada.

El AFC se realizó por medio de ecuaciones estructurales. Teniendo en cuenta que las variables del DELBI están construidas en escala tipo Likert y son de naturaleza ordinal, la estimación de los modelos se realizó a partir de la matriz de correlaciones policóricas y se utilizó el método de mínimos cuadrados ponderados, dado que no se puede asumir una distribución normal de los datos. Se evaluaron dos modelos, presentados en la figuras 1 y 2: uno asumiendo la estructura original de la escala y otro teniendo en cuenta los resultados del AFE. Los dominios fueron considerados como variables latentes y los ítems de la escala como variables observadas.

Previo al análisis de los modelos se determinó si estos eran identificables calculando el número máximo de parámetros libres21 y considerando el número mínimo de variables observadas por cada dominio (mínimo tres para modelos de más de dos factores)22.

Asimismo, para garantizar la normalización de los modelos, dado que tienen variables latentes, se fijaron las varianzas de las variables latentes en 1. Se calculó la consistencia interna también para el segundo modelo (obtenido de acuerdo con los resultados del AFE).

Para decidir sobre la calidad del ajuste del modelo a los datos se utilizó la prueba X2, la razón X2/grados de libertad, el Índice de Ajuste Comparativo (CFI, por sus siglas en inglés, Comparative Fit Index), el Índice de Tucker-Lewis (TLI, por sus siglas en inglés, Tucker-Lewis Index), el Índice de Aproximación de la Raíz de Cuadrados Medios del Error (RMSEA, por sus siglas en inglés, Root Mean Square Error of Aproximation) y el Índice de la Raíz de los Cuadrados Medios del Residuo (SRMR, por sus siglas en inglés, Standardized Root Mean squared Residuals). Valor p de la prueba x2 mayor a 0,05, razón x2/grados de libertad menor a 3, valores de CFI y TLI mayores a 0,95 y valores de RMSEA y SRMR menores a 0,05, indican buen ajuste del modelo20-24.

Los análisis fueron realizados en el paquete estadístico Stata 12® (consistencia interna y AFE) y en el paquete estadístico R utilizando las librerías psych25 y lavaan26,27 (para el AFC).

Resultados

Fueron seleccionadas 146 GPC: 52 (35,4%) para cáncer de mama, 14 (9,5%) para cáncer de próstata y 81 (55,1%) para cáncer de colon-recto.

La consistencia interna de la escala completa y por dominios se presenta en la tabla 2. Esta es alta para la toda la escala y mejora al retirar ítems indicando que las preguntas del instrumento miden el mismo constructo en forma confiable. Sin embargo, cuando se analiza por dominios se observan menores coeficientes. Los dominios con menor consistencia mejoran el coeficiente al retirar ítems. Alcance y objetivos incrementa a 0,72 retirando el ítem 2: "Los aspectos clínicos cubiertos por la guía están específicamente descritos" y Participación de los implicados mejora a 0,60 retirando el ítem 7: "La guía ha sido probada entre los usuarios diana".

En el AFE se encontró una matriz factorizable, pues el resultado del test de esfericidad de Bartlett fue X2406=1.759,458, p=0,000 y el del KMO fue 0,799. Se encontró una solución de 4 factores, como se observa en la tabla 1, que explica el 80,2% de la varianza (24%, 22,2%, 20% y 14%, respectivamente); los valores propios de estos factores fueron: 7,18,1,99,1,63 y 1,24. En esta tabla se muestran también los valores de unicidad para cada ítem y se observa que los ítems 2 y 7, cuyo retiro mejora la consistencia interna, tienen valores altos: 0,75 y 0,79.

Puede observarse que la estructura de ocho dominios de la escala original no se conserva. Considerando los aspectos propuestos para la evaluación de calidad de las GPC, la estructura de factores encontrada y el contenido de los ítems que cargan en esos factores, se sugieren los siguientes nombres para los cuatro dominios: aplicabilidad, claridad y presentación, rigor en la elaboración y participación de implicados.

Las estimaciones de los parámetros de los modelos de AFC se presentan en las figuras 1 y 2. Todos los coeficientes de senda entre los ítems y sus dominios fueron estadísticamente diferentes de 0; excepto el ítem 27 en el modelo 2. En ambos modelos los ítems 7 y 27 tienen las menores cargas; al cambiar el ítem 7 al dominio de rigor metodológico su carga mejora, mientras que para el ítem 27 disminuye y deja de ser estadísticamente significativa. Las correlaciones entre dominios fueron estadísticamente significativas y altas; independencia editorial tuvo las correlaciones más bajas, excepto con participación de los implicados. En la tabla 3 se presentan los estadísticos de ajuste para cada uno de los modelos analizados.

Puede observarse un mejor ajuste del modelo que agrupa los ítems de la escala en 4 dominios, dado que son mejores los valores de todos los índices, indicando que la estructura de la escala sugerida en el AFC es más adecuada para el instrumento y por lo tanto que la calidad metodológica de las GPC se puede analizar por medio de esos 4 aspectos. Al analizar la consistencia interna se encontraron mejores coeficientes para este modelo: 0,81 (aplicabilidad), 0,77 (claridad y presentación), 0,78 (rigor en la elaboración) y 0,71 (participación de los implicados).

Discusión y conclusiones

Dada la importancia que ha ganado la calidad de la atención en salud, la disminución de la variabilidad en la práctica clínica y la necesidad de realizar un uso más racional de los recursos en los sistemas de salud, se ha presentado una producción creciente de GPC basadas en la evidencia. Teniendo en cuenta que la realización de una GPC implica uso de recursos y tiempo, la adaptación de las ya existentes es una forma que ayuda a evitar la duplicación de esfuerzos5. Es precisamente en este contexto en que el instrumento DELBI aporta una evaluación de calidad de esas guías, siendo un paso fundamental en el proceso. Este es un instrumento clave para el desarrollo de GPC dado que es necesario garantizar su confiabilidad y validez, que hasta la fecha de realización de este estudio no ha sido analizada y reportada.

Teniendo en cuenta lo anterior, en este estudio se analizó la consistencia interna y validez de contenido del DELBI utilizando las GPC incluidas en el desarrollo de guías para el sistema de salud colombiano. Los resultados encontrados sugieren una buena confiabilidad por consistencia interna (0,89) y una aceptable validez de contenido (CFI>0,9 y RMSEA=0,067), que puede mejorarse si los ítems de la escala se organizan en cuatro dominios. Estos resultados son similares a los encontrados para el instrumento AGREE, empleado también en la evaluación de GPC, y que comparte los primeros seis dominios con el DELBI. El grupo desarrollador del AGREE, empleando 100 GPC, calculó la consistencia interna a partir del puntaje promedio de cada ítem (calificado por varios evaluadores) y encontró coeficientes entre 0,64 y 0,8815; aunque su estructura de dominios, obtenida por medio de componentes principales, conserva seis dominios, el ítem 7 ("la guía ha sido probada entre los usuarios diana") tiene también una carga baja. En el estudio de Mac-Dermid et al., 200528, con 55 GPC de terapia física, también fue encontrada una solución de cuatro factores, en la que también se agrupan los ítems de independencia editorial con ítems de participación de los implicados, e ítems de aplicabilidad con ítems de claridad y presentación y con un ítem de alcance y objetivos.

La estructura de factores encontrada en el AFE, indica que las dimensiones de calidad de las GPC pueden reducirse a cuatro, las cuales abarcan aspectos de validez externa e interna (estos cuatro factores explican el 80,2% de la varianza). En este sentido los primeros dos factores encontrados son la aplicabilidad y la claridad y presentación de las GPC, que dentro de un proceso de adaptación ayudan a establecer si estas pueden utilizarse en un nuevo contexto, por lo tanto, este resultado está a favor de la validez y utilidad del instrumento. Los dos siguientes factores son rigor metodológico y participación de los implicados, los cuales garantizan que el instrumento está bien construido y que en su elaboración están representadas las distintas áreas clínicas y pacientes y que no existe un conflicto de interés de sus miembros.

Este estudio es un primer acercamiento a las propiedades de medición del instrumento, el cual, hasta ahora empieza a usarse, como puede observase en las GPC para el sistema de salud colombiano publicadas en el 201329,30 y en los estudios de Alba et al., 201331, Frese et al., 201232 y Wiegele et al., 201133. Por esta razón y teniendo en cuenta los resultados obtenidos, se requieren más investigaciones sobre el instrumento en las que se consideren los asuntos mencionados a continuación. Además de la validez de contenido, se puede realizar una validez de constructo, al comparar los resultados del DELBI con los del AGREE, actualmente más utilizado.

Dado que uno de los aspectos que diferencian al DELBI del AGREE, además del número de dominios es la escala de respuesta, se requiere analizar si el pobre ajuste del modelo de la escala original se debe a que las opciones son cuatro y a que existe una guía que indica cuando escoger cada una de ellas. En el AGREE, el evaluador manifiesta su acuerdo o desacuerdo con el criterio que evalúa, en una escala de siete puntos, pero no se sugieren aspectos que debe considerarse para escoger cada uno de esos puntos. Es posible, que la estructura más directiva del DELBI influya en la validez del instrumento. Esta hipótesis puede ser evaluada por medio de análisis de teoría de respuesta al ítem usando modelos de respuesta graduada o modelos de Rasch, los cuales permiten hacer un diagnóstico de las opciones de respuesta34-36.

Entre las limitaciones de este estudio se encuentra el tamaño de muestra y la heterogeneidad de las GPC empleadas. Los modelos de AFC requieren muestras grandes, más aún cuando los ítems incluidos son de naturaleza ordinal22,37. Teniendo en cuenta este tamaño de muestra pequeño se utilizó como método de estimación el método de mínimos cuadrados ponderados. Sin embargo, es posible que el pobre ajuste del modelo uno (estructura original de la escala) se relacione con este tamaño. En relación con la heterogeneidad, las GPC empleadas fueron oncológicas. Un análisis que incluya otro tipo de condiciones clínicas puede aportar una mayor variabilidad en los dominios evaluados y por lo tanto permitir análisis más robustos.

Se puede concluir que el instrumento DELBI tiene buena consistencia interna y que es válido para evaluar la calidad de GPC. Dada la estructura de factores encontrada se sugiere realizar una interpretación de los resultados de acuerdo con las cuatro dimensiones propuestas en el presente estudio: aplicabilidad, claridad y presentación, rigor en la elaboración y participación de los implicados. Así mismo, debe analizarse cuidadosamente el resultado del ítem 27, dada su pobre carga factorial en cada uno de los modelos analizados.

Financiación

Departamento Nacional de Ciencia y Tecnología Colciencias Instituto Nacional de Cancerología E.S.E. en el marco del Contrato 283-2010, Convocatoria 500-2009 para el desarrollo del proyecto 2101-500-25587

Responsabilidades éticas

Protección de personas y animales. Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.

Confidencialidad de los datos. Los autores declaran que en este artículo no aparecen datos de pacientes.

Derecho a la privacidad y consentimiento informado. Los autores declaran que en este artículo no aparecen datos de pacientes.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.


Bibliografía

1. International Agency for Research on Cancer (IARC). GLOBOCAN 2008 [internet]. 2008 [citado 2010 jun 6]. Disponible en: http://globocaniarc.,fr/.         [ Links ]

2. Hayward RS, Wilson MC, Tunis SR, Bass EB, Guyatt G. Users' guides to the medical literature. VIII. How to use clinical practiceguidelines. A. Are the recommendations valid? The Evidence-Based Medicine Working Group. JAMA. 1995;274(7):570-4.         [ Links ]

3. Woolf SH, Grol R, Hutchinson A, Eccles M, Grimshaw J. Clinicalguidelines: potential benefits, limitations, and harms of clinicalguidelines. BMJ. 1999;318(7182):527-30.         [ Links ]

4. Lohr K, Field M. A provisional instrument for assessing clinicalpractice guidelines. En: Field M, Lohr K, editores. Guidelines forclinical practice From development to use. Washington, D.C: National Academy Press; 1992.         [ Links ]

5. Ministerio de la Protección Social, Colciencias, Centro de Estudios e Investigación en Salud de la Fundación Santa Fe de Bogotá, Escuela de Salud Pública de la Universidad de Harvard. Guía Metodológica para la elaboración de Guías Atención Integral en el Sistema General de Seguridad Social en Salud Colombiano. Bogotá; 2010.         [ Links ]

6. Lozano JM, Cuervo LG. Desarrollo de guías de práctica clínica. En: Ruiz AM, Luis, editores. Epidemiología clínica: investigación clínica aplicada. Bogotá: Editorial Médica Internacional; 2004.p. 373-94.         [ Links ]

7. The ADAPTE Collaboration. Resource toolkit for guideline adaptation, versión 1.0 [Internet]. 2007. Disponible en: http://www.adapte.org/.         [ Links ]

8. Fervers B, Burgers JS, Haugh MC, Latreille J, Mlika-Cabanne N, Paquet L, et al. Adaptation of clinical guidelines: literaturereview and proposition for a framework and procedure. Int J Qual Health Care. 2006;18(3):167-76.         [ Links ]

9. Haute Autorité de Santé. Méthode et processus d'adaptation desrecommendations pour la practique clinique existantes. Guide Méthodologique, HAS, 2007 [citado 2013 oct 10]. Disponible en: http://www.has-sante.fr.         [ Links ]

10. Graham ID, Harrison MB. Evaluation and adaptation of clinicalpractice guidelines. Evid Based Nurs. 2005;8(3):68-72.         [ Links ]

11. German Instrument for Methodological Guideline Appraisal. Deutsches Instrument zur methodischen Leitlinien-Bewertung(DELBI). Version 2005/2006. Disponible en: http://www.english.delbi.de.         [ Links ]

12. Agree collaboration. Introduction to AGREE II [internet]. 2013[citado 2013 oct 10]. Disponible en: http://www.agreetrust.org.         [ Links ]

13. von Troschkel J, Selbmann HK, Encke A. Health services researchand guidelines-from the Association of the Scientific Medical Societies' (AWMF) perspective. Z Arztl Fortbild Qualitatssich.2006;100(8):597-602.         [ Links ]

14. Dans AL, Dans LF. Appraising a tool for guideline appraisal (the AGREE II instrument). J Clin Epidemiol. 2010;63(12):1281-2.         [ Links ]

15. Collaboration A. Development and validation of an international appraisal instrument for assessing the quality of clinica lpractice guidelines: the AGREE project. Qual Saf Health Care.2003;12(1):18-23.         [ Links ]

16. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F, Feder G, et al. Development of the AGREE II, part 1: performance, usefulness and areas for improvement. CMAJ. 2010;182(10):1045-52.         [ Links ]

17. Brouwers MC, Kho ME, Browman GP, Burgers JS, Cluzeau F,Feder G, et al. Development of the AGREE II, part 2: assessment of validity of items and tools to support application. CMAJ.2010;182(10):E472-8.         [ Links ]

18. DeVellis RF. Scale development: theory and applications, VIII,2 nd ed. Thousand Oaks, Calif: Sage Publications, Inc; 2003.p. 171.         [ Links ]

19. Streiner DL, Norman GR. Health measurement scales: A practical guide to their development and use, XII, 3 rd ed. Oxford; New York: Oxford University Press; 2003. p. 283.         [ Links ]

20. Batista-Foguet JM, Coenders G, Alonso J. Análisis factorialconfirmatorio. Su utilidad en la validación de cuestionarios relacionados con la salud. Med Clin (Barc). 2004;122 Supl 1:21-7.         [ Links ]

21. StataCorp. Stata Structural Equation Modeling Reference Manual Release 12. College Station, Texas: Stata Corp; 2011.294 p.         [ Links ]

22. Manzano A, Zamora S. Sistema de ecuaciones estructurales: una herramienta de investigación. Cuaderno técnico 4. México: Centro Nacional de Evaluación para la Educación Superior(CENEVAL); 2009.         [ Links ]

23. Diamantopoulos A, Siguaw JA. Introducing Lisrel: a guide for the uninitiated, XII. London: SAGE; 2000. p. 171.         [ Links ]

24. Hu L-t, Bentler P. Cutoff criteria for fit indexes in covariancestructure analysis: conventional criteria versus new alternatives. Structural Equation Modeling. 1999;6(1):1-55.         [ Links ]

25. Revelle W. Psych: Procedures for Personality and PsychologicalResearch. R package version 1.0-91 [internet]. 2010. Disponible en: http://personality-project.org/r, http://personality-project.org/r/psych.manual.pdf.         [ Links ]

26. Rosseel Y. Lavaan: An R package for Structural Equation Modeling. Journal of Statistical Software. 2012;48(2):1-36.         [ Links ]

27. Rosseel Y, Oberski D, Byrnes J, Vanbrabant L, Savalei V, Merkle E, et al. Package 'lavaan' [internet]. 2012 [citado 2012 sep 15]. Disponible en: http://cran.r-project.org/web/packages/lavaan/lavaan.pdf.         [ Links ]

28. MacDermid JC, Brooks D, Solway S, Switzer-McIntyre S, Brosseau L, Graham ID. Reliability and validity of the AGREE instrument used by physical therapists in assessment of clinical practice guidelines. BMC Health Serv Res. 2005;5(1):18.         [ Links ]

29. Ministerio de Protección Social. Guía de Práctica Clínica para la detección temprana, tratamiento integral, seguimiento y rehabilitación del cáncer de mama Bogotá [internet]. 2013 [citado 2013 octubre 10]. Disponible en: http://gpc.minsalud.gov.co/guias/Pages/Gu%C3%ADa-de-c%C3%A1ncer-de-mama.aspx.         [ Links ]

30. Peña Torres E, Alba M, Sierra F. P334 Challenges And Advantages Adapting Recommendations: Gpc Breast Cancer. BMJ Qual Saf.2013;22 Suppl 1:86.         [ Links ]

31. Alba LH, Murillo R, Castillo JS, INC Gedgdcdtd. Counseling interventions for smoking cessation: systematic review. Salud Publica Mex. 2013;55(2):196-206.         [ Links ]

32. Frese T, Franke M, Keyser M, Rurik I, Sandholzer H. Primary careguidelines for geriatric assessment. A structured, comparative analysis. Z Gerontol Geriatr. 2012;45(3):224-9.         [ Links ]

33. Wiegele C, Glattacker M, Gülich M, Helbing G, Jäckel WH. Themethodological quality of rehabilitation guidelines. Gesund-heitswesen. 2011;73(3):162-8.         [ Links ]

34. Linacre JM. Optimizing rating scale category effectiveness. JAppl Meas. 2002;3(1):85-106.         [ Links ]

35. Linacre JM. Users's guide to Winsteps. Chicago: Mesa Press; 2005.         [ Links ]

36. Linacre M. Winsteps Rasch Tutorial 3 [internet]. 2012 [citado 2012 sep 13]. Disponible en: http://www.winsteps.com/a/winsteps-tutorial-3.pdf.         [ Links ]

37. Jöreskog K. Structural equation modeling with ordinal variablesusing LISREL [internet]. 2005 [citado 2012 Jun 06]. Disponible en: http://www.ssicentral.com/lisrel/advancedtopics.html.         [ Links ]