¿Qué sabemos acerca de este problema?

Las revisiones sistemáticas de la literatura, dentro del ámbito clínico, tienen como objetivo sintetizar evidencia enfocada en la efectividad/eficiencia de tratamientos, diagnóstico y pronóstico, para apoyar la toma de decisiones en salud. Aunque existe variabilidad en criterios de apreciación metodológica y herramientas que orientan este tipo de estudios, el AMSTAR es un instrumento validado que permite apreciar críticamente la calidad, a través de dominios globales.

¿Qué aporta este estudio de nuevo?

Aunque conocemos reportes sobre la validación y estructura del AMSTAR, este manuscrito es una guía que presenta un abordaje histórico, teórico y práctico que orienta a clínicos y metodólogos sobre su uso dentro de la práctica basada en la evidencia, específicamente en la evaluación de la calidad de las revisiones sistemáticas. Esto contribuye a la resolución de preguntas en el ámbito clínico, así como apoyar la toma de decisiones basadas en la evidencia.

INTRODUCCIÓN

Las revisiones sistemáticas de la literatura (RSL) y las síntesis ampliadas han tenido gran relevancia dentro del cuidado de la salud y la toma de decisiones en la medicina basada en la evidencia (MBE) ^1,2. Esta estrategia metodológica ha sido un apoyo para el desarrollo de recomendaciones de guías de práctica clínica basadas en la evidencia; además, constituyen la segunda mejor fuente de literatura científica disponible cuando las RSL están basadas en experimentos clínicos aleatorizados, según la pirámide de la evidencia ¹. Este diseño de investigación secundario o integrativo permite dar respuesta a una pregunta de investigación, según su población, intervención, comparador y desenlaces ^3, al analizar los resultados de un conjunto de investigaciones originales y dar respuesta en un corto tiempo y con menos costos que el que se pueda generar de un estudio primario ³. La MBE ha ido evolucionando en su concepto, y se ha convertido en un método de comunicación a escala mundial de decisiones clínicas por medio del consumo de la literatura biomédica ⁴. Se origina a partir de un problema de salud traducido en una pregunta clínica que guía la búsqueda del cuerpo de la evidencia ⁴. Una vez se identifique la literatura biomédica, es importante preguntarse a partir de los resultados de los estudios encontrados: ¿los resultados del artículo son válidos?, ¿cuáles fueron los resultados? y ¿los resultados de ese estudio son aplicables a la población en la que se identificó el caso clínico? ⁵. Las respuestas a estas preguntas serán la base para tomar decisiones respecto al problema de salud. Considerando la importancia de tomar decisiones basadas en la evidencia con responsabilidad, se han diseñado y validado herramientas e instrumentos soportados en listas de chequeo que apoyan la apreciación crítica de la literatura, según el tipo de diseño metodológico reportado ⁶. Se le sugiere al lector la escogencia de uno de los recursos disponibles para apoyarse en la apreciación crítica de la evidencia, según el tipo de investigación.

Para la evidencia basada en RSL se han desarrollado diversas herramientas, de las cuales se ha validado y actualizado una de ellas: el AMSTAR (del inglés "A Measurement Tool for Assessment of Multiple Systematic Reviews"). Esta es una de las herramientas con mayor validez y confiabilidad para el reporte de la calidad, con resultados satisfactorios de las RSL ⁴. Sin embargo, poco se ha divulgado sobre los principios básicos metodológicos de una RSL, y su apreciación puede variar sustancialmente entre clínicos, por lo que es necesario lograr una comprensión e interpretación de cada ítem para su implementación. El presente artículo pretende describir y orientar el uso de la herramienta AMSTAR para la evaluación de la calidad de la evidencia de una revisión sistemática de la literatura.

SOBRE LOS ESTUDIOS SECUNDARIOS O INTEGRATIVOS

Las revisiones sistemáticas tienen como objetivo identificar, evaluar y resumir los hallazgos de todos los estudios individuales relevantes sobre un tema relacionado con la salud, y hacer que la evidencia disponible sea más accesible para los tomadores de decisiones ⁷. A diferencia de las revisiones narrativas, las revisiones sistemáticas de la literatura parten de una pregunta de investigación [formato PICO: P (Paciente, Población o Problema) I (Intervención) C (Comparación) O (Resultado)]; así, se realiza una búsqueda de artículos primarios, basado en una estrategia de búsqueda entendible, en diversas bases de datos (8). La etapa de selección de los artículos en la revisión sistemática tiene criterios de selección específicos y evalúa la calidad de los estudios primarios incluidos. Finalmente, el resumen de los estudios es usualmente cualitativo en la revisión narrativa, mientras que en la RSL se realiza una síntesis sistemática (cualitativo o cuantitativo - metaanálisis) ^8,9(figura 1).

APRECIACIÓN CRÍTICA DE LA EVIDENCIA DE REVISIONES SISTEMÁTICAS DE LA LITERATURA

La práctica basada en la evidencia requiere el uso consciente, explícito y juicioso de la mejor evidencia disponible para tomar decisiones ¹⁰. Entonces, ¿cómo identificar, entre toda la evidencia disponible, la mejor? Para apreciarla críticamente se exige el conocimiento del tipo de diseño metodológico con el que fue respondida la pregunta de investigación ¹⁰.

"A MEASUREMENT TOOL FOR ASSESSMENT OF MULTIPLE SYSTEMATIC REVIEWS" (AMSTAR)

Las revisiones sistemáticas de la literatura dentro del ámbito clínico tienen como objetivo sintetizar evidencia enfocada en la efectividad/eficiencia de tratamientos, diagnóstico y pronóstico. Aunque existe variabilidad en criterios de apreciación metodológica de este tipo de estudios, existe una aceptación internacional de ciertos estándares para determinar si la RSL es de calidad ²¹. Dentro de la variabilidad de los instrumentos desarrollados para la apreciación crítica de las revisiones sistemáticas de la literatura y metaanálisis (tabla 1), cada una puede llegar a conclusiones diferentes al evaluar una sola RSL, dependiendo del evaluador y la ponderación que tienen las herramientas, la cual puede ser difícil de interpretar por los lectores.

El AMSTAR es una herramienta utilizada para estimar la calidad metodológica de las revisiones. Inició como una herramienta para evaluar RSL de estudios de intervención; sin embargo, gracias a su evaluación y evolución metodológica se creó el AMSTAR 2, que incluye la evaluación de RSL de estudios experimentales y no experimentales ²⁰. En 2007, B. J. Shea y colaboradores de la Universidad de Ottawa, decidieron alcanzar algo de consistencia en la evaluación de las revisiones sistemáticas, al centrar la apreciación en dos criterios de calidad de estos estudios con la primera versión del AMSTAR: la calidad metodológica con la que fue conducida la revisión y la calidad de información con que fueron reportados la metodología y los resultados. Dicho estudio prospectivo de validación externa logró demostrar la confiabilidad de la herramienta al compararla con el criterio de referencia para evaluar revisiones sistemáticas de la época, lo que dio unos resultados congruentes en la evaluación de 42 revisiones sistemáticas ²². Tres años más tarde se realizó otro estudio a cargo de los mismos autores para medir la congruencia, confiabilidad, validez y factibilidad de AM-STAR; en este se usaron 30 revisiones sistemáticas de la literatura utilizando "Overview of Quality Assessment Questionnaire" (OQAQ) ^10, "The Rating Scale of Sacks y colaboradores" y la herramienta AMSTAR. El estudio mostró que AMSTAR cumplía con una buena calidad durante la evaluación de los ítems anteriormente mencionados, y obtuvo resultados superiores a las demás herramientas ²³.

DOMINIOS QUE EVALÚA EL AMSTAR 2

El AMSTAR fue desarrollado con base en un cuestionario de evaluación de calidad. La lista de chequeo consta de 16 ítems que sistemáticamente guían al evaluador sobre cada uno de los factores que pueden hacer de una RSL poco válida y confiable. Adicionalmente, esta es una de las razones por las que el AMSTAR también puede ser usado como guía durante el desarrollo y reporte de RSL ¹⁸(tabla 2).

Para usar efectivamente la herramienta, el evaluador debe disponer de la mayor información disponible de la RSL y el metaanálisis (si aplica): acceso al texto completo del artículo de la RSL, anexos, tablas, figuras, material suplementario. Se recomienda una lectura inicial del artículo, seguido de la aplicación de la lista de chequeo con opciones de respuesta entre "sí", si el ítem evaluado cumple con la condición cuestionada; "no", si el ítem evaluado no cumple con la condición evaluada, y "no puede ser contestada" o "no es aplicable".

Una vez se hayan repasado los 16 ítems de la lista de chequeo en línea, la herramienta realiza la sumatoria de los puntos de manera automática; cada "sí" es el equivalente a 1 punto y "no"/"no se puede responder" equivale a 0 puntos. Al final define si el artículo es de baja, media o alta calidad ¹⁸.

Esta versión del AMSTAR nació de una reunión constituida por los autores originales y miembros del Bruyère Research Institute y el Hospital de Ottawa con experiencia en el desarrollo de estudios no aleatorizados en la cual se evaluaron diferentes estudios y encuestas sobre el uso del AMSTAR ¹⁸. Los principales cambios resaltados por el grupo investigador fueron los siguientes: simplificar las categorías de respuesta, alinear la definición de preguntas de investigación con el marco de la pregunta PICO, buscar más detalles sobre las razones para la exclusión de los estudios de la revisión, determinar si los autores de la RSL realizaron una evaluación suficientemente detallada del riesgo de sesgo para los estudios incluidos (ya sea de forma aleatoria o no aleatorizada), determinar si el riesgo de sesgo con los estudios incluidos se consideró adecuadamente durante la combinación estadística de los resultados (si esto se realizó) y determinar si el riesgo de sesgo con los estudios incluidos se consideró adecuadamente al interpretar y discutir los hallazgos de la revisión ²⁴.

En cuanto a la similitud con la anterior herramienta, se mantuvieron diez dominios originales de la herramienta. Dos dominios recibieron una cobertura más detallada en AMSTAR 2 que en el instrumento original: la selección de estudios duplicados y la extracción de datos ahora tienen sus propios elementos (se combinaron en la herramienta original). Además, la posible influencia de las fuentes de financiación ahora se considera por separado para los estudios individuales incluidos en la revisión y para la revisión en sí misma. Fue eliminado un dominio: la consideración de la literatura gris, que anteriormente era un elemento separado, se maneja ahora en el ítem de búsqueda bibliográfica. En total, se agregaron cuatro dominios, dos de los cuales provienen de la herramienta ROBINS-I ^11, la elaboración del PICO y la forma en que se manejó el riesgo de sesgo durante la síntesis de la evidencia. Uno de los otros ítems nuevos, la discusión de las posibles causas y la importancia de la heterogeneidad es una elaboración de contenido en la herramienta original AMSTAR. Otra nueva justificación de ítem de selección de diseños de estudio fue parte de la adaptación de AMSTAR para tratar diseños no aleatorios. Las preguntas de dominio en AMSTAR 2 están enmarcadas de modo que una respuesta "sí" denota un resultado positivo; se eliminaron las opciones "no aplicable" y "no puedo responder" en el instrumento AMSTAR original, de tal forma que si no se proporciona información para calificar un ítem, los autores de la revisión no deben recibir el beneficio de la duda y el ítem debe ser calificado como "no". Por último, se ha proporcionado una respuesta de "sí" parcial en algunos casos en los que consideramos que vale la pena para identificar el cumplimiento parcial de la norma ²⁴.

CONCLUSIONES

Una herramienta comúnmente utilizada por su eficacia para la evaluación de la validez interna de las revisiones sistemáticas de la literatura es el AMSTAR. Consiste en 16 ítems que evalúan de manera global la calidad metodológica de una revisión, y se encuentra actualmente validada. Es deber de cada revisor aplicar de manera exhaustiva, cuidadosa y responsable la lista de chequeo para establecer la calidad metodológica de la revisión y evitar el sesgo de clasificación al subestimar o sobreestimar. Aunque actualmente se usa de manera indiscriminada y predilecta, esta herramienta no está exenta de limitaciones y futuras actualizaciones basadas en nuevos estudios de re-producibilidad y validación.

RECONOCIMIENTOS