http://dx.doi.org/10.1016/j.rca.2016.09.005

¿Es completo el reporte de los estudios observacionales publicados en la Revista Colombiana de Anestesiología? Estudio de corte transversal

Assessing the completeness of reporting of observational studies in Colombian Journal of Anesthesiology. Cross sectional study

Mary Bravo-Peña^a, Luis Barona-Fong^a, Julio Campo-López^a, Yeni Arroyave^b y José Andrés Calvache^a,c

^a Departamento de Anestesiología, Universidad del Cauca, Popayán, Colombia
^b Departamento de Cirugía, Universidad del Cauca, Popayán, Colombia
^c Department of Anesthesiology, Erasmus University Medical Centre Rotterdam, Rotterdam, Países Bajos

^* Autor para correspondencia. Departamento de Anestesiología, Hospital Universitario San José, Cra 6 N.° 10N-142, tercer piso. Popayán, Colombia.
Correo electrónico: jacalvache@gmail.com (J.A. Calvache).

Historia del artículo:
Recibido el 4 de mayo de 2016 Aceptado el 5 de septiembre de 2016 On-line el 20 de diciembre de 2016

Resumen

Introducción: La declaración Strenghtening the Reporting of Observational Studies in Epidemiology (STROBE), que consta de 22 puntos, se publicó en 2007 con el objetivo de mejorar el reporte de la investigación de tipo observacional.

Objetivo: Determinar la completitud del reporte de estudios observacionales publicados en la Revista Colombiana de Anestesiología entre el ario 2000 y el 2013 mediante STROBE.

Métodos: Estudio observacional de corte transversal. La unidad de análisis fueron los estudios observacionales publicados en la Revista Colombiana de Anestesiología desde el año 2000 (volumen 28) hasta el año 2013 (volumen 41). Se incluyó un 40% del total de estudios seleccionados aleatoriamente. El desenlace primario fue la completitud del reporte de cada estudio. Mediante 2 grupos, los investigadores aplicaron la declaración STROBE de forma independiente con el apoyo de un árbitro. Se utilizó análisis descriptivo, análisis de series temporales y regresión lineal múltiple.

Resultados: Se identificaron 55 estudios y se escogieron al azar 22 (40%). La mediana de completitud global de STROBE fue del 57% (IC95%: 48-66). Los ítems con mayor completitud de los reportes fueron en el título y la introducción (89% cada uno), métodos (53%), resultados (50%) y discusión (58%). No se encontraron diferencias significativas entre el periodo pre y post publicación de STROBE.

Conclusión: La completitud del reporte de los estudios observacionales de la Revista Colombiana de Anestesiología es cercana al 60%, acorde con resultados a nivel mundial. No presentó cambios con la publicación de la declaración STROBE en 2007.

Palabras clave: Estudio observacional, Anestesiologa, Estudios epidemiológicos, Educación médica, Análisis estadístico.

Abstract

Introduction: The STROBE statement (Strengthening the Reporting of Observational Studies in Epidemiology), consisting of 22 points, was published in 2007 with the aim of improving the reporting of observational research.

Objective: To determine the completeness of reporting of observational studies published in the Colombian Journal ofAnaesthesiology between 2000 and 2013 using STROBE.

Methods: Cross-sectional study. The units of analysis were observational studies published in Colombian Journal of Anaesthesiology between 2000 (volume 28) and 2013 (volume 41). Of the randomly selected studies, 40% were included. The primary outcome was the completeness of the report of each study. Using two groups, the researchers applied the STROBE statement independently, supported by an arbitrator. Descriptive analyses, time series analyses and multiple linear regression analyses were used.

Results: Overall, 55 studies were identified and 22 (40%) were randomly chosen. The median overall completeness according to STROBE was 57% (95% CI: 48%-66%). Items with higher completeness in the reports were the Title and Introduction (89% each), followed by Methods (53%), Results (50%), and Discussion (58%). There were no significant differences between before and after the publication of STROBE.

Conclusion: The completeness of reporting of observational studies in the Colombian Journal of Anaesthesiology is close to 60%, according to results worldwide. No change was found as a result of the publication of the STROBE Statement in 2007

Keywords: Observational study, Anesthesiology, Epidemiologic studies Medical education, Statistical analysis.

Introducción

La investigación científica observacional describe y analiza los hechos sin intervenir¹; no establece relaciones causales definitivas, pero proporciona bases científicas acerca del proceso salud-enfermedad y orienta a investigaciones futuras.

Teniendo en cuenta que en diversos escenarios existen implicaciones que impiden la intervención (como estudios acerca de seguridad de intervenciones farmacológicas o no farmacológicas), los estudios observacionales conforman la mayoría de las publicaciones en salud². Este tipo de estudios son más económicos, relativamente más fáciles de diseñar y ejecutar y útiles en la planificación y la administración sanitarias³.

En el año 2004, en Bristol (Reino Unido) se diseñó la declaración Strenghtening the Reporting of Observational Studies in Epidemiology (STROBE), que se publicó en el año 2007⁴ con el objetivo de mejorar el reporte de la investigación observacional. Se estructuró un esquema con 22 puntos tratando de darle a los resultados observacionales una utilidad real mediante el reporte apropiado de estudios de cohorte, casos y controles y corte transversal⁴. Los 3 diseños de investigación comparten 18 de los 22 puntos de la declaración, mientras que los últimos 4 puntos son específicos para cada uno de ellos. Los ítems incluyen las secciones de título, resumen, introducción, metodología, resultados y discusión⁴. La declaración STROBE no es un modelo para la realización de un estudio observacional, ni evalúa directamente la calidad de un estudio. Es más bien una guía de completitud para los autores o lectores y ha sido utilizada para evaluar esta característica en diversas disciplinas médicas^5-12.

La Revista Colombiana de Anestesiología (RCA) se publicó por primera vez en septiembre de 1973; los primeros artículos fueron revisiones narrativas relacionadas a la práctica de la anestesiología, y posteriormente se transformó en un medio de divulgación de resultados de investigación original. Actualmente es el órgano oficinal de difusión de la Sociedad Colombiana de Anestesiología y el principal medio de divulgación de investigación en el área de anestesiología y relacionadas en Colombia. En el año 1999 la Colaboración Cochrane encontró que la RCA es la revista colombiana en la que más se publican reportes de estudios de intervención, revisiones sistemáticas y metaanálisis¹³.

Recientemente, la RCA adoptó las guías de la red Enhancing the QUAlity and Transparency Ofhealth Research (EQUATOR), que incluye la declaración STROBE para su proceso editorial y como estricta sugerencia de uso para sus autores¹⁴.

El principal objetivo de este estudio fue determinar la completitud del reporte de estudios observacionales publicados en la RCA entre 2000 y 2013 mediante el uso de la declaración STROBE. Adicionalmente, analizar la completitud del reporte de los estudios observacionales antes y después de la publicación de la declaración STROBE, cuantificar la tendencia y establecer recomendaciones acerca del reporte completo de la investigación observacional en el área de la anestesiología en Colombia.

Metodología

Estudio observacional de corte transversal. Se consideraron como sujetos de análisis todos los estudios observacionales publicados en la RCA desde el año 2000 (volumen 28) hasta el año 2013 (volumen 41). Inicialmente se exploró el archivo de la RCA alojado en su sitio web y la base de datos de sus tablas de contenido y resúmenes en Science Direct.

Se clasificaron como «estudios observacionales» los así definidos por sus autores como estudios de cohorte, casos y controles y estudios de corte transversal (o de prevalencia), y su clasificación inicial se realizó con la evaluación del resumen de cada estudio. Se excluyeron estudios que no tenían un diseño metodológico bien definido y claro por sus autores, artículos editoriales, cartas al editor, artículos de reflexión, revisiones narrativas o sistemáticas de la literatura, reportes de caso y series de casos.

Se identificaron un total de 55 estudios observacionales. Por tratarse de un estudio exploratorio, se seleccionó el 40% del total de forma aleatoria (22 estudios) y mediante afijación proporcional por año se garantizó representatividad anual en la muestra a analizar. Basándonos en reportes de publicaciones previas, el tamaño de muestra se estimó utilizando una proporción de completitud del 60%, precisión del 15% y un IC 95% para un n = 24.

A los estudios seleccionados se les aplicó una herramienta de evaluación desarrollada a partir de la declaración STROBE y enfocada en evaluar la completitud del reporte de cada estudio. Esta herramienta y modificaciones menores de la misma han sido utilizadas ampliamente en la literatura para objetivos similares^4-12.

Los estudios seleccionados se dividieron en 2 grupos, y cada grupo estuvo conformado por 2 investigadores (grupo 1: JC-YA, grupo 2: MB-LB) previamente familiarizados con metodología de la investigación, diseños de investigación en salud y la iniciativa STROBE. Cada investigador aplicó por separado la lista de criterios (ítems) a cada estudio valorando si «cumplía», «no cumplía» o «no aplicaba» a ese estudio en concreto por su tipo de diseño. Se realizaron reuniones periódicas de seguimiento en las que los investigadores ponían sus resultados en común, se revisaban y discutían los casos en que la valoración no era concluyente. En caso de dificultades, la calificación se discutía de forma individual con un investigador asesor (JAC).

La variable dependiente (desenlace primario) en estudio fue la completitud del reporte de cada estudio en evaluación. Adicionalmente, se exploraron variables como el tamaño de la muestra, el número de autores, el número de profesores, la presencia o no de magísters o doctores en el equipo investigador y el año de publicación.

Análisis estadístico

Todos los análisis estadísticos se realizaron con el paquete SPSS 21.0 y R¹⁵. La calificación de la completitud de cada estudio fue el resultado de la suma de cada ítem en evaluación. Ya que el total de variables en evaluación fue diferente para cada diseño de investigación (cohorte, casos y controles y corte transversal), el resultado final individual fue ponderado y se calculó la mediana de la calificación entre los 2 evaluadores y su rango como medida de dispersión. El grado de acuerdo en la calificación de la completitud se analizó mediante el coeficiente de correlación intraclase. Este acuerdo se valoró para segmentos del estudio y de forma global.

La descripción general de los resultados se hizo mediante técnicas descriptivas de acuerdo a la naturaleza de cada variable. Se realizaron contrastes univariables mediante pruebas no paramétricas (test U de Mann-Whitney) utilizando como variable dependiente la completitud del reporte.

Se realizó análisis de series temporales mediante un modelo autorregresivo integrado de media móvil (ARIMA) que permite evaluar las tendencias antes y después de una intervención. Esta metodología considera múltiples puntos de evaluación antes y después de una intervención y la autocorrelación existente entre estos puntos^16,17. Se consideró un periodo preintervención (2007: año de publicación de la estrategia STROBE) y postintervención. Sus resultados se presentan como la diferencia en las pendientes de la línea de regresión antes y después de la intervención. Adicionalmente se presenta el efecto de la intervención para los años 2009, 2012 y 2013. La significación estadística fue predefinida para un valor de p de 0,05.

Finalmente se desarrolló un modelo de regresión lineal múltiple que consideró como desenlace el grado de completitud y como variables independientes el año de publicación, el tamaño de la muestra, el número de autores, el número de profesores y la presencia o no de magísters o doctores en el equipo investigador. Sus resultados se presentan mediante el coeficiente de regresión y sus correspondientes valores de p. El ajuste de este modelo se valoró mediante análisis grafico de sus residuos.

Resultados

Se analizaron 22 estudios observacionales publicados en la RCA entre los años 2000 y 2013^18-39. Uno de ellos fue reportado como 2 fases, por lo cual fue dividido y se analizó por separado para un total de 23 (fig. 1). Las características generales de los estudios incluidos se presentan en la tabla 1. La mediana de completitud global de los ítems de la declaración STROBE fue del 57% (IC 95%: 48-66). Las secciones en las cuales se documentó mayor completitud de los reportes fueron en el título y la introducción (89% cada uno). La completitud alcanzada en cada sección de los artículos de investigación se presenta en la figura 2.

La tabla 2 presenta los resultados de la completitud calificada por cada evaluador por secciones del artículo en evaluación y el grado de acuerdo entre las parejas de evaluadores por grupo.

La tendencia en la completitud global se presenta de forma gráfica (fig. 3) antes y después de la publicación de la estrategia STROBE. Para cada una de las secciones se presenta la ecuación lineal de la completitud en función del año de publicación. Se encontró una mayor variabilidad de la calificación en el periodo post STROBE. La pendiente de la recta del periodo pre intervención fue de 0,85. La diferencia en la pendiente dela recta entre el periodo pre y post fue de -0,47 (p = 0,709). Los coeficientes de cambio en la pendiente de la recta para los periodos 2009, 2012 y 2013 fueron -3,2 (p = 0,698), -5,1 (p =0,628) y -7,5 (p= 0,626), respectivamente.

Los reportes que contaban con la presencia de un autor con grado académico de maestría o doctorado tuvieron una completitud mayor(p =0,03). Elefecto ajustado delas variables en estudio en la completitud se presenta en la tabla 3.

Discusión

Los principales hallazgos de este estudio son: en primer lugar, la completitud de los estudios observacionales publicados en la RCA es del 57% (el título y la introducción son las secciones que presentan mayor completitud y metodología, y resultados es la sección de mayores deficiencias; segundo, durante el periodo de estudio de 13 años hay un incremento muy lento de la completitud, y finalmente, no hay evidencia de que la publicación en el año 2007 de la declaración STROBE haya afectado la completitud en la RCA.

La completitud de los estudios observaciones encontrada es similar a la reportada por otros autores. Diversas investigaciones han documentado rangos de completitud entre el 30 y el 85%^{5,6,9,10,12,40}. Poorolajal et al.¹⁰ analizaron en el año 2011 los estudios observacionales de New England Journal of Medicine, Journal of the American Medical Association, Lancet, British Medical Journal, Archives ofInternal Medicine y Canadian Medical Association Journal, y encontraron un cumplimiento global del 69% (IC 95%: 59-79). Bastuji-Garin et al.⁹ publicaron en 2013 un estudio similar en el cual analizaron estudios observacionales de 4 revistas dermatológicas europeas. La puntuación media obtenida con la herramienta STROBE fue del 57% (rango: 18 a 98%). Los porcentajes varían en áreas específicas del conocimiento, desde satisfactoria calidad en el reporte, como en el estudio de Papathanasiou y Zintzaras⁷ en oncología, que incluyó publicaciones entre 2008 y 2009 donde se reportaron rangos de completitud entre el 70 y el 90%, hasta bajas proporciones, como los reportados por Sorensen et al.⁶, donde el cumplimiento en estudios observacionales en cirugía de mano publicados entre 2005 y 2011 fue del 38%, con un rango entre el 10 y el 54%. Probablemente esto se vea influenciado por el rango de tiempo en el que se desarrollaron los estudios, relacionados con el tiempo de publicación de la declaración y la conciencia de científicos y autores acerca de la importancia de la completitud en la divulgación. A pesar de haber analizado el 40% de los estudios, la precisión de nuestra estimación de completitud tuvo un IC 95% del 48 al 66%, que nos da una impresión de la necesidad de mejoramiento a futuro.

Autores como Fung et al.⁸ y Langan et al.⁴¹ encontraron que los ítems con mayor porcentaje de cumplimiento fueron el título, la introducción y el resumen. El 100% de las publicaciones analizadas por Fung et al. cumplieron con los criterios que dicta STROBE para la introducción: 86 y 93% para el título y el resumen, respectivamente. El cumplimiento que encontraron Langan et al. para la introducción fue del 97%, del 87% para el título y del 93% para el resumen. En las publicaciones de la RCA encontramos una adherencia del 89% a los lineamientos STROBE en el título y el resumen, lo que está en concordancia con la literatura mencionada.

Las secciones que menor completitud presentaron fueron metodología y resultados, y esto está en concordancia con resultados de estudios similares. Galera et al.¹² encontraron que ninguno de los artículos revisados cumplía todos los ítems recomendados en los apartados métodos y resultados. En el trabajo de Fung et al.⁸ la sección de materiales y métodos fue reportada de forma variable con un rango de las puntuaciones de sus ítems del 7 al 97%⁸. Probablemente la baja completitud de estas secciones esté relacionada con el nivel de complejidad que representan. La sección de metodología, por ejemplo, exige conocimientos detallados de epidemiología y bioestadística que no siempre son de amplia disponibilidad ni acceso. Cabe resaltar que las secciones de métodos y resultados presentaron las puntuaciones de acuerdo más bajas de los dominios entre los evaluadores (CCI inferior a 0,5). Este hecho refuerza la hipótesis de que son segmentos de los manuscritos que requieren entrenamiento previo y conocimientos sólidos en metodología de la investigación tanto para ser escritos como para ser analizados.

Durante los 13 años seleccionados para la evaluación actual se evidencia una tendencia ligera a incrementar la completitud de los reportes. Esta tendencia es bastante lenta (0,4 a 0,8% por año). En el estudio de Bastuji-Garin et al.⁹ se demuestra un incremento durante el periodo de estudio (2004-2010) cercano al 2% por cada año. Los resultados de este análisis deben ser tomados con cautela, puesto que en el periodo post STROBE se encontró una gran variabilidad en la calificación global de ciertos estudios. Estudios adicionales de la RCA han encontrado que con el paso del tiempo también se ha reducido el riesgo de sesgo de estudios reportados⁴².

En este estudio no encontramos evidencia de que la publicación de STROBE afectara de forma significativa la completitud de la investigación observacional de la RCA. Este hecho ha sido replicado por otros autores⁸. A pesar de la publicación de la estrategia en el año 2007, y de su amplia difusión en los medios científicos, muchas publicaciones y revistas la adoptaron tardíamente. La RCA adoptó las guías de la red EQUATOR, entre ellas STROBE, en el año 2013¹⁴.El uso de otras declaraciones, como CONSORT, ha demostrado consistentemente un incremento en la completitud de los reportes publicados⁴³. Por fortuna, la comunidad científica general cada vez otorga mayor importancia a la completitud de la investigación como estrategia enfocada en el mejoramiento de la reproducibilidad e incremento de su validez^44-46.

El efecto de algunas variables en la completitud del reporte de los estudios fue casi nulo. Únicamente la presencia de investigadores con título de maestría y/o doctorado incrementó significativamente la completitud del reporte (aproximadamente el 10%). A pesar de que este incremento no es estadísticamente significativo y debe ser analizado críticamente, es plausible. Adicionalmente, el tamaño de la muestra estudiada pudo reducir el poder del estudio de detectar diferencias existentes (error tipo II).

En nuestro conocimiento, este es el primer estudio que analiza la completitud de reportes de investigación observacional en Colombia, en el área de anestesiología y en otras áreas. Entre sus fortalezas se destacan que la búsqueda de estudios observacionales de la RCA fue exhaustiva, el análisis de la completitud se realizó por 4 evaluadores independientes y las discrepancias fueron resueltas por un árbitro. Como resultado, esto reduce la posibilidad de sesgos de selección e información. La principal limitación fue no estudiar la población completa de estudios observacionales, lo cual redujo la confianza de nuestra estimación de la completitud global; sin embargo, nuestro objetivo era documentar su existencia en pro del mejoramiento. Las principales recomendaciones de este estudio se presentan a continuación:

Recomendaciones

Para editores

Se recomienda a los editores de publicaciones científicas exigir la revisión de los manuscritos mediante una lista de chequeo que incluya los ítems de la declaración STROBE a los revisores de los mismos. La adherencia y la completitud incrementan la aplicabilidad y reproducibilidad futura de los resultados. Adicionalmente, hacer referencia directa a la declaración en sus indicaciones de los autores.

Para autores

Al momento de escribir y revisar la versión final de su manuscrito, y antes de enviarlo a evaluación de un proceso editorial, realizar la lista de chequeo de STROBE y complementar las secciones que así lo requieran.

Para investigadores

Monitorizar continuamente la completitud de la investigación publicada con miras al mejoramiento continuo y sostenido del proceso científico.

Responsabilidades éticas

Protección de personas y animales. Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.

Confidencialidad de los datos. Los autores declaran que en este artículo no aparecen datos de pacientes.

Derecho a la privacidad y consentimiento informado. Los autores declaran que en este artículo no aparecen datos de pacientes.

Financiación

Ninguna.

Conflicto de intereses

Ninguno declarado.

Referencias