Introducción

La neumonía tiene un lugar preponderante dentro de las causas más importantes de sepsis en el mundo, ocupando el segundo lugar de frecuencia en Colombia ^(1,2. Es sabido que la neumonía confiere un alto riesgo de mortalidad a nivel mundial ^3,4. El análisis de situación de salud en Colombia reportó que entre 2005 y 2012, dentro de las causas de muerte por enfermedades transmisibles, la infección respiratoria aguda se encontraba en primer lugar con el 48.6%, representando 56.2% de las muertes por enfermedades transmisibles en mujeres y 43.1% en hombres ⁵.

Por otra parte, la atención en salud de los pacientes con infecciones graves acarrea grandes costos para un estado y su sistema de salud y representa un gran reto para el enfoque clínico, al no disponer de un marcador pronóstico sencillo y específico que permita identificar tempranamente individuos en riesgo que ameritan una atención diferencial. De esto deriva la importancia de contar con herramientas útiles desde el punto de vista clínico para estimar el riesgo de muerte o de complicaciones en pacientes hospitalizados en el servicio de urgencias con sospecha de infección. Recientemente se propuso el puntaje qSOFA con el fin de identificar de manera temprana aquellos pacientes con peor pronóstico en sospecha de infecciones bacterianas agudas. Del mismo modo, se han realizado varios estudios con el fin de definir un puntaje predictor de mortalidad específicamente en neumonía y se ha utilizado de forma amplia el puntaje CURB-65 por su fácil aplicación, comparado con otros puntajes como el PSI (Pneumonia Severity Index) ⁶. Recientemente, el tercer consenso en sepsis (SEPSIS 3) alentó la implementación de la puntuación qSOFA (evaluación rápida de falla orgánica relacionada con la sepsis) en pacientes adultos con sospecha de tener una infección bacteriana aguda para la identificación temprana de aquellos con peor pronóstico ⁷. El Ministerio de Salud de Colombia ⁸, así como la Sociedad Argentina de Enfermedades Infecciosas ⁹ y el Instituto Mexicano del Seguro Social ¹⁰ en sus guías para el manejo de pacientes con neumonía adquirida en la comunidad, recomiendan implementar CURB-65, a pesar de la falta de estudios locales para confirmar y validar esta recomendación ^7)..

Dado que el CURB-65, el CRB-65 y el qSOFA se diseñaron con el fin de identificar aquellos pacientes con mayor riesgo de complicaciones y mortalidad, y comparten no sólo algunas variables clínicas en su composición sino también la población de estudio de NAC como principal causante de la sepsis, tendría implicaciones para la práctica clínica explorar potenciales diferencias en su desempeño como modelos predictivos de pronóstico. Así mismo, es necesario validar en poblaciones independientes cualquier modelo multivariable que se haya desarrollado con propósitos de pronóstico o diagnóstico para un problema clínico ¹¹. Por esto, se plantea en esta investigación la validación y comparación de los tres puntajes para determinar la mejor herramienta para identificar a los pacientes con neumonía en el departamento de emergencias que tienen un mayor riesgo de mortalidad o ingreso en la unidad de cuidados intensivos (UCI).

Materiales y Métodos

Resultados

Se analizaron 158, 745 y 207 pacientes para las cohortes 1, 2 y 3 respectivamente. En cada una de las cohortes se encontraron medianas de edad de 70 (RIQ= 56-81), 66 (RIQ= 54-77) y 60 (RIQ= 44-75); el 58.9, 52.8 y 43% tenían 65 o más años, el 34.2, 48.9 y 44.4% eran de sexo femenino, el 52.5, 43.5 y 25.6% requirió ingreso a UCI, y el 32.3, 17.2 y 18.4% fallecieron durante la hospitalización, respectivamente (Tabla 1). De los pacientes de cada una de las cohortes, al 95.6, 84.8 y 84.5%, respectivamente, se les solicitó hemocultivo; de estos, al 23.2, 10.8 y 9.1% se les aisló germen. Los microorganismos más frecuentemente encontrados en cada una de las cohortes fueron: Streptococcus pneumoniae, Klebsiella pneumoniae, Haemophilus influenzae y Escherichia coli (Tabla 2).

Para el desenlace de ingreso a UCI, la discriminación fue mala para los tres puntajes en las tres cohortes. A partir del estadístico de DeLong-DeLong, se encontró diferencia estadísticamente significativa entre las AUC-ROC en las cohortes 1 y 2 (p <0.05) (Figura 1), con un AUC-ROC de 0.59 para el qSOFA, 0.43 para el CURB-65 y 0.44 para el CRB-65 en la cohorte 1. Para el desenlace de mortalidad, la discriminación no fue adecuada en ninguno de los tres puntajes, en ninguna de las tres cohortes. A partir del estadístico de DeLong-DeLong, se encontró diferencia estadísticamente significativa en las AUC-ROC de las cohortes 1 y 2 (Figura 2), con un AUC-ROC de 0.66 (IC del 95%= 0.62-0.71) para el CURB-65, 0.60 (IC del 95% = 0.56-0.65) para el qSOFA y 0.63 (IC del 95% = 0.59-0.68) para el CRB-65 en la cohorte 2.

Figura 1 Curvas de las características operativas del receptor en las distintas cohortes para qSOFA, CURB-65 y CRB-65 en la discriminación de ingreso a UCI. A. Cohorte 1- DeLong-DeLong p= 0.0008. B. Cohorte 2- DeLong-DeLong P= 0.0402. C. Cohorte 3 - DeLong-DeLong p= 0.3403.  

Figura 2 Curvas de las características operativas del receptor en las distintas cohortes para qSOFA, CURB-65 y CRB-65 en la discriminación de mortalidad. A. Cohorte 1 (DeLong-DeLong p= 0.0108). B. Cohorte 2 (DeLong-DeLong P= 0.0218). C. Cohorte 3 (DeLong-DeLong p= 0.1606).  

La calibración de los modelos fue adecuada en la población de estudio para el ingreso en UCI y el resultado de mortalidad, según el estadístico de Hosmer-Lemeshow de los tres puntajes en cada una de las cohortes (p >0.05) (Tabla S1).

Adicionalmente, se realizaron curvas de calibración para ambos resultados en los diferentes modelos en cada una de las cohortes, y se mostró un alto grado de correspondencia de las puntuaciones en la mayoría de las cohortes (Figura complementaria S1 y S2).

En cuanto al desempeño de los modelos en sus características operativas, la mayor sensibilidad para la necesidad de UCI fue con el qSOFA (55.4%) y para la mortalidad fue con CURB-65 (58.8%) en la cohorte 1. La mayor especificidad fue con CRB-65 para tanto la necesidad de UCI como la mortalidad, con 93.5% y 93.4% en las cohortes 2 y 3, respectivamente. El menor desempeño en la predicción de mortalidad en términos de sensibilidad fue para el CRB-65 en la cohorte 3 (13.2%), para la especificidad fue para el qSOFA en la cohorte 1 (43.9%) y para el valor predictivo positivo fue el CRB-65. en la cohorte 3 (Tablas S2 y S3).

Discusión

Encontramos que qSOFA, CURB-65 o CRB-65 no fueron óptimos para discriminar la mortalidad hospitalaria o el ingreso a la UCI en tres cohortes de pacientes con neumonía adquirida en la comunidad ingresados en cinco hospitales de Medellín. Sin embargo, al observar el AUC, la sensibilidad y los valores de valor predictivo negativo, CURB-65 pareció funcionar consistentemente mejor que las otras dos herramientas con respecto a la discriminación de la mortalidad. Por el contrario, con respecto a la calibración, fue posible demostrar un buen desempeño para las tres puntuaciones en las 3 cohortes. No obstante, la falta de un buen desempeño discriminativo indica que estos sistemas de puntuación no deben utilizarse como herramientas predictivas ^19,21.

Es necesario tener en cuenta el entorno de los estudios que originalmente desarrollaron las puntuaciones: el CURB-65 y el CRB-65 se desarrollaron en Reino Unido, Nueva Zelanda y Holanda ²² hace más de 20 años, países con una mortalidad asociada a neumonía adquirida en la comunidad menor que en Colombia (9% vs 17-32%). Por otro lado, el qSOFA se derivó de una cohorte muy reciente ²³ que utilizó un espectro clínico más allá de la neumonía y mostró una mortalidad hospitalaria de solo el 4%. En 2006, Capelastegui et al. ²⁴, mostró un desempeño similar entre las puntuaciones CURB-65 y CRB-65 para la mortalidad a los 30 días con un AUC superior a 0,85. Posteriormente, Man et al. compararon estas reglas de predicción para la mortalidad a 30 días en pacientes con neumonía adquirida en la comunidad y encontraron AUC más altas que las observadas en el presente estudio ²⁵. En los estudios originales que sirvieron de base para el desarrollo de qSOFA, Seymour et al. encontraron un buen desempeño para la predicción de la mortalidad intrahospitalaria ²⁶. Posteriormente, Wang et al. realizaron un análisis secundario de datos de una cohorte prospectiva donde evaluaron el desempeño de qSOFA en pacientes con diagnóstico de infección que ingresaron al servicio de urgencias, y encontraron que la puntuación no tuvo un buen desempeño (AUC= 0.66) para la mortalidad a 28 días ^27).

Estudios anteriores han demostrado que estas puntuaciones subestiman el riesgo en pacientes con neumonía adquirida en la comunidad. Hace un par de años, Chen et al. compararon el desempeño de la qSOFA, CRB y CRB-65 con respecto a la mortalidad y el ingreso en UCI. Los valores de AUC-ROC del qSOFA para la predicción de la mortalidad a los 28 días fueron similares a los de las puntuaciones y CRB-65, 0.655 vs 0,661 respectivamente. Asimismo, la predicción de ingreso en UCI mostró medidas de discriminación similares, 0.666 vs 0.685 respectivamente ²⁸. Estos resultados son consistentes con los nuestros en cuanto a discriminación, tanto por ingreso en UCI como por mortalidad, a pesar de su gran tamaño muestral y de ser realizado en un solo hospital, lo que podría resultar en una menor variabilidad en la muestra global. En Alemania, Kolditz et al. ¹⁸, compararon qSOFA con CRB y CRB-65 para la mortalidad a 30 días en pacientes con neumonía extrahospitalaria. Encontraron que los resultados de AUC-ROC favorecieron a CRB-65 en comparación con qSOFA, AUC-ROC 0,77 frente a 0.70 respectivamente.

Más recientemente, tres estudios diferentes ^29-31 muestran la comparación de las puntuaciones de gravedad en pacientes con neumonía COVID-19, todos ellos muestran que CURB-65 podría ser mejor comparado con qSOFA para estimar la mortalidad. Guohui y col. ³⁰, encontraron un AUC para la mortalidad por descarga de 0.85 para CURB-65, 0.80 para CRB-65 y 0.73 para y qSOFA. Bradley et al., encontraron un AUC para 30 días de mortalidad de 0.75 para CURB-65 y 0.62 para qSOFA. Lazar et al., encontraron un AUC durante 30 días en la mortalidad hospitalaria de 0.74 para CURB-65 y 0.63 para qSOFA.

Como se muestra en los estudios presentados anteriormente, el desempeño de los puntajes varió significativamente entre todas las cohortes debido a sus diferencias, incluyen la distribución de agentes etiológicos, enfermedades coexistentes, apoyo social, disponibilidad de recursos y conductas médicas, incluyendo los criterios de ingreso a UCI. En nuestro estudio, el desempeño de estas puntuaciones varió a pesar de que las cohortes eran de la misma ciudad, lo que puede explicarse por la variabilidad en los criterios de inclusión de pacientes.

El AUC-ROC es un parámetro estadístico que permite la comparación de modelos predictivos de diagnóstico o pronóstico en términos de capacidad de discriminación, y es razonable utilizar un AUC-ROC >0.75 como referencia de rendimiento aceptable. Sin embargo, esta medida estadística no permite una interpretación clínica directa, y esta limitación en los modelos predictivos es una constante en la literatura sobre este tema, por lo que siempre es necesario evaluar simultáneamente sus características operativas. En cuanto a la calibración, ninguno de los estudios mencionados anteriormente tuvo en cuenta esto en el análisis estadístico. A menudo se subestima la importancia fundamental de una mala calibración. Esto puede conducir a una disminución de la utilidad clínica; la implementación de una herramienta predictiva con mala calibración podría incluso llevar a la toma de decisiones perjudiciales para el paciente ³². Los estudios futuros podrían considerar otras variables para el cálculo de la puntuación, como variables relacionadas con el agente microbiológico, oximetría de pulso, temperatura y comorbilidades como enfermedad pulmonar obstructiva crónica, insuficiencia cardíaca congestiva e inmunosupresión, entre otras.

Una de las limitaciones de nuestro estudio fue el tamaño de la muestra. Basamos la diferencia de 0.7-0.77 entre la discriminación (AUC-ROC) de CRB-65 y las puntuaciones de qSOFA en información parcial de Kolditz et al¹⁸. Sin embargo, esta diferencia no tiene necesariamente una base clínica y no consideró que todas las puntuaciones tuvieran un rendimiento final de discriminación pobre (AUC <0.75). La aproximación tradicional del cálculo del tamaño de la muestra en modelos predictivos define un valor de al menos 10 resultados para cada variable independiente ^33,34. Para las comparaciones entre modelos, exclusivamente mediante discriminación, basamos la fórmula del tamaño de la muestra en la comparación AUC-ROC de Hanley-McNeil ^16,17. Sin embargo, específicamente para la validación de modelos predictivos, no existe una indicación clara del cálculo del tamaño de la muestra, y aunque algunos autores han sugerido un mínimo de 100 resultados, muchos estudios no consideran este aspecto ^35,36. Por otro lado, la recolección se realizó en cinco instituciones que son reconocidas como centros de atención de salud de alta calidad, lo que puede llevar a un sesgo de selección. Sin embargo, las tres cohortes tenían diferentes criterios de inclusión, lo que mejoró significativamente el espectro clínico de la población de estudio. Otra limitación fue que, a pesar de ser cohortes construidas prospectivamente, este estudio proporciona un análisis secundario de los datos, lo que da lugar a valores de urea faltantes para algunos participantes. Estos datos faltantes se consideraron valores anormales, lo que podría generar un sesgo de clasificación diferencial o no diferencial. Sin embargo, los datos faltantes representaron solo el 5% y el análisis de sensibilidad con diferentes escenarios no mejoró el desempeño de los modelos.

Un modelo predictivo no es de uso práctico si no puede discriminar y calibrar al mismo tiempo: separar adecuadamente a los que presentan la condición de los que no, es tan importante como si existe concordancia entre los eventos observados y esperados ²¹. A diferencia de la supervisión requerida para las nuevas tecnologías médicas, los sistemas de predicción no están sujetos a juicios estrictos, a pesar del riesgo potencial de afectar a un mayor número de pacientes debido a su extensa implementación.

Conclusión

En las tres cohortes independientes de pacientes ingresados en el servicio de urgencias con neumonía, se encontró que qSOFA, CURB-65 y CRB-65 eran herramientas de predicción limitadas para la mortalidad y el ingreso en la UCI. Además, el CRB-65 exhibió la capacidad discriminativa más baja.