Trabajos originales

Desempeño del APACHE II y el SAPS 3
Adaptación regional en una población de pacientes críticos de Colombia

Performance of APACHE II and SAPS 3
Regional adaptation in a population of critically Ill patients in Colombia

Nelson Giraldo¹, Juan Manuel Toro², Carlos Cadavid³, Felipe Zapata⁴, Fabián Jaimes⁵ • Medellín (Colombia)

¹ Anestesiólogo, Intensivista, MSc. Hospital Pablo Tobón Uribe (HPTU), Medellín (Colombia).
² Internista, MSc Epidemiología Clínica. Jefe de Sección de Medicina Interna General, Facultad de Medicina, Universidad de Antioquia; Medellín (Colombia).
³ Internista, Intensivista, Coordinador del Departamento de Cuidado Critico, Hospital Pablo Tobón Uribe; Medellín (Colombia).
⁴ Estudiante de Pregrado en Medicina, Facultad de Medicina, Universidad de Antioquia; Medellín (Colombia).
⁵ Internista, MSc, PhD Epidemiología Clínica, Profesor Titular de Medicina, Departamento de Medicina Interna y Grupo Académico de Epidemiología Clínica (GRAEPIC) Universidad de Antioquia. Investigador Asociado, Unidad de Investigaciones, Hospital Pablo Tobón Uribe. Medellín (Colombia). Correspondencia. Dr. Nelson Giraldo. (Medellín, Colombia).
E-mail: ngiraldor@hptu.org.co

Recibido: 01/I/2013 Aceptado: 03/III/2014

Resumen

El puntaje fisiológico agudo simplificado, SAPS 3 (del inglés Simplified Acute Physiology Score 3) ha sido recientemente desarrollado con muestras de los cinco continentes, pero no ha sido validado en pacientes de las Unidades de Cuidados Intensivos (UCI) en Colombia. En este trabajo se comparó el desempeño del SAPS 3 con el APACHE II en pacientes colombianos de UCI.

Métodos: en una población de una cohorte histórica de pacientes críticos admitidos a una UCI de un hospital universitario, entre enero 1º de 2006 a junio 30 de 2011, se midió el desempeño de los modelos de mortalidad. La probabilidad de muerte hospitalaria fue calculada con el APACHE II y el SAPS 3. Para mejorar la exactitud de los modelos fue realizada una adaptación de primer orden usandola regresión logística del puntaje original para el APACHE II, y para el SAPS 3 se hizo el cálculo de la probabilidad de muerte con las fórmulas para Europa oriental, Centro-Suramérica y Australasia.

Resultados: el estudio incluye 2523 pacientes. La mortalidad hospitalaria fue 27%. La discriminación fue aceptable para todos los modelos, más baja para el APACHE II que mejora con la adaptación de 0.74 a 0.78. Para todas las formas de SAPS 3 el área bajo la curva ROC fue de 0.78. La calibración, medida con el estadístico de Hosmer-Lemeshow, fue pobre para el APACHE II, APACHE II adaptado,SAPS 3 adaptado para Centro-Suramérica, y Europa oriental, pero fue buena para el SAPS 3 global y el adaptado para Australasia.

Conclusión: en una población de pacientes críticos colombianos, la adaptación logra mejorar la discriminación del APACHE II pero no su calibración. La calibración es adecuada sólo para el SAPS 3 global y el adaptado para Australasia. (Acta Med Colomb 2014; 39: 148-158).

Palabras clave: modelos de predicción, UCI, APACHE II, SAPS 3, adaptación regional.

Abstract

The simplified acute physiological score (SAPS 3) has been recently developed with samples from the five continents, but has not been validated in patients in intensive care units (ICU) in Colombia. In this work the performance of SAPS 3 with APACHE II in Colombian ICU patients was compared.

Methods: in a population of a historical cohort of critically ill patients admitted to an ICU of a university hospital between January 1°, 2006 to June 30, 2011, the performance of the mortality models was measured. The probability of hospital death was calculated with APACHE II and SAPS 3. To improve the accuracy of the models, a first order adaptation was realized, using the logistic regression of the original score for the APACHE II, and for SAPS 3 the calculation of the probability of death was done with the formulas for Eastern Europe, Central and South America and Australasia.

Results: the study included 2523 patients. Hospital mortality was 27%. Discrimination was acceptable for all models, being lower for APACHE II, which improves with adaptation from 0.74 to 0.78. For all forms of SAPS 3, the area under the ROC curve was 0.78. Calibration, measured with the Hosmer-Lemeshow statistic was poor for the APACHE II, adjusted APACHE II, SAPS 3 adapted to Central South America and Eastern Europe, but it was good for the global SAPS 3 and for the one adapted to Australasia.

Conclusion: in a population of Colombian critically ill patients, adaptation manages to improve discrimination of APACHE II but not its calibration. Calibration is appropriate only for the global SAPS 3 and the one adapted to Australasia. (Acta Med Colomb 2014; 39: 148-158).

Keywords: prediction models, ICU, APACHE II, SAPS 3, regional adaptation.

Introducción

La medición de la gravedad de los pacientes que ingresana la Unidad de Cuidados Intensivos (UCI) ha sido aplicada desde 1981, cuando el primer modelo de predicción fue introducido a la práctica clínica (1). Su objetivo era estratificarpacientes asignándole a cada uno un puntaje proporcional a la gravedad de su enfermedad. Este sistema, al proporcionarun riesgo de muerte al paciente individual, permitía la comparación de grupos de pacientes según su riesgo basal. Desdeentonces, estos modelos de pronóstico de mortalidad en UCIhan ido en incremento. Los modelos más utilizados en el mundo son: "Acute Physiology and Chronic Health Evaluation" (APACHE) (1-4), "Simplified Acute Physiology Score" (SAPS) (5-8), y el "Mortality Probability Model" (MPM) (9, 10). Otros modelos utilizados para la cuantificación de la disfunción de órganos como el "Multiple System Organ Failure Score" (MSOF), el "Multiple Organ Dysfunction Score" (MODS), el "Logistic Organ Dysfunction Score" (LODS) (11) y el "Sequential Organ Failure Assessment Score" (SOFA) (12), han mostrado también alguna utilidad para pronóstico de supervivencia de acuerdo con su valor inicial y con la variación en la puntuación en los primeros días (13).

Los propósitos generales de dichos puntajes son diversose incluyen, entre otros, cuantificar la magnitud de la "necesidad de atención "basada en el riesgo de muerte en una unidad de alta dependencia médica; realizar comparaciones del cuidado entre diferentes UCI y dentro de la misma UCI a través del tiempo, estimar el pronóstico del paciente, y caracterizar poblaciones de estudio para el diseño y la conducción de investigación clínica (14, 15). Una forma muy común de medir el desempeño de las unidades es comparando la razón de mortalidad estandarizada (RME) (16). La RME es la relación que hay entre la mortalidad observada y la esperada, esta última obtenida con la aplicación de un modelo de predicción de mortalidad hospitalaria.

Los modelos pronósticos en el paciente crítico se puedendividir en cuatro generaciones. De primera generación está el APACHE I (1); de segunda generación está el APACHE II (17) y el SAPS I (18). Los modelos pronósticos de tercera generación son el SAPS II (19) y el APACHE III (3), este último no tuvo difusión porque su uso era privado. Los modelos de cuarta generación más populares son el SAPS 3 (20, 21) y el APACHE IV (22). En nuestra institución, al igual que en las otras UCI del país, el modelo de predicción de mortalidad más usado es el APACHE II (23, 24). Este modelo tiene ya más de tres décadas y desde entonces ha habido grandes cambios en la epidemiología, el cuidado clínico, el conocimiento y la tecnología implementada en la UCI (9, 10). Dentro de los modelos de cuarta generación, el SAPS 3 promete una mejor validez externa y las variables sepueden recolectar más fácilmente; sin embargo, en trabajos de validación en países diferentes de aquellos en los que se desarrolló el modelo, no ha tenido una buena calibración y sólo ha mejorado con la "adaptación" (customization) (25).

En Colombia es posible que ni el APACHE II ni el SAPS 3 logren un desempeño adecuado, entre otras razones por la menor edad de nuestros pacientes, la alta prevalencia de trauma, menos comorbilidades y la consulta tardía (2631). Es claro que necesitamos un modelo de predicción de mortalidad en pacientes de UCI exacto, preciso, reproducible y aplicable; que podamos usar para evaluar el propio desempeño en el tiempo y también para compararnos con otras UCI. Por tanto, los objetivos del presente trabajo son: validar los puntajes APACHE II y SAPS 3 como predictoresde mortalidad en una muestra de pacientes admitidos a la UCI del Hospital Pablo Tobón Uribe; comparar la capacidadpredictiva de estos dos modelos en cuanto a discriminación,calibración y razón de mortalidad estandarizada y, desarrollar una adaptación del APACHE II y del SAPS 3 para determinar los cambios en la capacidad predictiva de los modelos ajustados.

Material y metódos

Diseño: estudio de cohorte histórica de casos consecutivos desde la admisión a UCI hasta el egreso hospitalario.

Sitio del estudio: UCI del Hospital Pablo Tobón Uribe, hospital de referencia y reconocido centro de trauma y trasplantes con 450 camas y en promedio 900 admisiones a UCI por año. La UCI de adultos es polivalente, con18 camashasta el 2010 y luego ampliada a 37.

Población de estudio: pacientes críticamente enfermos admitidos a UCI entre enero 1° del 2006 y junio 30 del 2011con los siguientes criterios de inclusión: mayores de 16 años,con estancia en UCI mayor de cuatro horas y que no tuvieranlimitación del esfuerzo terapéutico. Criterios de exclusión: reingreso a UCI durante la misma hospitalización, estancia en UCI mayor de 365 días o pacientes trasplantados de otrosórganos que no sean hígado o riñón.

Los comités de ética de la institución y de la Universidadde Antioquia autorizaron la recolección de la información sin consentimiento informado, ya que es una investigación sin riesgo y se garantizaba la confidencialidad de los datos (32, 33).

Recolección de datos: los datos se recolectaron retrospectivamente de la historia clínica electrónica de la institución por parte de personal de enfermería entrenado, usando un formulario prediseñado con los componentes individualesde cada puntaje y el resultado total, así como el estado vital al egreso. El formulario de recolección se diseñó de acuerdocon las reglas generales y las definiciones de los modelos APACHE II (17) y SAPS 3 (21) (ver anexo 1).

Procedimientos de recolección: con la información del formulario físico se elaboró una base de datos sistematizada en Access-Microsoft Office con los conectores lógicos y las listas de chequeo correspondientes para prevenir valores faltantes, inexactos o ilógicos. Se realizó doble ingreso de losdatos obtenidos por parte de dos auxiliares de investigación y las bases de datos se compararon y validaron.

Variables

Variables de exposición:

• Puntaje APACHE II: medido en las primeras 24 horas del ingreso a UCI
• Puntaje SAPS 3: medido en la primera hora de ingreso a UCI. Para su análisis se consideró la versiónglobal y también las versiones ajustadas para Centro-Suramérica, Europa Oriental y Austral-Asia

Variable de desenlace: mortalidad hospitalaria

Consideraciones bioestadísticas

Tamaño de muestra: la investigación se realiza sobre una población fija y previamente recolectada de 2523 pacientes que cumplieron criterios de inclusión. Con esta cantidad de pacientes y una proporción esperada de muerte del 30%, es posible tener un número de desenlaces que permitiría entre 35 y 70 variables independientes de acuerdo con los criterios de Harrell (34)

Plan de análisis: el análisis estadístico se realizó con el Software STATA 12.1. Los resultados cuantitativos se presentan de acuerdo con su distribución con medidasparamétricas o no paramétricas, según corresponda. La capacidad predictiva general de los modelos APACHE II y SAPS 3 se hace por medio del "Pseudo" R², entendido comola proporción de la función de verosimilitud del desenlace explicada por el modelo; y también comparando la razón de mortalidad observada/esperada (35). Un modelo perfectodebería ser de 1, es decir con una mortalidad observada en la población de una proporción igual a aquella predicha por el modelo de pronóstico. La calibración es evaluada por el grado de correspondencia entre la probabilidad estimada de muerte y la mortalidad real observada en la muestra analizada según los deciles de riesgo. La correspondencia de ambasmortalidades se determina de forma gráfica y con la prueba de bondad de ajuste de Hosmer-Lemeshow, considerando calibrado un modelo si se obtiene una valor de p > 0.05 (36, 37). La discriminación evalúa la capacidad del modelo para distinguir los pacientes que mueren de los que sobreviven, otorgando mayor puntaje y mayor probabilidad de muerte a los primeros. La discriminación se determina midiendo las áreas bajo la curva de características operativas del receptor (AUC-ROC), como lo describieron Hanley y McNeil, con valores cercanos a 1 entendidos como perfecta discriminación y cercanos a 0.5 como ninguna discriminación más alládel azar (38). La adaptación ("customization") aplicada a losmodelos es de primer orden (actualización del intercepto) yaque la discriminación de ambos modelos fue adecuada (15).

Resultados

Durante el periodo de estudio fueron admitidos 4000 pacientes a UCI, de los cuales 2523 (63%) cumplieron los criterios de inclusión y tuvieron los datos de laboratorio requeridos (Figura 1). La edad promedio fue de 49,1 años (Desviación estándar (DE) = 19.7), 63.3% (n = 1597) fueronde sexo masculino y la mortalidad hospitalaria global fue de27.9% (n = 703). Las principales causas de ingreso a UCI se muestran en la Figura 2.

El APACHE II en supervivientes fue de 12.5 (DE = 0.16)y en los fallecidos fue de 20 (DE = 0.27); con diferencia de medias de 7.5 (DE = 0.31, p<0.0001). La media (DE) del puntaje SAPS 3 en supervivientes y no supervivientes fue de 50.8 (12.5) y 64.4 (0.49), respectivamente, con diferencia de medias de 13.5 (DE = 0.55, p<0.0001). Las medianas (rango intercuartílico) de estancia en UCI y en el hospital fueron de 3 (1-9) y 10 (4-23), respectivamente.

La capacidad predictiva general del APACHE II y el SAPS 3 global, determinada por medio del Pseudo R², es de 0.1646 y 0.1716, respectivamente; y su comportamiento en tres subpoblaciones de UCI (sepsis, politraumatismo y postoperatorios), sugiere una mayor capacidad para el APACHE II en los pacientes politraumatizados (Tabla 1).

La capacidad discriminatoria del APACHE II es aceptablecon un AUC-ROC de 0.7488, pero tiene pobre calibración de acuerdo con la prueba de bondad de ajuste de Hosmer-Lemeshow: p <0.0001 (Tabla 2).

Con el SAPS 3 global la capacidad discriminatoria es buena con un AUC-ROC de 0.779, y la calibración es adecuada con prueba de bondad de ajuste de Hosmer-Lemeshowp =0.0957 (Tabla 3).

La diferencia en la capacidad discriminatoria de los dos modelos fue estadísticamente significativa a favor del SAPS3 (p = 0.0011; Figura 3).

La adaptación para el APACHE II y el uso de las fórmulas regionales para el SAPS3, únicamente muestra una calibración adecuada para la fórmula correspondiente a Australasia (Tabla 4)

La discriminación de los cuatro modelos anteriores, de acuerdo con las respectivas AUC-ROC, no muestra diferencias significativas (p = 0.8943, Figura 4). De hecho, la discriminación es idéntica entre el SAPS 3 y los tres modelosregionales (AUC-ROC = 0.7997).

Discusión

El desempeño de los modelos pronósticos, y específicamente de los puntajes de gravedad, se establece con dos medidas objetivas de exactitud: la discriminación y la calibración. La discriminación es la capacidad de diferenciar entre individuos que sobreviven de los que mueren, con baseen la asignación de un mayor puntaje y por tanto una mayor probabilidad de muerte a los segundos. La calibración hace referencia a qué tan cercana está, desde el punto de vista de la ocurrencia del evento en cada paciente, la probabilidad de mortalidad estimada por el modelo de la observada a lo largo del rango de probabilidades. Desde el punto de vista de la toma de decisiones con el paciente individual tiene más relevancia la discriminación. Sin embargo, para los ensayos clínicos y los estudios de comparación y medidas de calidad en UCI, lo más utilizado y evaluado es la calibración (25, 39, 40).

En nuestro estudio, el SAPS 3 original tiene mejor discriminación que el APACHE II. Con la "adaptación" del APACHE II hay mejoría en su discriminación; sin embargo, la calibración es inadecuada tanto para el APACHE II original como para el "adaptado". El SAPS 3 global y el adaptado para Australasia tienen igual discriminación que el APACHE II adaptado y las demás formulas del SAPS 3, pero la calibración sólo es adecuada en los dos primeros. La evaluación del desempeño y la comparación de estos dos modelos de pronóstico son muy importantes paraefectos de recomendar su aplicación en el medio local. En nuestro saber, este es el primer estudio de validación del SAPS 3 en Colombia, y nuestros resultados contrastan con el estudio original donde se encontraba que era necesaria la calibración del SAPS 3 con la fórmula de Centro-Suramérica (20, 21). En nuestro trabajo, la discriminación es igual con cualquiera de las fórmulas de SAPS 3 utilizadas, pero la calibración sólo es adecuada para la fórmula del SAPS 3 global y la de Australasia y fue pobre para el SAPS 3 adaptado para Centro-Suramérica. También en un estudio de población quirúrgica en Brasil con 1310 pacientes de dos UCI, el desempeño fue bueno en discriminación con el SAPS 3 adaptado para Centro-Suramérica (AUC-ROC= 0.86) y la calibración igualmente fue adecuada (41). Otro trabajo brasileño realizado por Soares y col. en 952 pacientes oncológicos, la mitad quirúrgicos, encontró que el SAPS 3 global y el adaptado para Centro-Suramérica tuvo una buena discriminación con AUC-ROC 0.87 y una calibración adecuada (10). Sin embargo, también hay estudios con resultados divergentes. Nassar y col. en una población de 5780 pacientes de 3 UCI mixtas en Brasil, mostró una pobre calibración del SAPS 3 (42). El tipo de poblaciones de estudio y la mezcla de casos ("case-mix") pareciera ser laexplicación más plausible para estas diferencias, en donde la mayor proporción de pacientes quirúrgicos vs. médicos pareciera favorecer significativamente el desempeño y la exactitud del modelo.

En cuanto al APACHE II, su desempeño es regular principalmente en lo que se refiere a la deficiente calibración, lo que también ha sido documentado en otros estudios en diversos contextos geográficos. Sakr y col. evaluaron 1851 pacientes de una UCI quirúrgica en Alemania, encontrando una AUC-ROC = 0.80 pero con pobre calibración (43). En ese mismo estudio se compararon el SAPS II, el APACHE II, el APACHE II adaptado y el SAPS 3 adaptado para Europa. La discriminación fue aceptable en todos los modelos,pero la mejor calibración fue para el SAPS 3 adaptado. En Arabia Saudita, Arabi y col. estudiaron 250 pacientes de una UCI mixta y encontraron que el APACHE II tenía una aceptable discriminación (AUC-ROC = 0.78) pero una malacalibración que no logró mejorar con el ajuste regional (44).

En general, la literatura mundial reciente parece sustentar de manera consistente el uso del SAPS 3. En España, en un hospital universitario con una UCI mixta, se hizo la validación del SAPS 3 global y la adaptación para Europa occidental con una cohorte de 864 pacientes; además de su comparación con el APACHE II y el SOFA. La discriminación fue de 0.91, 0.89 y 0.84, respectivamente, pero la calibración mostró nuevamente ser apropiada sólo para el SAPS 3 global y el adaptado para Europa occidental (45). En Austria, en una base de datos de 2060 pacientes de UCI de todo el país, se validó el SAPS 3 global, las adaptaciones para Europa oriental y occidental, y una adaptación de primerorden para el mismo país. Se encontró que la discriminación fue igual para cualquier SAPS 3, pero la calibración adaptadapropia para el país fue la única adecuada (46). En Italia, en 28357pacientes de 147 UCI, se validó el desempeño del SAPS 3 general y el adaptado para Europa oriental, encontrando que la discriminación fue buena (AUC-ROC = 0.85) pero la calibración fue inadecuada (47). En Tailandia, en 1873 pacientes, el desempeño del SAPS 3 fue adecuado conuna AUC-ROC de 0.93, pero la calibración para la fórmula global y para la adaptada para Australasia sobreestimaron la mortalidad, y sólo mejoró la calibración después de una adaptación de primer orden para el país (48).

En resumen, los trabajos arriba citados muestran en general una discriminación buena para el SAPS 3, similar a losresultados de nuestro estudio, y para encontrar la fórmula con la mejor calibración usualmente es necesario hacer adaptaciones regionales, la cual es para nuestro caso el SAPS3 global y el adaptado para Australasia. Las posibles diferencias en calibración de nuestro estudio con respecto a otros reportes del SAPS 3 "adaptado" para Centro-Suramérica pueden ser debidas a que la adaptación regional tiende a sobreestimar la mortalidad esperada, y nuestra UCI está máscercana a la mortalidad intermedia global y de Australasia, que tienen una mortalidad un poco más alta que la esperada para Europa occidental y Norteamérica (20, 21).

Las debilidades de nuestro trabajo son varias, la primera y más importante es el hecho de ser un estudio de un sólo centro, que puede no mostrar el comportamiento global para el país y Latinoamérica. El segundo problema es que fue realizado en una cohorte retrospectiva, y esto puede generar problemas con la calidad de los datos. Finalmente, es imposible reproducir con certeza la composición y mezclade casos ("case-mix") de la cohorte, en donde encontramos una gran heterogeneidad que se evidencia en que 44% de los pacientes son admitidos a UCI por "otras" causas diferentes de las usuales de trauma, sepsis y cirugía. Con base en los hallazgos de nuestro trabajo, se recomienda el uso delmodelo de predicción de mortalidad SAPS 3 global en vez del APACHE II en las UCI del país. No obstante, un estudio multicéntrico prospectivo sería un siguiente paso ideal para verificar nuestros resultados.

Financiación

Universidad de Antioquia, convocatoria de menor cuantía, Comité para el Desarrollo de la Investigación (CODI) 2011.

Referencias

1. Knaus W. APACHE-acuete physyology and chronic health evaluation: a physiologically based classification system. Critical Care Med 1981; 9(8): 591-7.         [ Links ]

2. Knaus W A, Draper EA, Wagner DP, Zimmerman JE. APACHE II: a severity of disease classification system. Crit Care Med 1985; 13(10): 818-29.         [ Links ]

3. Knaus W, Wagner D, Draper E, Zimmerman J, Bergner M, Bastos P, et al.The APACHE III prognostic system. Risk prediction of hospital mortality for critically ill hospitalized adults. Chest 1991; 100(6): 1619-36.         [ Links ]

4. Zimmerman JE, Kramer A A, McNair DS, Malila FM. Acute Physiology and Chronic Health Evaluation (APACHE) IV: hospital mortality assessment for today's critically ill patients. Crit Care Med 2006; 34(5): 1297-310.         [ Links ]

5. Lemeshow S, Teres D, Klar J, Gehlbach SH, Rapoport J, Avrunin S. Based on an International Cohort of Intensive Care Unit Patients Mortality Probability Models ( MPM II ). JAMA 1993; 270(20): 2478-86.         [ Links ]

6. Bouch DC, Thompson JP. Severity scoring systems in the critically ill. Continuing Education in Anaesthesia. Critical Care & Pain 2008; 8(5): 181-5.         [ Links ]

7. Dossett LA, Redhage LA, Sawyer RG, May K. Improved risk stratification in critically injured. Injury 2010; 40(9): 993-8.         [ Links ]

8. Afessa B. Benchmark for intensive care unit length of stay: One step forward, several more to go. Critical care medicine. 2006 Oct;34(10):2674-6.         [ Links ]

9. Breslow MJ, Badawi O. Severity scoring in the critically ill: part 2: maximizing value from outcome prediction scoring systems. Chest 2012; 141(2): 518-27.         [ Links ]

10. Breslow MJ, Badawi O. Severity scoring in the critically ill: part 1--interpretationand accuracy of outcome prediction scoring systems. Chest 2012; 141(1): 245-52.         [ Links ]

11. Afessa B, Gajic O, Keegan MT. Severity of illness and organ failure assessment in adult intensive care units. Crit Care Clin 2007; 23(3): 639-58.         [ Links ]

12. Minne L, Abu-Hanna A, De Jonge E. Evaluation of SOFA-based models for predicting mortality in the ICU: Asystematic review. Crit Care 2008; 12(6): R161.         [ Links ]

13. Fueglistaler P, Amsler F, Schüepp M, Fueglistaler-Montali I, Attenberger C, Pargger H, et al. Prognostic value of Sequential Organ Failure Assessment and Simplified Acute Physiology II Score compared with trauma scores in the outcome of multiple-trauma patients. Am J Surg 2010; 200(2): 204-14.         [ Links ]

14. Sakallaris B. Clinical Decision Support Systems for Outcome Measurement and Management. Adv Crit Care 2000; 11: 351-62.         [ Links ]

15. Steyerberg EW. Clinical Prediction Models A prectical approach to development,validation, and updating. Springer Verlag; 2009. p. 1-487.         [ Links ]

16. Zimmerman JE, Alzola C, Von Rueden KT. The use of benchmarking to identifytop performing critical care units: a preliminary assessment of their policies and practices. J Crit Care 2003; 18(2): 76-86.         [ Links ]

17. Knaus W A, Draper E A, Wagner DP, Zimmerman JE. APACHE II: a severity of disease classification system. Crit Care Med 1985; 13(10): 818-29.         [ Links ]

18. Gall J-R Le, Loirat P, Alperovitch A, Glaser P, Granthil C, Mathieu D, et al. A simplified acute physiology score for ICU patients. Crit Care Med 1984. p. 975-7.         [ Links ]

19. Le Gall JR, Lemeshow S, Saulnier F. A new Simplified Acute Physiology Score (SAPS II) based on a European/North American multicenter study. JAMA 1993;270(24): 2957-63.         [ Links ]

20. Metnitz PGH, Moreno RP, Almeida E, Jordan B, Bauer P, Campos RA, et al. SAPS 3--From evaluation of the patient to evaluation of the intensive care unit. Part 1: Objectives, methods and cohort description. Inten Care Med 2005;1336-44.         [ Links ]

21. Moreno RP, Metnitz PGH, Almeida E, Jordan B, Bauer P, Campos RA, et al. SAPS 3--From evaluation of the patient to evaluation of the intensive care unit. Part 2: Development of a prognostic model for hospital mortality at ICU admission. Inten Care Med 2005; 31(10): 1345-55.         [ Links ]

22. Zimmerman JE, Kramer AA, McNair DS, Malila FM. Acute Physiology and Chronic Health Evaluation (APACHE) IV: hospital mortality assessment for today's critically ill patients. Crit Care Med 2006; 34(5): 1297-310.         [ Links ]

23. Pérez A, Dennis RJ, Rondón MA, Metcalfe MA, Rowan KM. A Colombian survey found intensive care mortality ratios were better in private vs. public hospitals. J Clin Epidem 2006; 59(1): 94-101.         [ Links ]

24. Sánchez AP, Pérez JLA, Torres MSP, Díaz MTA, González CTS, Zamora TNAQ. Validación del sistema predictivo Apache II en un grupo de pacientes ingresados en la Unidad de Cuidados Intensivos. Rev Cub Med Mil 2003; 8(2):130-6.         [ Links ]

25. Serrano N. Calibration strategies to validate predictive models: is new always better? Inten Care Med 2012; 38(8): 1246-8.         [ Links ]

26. Rodríguez F, Barrera L, De La Rosa G, Dennis R, Dueñas C, Granados M, et al. The epidemiology of sepsis in Colombia: a prospective multicenter cohort study in ten university hospitals. Crit Care Med 2011; 39(7): 1675-82.         [ Links ]

27. Calle P, Cerro L, Valencia J, Jaimes F. Usefulness of Severity Scores in Patients with Suspected Infection in the Emergency Department: A Systematic Review. J Emerg Med 2011: 1-13.         [ Links ]

28. Devereaux P, Chan M, Alonso-Coello P. Association Between Postoperative Troponin and 30-Day mortality among patients undergoing noncardiac surgery. JAMA 2012; 307(21): 2295-304.         [ Links ]

29. De La Rosa GDC, Donado JH, Restrepo AH, Quintero AM, González LG, Saldarriaga NE, et al. Strict glycaemic control in patients hospitalised in a mixedmedical and surgical intensive care unit: a randomised clinical trial. Crit Care 2008; 12(5): R120.         [ Links ]

30. Grozdanovski K, Milenkovic Z, Demiri I, Spasovska K. Prediction of Outcome from Community-Acquired Severe Sepsis and Septic Shock in Tertiary-Care University Hospital in a Developing Country. Crit Care Res and Pract 2012;2012: 1-6.         [ Links ]

31. Jaimes F, De La Rosa G, Morales C, Fortich F, Arango C, Aguirre D, et al. Unfractioned heparin for treatment of sepsis: A randomized clinical trial (The HETRASE Study). Crit Care Med 2009; 37(4): 1185-96.         [ Links ]

32. Colombia M de S. Resolucion # 008430 de 1993. Por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud. 1993. p. 1-12.         [ Links ]

33. Rid A, Emanuel EJ, Wendler D. Evaluating the risks of clinical research. JAMA 2010; 304(13): 1472-9.         [ Links ]

34. Harrell FE, Lee KL, Mark DB. Multivariable prognostic models: issues in developing models, evaluating assumptions and adequacy, and measuring and reducing errors. Statistics in medicine 1996;15(4): 361-87.         [ Links ]

35. Hosmer DW, Lemeshow S. Confidence interval estimates of an index of quality performance based on logistic regression models. Statistics in medicine 1995;14(19): 2161-72.         [ Links ]

36. Gerds T A, Cai T, Schumacher M. The performance of risk prediction models. Biometrical journal. Biometrische Zeitschrift 2008; 50(4): 457-79.         [ Links ]

37. Hauck WW. Re: "a review of goodness of fit statistics for use in the development of logistic regression models". Am J Epidemiol 1982; 116(4): 732-2.         [ Links ]

38. Le CT, Lindgren BR. Construction and comparison of two receiver operating characteristic curves derived from the same samples. Biometrical journal 1995;37(7): 869-77.         [ Links ]

39. Diamond G. What price perfection? Calibration and discrimination of clinical prediction models. J Clin Epidemiol 1992; 45(I): 85-9.         [ Links ]

40. Altman DG, Royston P. What do we mean by validating a prognostic model? Statistics in medicine 2000; 19(4): 453-73.         [ Links ]

41. Silva Junior JM, Malbouisson LMS, Nuevo HL, Barbosa LGT, Marubayashi LY, Teixeira IC, et al. Applicability of the simplified acute physiology score (SAPS3) in Brazilian hospitals. Revista brasileira de anestesiologia 2010; 60(1): 20-31.         [ Links ]

42. Nassar AP, Mocelin AO, Nunes ALB, Giannini FP, Brauer L, Andrade FM, et al. Caution when using prognostic models: A prospective comparison of 3 recent prognostic models. J Crit Care 2011; 27(4): 1-7.         [ Links ]

43. Sakr Y, Krauss C, Amaral A CKB, Réa-Neto A, Specht M, Reinhart K, et al. Comparison of the performance of SAPS II, SAPS 3, APACHE II, and their customized prognostic models in a surgical intensive care unit. Br J Anaesth 2008;101(6): 798-803.         [ Links ]

44. Arabi Y, Shirawi N Al, Memish Z, Venkatesh S, Al-Shimemeri A. Assessment of six mortality prediction models in patients admitted with severe sepsis and septic shock to the intensive care unit: a prospective cohort study. Critical Care. BioMed Central 2003; 7(5): R116-R122.         [ Links ]

45. Mbongo C-L, Monedero P, Guillen-Grima F, Yepes MJ, Vives M, Echarri G. Performance of SAPS3, compared with APACHE II and SOFA, to predict hospital mortality in a general ICU in Southern Europe. Eur J Anaesthesiol 2009; 26(11): 940-5.         [ Links ]

46. Metnitz B, Schaden E, Moreno R, Le Gall J-R, Bauer P, Metnitz PGH. Austrian validation and customization of the SAPS 3 Admission Score. Intensive care medicine 2009; 35(4): 616-22.         [ Links ]

47. Poole D, Rossi C, Anghileri A, Giardino M, Latronico N, Radrizzani D, et al. External validation of the Simplified Acute Physiology Score (SAPS) 3 in a cohort of 28,357 patients from 147 Italian intensive care units. Intensive care medicine 2009; 35(11): 1916-24.         [ Links ]

48. Khwannimit B, Bhurayanontachai R. The performance and customization of SAPS 3 admission score in a Thai medical intensive care unit. Intensive care medicine 2010; 36(2): 342-6.         [ Links ]

Anexos