Pereira, 15 de octubre de 2020

Señores Comité Editorial Revista Biomédica

Estimados señores:

Después de leer el artículo "Evaluación comparativa de la vigilancia en salud pública de COVID-19 en Colombia: primer semestre" ¹, cabe resaltar el interés de la evaluación del sistema de vigilancia epidemiológica en el marco de esta pandemia. Se constata el efecto positivo que la inyección de recursos de todo tipo ha tenido en el sistema en la transformación de las condiciones previas y la superación de inequidades.

Los autores plantean en su artículo que la evaluación se basó en el criterio de cumplimiento de la ley de Benford. Quisiéramos señalar que no conocíamos dicha ley, y que no encontramos ninguna validación de sus postulados en el artículo publicado, ya que solo se alude en él a su aplicación por parte del autor de correspondencia en otros estudios suyos. En nuestra búsqueda en la literatura especializada encontramos que en el artículo de Cerioli, et al.², los autores señalan que "[...] ninguna teoría general conocida puede predecir con exactitud si la ley de Benford es válida en una aplicación específica, cuyo proceso de generación de datos no se puede conocer con certeza, incluso en ausencia de fraude u otras manipulaciones de datos" (traducción libre). Cerioli, et al. citan, a su vez, a Berger, et al.³, quienes advierten que la ley de Benford "[...] no parece proporcionar información. Un fenómeno amplio y a menudo mal entendido no siempre debe reducirse a unos pocos modelos matemáticos" (traducción libre). A renglón seguido los autores añaden que "[...] actualmente no existe un enfoque unificado que explique simultáneamente la aparición de un fenómeno ni en sistemas dinámicos, teoría de números, estadísticas y datos del mundo real" (traducción libre). En otro artículo ⁴ se afirma que la ley de Benford asume distribuciones normales para modelar los componentes aleatorios en sus conteos simulados, pero si los segundos dígitos siguen una distribución normal, en general no satisfacen la ley de Benford. Además, no hay razón para creer que los datos simulados se parecen a los datos registrados en cualquier epidemia.

Por otra parte, como resultado de la revisión bibliográfíca que hicimos, supimos que la ley de Benford exige el supuesto de independencia estadística de los dígitos, ante lo que surge la pregunta de cómo evaluaron este supuesto los autores, especialmente en una situación de pandemia en la cual es difícil establecer la independencia de un caso con respecto a otro, sobre todo porque se trata de una infección que se transmite entre personas, y estas no son independientes unas de otras.

Los autores aluden desde el resumen que determinaron los departamentos con un desempeño óptimo, pero no queda claro en qué consiste dicho desempeño, aunque, al parecer, tiene que ver con el cumplimiento de la ley de Benford para el primero y segundo dígitos. En la introducción hacen el recuento juicioso de algunas características de la pandemia en Colombia, resaltando las diferencias de la epidemia según regiones, pero posteriormente hacen comentarios con base en criterios no aclarados: ¿cuál es la definición de pico?, ¿cuál es el procedimiento y el análisis para determinar el pico? Mencionamos esto porque hay mucha discusión al respecto, por ejemplo, hay autores que han planteado que nos equivocamos al pensar que Europa había salido del ascenso en agosto, lo que resulta interesante en sí mismo por el aumento en la frecuencia de casos asociados con la tasa de transmisión y la capacidad de los servicios de salud para detectar y notificarlos. Pero, ¿realmente cuándo llegaremos nosotros al pico? ¿No será que este ocurre al llegar a un número muy cercano al 50 % de infección? ¿Sabemos cuál es la prevalencia de la infección en el país? Lo que los autores denominan "pico" es realmente un número máximo de casos a nivel regional, y con base en ese número de casos acumulados se comparan los departamentos. La pregunta que nos hacemos es, ¿son comparables nuestros departamentos? Es decir, ¿estamos en el mismo nivel de desarrollo de la pandemia? ¿Están todas las regiones en igualdad de condiciones para detectar, aislar y notificar los casos? Si no es así, ¿saben los autores qué están comparando al cotejar los datos de los departamentos? ¿Qué quiere decir la meseta en la frecuencia de casos? ¿Se estabilizó la tasa de transmisión y la capacidad diagnóstica, y se saturó el reporte de casos en la vigilancia epidemiológica? ¿Cuál es la utilidad de una métrica cuando lo que voy a medir no se encuentra bajo la misma condición exigida por esta? En el texto también hay algunas declaraciones que deben definirse porque son parte de la evaluación, por ejemplo, ¿qué es la calidad del dato?, ¿bajo qué reglas se estandariza la evaluación comparativa?

Nosotros hicimos una simulación de la ley de Benford y la conclusión fue que cuando el crecimiento es modelado de forma exponencial, se cumple con la ley y con lo tocante al primer digito, y si esto ocurre, no hay contención, pero los autores del artículo claramente afirman lo contrario. Con base en la simulación que hicimos concluimos que el virus se diseminó exponencialmente y que el plan de contención fracasó. En este sentido, cumplir la ley y lo relacionado con el primer digito simplemente permite reportar un número de casos en relación con el crecimiento exponencial, y eso no es algo para destacar, sobre todo cuando el fracaso de la contención se propone como criterio de "desempeño" de las labores de vigilancia en salud pública.

Además, los autores plantean una falacia lógica cuando, bajo un razonamiento aparentemente correcto, llegan a una conclusión errónea afirmando que el desempeño es óptimo. Es un error afirmar que el número de casos iniciados afecta el cumplimiento de lo concerniente al segundo digito, dado que, según la ley de Benford, para ello es necesario tener una muy alta tasa de transmisión. Solo de esa manera aumentan las probabilidades de cumplir con ella en cuanto al segundo digito. ¿Esto es buen desempeño? Evidentemente no lo es, pues lo que esto sugiere es que el plan de contención fracasó y que la tasa de transmisión nunca logró disminuirse.

Solo con propósitos ilustrativos los invitamos a revisar la simulación de la ley de Benford; en ella se pueden observar las consecuencias de dicha ley en el número de casos positivos reportados en el tiempo.

En epidemiologia nos interesa disminuir la tasa de transmisión para aplanar la curva que describe el número de nuevos casos en el tiempo. Cumplir con la ley de Benford no necesariamente es un criterio adecuado para evaluar la calidad de la vigilancia epidemiológica y de las intervenciones. Los departamentos que no cumplen con los postulados de la ley pueden aplanar la curva si la epidemia se comporta como lo definen estos.

Sin ninguna argumentación, los autores generan una clasificación con base en un procedimiento que no es claro, lo que plantea preguntas sobre lo que significa dicha clasificación, lo que mide, si es deseable tener un desempeño bueno o malo según ella, y si es posible sacar conclusiones o derivar mecanismos para mejorar el "desempeño" y la posición en la clasificación. Por ejemplo, según el artículo ¿qué deben hacer las regiones para mejorar su posición en dicha clasificación? Si esta es una escala, ¡qué sensibilidad y especificidad tiene? ¿Qué replicabilidad?

Realmente, el artículo incluye muchos juicios de valor, pues no se definen aspectos críticos de la evaluación y la comparación. Tampoco es riguroso en la adaptación y la aplicación del modelo matemático a la situación planteada y, peor aún, no es claro cuál es el problema ni la pregunta de investigación. Simplemente se plantea una hipótesis cuya validez nunca es evaluada ni contrastada con otros métodos. El artículo tampoco es claro en manifestar qué evalúa y no define un plan de mejoramiento para cada una de las regiones en función de sus particularidades, con lo que se pierde la posibilidad de aportar planteamientos técnicos y científicos para un mejor desempeño frente a la pandemia.

Atentamente,

José William Martínez

Facultad de Ciencias de la Salud, Universidad Tecnológica de Pereira, Pereira, Colombia

Juan Camilo Martínez

Universidad de Vanderbilt, TN, USA

Diego Alejandro Rincón, Diego Alejandro Salazar, Juan Daniel Castrillón, María del Pilar Gómez, Oscar Felipe Suárez Brochero, Juan Pablo Vélez, Ángela María Valencia

Secretaría de Salud de Risaralda, Pereira, Colombia

Sandra Gómez

Dirección Operativa de Salud Pública de Risaralda, Pereira, Colombia Ángel María Rincón Hurtado

Fundación Universitaria del Área Andina, Pereira, Colombia

Bogotá, 15 de agosto de 2020

Señores Comité Editorial Revista Biomédica

Estimados señores:

Hemos leído la carta enviada por Martínez, et al., en la que se discute nuestro artículo "Evaluación comparativa de la vigilancia en salud pública de COVID-19 en Colombia: primer semestre" ¹. Dado que los mismos autores reconocen que son neófitos en el tema de la ley de Benford y su aplicación en la vigilancia en salud pública, responderemos a sus inquietudes, las cuales coinciden con las que algunos de nosotros tuvimos hace unos años cuando abordamos esta temática de manera sistemática y propusimos su uso para evaluar sistemas de vigilancia en salud pública en el contexto de las epidemias. Esa primera aproximación quedó plasmada en un artículo publicado en el 2011 ², que se centraba en el modelado matemático de epidemias de infecciones emergentes. En esa ocasión, los revisores y editores nos brindaron aportes valiosos que incorporamos en la versión del artículo que fue publicado en dicho momento.

Ante todo, nuestro aporte no apunta a los sistemas de vigilancia epidemiológica, como lo afirman los colegas en su carta, sino a los sistemas de vigilancia en salud pública, concepto diferente que no entraremos a discutir, pues ya ha sido descrito por otros autores ^3,4.

En segundo lugar, la evaluación de este tipo de sistemas incluye muchos elementos, pero nuestro enfoque se centró exclusivamente en la calidad de los datos, el cual es uno de los atributos que diversas agencias internacionales especializadas en esta tarea reconocen como importantes. Los otros atributos son la simplicidad, la flexibilidad, la aceptabilidad, la sensibilidad, el valor predictivo positivo, la representatividad, la oportunidad y la estabilidad ⁵. En ese sentido, nuestra contribución se centró en la evaluación rápida y objetiva de un solo atributo, sin sesgos ni conflictos de intereses, y se basa en premisas que cualquiera que acceda a los datos puede replicar, lo que es posible por la política de datos abiertos de la pandemia. Nuestro artículo presenta los datos de tal forma que, incluso, pueden interpretarse con un algoritmo diferente al usado por nosotros. Entendemos que la calidad de los datos es un atributo de gran importancia. Por ejemplo, no es un buen sistema de vigilancia en salud pública aquel que, aunque tenga elevadas sensibilidad y oportunidad, falle en cuanto a la calidad de los datos; por ello, el desempeño del sistema sí tiene relación con el cumplimiento o no de la ley de Benford.

Tercero, la presentación de casos durante una pandemia es difícil de determinar con las estrategias estándar de la vigilancia en salud pública. Sin embargo, mediante conceptos como el R₀ y los modelos de transmisión, los fundamentos de la epidemiología de las enfermedades infecciosas indican que el comportamiento teórico esperado en lo que respecta a los casos acumulados sigue un patrón relacionado. Este hecho explica que se obtengan más números cuyo primer dígito sea el uno, seguido por el dos, luego el tres y así sucesivamente hasta el nueve. Estos datos esperados, cuya distribución se define por la ley de Benford, son los que se contrastan, mediante pruebas estadísticas, con los datos observados resultantes del proceso de vigilancia en salud pública. En varias de las referencias de la presente respuesta se encuentran diversos usos y explicaciones más detalladas ^2,6-10.

En cuarto lugar, la suposición estadística de independencia pudo ser mal interpretada por los colegas. Dado el diseño, se espera que ningún caso de COVID-19 ocurra independientemente de otro debido a las características propias de la transmisión, y el análisis basado en la ley de Benford que presentamos en nuestro artículo, evalúa la frecuencia de los dígitos de los reportes de casos, no los casos en sí, por lo que no presupone la independencia de los casos ni afecta los métodos empleados. En nuestro artículo se usa la ley de Benford para verificar si al sumarse los casos en una ventana de tiempo definido, la cantidad de casos acumulados notificados (primer o segundo dígito) ocurre sin adoptar un patrón diferente al orden esperado en el supuesto de que no se dé una intervención o no se logren las cifras. La independencia en este caso depende de que no haya modificaciones en la información que provoquen frecuencias alteradas de casos, no al hecho de que un caso intervenga en la aparición de otro, que es lo natural y esperado.

En quinto lugar, es importante señalar que no era el interés del artículo la validación de la ley de Benford para su uso en la vigilancia en salud pública. Los procesos epidemiológicos de validación no atañen a la verificación propuesta en este trabajo en torno a la idoneidad de las cifras provenientes de esa vigilancia y su cumplimiento de la ley de Benford; en su lugar, la validación se sitúa en la necesidad de valorar la adaptabilidad y capacidad con la que un sistema ad hoc para la medición o evaluación de un constructo sanitario funciona en distintos contextos o circunstancias ¹³. Sin embargo, consideramos que la validación del método debería hacerse mediante su contraste con la realidad que observamos. Si bien las experiencias previas con la influenza A(H₁N₁), el dengue y el Zika nos dieron algunos elementos, la pandemia de COVID-19 ha sido un mejor escenario para probar el método debido la amplia divulgación de datos y las noticias de dominio público.

En los primeros momentos de la pandemia nos surgió una inquietud en torno a la calidad de los datos de la epidemia en la República Popular China, por lo que se aplicó el método y evidenciamos que estos cumplían con la ley de Benford ⁶. Este hallazgo fue reportado con análisis similares por varios autores de diversas instituciones y países en más de 10 artículos y publicaciones anticipadas ^8-11, concordancia de resultados que evidencia la validez del enfoque analítico. Un caso cercano e interesante es Brasil, cuyo presidente se ha mostrado negacionista frente a la pandemia, y en donde hay evidencias sobre los cambios arbitrarios introducidos en la manera de informar los casos de infección por SARS-CoV-2 y las muertes asociadas. En este caso, el empleo de la ley de Benford de forma similar a la nuestra, permitió establecer que los datos entre julio y agosto sobre muertes y casos positivos, no cumplieron con los criterios de calidad ¹². En el caso de Colombia, el que los datos de algunos departamentos no cumplieran con la ley de Benford podría relacionarse más con rezagos en la detección o captación de los casos.

En sexto lugar, la capacidad del artículo de mejorar el desempeño de la vigilancia en salud pública escapaba de su objetivo. Lo que sugerimos es que se revisen los casos que cumplieron con la ley de Benford para determinar en qué áreas podría mejorarse. Si son exitosas, las intervenciones y las acciones sanitarias que se desplieguen en cada territorio tendrán como uno de sus efectos, no el único, mejorar la calidad de los datos y, en consecuencia, habrá también mejoras en el cumplimiento de la ley de Benford. En este sentido, podemos afirmar que es más difícil cumplir con lo tocante a los primeros dígitos (1, 2 y 3) que a los últimos (7, 8 y 9). Aunque el estudio se centró en contribuir a conocer la situación nacional de uno de los atributos de los procesos de vigilancia en salud pública, es decir, la calidad de los datos, el cumplimiento o no de la ley de Benford no descalifica ni demerita el esfuerzo de nadie, y la clasificación de los departamentos da cuenta de ello; las afirmaciones que se desprenden de este resultado podrían evidenciar las dificultades para interpretar, específicamente, la calidad de los datos.

En séptimo lugar, al referirse a las falacias, los autores de la carta al editor deberían señalar con más precisión a cuál aluden. Los "juicios de valor" como los llaman los autores, apenas son conclusiones derivadas del análisis hecho a partir de la implementación del método. Vemos la controversia que nuestro estudio suscitó como un paso más hacia una mejor comprensión del funcionamiento de los sistemas de vigilancia en salud pública, de hecho, ¡creemos que ese es precisamente su objetivo!

Por último, nuestra experiencia de más de 10 años trabajando con la ley de Benford aplicada a los sistemas de vigilancia en salud pública, nos indica que cuando no se cumple es importante que se revise si hace falta la detección de un número mayor de casos o su registro adecuado. Además, en este caso debería incorporarse todo lo relacionado con la capacidad de los laboratorios de salud pública en este análisis, dada su dependencia para diagnosticar los casos. El propósito de nuestro estudio no fue evaluar la respuesta a la pandemia en el nivel territorial si no valorar la calidad de los datos captados por los sistemas de vigilancia a nivel local utilizando la Ley de Benford.

Álvaro J. Idrovo, Alexandra Hurtado-Ortiz

Departamento de Salud Pública, Escuela de Medicina, Universidad Industrial de Santander, Bucaramanga, Colombia

José Moreno-Montoya

Subdirección de Estudios Clínicos, Fundación Santa Fe de Bogotá, Bogotá, D.C., Colombia Franklyn E. Prieto-Alvarado

Dirección de Vigilancia y Análisis del Riesgo en Salud Pública, Instituto Nacional de Salud, Bogotá, D.C., Colombia