Información de salud en la prensa diaria argentina:
adaptación al español y validación del
cuestionario Index of Scientific Quality para medir su calidad
Emiliano Biondo, Marina Claudia Khoury
Introducción. La prensa diaria constituye una fuente de acceso a la información de salud y puede influenciar sobre la utilización de servicios sanitarios. La calidad de las noticias publicadas en periódicos de países desarrollados es subóptima.
Objetivo. Adaptar al castellano y evaluar la confiabilidad del cuestionario Index of Scientific Quality; medir la calidad de la información de salud publicada en la prensa diaria argentina durante los años 2000 a 2002; determinar el nivel de lectura requerido (en grados de escolarización) para comprender los textos; analizar los factores asociados a la calidad.
Materiales y métodos. La adaptación consistió en la traducción del Index of Scientific Quality, retrotraducción y prueba piloto. Para la confiabilidad, se seleccionaron artículos con más de 300 palabras referidos a tratamiento, prevención, diagnóstico, efectos del estilo de vida y exposiciones peligrosas sobre la salud. Dos médicos calificaron independientemente 129 artículos. Se cuantificó la concordancia interobservador e intraobservador para cada ítem mediante el coeficiente de correlación intraclase (IC95%). La calidad se evaluó en 210 artículos seleccionados al azar. Se asignaron valores entre 0-100 puntos. El nivel de lectura se evaluó mediante el método gráfico de FRY. Se exploró la relación entre calidad y otras variables mediante un modelo de regresión lineal múltiple.
Resultados. La concordancia interobservador osciló entre 0,48 (0,34-0,61) y 0,67 (0,56-0,75); la concordancia intraobservador entre 0,51 (0,37-0,63) y 0,95 (0,93-0,96); la consistencia interna (alfa de Cronbach), 0,88; la calidad [mediana (rango intercuartílica)]=25 puntos (16,7 y 33,3), y el nivel de lectura [promedio (IC95%)]=10,4 grados (10,2 y 10,6).
Conclusiones. La calidad de la información fue deficitaria. No se encontraron factores que expliquen la baja calidad. El nivel de lectura resultó una barrera de acceso a la información.
]]> Palabras claves: información de salud, prensa diaria, confiabilidad, cuestionario, calidad científica.Validation of a questionnaire to assess the quality of health information in Argentinian newspapers
Introduction. The daily press is an important source of health information and may influence health care utilization. However, medical reports published in newspapers from developed countries have shown a poor quality.
Objectives. The reliability of the questionnaire Index of Scientific Quality was evaluated by using it to measure the scientific quality of health information published by Argentinian newspapers between 2000 and 2002. It assessed the readability of the texts in grade levels and explored the relationship between quality and other factors.
Materials and methods. The Spanish adaptation of the instrument consisted in translation, back-traslation and pilot study. The reliability was assessed by applying the instrument to newspaper articles with more than 300 words that discussed therapy, diagnosis, prevention, lifestyle effects, and hazardous exposure. Two physicians independently graded 129 articles. Inter-observer and intra-observer concordance was quantified for each item with the intra-class correlation coefficient (CI 95%). To measure scientific quality, a randomized sample of 210 articles was assessed. Each received a mark that ranged from 0 to 100. Readability was determined by the FRY graph method. The relationship between quality and other variables was explored with multiple linear regression analysis.
Results. The inter-rater concordance varied between 0.48 (0.34-0.61) and 0.67 (0.56-0.75). Intra-rater concordance varied from 0.51 (0.37-0.63) to 0.95 (0.93-0.96). The internal consistency (Cronbach’s alpha) was 0.88. The quality-of-health-information was rated at 25 points (16.7, 33.3) [median (intercuartil range)]. The reading level was assessed to be at the 10.4 grade (10.2-10.6) [mean (CI 95%)].
Conclusions. Quality of the health information was greatly deficient; however, no specific factors were related with quality. Readability was probably a key barrier for access to the health information.
Key words: health information, daily press, reliability, questionnaire, scientific quality.
Para muchos sectores de la población, los medios masivos de comunicación constituyen la principal fuente de acceso a la información relacionada con la salud (1,2).
Entre los distintos medios, la prensa diaria ha incrementado el espacio para difundir información de salud. Asimismo, a partir de las ediciones publicadas en internet ha pasado a tener mayor circulación. Esta situación ha posibilitado que gran parte de la comunidad pueda acceder al conocimiento de la salud a través de este medio. Esto adquiere gran relevancia si se considera que las campañas realizadas a través de la prensa pueden influir de manera positiva sobre la utilización de los servicios de salud (3). Sin duda que la información, además de ser accesible, debe ser válida y precisa.
]]> Varios estudios recientes que evaluaron las características de la información de salud en países desarrollados, describieron una baja calidad de la misma (4-7). A tal fin se usaron diferentes métodos de medición para determinados temas específicos relacionados con salud; sólo un estudio utilizó un instrumento genérico correctamente desarrollado y validado que permitió medir la calidad de varios tópicos (8). Por otro lado, se han identificado algunos factores que podrían actuar como barreras para mejorar la calidad (9).En nuestro país se observa con preocupación el incremento de la información en salud y el tipo de fuentes empleadas en los principales medios gráficos, así como la aparición de empresas que resumen y difunden las mismas noticias sin control. No se encontró una investigación que evalúe la calidad de la información en Argentina; tampoco se disponen de instrumentos válidos y confiables adaptados al español para medir la misma.
Los objetivos del estudio fueron: adaptar al castellano y evaluar la confiabilidad del cuestionario Index of Scientific Quality (ISQ); medir la calidad de la información de salud publicada en la prensa diaria argentina durante los años 2000 a 2002; determinar el nivel de lectura requerido (en grados de escolarización) para comprender los textos; analizar la relación entre calidad de información, medios de prensa, año de publicación, nivel de lectura, y extensión del artículo.
Materiales y métodos
Población de estudio
Se realizó un estudio de corte transversal. Se consideró como unidad de análisis aquellos artículos referidos a temas de salud que fueron publicados en diarios nacionales y regionales con circulación diaria promedio mayor a 20.000 ejemplares. Los datos de circulación se obtuvieron del Instituto de Verificación de Circulación de Medios (IVC) de la República Argentina. El período de estudio abarcó los años 2000 a 2002. Se incluyeron artículos que desarrollaron tópicos referidos a intervenciones terapéuticas, o procedimientos diagnósticos, o intervenciones preventivas, o efecto del estilo de vida sobre la salud, o efecto de exposiciones potencialmente peligrosas sobre el estado de salud. En los casos en que dos tópicos coexistieran en un mismo artículo, se optó por seleccionar aquel más desarrollado. A su vez, para poder ser elegible el reporte debía contener al menos 300 palabras, y no pertenecer a cartas de lectores.
Los artículos fueron extraídos de una base de datos electrónica que indexa todos los reportes referidos a salud publicados en los diarios argentinos (INFOSALUD ®). El autor del proyecto seleccionó y compiló todos aquellos que cumplieron con los criterios de inclusión. Para cada artículo se recolectó la siguiente información: medio de prensa donde fue publicado, número total de palabras y fecha de publicación. En total se obtuvieron 767 artículos que cumplieron con los criterios de selección (261 del año 2000, 182 del año 2001, y 324 del año 2002).
Adaptación transcultural
El cuestionario ISQ se desarrolló y validó originalmente por investigadores de la Universidad de McMaster en Canadá, con la finalidad de medir la calidad de la información relacionada con salud en la prensa gráfica (8). Está constituido por 8 ítems con escala de Likert con rango de 1 a 5 puntos.
En primer lugar, se contactó con el autor del cuestionario quien autorizó su utilización.
]]> Se realizaron dos traducciones iniciales desde el idioma original al español. Las mismas fueron hechas por dos traductores argentinos en forma independiente. Se evaluaron las diferencias entre ambas, y se logró una primera versión argentina.Para probar la validez del proceso, una persona nativa de los EE.UU. llevó a cabo una retrotraducción ( back translation) del cuestionario al idioma inglés. Se resolvieron las diferencias mediante el acuerdo de los participantes del proceso, y se llegó a una versión preeliminar argentina del ISQ.
Por último, se llevó a cabo una prueba piloto de la versión preeliminar. Participaron de la misma una médica pediatra y un médico de familia, ambos con experiencia en el área de investigaciones clínicas y cuestionarios. Cada médico evaluó en forma independiente cinco artículos que cumplían con los criterios de inclusión. Los mismos fueron seleccionados por el autor del proyecto, procurando un espectro variado de calidad. Al concluir la evaluación, los dos médicos junto con el autor analizaron las dificultades en la utilización del instrumento a través de la técnica de grupo de discusión. Finalmente, se obtuvo la versión definitiva argentina del ISQ.
Evaluación de la confiabilidad
Para alcanzar este objetivo, se utilizó una muestra de 129 artículos extraída a partir de la población de estudio. El autor del proyecto seleccionó aquellos textos que, según criterios surgidos de recomendaciones de expertos (10-13), presentaron un espectro variado de calidad.
Para calcular el tamaño muestral se asumió obtener un acuerdo entre ambos observadores de 0,7, medido a través del coeficiente de correlación intraclase (CCI). A su vez, se estimó un rango de variabilidad entre 0,6 y 0,8, tolerando un error alfa de 0,05. Previo al cálculo, se realizó la transformación z de Fisher del coeficiente de correlación intraclase para poder asumir su distribución normal.
La variabilidad interobservador se midió entre los dos médicos que participaron en la prueba piloto. Cada uno de ellos evaluó los 129 artículos en forma independiente.
No se dio a conocer la fecha ni el medio de publicación.
La variabilidad intraobservador fue medida en el médico de familia, quien reevaluó los mismos 129 artículos luego de 30 días de haber finalizado su primer calificación.
La consistencia interna se midió en forma individual para cada uno de los dos observadores.
]]> Medición de la calidad y nivel de lecturaLa médica pediatra que participó de las etapas anteriores fue la encargada de realizar ambas actividades. Se utilizó una muestra de 210 artículos. Los mismos se seleccionaron a partir de la población de estudio mediante un muestreo aleatorio simple. Se analizaron 70 artículos por cada año. No se dio a conocer la fecha ni el medio de publicación.
Para calcular el tamaño muestral se realizaron las siguientes asunciones: 1) obtener un poder para el estudio de 0,85; 2) aceptar un error alfa de 0,05; 3) poder diferenciar 6 puntos en el nivel de calidad, sobre un marcador total de 45 puntos, entre los diferentes años que se iban a comparar; 4) se consideró obtener una desviación estándar de la calidad de 10 puntos; 5) dado que se compararon tres grupos, se utilizó un factor de corrección de 0,82 en la fórmula empleada.
El instrumento utilizado para medir la calidad fue la versión definitiva del ISQ adaptado y validado al idioma español en Argentina (ver anexo). La escala numérica de medición, resultante de la sumatoria de todos los ítems (marcador total), se transformó en un marcador de calidad con rango de 0 a 100 puntos para facilitar su comparación.
El nivel de lectura requerido para la comprensión de textos se midió a través del método gráfico de FRY validado al idioma español (14). Utiliza una escala de medición numérica, en el que el valor resultante representa el equivalente en grados de escolarización. Dicho valor se obtiene al relacionar a través de un gráfico cartesiano, el número de sílabas cada 100 palabras con el número de oraciones cada 100 palabras.
Análisis estadístico
Para medir la concordancia interobservador e intraobservador se utilizó el coeficiente de correlación intraclase (CCI). La estimación central se calculó con base en el análisis de varianza (ANOVA) para medidas repetidas. Los IC95% se calcularon mediante la transformación z de Fisher.
La consistencia interna se midió a través de la correlación entre cada ítem con el marcador total, y mediante el coeficiente alfa de Cronbach. Ambas mediciones se corrigieron mediante la eliminación del ítem analizado en cada cálculo de correlación.
Para explorar la relación entre calidad de información, medios de prensa, año de publicación, extensión del artículo y nivel de lectura, se construyó un modelo de regresión lineal múltiple. La variable medios de prensa se incluyó al modelo en forma dicotómica. En la categoría 1 se incluyeron las notas publicadas en Clarín o La Nación, ya que son los medios más reconocidos y de mayor circulación a nivel nacional. En la categoría 0 se agruparon las notas publicadas en el resto de los medios.
La variable año de publicación se incluyó como variable indicadora, tomando como categoría de referencia el año 2001. El resto de las variables se incluyeron de forma numérica.
]]> Para seleccionar las variables asociadas a calidad, se comenzó incorporándolas al modelo todas juntas. El efecto confundidor se evaluó al retirar las variables de a una cada vez, tomando como parámetro la modificación del coeficiente b en más del 15%. Los supuestos de homocedasticidad, linealidad, normalidad e independencia se cumplieron en forma satisfactoria. No se observó multicolinealidad entre las variables regresoras.Se tomó como valor de significancia estadística un valor alfa de 0,05.
Se utilizó el programa estadístico Stata 7.0 para el análisis de los datos.
Resultados
Adaptación transcultural
Durante el proceso de adaptación transcultural, previo a la prueba piloto, se decidió anexar un ítem local (ítem 4) al cuestionario original, quedando un instrumento definitivo con 9 ítems (ver anexo). Las opciones de respuesta para el nuevo ítem fueron escogidas por los autores de la investigación, y su validez fue probada en la fase piloto por los evaluadores.
Evaluación de la confiabilidad
En el
cuadro 1 se resume la calificación asignada por cada observador. Puede notarse un efecto piso marcado en todos los ítems excepto en el ítem 1, en el cual contrariamente se observó un efecto techo.
La correlación promedio entre todos los pares de ítems (alfa de Cronbach global) fue de 0,87 y 0,89 para cada uno de los médicos. La correlación entre el ítem 1 y el marcador total de calidad (correlación ítem-marcador total corregido) presentó los valores más bajos. En el
cuadro 3 se muestra la consistencia interna comparativa entre ambos médicos, y se analiza la variabilidad de la misma al eliminar el nuevo ítem incluido (ítem 4).
Medición de la calidad, nivel de lectura y relación entre variables
El tiempo promedio empleado para medir la calidad científica fue de 15 minutos por artículo. En el
cuadro 4 se resume el marcador de calidad asignado y su distribución, según cada ítem y según la sumatoria de los 9 ítems. Pudo notarse un efecto piso significativo en los ítems 3, 5, 6, 7, 8 y 9; el más relevante se notó en el ítem 6, el cual se refiere a la precisión estadística de los resultados.
A través del análisis bivariado se halló asociación estadísticamente significativa entre calidad y año de publicación, y entre calidad y número de palabras del artículo (
cuadro 6). Los artículos que fueron publicados en el 2002 tuvieron, en promedio, un marcador de calidad de 9,17 puntos mayor que aquellos artículos publicados en el 2001. Por su parte, la magnitud de la asociación entre el número de palabras y la calidad carece de significado relevante, ya que es necesario incrementar 120 palabras para que la calidad mejore 1 punto sobre un máximo posible de 100.
Al incorporar las 4 variables al modelo múltiple, no pudo probarse la existencia de asociación entre el marcador de calidad y el grado de lectura, ni tampoco entre el marcador de calidad y el medio de prensa. Se mantuvo la asociación observada en el análisis divariado. No se comprobó efecto confundidor entre las variables. El modelo definitivo se muestra en el
cuadro 7. La capacidad pronóstica de este modelo (R2 ajustado) fue de 0,0881. Esto implica que el año de publicación y el número de palabras permite explicar menos del 10% de la variabilidad del marcador de calidad.
Discusión
]]> Adaptación transculturalLa decisión de anexar un ítem local (ítem 4) al cuestionario original se debió a que se consideró de fundamental importancia para la calidad de un reporte, describir con claridad la intervención. La mayoría de las guías de evaluación de estudios científicos, basadas en consenso de expertos, incluyen como uno de los principales ítems la descripción detallada de la intervención, sea ésta una prueba diagnóstica, una exposición a una daño, o una intervención terapéutica o preventiva (10-13). Dichas guías fueron desarrolladas posteriormente al ISQ, por lo cual se consideró pertinente actualizar el instrumento agregando un ítem referido a la intervención.
Confiabilidad del instrumento
Para poder interpretar los valores del coeficiente de correlación intraclase (CCI), una de las clasificaciones más utilizadas es la de Fleiss (15). Valores mayores a 0,90 indican una concordancia muy buena, mientras que un coeficiente menor a 0,30 es malo o nulo; entre 0,31 y 0,50, el acuerdo es mediocre; entre 0,51 y 0,70, moderado, y entre 0,71 y 0,90, bueno.
Por otro lado, los valores de alfa de Cronbach entre 0,70-0,90 indican una consistencia interna óptima (16).
Con base en estas clasificaciones, se puede decir que la concordancia interobservador fue moderada para la mayoría de los ítems y, en algunos casos, mediocre. En el ítem 1 se observó el menor grado de acuerdo, lo cual resultó en una clasificación discordante en 87 pares de artículos.
Por su parte, la concordancia intraobservador fue buena y, en algunos casos, moderada. En el ítem 6 hubo una concordancia excelente. Una posible explicación sería que esta pregunta presentó las calificaciones más bajas en ambas oportunidades, mostrando un efecto piso del 74,4% en la primera evaluación y 72% en la segunda. Al ser claramente mala la calidad de este punto, es de esperar que la correlación sea elevada ya que se facilita la calificación. Esto puede reafirmarse aún más, si tenemos en cuenta que el marcador de este ítem fue el más bajo en toda la población de estudio (
cuadro 4).Por último, la consistencia interna fue óptima y no se observaron diferencias al realizar el análisis con el ítem local y sin él (ítem 4). La correlación entre el ítem 1 y el marcador total de calidad fue la más baja de todos los pares (
cuadro 3). Esto puede atribuirse a la calificación elevada del ítem 1 en contraposición con el resto. Dicha calificación podría explicarse con base en que en los artículos periodísticos seleccionados realmente se detalla con claridad la población; o bien, debido a que el ítem es confuso, lo cual puede inferirse a partir de su concordancia interobservador mediocre. El ítem 9 mostró la correlación más alta con el marcador total de calidad, lo cual reafirma su carácter transicional (cuadro 3).Un aspecto importante a tener en cuenta al interpretar los resultados de la confiabilidad, es que los evaluadores fueron personas con experiencia en investigación y, además, participaron del proceso de adaptación transcultural. Esto podría sobreestimar los resultados y, además, limitar la utilización del instrumento a profesionales entrenados. Este sesgo se introdujo intencionalmente con la finalidad de obtener resultados más precisos en el proceso de evaluación de calidad.
Como conclusión podemos decir que, a pesar de contar con un instrumento con propiedades psicométricas aceptables, es necesario seguir mejorando las mismas.
]]> Calidad de la información, nivel de lectura y relación entre variablesCon respecto a la calidad de la información puede concluirse, pese a no contar con parámetros previos de comparación, que la misma fue deficitaria. Dicho déficit fue, en promedio, del 73,5%
Con base en el censo del 2001, aproximadamente, 33% de la población mayor de 15 años tenía un nivel de escolarización mayor al 10 grado. Por consiguiente, dado que el nivel de lectura requerido para comprender los textos fue, en promedio, de 10,4 grados de escolaridad, al menos, 66% de la población mayor de 15 años no pudo comprender adecuadamente la información en salud publicada en la prensa gráfica. Sería recomendable tratar de lograr una redacción acorde a un nivel de 7 grado ya que, de esta forma, 83% de los ciudadanos mayores de 15 años podría comprender la información.
Entre las variables analizadas no se encontraron asociaciones relevantes que ayuden a comprender la baja calidad.
Con base en los resultados obtenidos, surge la necesidad de identificar barreras y facilitadores para la mejora de la calidad de la información, proponer intervenciones y evaluar las mismas con un instrumento adecuado que permita el seguimiento de la información a lo largo del tiempo.
En síntesis, se ha obtenido una versión argentina del ISQ para evaluar la calidad de la información de salud en la prensa gráfica con aceptable confiabilidad, y se observó una baja calidad de la información. Con base en estos resultados, surge la necesidad de proponer ciclos continuos de mejora de la calidad de la información de salud.
Agradecimientos
A Andrew Oxman por autorizar la utilización y adaptación del ISQ.
Conflicto de intereses
Los autores declaran no tener conflictos de intereses.
Financiación
Esta investigación ha sido subsidiada por la Comisión Nacional de Programas de Investigación en Salud (CONAPRIS) del Ministerio de Salud y Ambiente de la Nación Argentina, beca "Carrillo- Oñativia 2003" con apoyo del Centro de Investigaciones Epidemiológicas (CIE) de la Academia Nacional de Medicina.
Correspondencia:
Emiliano Biondo, Pellegrini 241, Esquel, 9200, Chubut, Argentina.
Teléfono: (02945) 453 234 y (02945) 451 461
]]> lapiruja@yahoo.esRecibido: 20/12/04; aceptado: 09/06/05
Referencias
1. Lupton D, Chapman S. Two studies of public health news. In: Chapman S, Lupton D, eds. The fight for public health: principles and practice of media advocacy. London: BMJ Publishing Group;1994:58-95 [ Links ]
2. Wright WR. Mass media as sources of medical information. J Commun 1975;25:171-3 [ Links ]
3. Grilli R, Freemantle N, Minozzi S, Domenighetti G, Finer D. Mass media interventions: effects on health services utilisation. Cochrane Database Syst Rev 2000;2:CD000389. [ Links ]
4. Mac Donald MM, Hoffman-Goetz L. A retrospective study of the accuracy of cancer information in Ontario daily newspapers. Can J Public Health 2002;93:142-5. [ Links ]
5. Johansen LW, Bjorndal A, Flottorp S, Grotting T, Oxman AD. Evaluation of health information in newspapers and brochures. What can we believe? Tidsskr Nor Laegeforen 1996;116:260-4. [ Links ]
6. Mercado-Martínez FJ, Robles-Silva L, Moreno-Leal N, Franco-Almazan CJ. Inconsistent journalism: the coverage of chronic diseases in the mexican press. J Health Commun 2001;6:235-47. [ Links ]
7. Wells J, Marshall P, Crawley B, Dickersin K. Newspaper reporting of screening mammography. Ann Intern Med 2001;135:1029-37. [ Links ]
8. Oxman AD, Guyatt GH, Cook DJ, Jaeschke R, Heddle N, Keller J. An index of scientific quality for health reports in the lay press. J Clin Epidemiol 1993; 46:987-1001. [ Links ]
9. Larsson A, Oxman AD, Carling C, Herrin J. Medical messages in the media-barriers and solutions to improving medical journalism. Health Expect 2003;6: 323-31. [ Links ]
10. Jaeschke R, Guyatt G, Sackett D. Users’ guides to the medical literature, III: how to use an article about a diagnostic test, A: are the results of the study valid? Evidence-Based Medicine Working Group. JAMA 1994; 271:389-91 [ Links ]
11. Guyatt G, Sackett D, Cook D J. Users’ guides to the medical literature, II: how to use an article about therapy or prevention, A: are the results of the study valid? Evidence-Based Medicine Working Group. JAMA 1993; 270:2598-601. [ Links ]
12. Levine M, Walter S, Lee H, Haines T, Holbrook A, Moyer V. Users’ guides to the medical literature, IV: how to use an article about harm. Evidence-Based Medicine Working Group. JAMA 1994;271:1615-9. [ Links ]
13. Greenhalgh T. How to read a paper. Assesing the methodological quality of published papers. BMJ 1997; 315:305-8 [ Links ]
14. Gilliam B, Pena S, Moutain L. The Fry graph applied to Spanish readability. The Reading Teacher January 1980:426-430 [ Links ]
15. Fleiss JL. The measurement of interrater agreement. En: Fleiss JL, editor. Statistical methods for rates and proportions. 2ª ed. Toronto: Willey press, 1981; p 212-36. [ Links ]
16. Streiner DL, Norman GR. Health measurement scales. A practical guide to their development and use. 2ª ed. Oxford: Oxford University Press, 1995; p 65
. [ Links ] ]]>