Trabajo original

Acuerdo intra-interobservador en las pruebas Minimental State Examination (MMSE) y Montreal Cognitive Assessment (MoCA test) aplicados por personal en entrenamiento

Intra and interrater reliability of the Minimental State Exmination (MMSE) and Montréal Cognitive Assessment (MoCA test) applied by health personnel in training.

Olga Lucía Pedraza (1, 2), Fabio Sierra (3), Ana María Salazar (4), Adriana Margarita Hernández (5), María José Ariza(6), María Camila Montalvo (1, 2), Juliana Plata (1, 2), Yolanda Muñoz (6), José Miguel Díaz (6), César Piñeros (3)

(1) Grupo Interdisciplinario de la Memoria, Hospital Infantil Universitario de San José, Bogotá, Colombia.
(2) Grupo de Neurociencias, Fundación Universitaria de Ciencias de la Salud,, Bogotá, Colombia.
(3) División de Investigación, Fundación Universitaria de Ciencias de la Salud, Bogotá, Colombia.
(4) Facultad de Psicología, Universidad El Bosque, Bogotá, Colombia.
(5) Semillero de Neurociencias, Facultad de Medicina, Fundación Universitaria de Ciencias de la Salud, Bogotá, Colombia.
(6) Facultad de Enfermería, Fundación Universitaria de Ciencias de la Salud, Bogotá, Colombia.

Recibido: 20/10/15. Aceptado: 29/01/16.
Correspondencia: Olga Lucía Pedraza: opedraza@hospitalinfantildesanjose.org.co.

Resumen

Introducción: en el proceso del diagnóstico neuropsicológico, los instrumentos de tamizaje cognitivo, son una herramienta útil en la identificación de cambios mentales del sujeto, en momentos puntuales o a través del tiempo. Su uso se fundamenta en el análisis psicométrico.

Objetivo: determinar el acuerdo inter e intra-observador en el MoCA test y el MMSE, aplicado por profesores y estudiantes en procesos de entrenamiento de tamización cognitiva.

Materiales y métodos: a los estudiantes y profesores en entrenamiento en la puntuación del MoCA test y el MMSE, se les presentó un video en dos sesiones, con un intervalo de 5 meses, mostrando el desempeño de dos adultos mayores, respondiendo el MoCA test y el MMSE, previo consentimiento informado. Se compararon los puntajes dados en las dos sesiones por los sujetos en entrenamiento, con los de ellos mismos (intra-observador), usando el coeficiente de concordancia y correlación de Lin(rho) y con los del grupo restante (inter-observador) usando el coeficiente de correlación intra-clase (ICC).

Resultados: participaron 46 evaluadores. Se encontró alta confiabilidad inter-observador para el MoCA (ICC=0.86), pero baja para el MMSE (ICC=0.24) y baja confiabilidad intra-observador tanto para el MoCA (rho paciente 1=0.012 y rho paciente 2=0.152) como para el MMSE (rho paciente 1=0.008 y rho paciente 2=0.012). Aunque los puntajes difirieron, las clasificaciones diagnósticas realizadas por los evaluadores fueron similares a las del patrón de oro.

Conclusión: la correcta aplicación del test, requiere varios entrenamientos, y aunque hubo pocas diferencias entre los puntajes, los errores cuando se está cerca del punto de corte propuesto, aumentan el riesgo de sesgo.

Palabras clave: Confiabilidad. Interobservador. Intraobservador. Montreal cognitive Assessment test (MoCA test). Minimental State Examination (DeCS).

Summary

Introduction: The instruments for screening cognitive functions, applied to subjects in clinical settings and research, are useful for determining if this person has any trouble in cognition or show changes in the time. The usefulness of these instruments is defined with the evaluation of their psychometrics properties.

Objective: This study allows to determine the intra and inter-observer agreement, when the MoCA test and MMSE were applied by a group in training process

Materials and methods: The study group who attended two training sessions, with an interval of 5 months, scored the MoCA test and MMSE, from two patients which were filmed responding the tests, previous informed consent signature. We compared how close were the scores of participants among themselves by concordance correlation coefficient of Lin (rho) and with those given from the others by intra-class correlation coefficients (ICC).

Results: In total, 46 participants were included. Intra-rater reliability was high for MoCA test (ICC = 0.86), but it was poor for MMSE (ICC=0.24). Inter-rater was poor for MoCA test (rho patient 1= 0.012, rho patient 2= 0.152) and MMSE (rho patient 1 = 0.008, rho patient 2 = 0.012). Although the scores between participants and gold standard were different, the diagnoses were similar.

Conclusion:The correct scoring of the test, requires several trainings to clinical and research groups, and although they can be found few differences between scores applied by non-expert personnel, if the scores mistakenly given, are close to the cut-of point proposed for each test, the bias increases.

Key words: Reliability. Inter and intra-observer screening. Montreal Cognitive Assessment test. Minimental State Examination (MeSH).

Introducción

La evaluación cognitiva en atención clínica y en investigación, requiere con frecuencia del uso y la aplicación de test cognitivos breves, que logren proporcionar, una medida global de los cambios ocurridos en procesos de deterioro cognitivo y demencia. Dentro de ellos, el Minimental State Examination (MMSE), se describe como una de las herramientas cortas más utilizada en atención primaria para tal fin (1). Recientemente, se han desarrollado nuevos instrumentos, como el Montreal Cognitive Assessment test (MoCA), que gracias a su alta confiabilidad y validez (2, 3), se postula como una alternativa confiable y válida para la tamización de los cambios cognitivos en la detección del deterioro cognitivo leve (DCL), que puede ser una mejor alternativa al uso del MMSE (2, 3, 4, 5). No obstante, tal y como lo plantean García et al (6), para que un test sea considerado útil, debe cumplir con características como una alta validez y confiabilidad, buena consistencia interna test-retest y fiabilidad inter-observador.

Sin embargo, la sola utilización de instrumentos breves no garantiza un juicio clínico acertado al momento del diagnóstico, Price et al (7), describen que la aplicación, interpretación y puntuaciones de instrumentos como MoCA test y el MMSE, pueden verse influenciadas por la experiencia del evaluador. En un estudio sobre variabilidad inter-observador en la lectura de electroencefalogramas, Miranda (8) describe la variabilidad que puede existir en la práctica clínica, entre dos o más observadores, en la interpretación de pruebas y en el examen de un mismo paciente, situación que influye directamente en la toma de decisiones para el pronóstico y tratamiento clínico; y como sugieren Roos (9) y Simo-Miñana (10), en sus estudios sobre la variabilidad de los patrones diagnósticos en la práctica clínica; ésta debe ser considerada como un problema particularmente visible, dadas las posibles implicaciones en la toma de decisiones de los clínicos, que impacta en la salud de los pacientes.

El objetivo de este estudio es describir el acuerdo intra-obsevador e inter-observador de puntajes dados al aplicar el MMSE y el MoCA test, a dos pacientes con deterioro cognitivo, por el personal en entrenamiento.

Materiales y Métodos

Participantes

El presente es un estudio observacional descriptivo, en el que se incluyeron 46 estudiantes y profesores de las facultades de medicina y enfermería de la Fundación Universitaria de Ciencias de la Salud y de psicología de la Universidad El Bosque, quienes estaban en proceso de entrenamiento para la aplicación del MoCA test y el MMSE.

Procedimiento

Se realizaron dos sesiones de entrenamiento en la aplicación de los dos instrumentos, con un intervalo de 5 meses. En cada sesión se proyectó un video correspondiente a la evaluación de dos pacientes (pacientes 1 y 2), quienes firmaron el consentimiento informado previamente a su evaluación y filmación. Los participantes calificaron de manera individual e independiente cada test, para cada uno de los pacientes; la calificación de la segunda sesión se realizó en forma ciega en relación a los resultados de la primera.

Los puntajes dados por los participantes a cada uno de los ítems de los test, fueron registrados en una base de datos. Se obtuvo la autorización del autor del MoCA test, Dr. Nasreddine, para su utilización en el estudio.

Análisis estadístico

A partir de los puntajes dados por los participantes en las pruebas aplicadas a los dos pacientes, se evaluaron los acuerdos inter e intra-observador.

Para evaluar el acuerdo intra-observador, entre los dos momentos de aplicación, se utilizó un coeficiente de concordancia y correlación de Lin (rho) (11), y se calcularon los límites de Bland y Altman (12). Se utilizó este coeficiente porque el puntaje se consideró como una variable cuantitativa y porque además de evaluar la correlación entre las dos valoraciones, tiene en cuenta las diferencias que pueden existir entre las mismas; ha sugerido un acuerdo casi perfecto para valores mayores a 0,99; sustancial para valores entre 0,95 y 0,99, moderado para valores entre 0,90 y 0,95 y cuando los valores están por debajo de 0,90 se considera pobre acuerdo (11, 12, 13). Los límites de Bland y Altman representan la diferencia entre las evaluaciones, comparada con el promedio entre las mismas; las diferencias que se encuentren a más de 1.96 desviaciones estándar pueden considerarse clínicamente importantes (14). Adicionalmente se consideró la frecuencia de participantes que disminuyeron, mantuvieron igual, o aumentaron su calificación en la segunda sesión, y la frecuencia con la que el cambio del puntaje, daba lugar a un cambio de clasificación diagnóstica (deterioro cognitivo versus no deterioro).

Para evaluar el acuerdo en la calificación entre los puntajes de los evaluadores en entrenamiento o acuerdo inter-observador, se hicieron dos cálculos. El primero consistió en un coeficiente de correlación intra-clase, en el que se consideró el puntaje como una variable cuantitativa; se asumió un modelo de dos vías y se calculó tanto el acuerdo como la consistencia entre los evaluadores (15).

En el segundo análisis se consideró el puntaje de manera cualitativa (con deterioro versus sin deterioro) para lo cual se empleó un coeficiente tipo Kappa usando el procedimiento propuesto por Davies y Fleiss en el que más de dos evaluadores valoran a cada sujeto (16).

Para determinar si la calificación dada por los participantes en entrenamiento difería de la correcta (dada por la neuropsicóloga experta, patrón de oro, quien realizó un protocolo completo de evaluación previamente), se calculó el promedio de los puntajes dados por los evaluadores y se determinó si este valor difería en forma estadísticamente significativa del valor correcto (patrón de oro); para esto se realizó una prueba t para diferencia de medias, asumiendo como hipótesis nula un valor de la media igual al patrón de oro. Así mismo, se determinó si el puntaje dado llevó a clasificaciones incorrectas calculando su frecuencia relativa. Todos estos análisis se realizaron asumiendo un error tipo I de 0.05 con los paquetes estadísticos Stata 13® y R usando la librería irr (17).

Resultados

El puntaje obtenido en el MoCA test aplicado por la neuropsicóloga (patrón de oro) fue 24 y 23 para los pacientes 1 y 2 respectivamente, mientras que el puntaje obtenido en el MMSE fue 27 y 29. Según el MoCA los pacientes presentaron deterioro cognitivo (≤25) pero según el MMSE no lo presentaban (≥24). Fueron entrenados 46 participantes: 24 estudiantes de enfermería (52,1%), 3 estudiantes de medicina (6,5%), 3 profesores (6,5%) y 16 estudiantes de psicología (34,7%); sin embargo, solo 12 de ellos (23,9%) evaluaron a los pacientes en los dos momentos.

La Tabla 1 presenta los datos de los participantes, asistentes a las dos sesiones de evaluación, que asignaron un puntaje igual al del patrón de oro (puntaje correcto) y la frecuencia de clasificaciones diagnósticas (normal versus DCL) a las que dio lugar su puntaje. Se observó una menor frecuencia de puntajes incorrectos con la aplicación del MMSE; sin embargo, la clasificación diagnóstica fue similar a la dada por el patrón de oro con los dos test. Excepto para el paciente 1 en su primera evaluación.

Acuerdo intra-observador

El acuerdo entre la primera y la segunda evaluación fue muy pobre al considerar el puntaje bruto (coeficiente de concordancia y correlación de Lin < 0,2); sin embargo, la diferencia entre los puntajes fue mínima (cercana a 0), y los límites de Bland y Altman fueron estrechos. Esta pobre correlación fue evaluada calculando cuántos participantes aumentaron, mantuvieron igual o disminuyeron su puntuación en la segunda evaluación, y cuántos cambiaron el diagnóstico; se encontró una tendencia a la disminución en los puntajes asignados en la segunda sesión. El cambio de diagnóstico se observó en 3 de los 12 participantes (25%) de acuerdo con el MoCA aplicado al sujeto 1 (Tabla 2).

Acuerdo inter-observador

El coeficiente de correlación intra-clase, considerando el puntaje cuantitativo dado por los evaluadores, fue para el MoCA de 0.86 (IC95%: 0.72 a 0.96) tanto en consistencia como en acuerdo entre los evaluadores. Para el MMSE el valor del coeficiente fue menor, tanto para el acuerdo 0.24 (IC 95%: 0.02 a 0.85), como para la consistencia 0.21 (IC 95%: 0.01 a 0.83) entre los evaluadores.

Clasificación diagnóstica (Deterioro cognitivo o normal)

El coeficiente tipo Kappa para más de dos evaluadores, considerando la clasificación dada por los mismos, fue para el MoCA de 0,301 (p<0,001), y para el MMSE no se realizó el cálculo teniendo en cuenta que todos los evaluadores clasificaron como normal a los dos sujetos en las dos sesiones.

Al analizar qué tanto difirió el puntaje dado por los participantes en entrenamiento en relación al puntaje correcto (patrón de oro) se encontró un promedio similar al valor correcto, y aunque difirió en forma estadísticamente significativa, excepto para el paciente 2 en la segunda aplicación del MoCA, no tuvo impacto en el diagnóstico clínico (Tabla 3).

Discusión

El presente estudio se basó en dos supuestos; el primero, el entrenamiento en la calificación e interpretación de instrumentos cortos de tamización para el rastreo de cambios cognitivos, garantiza menos sesgos y errores a la hora de su utilización con pacientes, por lo que se esperaría que bajo un buen entrenamiento, se evidencie un alto acuerdo inter e intra- observador. El segundo, la puntuación dada por los instrumentos cortos de evaluación, es considerado como una base aproximada al diagnóstico real en la práctica clínica, por lo que se esperaría que las puntuaciones de los instrumentos, correspondan con el diagnóstico de los pacientes.

En cuanto al primer supuesto, nuestros resultados mostraron pobre correlación entre las mediciones intra - observador en ambas pruebas, con una tendencia a la disminución de la puntuación en la segunda evaluación. Este hecho puede deberse a factores como el aprendizaje generado durante el primer entrenamiento, el tiempo transcurrido entre las dos sesiones de entrenamiento, el número de sesiones de entrenamiento, y a la dificultad en la calificación de los test, cuando ésta se acerca el punto de corte. En cuanto al acuerdo inter-observador, ésta fue mayor en el test de MoCA, mostrando mayor fiabilidad de este instrumento, a pesar de la distancia en el tiempo de medida.

En cuanto al segundo supuesto, nuestros resultados evidenciaron que al comparar los diagnósticos dados por el MoCA y el MMSE (DCL y normal); con el diagnóstico dado por la neuropsicóloga experta, DCL para ambos pacientes, solamente el test de MoCA, logró una clasificación correcta, esto no se observó con el MMSE en ninguno de los dos pacientes, dando lugar a una clasificación diagnóstica falsa negativa, lo que ya ha sido descrito con este instrumento en estudio previos (18-21).

La importancia de este hallazgo evidencia que el uso de instrumentos rigurosos y confiables, ayuda a disminuir el sesgo diagnóstico. Si bien, el MoCA es considerado un test más exigente que el MMSE, también es un instrumento más fiable (18 -21). Por lo tanto debería considerarse el uso del MoCA, en la evaluación del DCL y la demencia, antes que el MMSE; dado que se demuestra que puede apoyar el proceso diagnóstico, disminuyendo el error de clasificación clínica (falsos negativos o falsos positivos).

Conclusión

La correcta aplicación de los test requiere varios entrenamientos a los grupos de clínicos e investigadores y a pesar de que se encontraron pocas diferencias entre los puntajes dados por el personal poco experto en relación al puntaje real, si estos se acercan al punto del corte propuesto para cada test, aumenta el riesgo de sesgos. El uso de un instrumento de evaluación neuropsicológica adecuado y confiable, tanto en clínica como en investigación, permite optimizar tiempo y mejorar la precisión diagnóstica, dado que los factores asociados al instrumento de medida, también pueden influir en la variación de las mediciones.

Agradecimientos

A nuestros dos pacientes por aceptar ser filmados y analizados, a los estudiantes de enfermería de la FUCS y de psicología de la Universidad El Bosque. Agradecemos a los profesores de enfermería de la FUCS y del Grupo Interdisciplinario de la Memoria del HIUSJ que apoyaron el entrenamiento. A Alexandra Rodríguez, quien realizó la filmación de los pacientes.

Conflicto de intereses

Los autores declaran no tener conflicto de intereses.

Referencias

1. FOLSTEIN MF, FOLSTEIN SE, MCHUGH PR. "Mini-mental state". A practical method for grading the cognitive state of patients for the clinician. Journal of psychiatric research. 1975;12(3):189-98.         [ Links ]

2. NASREDDINE ZS, PHILLIPS NA, BEDIRIAN V, CHARBONNEAU S, WHITEHEAD V, COLLIN I, ET AL. The Montreal Cognitive Assessment, MoCA: a brief screening tool for mild cognitive impairment. J Am Geriatric Soc. 2005;53(4):6959.         [ Links ]

3. ROSSETTI HC, LACRITZ LH, CULLUM CM, WEINER MF. Normative data for the Montreal Cognitive Assessment (MoCA) in a population-based sample. Neurology. 2011;77(13):1272-5.         [ Links ]

4. AREVALO-RODRIGUEZ I, SMAILAGIC N, ROQUE IFM, CIAPPONI A, SANCHEZ-PEREZ E, GIANNAKOU A, ET AL. Mini-Mental State Examination (MMSE) for the detection of Alzheimer's disease and other dementias in people with mild cognitive impairment (MCI). The Cochrane database of systematic reviews. 2015;3:CD010783.         [ Links ]

5. ALVES, FREITAS, SIMOE. Montreal Cognitive Assesment (MoCA): Normative study for portuguese population. (2011); 3 (23):37- 41.         [ Links ]

6. GARCÍA-CORPAS JP, ESQUIVEL PRADOS E, PAREJA MARTÍNEZ E. Fiabilidad de los cuestionarios utilizados en ciencias de la salud. Ars Pharm.(2014);55(3): 46-48.         [ Links ]

7. PRICE CC, CUNNINGHAM H, CORONADO N, FREEDLAND A, COSENTINO S, PENNEY DL, ET AL. Clock drawing in the Montreal Cognitive Assessment: recommendations for dementia assessment. Dement GGeriatr Cogn Disord. 2011;31(3):179-87. doi:10.1159/000324639        [ Links ]

8. MIRANDA-NAVA G, SHKUROVICH-BIALIK P, ORTEGA-PONCE F. Variabilidad interobservador en la lectura de EEGs mediante una escala electroencefalografica estandarizada de la Cleveland Clinic Foundation. Rev Mex Neuroci. 2012;13(6):306-313.         [ Links ]

9. ROOS N, ROOS L. Variaciones entre zonas pequeñas, estilo de práctica y calidad asistencial. In: Evans R, Barer M, Marmor T, editors. ¿Por qué alguna gente está sana y otra no? Los determinantes de la salud de las poblaciones. Madrid, España Ediciones Díaz de Santos;1996,Vol. 1 p. 253-75.         [ Links ]

10. SIMÓ-MIÑANA J, RIQUELME-MIRALLES DA. Variabilidad en la interpretación de la radiografía de tórax entre una comunidad médica de atención primaria y sus radiólogos de referencia. Aten Primaria. 1998;21(9):599-606.         [ Links ]

11. LIN LI. A concordance correlation coefficient to evaluate reproducibility. Biometrics. 1989;45(1):255-68.         [ Links ]

12. CAMACHO-SANDOVAL J. Coeficiente de concordancia para variables continuas. Acta Méd Costarric [en línea]. 2008;50(4):211-212.         [ Links ]

13. CORTÉS-REYES É, RUBIO-ROMERO JA, GAITÁN-DUARTE H. Métodos estadísticos de evaluación de la concordancia y la reproducibilidad de pruebas diagnósticas. Rev Colomb Obstet Ginecol. 2010;61(número):247-55.         [ Links ]

14. BLAND MJ, ALTMAN D. Statistical methods for assessing agreement betwen two methods of clinical measurement. The Lancet. 1986;327(8476):307-10.         [ Links ]

15. HALLGREN KA. Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial. Tutorials in quantitative methods for psychology. 2012;8(1):23-34.         [ Links ]

16. DAVIES M, FLEISS JL. Measuring Agreement for Multinomial Data. Biometrics. 1982;38(4):1047-51.         [ Links ]

17. GAMER M, LEMON J, FELLOWS I, SINGH P. IRR: Various Coefficients of Interrater Reliability and Agreement. R package version 0.84. 2012.         [ Links ]

18. PAWLOWSKI J, SEGABINAZI JD, WAGNER F, BANDEIRA DR. A systematic review of validity procedures used in neuropsychological batteries. Psychology & Neuroscience. 2013;6(número):311-29.         [ Links ]

19. FRIEDMAN L. Evaluating the Montreal Cognitive Assessment (MoCA) and the Mini Mental State Exam (MMSE) for Cognitive Impairment Post Stroke: A Validation Study against the Cognistat [Electronic Thesis and Dissertation Repository]: University of Western Ontario; 2012.         [ Links ]

20. BLACKBURN DJ, WALTERS S, HARKNESS K. Letter by Blackburn et al Regarding Article, 'Is the Montreal Cognitive Assessment Superior to the Mini-Mental State Examination to Detect Poststroke Cognitive Impairment? A study with Neuropsychological Evaluation'. Stroke, 42(11):e582.         [ Links ]

21. DONG Y1, LEE WY, BASRI NA, COLLINSON SL, MERCHANT RA, VENKETASUBRAMANIAN N, CHEN CL. The Montreal Cognitive Assessment is superior to the Mini-Mental State Examination in detecting patients at higher risk of dementia. Int Psychogeriatr. 2012;24 (11):1749-55. doi: 10.1017/S1041610212001068.         [ Links ]