ARTÍCULOS ORIGINALES DERIVADOS DE INVESTIGACIÓN

ADAPTACIÓN TRANSCULTURAL DE LOS CRITERIOS DIAGNÓSTICOS PARA LA INVESTIGACIÓN DE LOS TRASTORNOS TEMPOROMANDIBULARES (CDI/TTM)

¹ DDS, MS MPH, Universidad Estatal de Nueva York en Búfalo. Doctora en Cirugía Dental. Maestría en Ciencias Orales. Especialización en Periodoncia, Certificación en Dolor Orofacial y Trastornos Temporomandibulares. Maestría en Salud Pública y Edpidemiología. Profesor Asistente y Directora de la Clínica de Dolor Orofacial y Trastornos Temporomandibulares, Universidad Estatal de Nueva York en Búfalo. Correo electrónico: ymg@buffalo.edu

² MD, MS, Universidad de Puerto Rico, Universidad Estatal de Nueva York, Buffalo. Doctora en Medicina Dental, Maestría en Ciencias Orales. Especialización en Periodoncia. Práctica Privada ]]> ³ Orales. Especialización en Periodoncia. Práctica Privada. 3 Doctora en Ciencias de la Salud. Universidad Nacional Autónoma de México. Profesora investigadora de la Benemérita Universidad Autónoma de Puebla, México

RECIBIDO: NOVIEMBRE 20/2012-ACEPTADO:FEBRERO 5/2013

González YM, Miranda-Rivera Y, Espinosa I. Adaptación transcultural de los criterios diagnósticos para la investigación de los trastornos temporomandibulares (CDI/TTM). Rev Fac Odontol Univ Antioq 2013; 25(1): 11-25.

RESUMEN

INTRODUCCIÓN: el objetivo de este trabajo fue establecer la adaptación transcultural de los criterios diagnósticos para la investigación de los trastornos temporomandibulares (CDI/TTM). MÉTODOS: bajo un diseño de estudio prueba reprueba, fueron evaluadas las propiedades psicométricas de los CDI/TTM versión en español. Sujetos bilingües fueron evaluados para probar la congruencia entre las versiones en español e inglés del instrumento; incluidos ambos ejes I (grupo diagnóstico) y II (perfil psicosocial del paciente). RESULTADOS: la confiabilidad del eje I prueba reprueba para la clasificación del diagnóstico fue excelente (Kappa: 1.0). El análisis de confiabilidad de la prueba reprueba del eje I para la clasificación de los diferentes diagnósticos fue excelente (Kappa: 1.0). Para el eje II, el coeficiente de correlación intraclase (CCI) fue calculado para la escala del grado de dolor crónico GDC (0,96), y para la lista de cotejo de la discapacidad mandibular LCDM (0,77), depresión (0,87) y síntomas físicos no específicos (0,98). Adicionalmente se calculó el Alpha de Cronbach para la LCDM (0,89). Correlaciones de Spearman entre los reactivos del eje II mostraron una mediana de la correlación de 0,50 (0,293-0,856) con valores altos entre la LCDM y la GDC. Dichas correlaciones proveen soporte para la consistencia interna de los CDI/TTM en español. CONCLUSIONES: la validez y confiabilidad de los CDI/TTM demostrada se soporta en sus propiedades psicométricas. Su adaptación transcultural permite el uso de dicho instrumento en las poblaciones hispanoparlantes con el objetivo de evaluar el papel de los TTM en esta población.

Palabras clave: trastornos temporomandibulares, validez y confiabilidad, hispanoamericanos, comparaciones transculturales.

INTRODUCCIÓN

Los trastornos temporomandibulares (TTM) son un término colectivo que abarcan un número de problemas clínicos que incluyen la musculatura masticatoria, la articulación temporomandibular (ATM), y otras estructuras asociadas.¹ Los TTM han sido identificados como la principal causa de dolor orofacial de origen no dental y son considerados como una subclasificación de los trastornos músculo-esqueléticos.¹ La prevalencia documentada en la bibliografía en diferentes poblaciones de estudio, oscila entre el 6,3 y el 15% en las mujeres y del 2,8 al 10% en los hombres en los EUA.^2-4 También se ha observado que los TTM tienen un patrón claro relacionado con la edad, con mayor predominio alrededor de los 35 y los 45 años.^{2, 3, 5-7} El componente más importante de los TTM es el dolor orofacial crónico y persistente, que es la principal razón por la que el paciente acude a tratamiento.² La sensibilidad de la musculatura masticatoria y de las ATM en respuesta a la palpación es frecuentemente reportada por los pacientes. El movimiento mandibular restringido y los diferentes sonidos articulares evocados al momento de las excursiones mandibulares son presumiblemente hallazgos clínicos determinantes para diagnosticar ciertos tipos de TTM.⁸

Los criterios diagnósticos para la investigación de los trastornos temporomandibulares (CDI/TTM) ofrecen un sistema estandarizado que puede ser evaluado en su uso en exploraciones, diagnóstico y clasificación de los subtipos más comunes de TTM.⁸ Desde su introducción en 1992, este instrumento ha sido ampliamente utilizado en estudios de investigación y de uso clínico alrededor del mundo.^9-11 Las traducciones de los CDI/ TTM total o parcialmente han sido utilizadas en estudios hechos en diferentes idiomas en los que destacan: alemán, finlandés, francés, hebreo, japonés, español y suizo. Sin embargo, su validez y confiabilidad no ha sido todavía probada en todos los anteriores idiomas como está documentado en el Consorcio Internacional de los RDC/TMD por sus siglas en inglés.

El uso de un instrumento validado en el idioma español permitiría el mejor acceso al diagnóstico de este tipo de trastornos en las comunidades de habla española. Como respaldan los datos del último censo de los EUA, los hispanos representan el 30% de la población de toda la nación y solamente la mitad de ellos reportan que hablan inglés "muy bien". Tener acceso a un instrumento en su idioma natal traerá beneficios a dicha población, ya que les permitiría recibir una evaluación más válida y confiable en relación con los TTM y, en consecuencia, recibir un diagnóstico apropiado.

La adaptación transcultural o equivalente, es el proceso de las modificaciones necesarias del instrumento traducido para que pueda maximizar las propiedades culturales en el idioma y la cultura a la que será traducido. La traducción y la intención de los reactivos individuales deben ser validados dentro de la cultura bajo estudio, para asegurarse de que los participantes en el idioma al que se va a traducir, reciban el significado equivalente que permite la comparación de los datos y su validez externa.¹² Es indispensable determinar si los conceptos existen en la cultura a la que va dirigido el instrumento traducido o si estos conceptos pueden ser utilizados de la misma manera. Lo anterior se lleva a cabo con el análisis de cada reactivo de manera específica. ¹³ Por ejemplo, los CDI/TTM incluyen un cuestionario de autorreporte del paciente, el cual contiene reactivos que pueden ser traducidos en forma semántica con equivalencia a través de los idiomas sin dificultad, tales como: "¿dónde nació?". Por otro lado, existen reactivos más difíciles tales como "¿se siente azul?". "Azul", para la cultura norteamericana es compatible con un estado depresivo, pero para la cultura hispana tal reactivo no tendría la connotación de depresión. De hecho, muchos hispanos caracterizan el "sentimiento azul" como una representación de felicidad.

En general, la adaptación cultural consiste de 5 pasos: a) traducción, la cual debe ser hecha por lo menos por dos traductores bilingües independientes nativos en el idioma al que será traducido (español);^12-15 b) retraducción, para esta traducción, el lenguaje nativo deberá ser el del lenguaje original (inglés) y el segundo idioma debe ser el idioma de la traducción (español); c) comité revisor y revisores; este comité debe proporcionar una versión final del nuevo instrumento con base en las anteriores traducciones obtenidas en los pasos previos. Los miembros de este comité deberán ser un panel multidisciplinario de expertos en la enfermedad o condición tratada, así como en la intención de las medidas y los conceptos bajo estudio;^{14, 16, 17} d) fase de preprueba para equivalencias, esta es la versión final del instrumento, administrado a un grupo de individuos bilingües con el objetivo de detectar discrepancias. Este método puede también ser auxiliar y para detectar cualquier detalle inadecuado de la versión final dentro del contexto cultural (con sujetos bilingües o monolingües),^{14, 17-20} y e) evaluación del instrumento formal, este es administrado en una muestra mayor con el objetivo de evaluar formalmente sus propiedades con las pruebas de validez. Los sujetos deben ser seleccionados de acuerdo con las mismas consideraciones que se listaron en los pasos previos.^{21, 22} Inicialmente, los CDI/ TTM fueron desarrollados en y para el idioma inglés. Su traducción y validación ha sido llevada a cabo por diversas poblaciones no de habla inglesa, permitiendo la aplicación de estudios clínicos transculturales.

El objetivo del presente estudio fue establecer la adaptación transcultural y evaluar la validez y confiabilidad de los CDI/TTM en sujetos bilingües en el area oeste del estado de Nueva York.

El protocolo de estudio fue sometido y aprobado por el Health Sciences Institutional Review Board (HSIRB) de la Universidad Estatal de Nueva York en Búfalo.

Un diseño observacional, transversal, se utilizó para la prueba de campo del instrumento. Un diseño de prueba reprueba se utilizó para evaluar la confiabilidad de los CDI/TTM entre hispanos bilingües. Los CDI/TTM consisten en: a) un cuestionario de antecedentes; b) un formato de evaluación clínica; c) especificaciones para la evaluación clínica, incluido un conjunto de instrucciones verbales que son dadas a los pacientes durante la evaluación física y d) un algoritmo protocolizado para las puntuaciones del CDI/TTM eje I y eje II.^{8, 23-25} Todos los elementos de los CDI/TTM fueron traducidos del idioma original (inglés) al español por un nativo del idioma español, y retraducido al inglés por nativo de este idioma. Un panel multidisciplinario de individuos bilingües y monolingües evaluó cuidadosamente la traducción y elaboró la versión final en el idioma español, la cual fue utilizada en este estudio. Dicho documento puede ser localizado digitalmente en el Consorcio Internacional de los RDC/TMD por sus siglas en inglés.²⁴ Se utilizó un periodo de entrenamiento con el objetivo de dominar las habilidades clínicas para la conducción adecuada de este protocolo de evaluación. Se enfatizó no solamente a nivel clínico sino también a nivel de comandos e instrucciones. La relevancia de la propiedad y consistencia de los comandos en el idioma original y en la versión traducida, no puede ser subestimada, debido al hecho de que pueden directamente afectar los resultados de la confiabilidad intra- e interobservador. El entrenamiento clínico fue conducido por el estándar de referencia (YG) de la Clínica de Dolor Orofacial y Trastornos Temporomandibulares de la escuela de Medicina Dental de la Universidad Estatal de Nueva York en Búfalo. Para la aplicación del eje II de los CDI/TTM, ambas versiones (inglés, español) fueron revisadas con el objetivo de verificar el parelelismo de los reactivos. Las especificaciones de las puntuaciones del eje II se cotejaron para determinar el grado de dolor crónico, así como las puntuaciones de depresión y síntomas físicos no específicos.

Sujetos

La muestra constó de 33 sujetos bilingües con dominio de los idiomas inglés y español, quienes participaron voluntariamente en la etapa de prueba reprueba.

Los sujetos fueron hombres y mujeres con y sin diagnóstico de TTM. Todas las dudas relacionadas con el estudio fueron disipadas y posteriormente cada sujeto otorgó y firmó el consentimiento informado y la autorización de derecho a la confidencialidad ( Health Insurance Portability and Accountability: HIPAA). Todos los cuestionarios y las evaluaciones clínicas se condujeron en ambos idiomas. Con el uso de un diseño paralelo, los sujetos fueron aleatoriamente asignados a uno de los dos grupos (español-inglés o inglés-español). Un intervalo de una hora aproximadamente se dio entre la administración de un cuestionario, su respectiva evaluación y la administración del cuestionario y evaluación en el segundo idioma.

Los criterios de inclusión fueron: sujetos de 18 a 75 años de edad, nacidos en cualquier país cuya lengua materna fuese el español, o ser de la primera generación nacida en Estados Unidos de América de origen hispano, en cuyos hogares se hablara el idioma español, como primera o segunda lengua. Los participantes fueron bilingües con fluidez en ambos idiomas, con claro entendimiento oral y escrito de los mismos.

Cuestionario de antecedentes del paciente

El cuestionario de los CDI/TTM, eje II en ambas versiones, consistió de 31 reactivos divididos en sociodemográficos, socioeconómicos, psicológicos (escalas de depresión y síntomas físicos no específicos, incluidos y excluidos los reactivos de dolor), psicosocial (intensidad y severidad del grado de dolor crónico y la discapacidad); los signos y síntomas del paciente relacionados con el padecimiento y la lista de cotejo de la discapacidad mandibular (limitaciones relacionadas con el funcionamiento mandibular).

Evaluación clínica

Cada participante utilizó 30 minutos aproximadamente para contestar el cuestionario en cada idioma. Una vez completado, las respuestas fueron revisadas frente a los participantes y posteriormente fueron hechas las evaluaciones clínicas. La evaluación fue hecha en aproximadamente 15 minutos. Posteriormente, cada participante fue sometido exactamente al mismo proceso en el segundo idioma como previamente fue descrito, con un espacio de tiempo aproximado de una hora entre la aplicación de un cuestionario (primer idioma) y el otro (segundo idioma).

Proceso de validación

El proceso de validación fue conducido con:

a) Análisis de confiabilidad con un estudio de prueba reprueba de los CDI/TTM; ejes I y II. El cuestionario de antecedentes fue aplicado en la misma clínica a los 33 sujetos.

b) La consistencia interna (validez) del eje II de los CDI/ TTM evaluó la lista de cotejo de la discapacidad mandibular y analizó si los 12 reactivos tienen el mismo dominio conceptual y si se relacionan unos con otros. Así mismo, fueron calculadas las correlaciones entre los diferentes dominios de los CDI/TTM; eje II (factores psicológicos, escala del grado de dolor crónico y discapacidad mandibular).

Análisis estadístico

Para todas las variables de tipo categórico estadística descriptiva y Χ² se calcularon. Adicionalmente la confiabilidad del estudio fue analizada por dos métodos estadísticos: para los datos evaluados con escalas numéricas continuas (milímetros) se utilizó el coeficiente de correlación intraclase (CCI). Para las variables categóricas (presencia o ausencia de sonidos articulares), se utilizó el Alpha de Cronbach con valores de 0,80 ≤ Κ ≤ 1,0 considerados como representativos de una confiabilidad excelente. Valores de 0,60 ≤ Κ < 0,80 fueron interpretados como confiabilidad aceptable y valores de 0,40 ≤ Κ < 0,60 fueron considerados como una confiabilidad moderada. Estos valores fueron tenidos en cuenta para ambos métodos estadísticos.^26-34

Finalmente, se calculó correlación de Spearman para analizar los diferentes dominios de los CDI/TTM eje II. Todo el análisis estadístico fue llevado a cabo con el paquete SPSS v.19.

RESULTADOS

Características de la muestra

En la tabla 1 se muestran las características demográficas de la muestra examinada. La representación por sexo fue balanceada. La mayoría de los sujetos están casados y el ingreso se comportó bimodal; con una cantidad considerable de sujetos cuyo ingreso se encontró por debajo de los 15.000 USD al año y otro grupo considerable de sujetos con ingresos superiores a los 50.000 USD anuales. La edad promedio se encontró entre la cuarta y la quinta década de la vida.

Validez y confiabilidad

Eje I (Grupo Diagnóstico)

El análisis de la información de la prueba reprueba de los 33 sujetos incluidos en el estudio mostró que el acuerdo en todas las mediciones clínicas fue excelente, con altos coeficientes de correlación intraclase CCI (tabla 2). La confiabilidad del diagnóstico de los TTM en la prueba reprueba también fue excelente para todos los tipos de diagnóstico (tabla 3).

Igualmente, la evaluación de la prueba reprueba, demostró excelencia; con CCI de 0,85 en el segundo eje (tabla 4).

La evaluación de la consistencia interna de la lista de cotejo de la discapacidad mandibular (versión en español) demostró un Alpha de Cronbach de 80 en la evaluación de la escala completa. Como se muestra en el tabla 5, algunos valores de Alpha se incrementan ligeramente con la remoción de algunos reactivos evaluados, tales como beber, hacer ejercicio, sonreír y conservar su apariencia facial.

El grado de correlación entre los diferentes dominios de los CDI/TTM eje II (tabla 6) fue calculado con correlación de Spearman, incluidas las subescalas del grado de dolor crónico (GDC), la lista de cotejo de la discapacidad mandibular LCDM, la depresión y los síntomas físicos no específicos SFNE. La puntuación de Spearman fue alta (r ≥ 0,8) para la correlación de las subescalas de LCDM/GDC, moderada (r ≥ 0,4) para las subescalas de depresión/GDC, y para las subescalas de SFNE/LCDM y la correlación fue débil (r < 0,4) para las subescalas SFNE/GDC, depresión/LCDM y depresión/SFNE.

DISCUSIÓN

El hecho de que todos los sujetos incluidos en el estudio fuesen bilingües, representa una de las fortalezas del mismo, ya que el estándar de referencia en este caso, es el mismo instrumento utilizado en su versión en inglés.

Utilizar un instrumento en un lenguaje diferente a aquel en el cual fue originalmente diseñado requiere mucho más que una simple traducción. Es necesario demostrar que la validez y confiabilidad del instrumento traducido es la misma que en el leguaje original, con la misma interpretación de los reactivos, sin que los antecedentes culturales del sujeto influyan en la interpretación de los mismos. Por ejemplo, los problemas de salud pueden ser expresados en diferentes términos de una cultura a otra.

Con el objetivo de evaluar la validez y la confiabilidad de los CDI/TTM, el presente estudio utilizó la metodología sugerida en la literatura.^{16, 25, 38, 39} Lo reactivos en los CDI/TTM están compuestos por diversas escalas con diferentes capacidades psicométricas y la validez y la confiabilidad de la LCDM, basada en la lista de 12 reactivos incluidos en el instrumento, no ha sido evaluada aún en el idioma español.

La consistencia interna de un grupo de reactivos puede ser evaluada con el coeficiente Alpha de Cronbach, que es un índice de confiabilidad para la puntuación total de un conjunto de medidas. Dicho coeficiente puede tomar valores de 1, cuando la varianza de la puntuación total es perfectamente atribuible a los factores comunes que corren a través de los reactivos evaluados.^{40, 41} Para que el índice Alpha de Cronbach sea considerado significativo, el grado de correlación no debe ser menor a 0,4⁴² y los valores más bajos usados como referencia en estudios clínicos son de 0,7.⁴³ En el presente estudio, esta escala fue válida y demostró un índice Alpha global de 0,8; lo cual denota su validez y confiabilidad en los estudios clínicos y la importancia de cada uno de los reactivos de la escala.

Con respecto al análisis de la correlación de Spearman entre los diferentes dominios de los CDI/TTM eje II, demostró excelente correlación (0,85) entre los dominios psicosociales, GDC and LCDM. Las correlaciones entre los dominios psicológicos y psicosociales (SFNE/ LCDM) también fueron buenas 0,418. Las puntuaciones de depresión/GDC también fueron buenas (0,42) y la depresión/LCDM presentó correlación más débil (0,36).

Independientemente del análisis de la escala de los SFNE y de la depresión, la validez de la SCL90 (escala utilizada para evaluar dichos síntomas) ha sido demostrada en español.⁴⁴ Los resultados anteriores aportan evidencia suficiente para determinar que el eje II de los CDI/TTM funciona de manera semejante que el diseño original en inglés. Adicionalmente, el eje II fue analizado con el CCI y sus respectivos IC 95%; la escala de GDC demostró un acuerdo superior al 0,95, la LCDM presentó un acuerdo superior al 0,85, y el CCI de la depresión y los síntomas físicos no específicos fueron similares (0,87 y 0,98, respectivamente).

Finalmente, el análisis de los CDI/TTM eje I demostró un acuerdo excelente con kappa de 1, para todos los tipos de diagnóstico del protocolo, lo cual es consistente con la literatura reportada.^{37, 45}

Los anteriores hallazgos soportan la validez de los CDI/ TTM y su consistencia. Igualmente, otros estudios de investigación han demostrado la validez del instrumento en otros idiomas diferentes al idioma original.^{24, 39, 46}

Las propiedades psicométricas demostradas en el presente estudio (validez, confiabilidad y adaptación transcultural) hacen de los CDI/TTM un instrumento válido y confiable para la evaluación de los TTM en el idioma español.

REFERENCIAS

1. De Leeuw R, Pain AAOO. Orofacial pain. Chicago: Quintessence; 2008.         [ Links ]

2. LeResche L. Epidemiology of temporomandibular disorders: implications for the investigation of etiologic factors. Crit Rev Oral Biol M 1997; 8(3): 291-305.         [ Links ]

3. Isong U, Gansky S. Temporomandibular joint and muscle disorder-type pain in U. S. adults: the National Health Interview Survey. J Orofac Pain 2008; 22(4): 317-322.         [ Links ]

4. National Institute of Dental and Craniofacial Research. TMJ Disorders. [Internet]. USA: National Institutes of Health. 2013 [Consulta 07 Enero 2013]. Disponible en: http://www.nidcr.nih.gov/OralHealth/Topics/TMJ/TMJDisorders. htm         [ Links ]

5. Gonzalez YM. Are temporomandibular disorders a public health problem? Alpha Omegan 2003; 96(2): 11-14.         [ Links ]

6. Lund J, Lavigne G, Dubner R. Orofacial pain from basic sciences to clinical management Chicago: Quintessence; 2001.         [ Links ]

7. Slade GD, Bair E, By K, Mulkey F, Baraian C, Rothwell R et al. Study methods, recruitment, sociodemographic findings, and demographic representativeness in the OPPERA study. J Pain 2011; 12(11): T12-T26.         [ Links ]

8. Dworkin S, LeResche L. Research diagnostic criteria for temporomandibular disorders: review, criteria, examinations. J Craniomandib Disord 1992; 6(4): 301-355.         [ Links ]

9. Goulet JP, Lavigne GJ, Lund JP. Jaw pain prevalence among French-speaking Canadians in Quebec and related symptoms of temporomandibular disorders. J Dent Res 1995; 74(11): 1738-1744.         [ Links ]

10. Lobbezoo-Scholte AM, De Leeuw JR, Steenks MH, Bosman F, Buchner R, Olthoff LW. Diagnostic subgroups of craniomandibular disorders. Part I: Self-report data and clinical findings. J Orofac Pain 1995; 9(1): 24-36.         [ Links ]

11. Manfredini D, Guarda-Nardini L, Winocur E. Research diagnostic criteria for temporomandibular disorders: a systematic review of axis I epidemiologic findings. Oral Surg Oral Med Oral Pathol Oral Radiol Endod 2011;112:453-462.         [ Links ]

12. Undt G, Murakami KI, Clark GT, Ploder O, Dem A, Lang T et al. Cross-cultural adaptation of the JPF-Questionnaire for German-speaking patients with functional temporomandibular joint disorders. J Craniomaxillofac Surg 2006; 34(4): 226-233.         [ Links ]

13. Frank-Stromborg M, Olsen S. Instruments for Clinical Health-Care Research. [libro electrónico]. Canadá: Jones and Barlett Publishers Canadá; 1997 [Consultado 25 Septiembre 2012]. Disponible en: http://books.google. com.mx/books?id=X0SYDt2KWBkCprintsec=copyrighthl=es#v=onepageqf=false         [ Links ]

14. Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol 1993; 46(12): 1417-1432.         [ Links ]

15. Guillemin F. Cross-cultural adaptation and validation of health status measures. Scandinavian J Rheumatol 1995; 24(2): 61-63.         [ Links ]

16. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine 2000; 25(24): 3186.         [ Links ]

17. Beaton D, Bombardier C, Guillemin F. Recommendations for the cross-cultural adaptation of health status measures. New York: American Academy of Orthopedics. Surgeons Institute for Work & Health; 1998.         [ Links ]

18. Escalante A, Lichtenstein MJ, Ríos N, Hazuda HP. Measuring chronic rheumatic pain in Mexican Americans: cross-cultural adaptation of the McGill Pain Questionnaire. J Clin Epidemiol 1996; 49(12): 1389-1399.         [ Links ]

19. Lázaro C, Caseras X, Whizar-Lugo VM, Wenk R, Baldioceda F, Bernal R et al. Psychometric properties of a spanish version of the McGill Pain Questionnaire in several spanish-speaking countries. Clin J Pain 2001; 17(4):365.         [ Links ]

20. Hilton A, Skrutkowski M. Translating instruments into other languages: development and testing processes. Cancer Nursing 2002; 25(1): 1-7.         [ Links ]

21. Geisinger KF. Cross-cultural normative assessment: Translation and adaptation issues influencing the normative interpretation of assessment instruments. Psychological Assessment 1994; 6(4): 304-312.         [ Links ]

22. Peña E. Lost in translation: methodological considerations in cross-cultural research. Child Development 2007; 78(4): 1255-1264.         [ Links ]

23. Dworkin S, Sherman J, Mancl L, Ohrbach R, Le Resche L, Truelove E. Reliability, validity, and clinical utility of the research diagnostic criteria for temporomandibular disorders axis II scales: depression, non-specific physical symptoms, and graded chronic pain. J Orofac Pain 2002; 16: 207-220.         [ Links ]

24. González Y. Criterios diagnósticos para la investigación de los trastornos temporomandibulares CDI/TTM. [Monografía en Internet]. New York: University at Buffalo; 2003. [Consultado 25 Septiembre 2012]. Disponible en: http:// www.rdc-tmdinternational.org/Portals/18/Translations_ RDC/RDC-Spanish.pdf.         [ Links ]

25. John MT, Hirsch C, Reiber T, Dworkin SF. Translating the research diagnostic criteria for temporomandibular disorders into German: evaluation of content and process. J Orofac Pain 2006; 20(1): 43-52.         [ Links ]

26. Lobbezoo F, van Selms MKA, John MT, Huggins K, Ohrbach R, Vissder CM et al. Use of the research diagnostic criteria for temporomandibular disorders for multinational research: translation efforts and reliability assessments in The Netherlands. J Orofac Pain 2005; 19(4): 301-308.         [ Links ]

27. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1): 159- 174.         [ Links ]

28. Mandrekar JN. Measures of interrater agreement. J Thorac Oncol 2011; 6(1): 6-7.         [ Links ]

29. Leher A, Graf K, PhoDuc J-M, Rammelsberg P. Is there a difference in the reliable measurement of temporomandibular disorder signs between experienced and inexperienced examiners? J Orofac Pain 2005; 19(1): 58-64.         [ Links ]

30. Di Eugenio B. On the usage of Kappa to evaluate agreement on coding tasks. [Internet]. [Consultado 25 Septiembre 2012]. Disponible en: http://www.nlp.cs.uic. edu/PS-papers/lrec00.pdf         [ Links ]

31. Di Eugenio B, Glass M. The Kappa statistic: a second look. Computational linguistics 2004; 30(1): 95-101.         [ Links ]

32. Passonneau R, Habash N. Inter-annotator agreement on a multilingual semantic annotation task. Center for Computational Learning Systems. Columbia: University New York; 2006.         [ Links ]

33. Viera AJ, Garrett JM. Understanding interobserver agreement: the kappa statistic. Fam Med 2005; 37(5): 360-363.         [ Links ]

34. Sim J, Wright CC. The kappa statistic in reliability studies: use, interpretation, and sample size requirements. Physical Therapy 2005; 85(3): 257-268.         [ Links ]

35. Andrés AM, Marzo PF. Chance-corrected measures of reliability and validity in K x K tables. Stat Methods Med Res 2005; 14(5): 473-492.         [ Links ]

36. Anderson G, Gonzalez Y, Ohrbach R, Truelove E, Sommers E, Look JO et al. The research diagnostic criteria for temporomandibular disorders. VI: future directions. J Orofac Pain 2010; 24(1): 79-88.         [ Links ]

37. Dworkin SF. Research diagnostic criteria for temporomandibular disorders: current status & future relevance. J Oral Rehabil 2010; 37(10): 734-743.         [ Links ]

38. Look JO, John MT, Tai F, Huggins K, Leton PA, Truelove E et al. The research diagnostic criteria for temporomandibular disorders. II: reliability of Axis I diagnoses and selected clinical measures. J Orofac Pain 2010; 24(1): 25-34.         [ Links ]

39. de Lucena LBS, Kosminsky M, da Costa LJ, de Góes PSA. Validation of the Portuguese version of the RDC/TMD Axis II questionnaire. Braz Oral Res 2006; 20(4): 312-317.         [ Links ]

40. Shojima K, Toyoda H. Estimation of Cronbach's alpha coefficient in the context of item response theory. Shinrigaku Kenkyu 2002; 73(3): 227-233.         [ Links ]

41. Bravo G, Potvin L. Estimating the reliability of continuous measures with Cronbach's Alpha or the intraclass correlation coefficient: Toward the integration of two traditions. J Clin Epidemiol 1991; 44(4-5): 381-390.         [ Links ]

42. Fleiss JL, Levin BA, Paik MC. Statistical methods for rates and proportions. New Jersey: Wiley; 2003.         [ Links ]

43. Streiner DL, Norman GR. Health Measurement Scales. Oxford: Oxford University Press; 2008.         [ Links ]

44. Muñoz C, de Santillana I. Confiabilidad y validez de la SCL-90 en la evaluación de psicopatología en mujeres. Salud Mental 2005; 28(3): 42-50.         [ Links ]

45. Schmitter M, Ohlmann B, John MT, Hirsch C, Rammelsberg P. Research diagnostic criteria for temporomandibular disorders: a calibration and reliability study. Cranio 2005; 23(3): 212-218.         [ Links ]

46. Khoo SP, Yap AUJ, Chan YH, Bulgiba AM. Translating the Research Diagnostic Criteria for Temporomandibular Disorders into Malay: evaluation of content and process. J Orofac Pain 2008; 22(2): 131-138.         [ Links ]

47. John MT, Dworkin SF, Mancl LA. Reliability of clinical temporomandibular disorder diagnoses. Pain 2005; 118(1- 2): 61-69.         [ Links ]