1 MD, MSc, Instituto de Investigación del Comportamiento Humano, Bogotá, Colombia.
Conflictos de interés: El autor manifiesta que no tiene conflictos de interés en este artículo.
Correspondencia ]]>
Adalberto Campo-AriasRecibido para evaluación: 25 de octubre de 2011 Aceptado para publicación: 28 de julio de 2012
Resumen
Objetivo: Establecer la frecuencia del informe de la consistencia interna de las escalas en investigaciones publicadas en la Revista Colombiana de Psiquiatría (RCP) entre el 2006 y el 2010. Método: Se realizó un estudio descriptivo que cuantificó el informe de la consistencia interna (alfa de Cronbach) de las escalas usadas en estudios publicados, como artículos originales, en la RCP. Se excluyeron estudios de validación. Resultados: De 114 artículos publicados, se incluyeron 30 estudios en el análisis. Los investigadores aplicaron 67 escalas en las mediciones de algunas variables y se informó el alfa de Cronbach en la población participante de 20 escalas (29,8 %). Conclusiones: Un reducido número de estudios publicados en la RCP que usan escalas en las mediciones informan la consistencia interna en la muestra participante. Es necesario que los autores mencionen la consistencia interna de las escalas en la población del estudio para garantizar la validez de las conclusiones.
Palabras clave: Confiabilidad y validez, evaluación, artículo de revista, revisión.
Abstract
]]> Object: Establishment of the frequency of reporting internal consistency of the scales in research published in the Colombian Journal of Psychiatry (CJP) between 2006 and 2010. Method: A descriptive study was carried out which computes the report of internal consistency (Cronbach alpha) of scales in research published as original papers in the CJP. Validation studies were excluded. Results: A total of 114 articles were published and 30 of them were included in the analysis. Researchers applied 67 scales for measuring some variables and Cronbach alpha of 20 (29.8%) scales was reported in the participating population. Conclusions: In the CJP, few published studies that apply measuring scales for variables report internal consistency in the analyzed sample. It is necessary for authors to report the internal consistency of used scales in the study population to guarantee the validity of conclusions.Key words: Reliability and validity, evaluation, journal article, review.
Introducción
La medición de variables es un elemento esencial en toda investigación. Contar con mediciones exactas y precisas es esencial para garantizar, primero, la validez interna y, segundo, la validez externa de los hallazgos de los estudios clínicos y epidemiológicos (1); esto quiere decir que las dudas en las mediciones comprometen la solidez de las conclusiones y la generalización de los resultados (2, 3). Finalmente, la medición confiable y válida de las variables es esencial para la publicación de los hallazgos (4).
En salud mental, es frecuente la medición de variables con instrumentos diseñados para cuantificar constructos que no se pueden medir mediante la simple observación, el simple autoinforme de la variable por parte de los participantes o una prueba de laboratorio. Dichos instrumentos que miden este tipo de constructos se conocen como escalas, y se componen de un número determinado de ítems, puntos o preguntas que exploran un constructo particular, como episodio depresivo mayor, autoestima, etc. (5).
Antes de emplear una escala rutinariamente en la práctica clínica o con fines de investigación, es necesario realizar un proceso formal de validación (6). No obstante la existencia de escalas validadas en una población específica, es preciso conocer el desempeño psicométrico de la misma escala en cada grupo poblacional, dado que este desempeño varía según las personas participantes y se observan cambios en los mismos participantes, en diferentes momentos (7,8).
El desempeño psicométrico de una escala se puede conocer con el empleo de un criterio de referencia (gold standard, en inglés) o sin este (3). Cuando se usa un criterio de referencia, es posible estimar indicadores de validez, como sensibilidad, especificidad, valores predictivos, razones de probabilidad, κ de Cohen, entre otros (6,8). Estos son procedimientos costosos y dispendiosos, que no son posibles de realizar previamente a cada investigación (3).
Como no todos los constructos poseen un criterio de referencia para evaluar la validez de este, existen otras alternativas estadísticas, como el análisis de factores, estimar correlaciones o calcular la consistencia interna (α de Cronbach) (3).
Es necesario que los investigadores o autores informen el desempeño de las escalas que se emplearon en una investigación (5,9,10). Esta sugerencia la acogió la Asociación de Psicología Americana (11), y más recientemente la Asociación Psiquiátrica Americana (12). El coeficiente que más se presenta en los artículos es el coeficiente de α de Cronbach (13,14). El α de Cronbach tradicionalmente se conoce como una medida de confiabilidad (o reproducibilidad) de una escala; no obstante, se acepta que igualmente es un estimador de la validez de una escala, dado que mide la correlación que existe entre los ítems que hacen parte de la escala y cuantifican el mismo constructo (9,15-17). La consistencia interna tiene la ventaja de que se puede calcular con una única aplicación del instrumento y es fácil de estimar antes del inicio del análisis de otros aspectos de la investigación (15). Sin embargo, algunos estudios en salud mental muestran que con frecuencia se omite la información sobre la consistencia interna de la escala en la población del estudio presentado (18-22).
En el 2005, Oviedo y Campo-Arias publicaron un artículo en la Revista Colombiana de Psiquiatría (RCP) en el que se recomendó la presentación del coeficiente de α de Cronbach para las escalas que se emplean en las investigaciones, independientemente de la existencia de validaciones previas (23), como lo sugirieron autores de revisiones precedentes en el tema (5,9-12). Antes, se señaló que desconocer esta información, o si los instrumentos mostraron una pobre consistencia interna, afecta significativamente las conclusiones que se presenten, y las acciones, decisiones o intervenciones que se deriven a partir de estas (2,3).
]]> El objetivo del estudio fue establecer la frecuencia del informe de la consistencia interna de las escalas en investigaciones publicadas en la RCP entre 2006 y 2010.Método
Se realizó un estudio descriptivo que cuantificó el informe de la consistencia interna de las escalas usadas en estudios publicados en la sección de artículos originales, en la RCP, entre 2006 y 2010. Se excluyeron de la presente revisión aquellas investigaciones que informaron los hallazgos de estudios de validación y los artículos publicados en los números de suplemento.
Se revisaron todos los números publicados en la web de la Asociación Colombiana de Psiquiatría. Inicialmente, se examinaron los resúmenes de cada artículo; seguidamente, se inspeccionó el método del artículo para identificar las escalas que se aplicaron en las mediciones de variables en el estudio, y si se presentó en esta sección el α de Cronbach. Si el α de Cronbach no se informó, se buscó en los resultados de la investigación.
Se realizó un análisis descriptivo, y para ello se estableció la frecuencia del informe del coeficiente α de Cronbach en la población que participó en los artículos de los estudios que se seleccionaron.
Resultados
Se publicaron 114 artículos en el periodo de estudio, en la sección de artículos originales. En la primera revisión se excluyeron 15 artículos (13,2%), dado que eran revisiones narrativas o sistemáticas, y no investigaciones o trabajos originales.
Finalmente, se incluyeron en el análisis 30 estudios, que utilizaron 67 escalas en las mediciones de algunas de las variables (24-53). De las escalas que se utilizaron, se informó la consistencia interna de 20 escalas (29,8%). El α de Cronbach se informó en 7 (23,3%) de los 30 estudios incluidos.
Discusión
En la presente investigación se observa que un tercio de los autores de la RCP, entre 2006 y 2010, informaron el α de Cronbach de las escalas que aplicaron en los estudios. También, que solo aproximadamente el 30% de los autores presentaron la consistencia interna de las escalas en el estudio que expusieron. Los hallazgos del estudio son consistentes con otros realizados en investigaciones previas. En uno de los primeros estudios, Vacha-Haase encontró que únicamente el 13% de las investigaciones presentaron la consistencia de las escalas en los participantes (18). Posteriormente, Vacha-Haase y colaboradores hallaron que el 36% de los autores en tres revistas mostraron algún coeficiente del desempeño de las escalas que emplearon en la investigación (19). Más recientemente, Green y colaboradores observaron en una revista de psicología que solo el 28% de los autores informaron la confiabilidad de las mediciones, mediante el coeficiente α de Cronbach (20).
]]> Es necesario que editores, comité editorial y pares evaluadores exijan a los autores la mayor información posible sobre el desempeño psicométrico de las escalas en la medición de variables, previo al uso y durante el estudio (5,8). Del desempeño previo, es relevante informar tanto la validez como la confiabilidad (6). Es indispensable presentar la validez de criterio para aquellos constructos para los cuales exista un estándar de referencia; en salud mental se debe establecer el diagnóstico preciso con el uso de una entrevista clínica estructurada (3,6,8). Así mismo, los investigadores y autores que publiquen en la RCP están en la obligación de informar por lo menos el α de Cronbach de las escalas en la población del estudio que presentan para evaluación y eventual publicación (5,9-12,23).La confiabilidad de una medición con escala no se puede conocer siempre o predecir por el desempeño previo en la misma población o en un grupo poblacional distinto (54). Hasta la fecha, el α de Cronbach es el indicador de desempeño psicométrico más popular e informado en los diferentes estudios; esto se debe a que este se calcula con facilidad manualmente y está disponible en los paquetes estadísticos más usados (13,14). No obstante, en la actualidad se recomienda que se den a conocer por lo menos dos coeficientes sobre la consistencia interna de una escala en una muestra de participantes, dada las limitaciones del popular α de Cronbach y de todos los coeficientes disponibles (11,12,14,55). Se sugiere que adicionalmente al α de Cronbach, se presente el coeficiente Ω de McDonald, que se estima igualmente con mucha facilidad, y una única aplicación del instrumento (56).
El α de Cronbach es particularmente útil cuando se cuantifican constructos unidimensionales y todos los ítems que componen la escala presentan alta correlaciones entre ellos (cumplen el principio de Tau equivalencia). Cuando se usen escalas multidimensionales, se debe informar la consistencia interna de cada una de las dimensiones de la escala y no la consistencia interna de toda la escala, para una mayor estimación de la validez del constructo (14,15). Y si en los ítems de la escala no se cumple el principio de Tau equivalencia, es indispensable informar la Ω de McDonald, que estima mejor la consistencia interna en estos casos (56).
Adicionalmente, es relevante informar el coeficiente α de Cronbach en la población de un estudio, porque este es un estimador de validez y confiabilidad, el cual se debe considerar al momento de evaluar la calidad de una investigación, más aún si se piensa incluir el estudio en una revisión tipo metaanálisis (57,58). Si se observan coeficientes α con una marcada heterogeneidad en los estudios, indican que las mediciones no son del todo comparables; no se puede tomar la medición de esa variable o constructo como una medición similar en las diferentes muestras.
Esto tiene mucha importancia al momento de llevar a cabo el análisis de vario s estudios que emplearon la misma escala en la medición de una variable, como la presencia de síntomas depresivos con importancia clínica. Para la selección del modelo es necesario conocer la heterogeneidad de los estudios (59,60).
Se concluye que un reducido número de los autores de estudios publicados en la RCP que usan escalas en mediciones de variables informan la consistencia interna de las escalas usadas en la muestra participante. Es necesario que los autores investigadores mencionen al menos el α de Cronbach de las escalas en la población del estudio para garantizar la validez de las conclusiones.
Agradecimientos
Al Instituto de Investigación del Comportamiento Humano, que financió el estudio.
Referencias
1. Morgan GA, Gliner JA, Harmon RJ. Evaluating the validity of a research study. J Am Acad Child Adolesc Psychiatry. 1999;38:480-5. [ Links ]
2. Strickland OL. Impact of unreliability of measurements on statistical conclusion validity. J Nurs Meas. 2005;13:83-5. [ Links ]
3. Sánchez R, Gómez C. Conceptos básicos sobre validación de escalas. Rev Colomb Psiquiatr. 1998;27:121-30. [ Links ]
4. Ferketich S. Focus on psychometrics. Internal consistency estimates of reliability. Res Nurs Health. 1990;13:437-40. [ Links ]
5. Onwuegbuzie AJ, Daniel LG. A framework for reporting and interpreting internal consistency reliability estimates. Meas Eval Counsel. 2002;35:89-103. [ Links ]
6. Cook DA, Beckman TJ. Current concepts in validity and reliability for psychometric instruments: theory and application. Am J Med. 2006;119:7-16. [ Links ]
7. Alarcón AM, Muñoz S. Medición en salud: algunas consideraciones metodológicas. Rev Med Chile. 2008;136:125-30. [ Links ]
8. Roberts P, Priest H, Traynor M. Reliability and validity in research. Nurs Stand. 2006;20:41-5. [ Links ]
9. Henson RK. Understanding internal consistency reliability estimates: A conceptual primer on coefficient alpha. Meas Eval Counsel Dev. 2001;34:177-89. [ Links ]
10. Helms JE, Henze KT, Sass TL, et al. Treating Cronbach's alpha reliability coefficients as data in counseling research. Counsel Psychol. 2006;34:630-60. [ Links ]
11. Wilkinson L, American Psychological Association Task Force on Statistical Inference. Statistical methods in psychology journals: Guidelines and explanation. Am Psychol. 1999:54:594-604. [ Links ]
12. American Psychiatric Association (APA). Practice guideline for the psychiatric evaluation of adults. Washington: APA; 2006. [ Links ]
13. Hogan T P, Benjamin A, Brezinski KL. Reliability methods: A note on the frequency of use of various types. Educ Psychol Meas. 2000;60:523-31. [ Links ]
14. Schmidt FL, Le H, Ilies R. Beyond alpha: an empirical examination of the effects of different sources of measurement error on reliability estimates of individual differences constructs. Psychol Methods. 2003;8:206-24. [ Links ]
15. Campo-Arias A, Oviedo HC. Propiedades psicométricas de una escala: la consistencia interna. Rev Salud Pública. 2008;10:831-9. [ Links ]
16. Cortina JM. What is coefficient alpha? An examination of theory and applications. J Appl Psychol. 1993;78:98-104. [ Links ]
17. Streiner DL. Being inconsistent about consistency: when coefficient alpha does and doesn't matter. J Pers Assess. 2003;80:217-22. [ Links ]
18. Vacha-Haase T. Reliability generalization: Exploring variance in measurement error affecting score reliability across studies. Educ Psychol Meas. 1998;58:6-20. [ Links ]
19. Vacha-Haase T, Ness C, Nilsson J, et al. Practices regarding reporting of reliability coefficients. A review of three journals. J Exp Educ. 1999;67:335-48. [ Links ]
20. Green CE, Chen CE, Helms JE, et al. Recent reliability reporting practices in Psychological Assessment: Recognizing the people behind the data. Psychol Assess. 2011;23:656-69. [ Links ]
21. Caruso JC. Reliability generalization of the NEO personality scales. Educ Psychol Meas. 2000;60:236-54. [ Links ]
22. Kalpakjian CZ, Bombardier CH, Schomer K, et al. Measuring depression in persons with spinal cord injury: a systematic review. J Spinal Cord Med. 2009;32:6-24. [ Links ]
23. Oviedo HC, Campo-Arias A. Aproximación al uso del coeficiente alfa de Cronbach. Rev Colomb Psiquiatr. 2005;34:572-80. [ Links ]
24. Campo-Arias A, Díaz CE, Cogollo Z. Factores asociados a síntomas depresivos con importancia clínica en estudiantes de Cartagena, Colombia: un análisis diferencial por género. Rev Colomb Psiquiatr. 2006;35:167-83. [ Links ]
25. Vengochea J, Ruiz A, Moreno S. Estrés y conductas antidisciplinarias en estudiantes de una facultad de medicina de Bogotá. Rev Colomb Psiquiatr. 2006;35:340-51. [ Links ]
26. Cano J F, Córdoba RN, Fierro MA, et al. Factores que determinan la gravedad de presentación clínica del primer episodio psicótico. Rev Colomb Psiquiatr. 2007;36:18-30. [ Links ]
27. Agudelo ME, Builes MV, García J, et al. Percepción de la crítica familiar en pacientes ambulatorios con diabetes mellitus, trastorno bipolar I y sujetos sanos. Rev Colomb Psiquiatr. 2007;36:213-23. [ Links ]
28. García-Valencia J, Palacio-Acosta C, Arias S, et al. Características asociadas al riesgo de suicidio valorado clínicamente en personas con intento de suicidio. Rev Colomb Psiquiatr. 2007;36:610-27. [ Links ]
29. Rueda-Sánchez M, Díaz-Martínez LA, Rueda-Jaimes GE. Prevalencia del trastorno depresivo mayor y factores asociados: un estudio poblacional en Bucaramanga (Colombia). Rev Colomb Psiquiatr. 2008;37:159-68. [ Links ]
30. Rueda-Jaimes GE, Camacho PA, Rangel-Martínez-Villalba AM, et al. Prevalencia del consumo de sustancias en estudiantes de secundaria de Bucaramanga (Colombia) y su área metropolitana. Rev Colomb Psiquiatr. 2008;37:195-206. [ Links ]
31. Gempeler J, Rodríguez M, Muñoz F, et al. Aversión a los alimentos en la infancia: ¿fobia, obsesión o trastorno del comportamiento alimentario no especificado? Rev Colomb Psiquiatr. 2008;37:355-64. [ Links ]
32. Martínez JW, Tovar JR, Rojas C, et al. Agresividad en los escolares y su relación con las normas familiares. Rev Colomb Psiquiatr. 2008;37:365-77. [ Links ]
33. Padilla AC, Gómez-Restrepo C, Rodríguez V, et al. Prevalencia y características del síndrome de agotamiento profesional (SAP) en docentes de tres colegios públicos de Bogotá (Colombia). Rev Colomb Psiquiatr. 2009;38:50-65. [ Links ]
34. De la Espriella R, Falla JV. Reflexiones sobre la atención en salud mental de desmovilizados de grupos armados en Colombia. Rev Colomb Psiquiatr. 2009;38:230-47. [ Links ]
35. Conde CA, Orozco LC, Báez AM, et al. Aportes fisiológicos a la validez de criterio y constructo del diagnóstico de ansiedad según entrevista psiquiátrica y el State-Trait Anxiety Inventory (STAI) en una muestra de estudiantes universitarios colombianos. Rev Colomb Psiquiatr. 2009;38:262-78. [ Links ]
36. Gómez-Restrepo C, Rodríguez V, Padilla AC, et al. El docente, su entorno y el síndrome de agotamiento profesional (SAP) en colegios públicos en Bogotá (Colombia). Rev Colomb Psiquiatr. 2009;38:279-93. [ Links ]
37. Rodríguez M. El docente, su entorno y el síndrome de agotamiento profesional (SAP) en colegios públicos en Bogotá (Colombia). Rev Colomb Psiquiatr. 2009;38:420-32. [ Links ]
38. Restrepo D, Cardeño C, Páramo L, et al. Delírium: incidencia y características clínicas y epidemiológicas en un hospital universitario. Rev Colomb Psiquiatr. 2009;38:471-87. [ Links ]
39. Tejada PA, Gómez V. Factores psico-sociales y laborales asociados al Burnout de psiquiatras en Colombia. Rev Colomb Psiquiatr. 2009;38:488-512. [ Links ]
40. Millán-González R, Gómez-Restrepo C, Gil FA, et al. Calidad de vida relacionada con la salud y prevalencia de síntomas depresivos y ansiosos en pacientes en hemodiálisis, en seis unidades renales de Bogotá, Colombia. Rev Colomb Psiquiatr. 2009;38:622-36. [ Links ]
41. Cogollo Z, Gómez E, De Arco O, et al. Asociación entre disfuncionalidad familiar y síntomas depresivos con importancia clínica en estudiantes de Cartagena, Colombia. Rev Colomb Psiquiatr. 2009;38:637-44. [ Links ]
42. Martínez JW, Albán AM, Arcos FE, et al. Calidad de vida y adaptación social de los cuidadores de adultos mayores. Rev Colomb Psiquiatr. 2009;38:645-53. [ Links ]
43. Rueda-Jaimes GE, Camacho PA, Rangel-Martínez AM, et al. Prevalencia y factores asociados con el consumo diario de tabaco en estudiantes adolescentes. Rev Colomb Psiquiatr. 2009;38:669-80. [ Links ]
44. Mojica CA, Sáenz DA, Rey-Anacona CA. Riesgo suicida, desesperanza y depresión en internos de un establecimiento carcelario colombiano. Rev Colomb Psiquiatr. 2009;38:681-92. [ Links ]
45. Castañeda E, García JE. Prevalencia del síndrome de agotamiento profesional (Burnout) en médicos familiares mexicanos: análisis de factores de riesgo. Rev Colomb Psiquiatr. 2010;39:67-84. [ Links ]
46. Aranda C, Pando M. Edad, síndrome de agotamiento profesional (Burnout), apoyo social y autoestima en agentes de tránsito, México. Rev Colomb Psiquiatr. 2010;39:510-22. [ Links ]
47. De la Espriella R. Suicidio en instituciones psiquiátricas, 1998-2007. Rev Colomb Psiquiatr. 2010; 39: 268-90. [ Links ]
48. Piñeros S, Molano J, López C. Factores de riesgo de los trastornos de la conducta alimentaria en jóvenes escolarizados en Cundinamarca (Colombia). Rev Colomb Psiquiatr. 2010;39:313-28. [ Links ]
49. Rutsztein G, Murawski B, Elizathe L, et al. Trastornos alimentarios en mujeres adolescentes: un estudio comparativo entre pacientes, estudiantes de danza y estudiantes de escuelas medias. Rev Colomb Psiquiatr. 2010;39:330-46. [ Links ]
50. Gantiva CA, Bello J, Vanegas E, et al. Relación entre el consumo excesivo de alcohol y esquemas maladaptativos tempranos en estudiantes universitarios. Rev Colomb Psiquiatr. 2010;39:362-74. [ Links ]
51. López-Jaramillo C, Correa-Palacio A, Delgado J, et al. Diferencias en la resonancia magnética funcional en pacientes con trastorno bipolar usando un paradigma de memoria de trabajo. Rev Colomb Psiquiatr. 2010;39:481-92. [ Links ]
52. Rivas AM, Tobón A, Rivas JC, et al. Frecuencia de depresión en pacientes con epilepsia que consultan dos instituciones de tercer nivel en Cali, Colombia. Rev Colomb Psiquiatr. 2010;39:693-704. [ Links ]
53. Quijano MC, Arango JC, Cuervo MT. Alteraciones cognitivas, emocionales y comportamentales a largo plazo en pacientes con trauma craneoencefálico en Cali, Colombia. Rev Colomb Psiquiatr. 2010;39:716-31. [ Links ]
54. Sánchez-Meca J, López-Piña JA, López-López JA. Generalización de la fiabilidad: un enfoque metaanalítico aplicado a la fiabilidad. Fisioterapia. 2009;31:262-70. [ Links ]
55. Becker G. Coefficient alpha: some terminological ambiguities and related misconceptions. Psychol Report. 2000;86:365-72. [ Links ]
56. McDonald RP. Theoretical foundations of principal factor analysis and alpha factor analysis. Br J Math Stat Psychol. 1970;23:1-21. [ Links ]
57. Bonet DG. Varying coefficient metaanalytic methods for alpha reliability. Psychol Methods. 2010;15:368-85. [ Links ]
58. Botella J, Suero M, Gambara H. Psychometric inferences from a metaanalysis of reliability and internal consistency coefficients. Psychol Methods. 2010;15:386-97. [ Links ]
59. Manrique RD. El metanalisis: consideraciones sobre su aplicación. Rev CES Med. 2002;16:55-65. [ Links ]
60. Molinero LM. Metaanálisis, una guía rápida para lectores y usuarios. Hipertension. 2008;25:108-20. [ Links ]
]]>