Artículos originales
Desarrollo y validación de la versión II de la escala EMUN
Development and Validation of the EMUN-II Scale
Ricardo Sánchez1
Álvaro Navarro2
Germán Eduardo Rueda-Jaimes3
Carlos Gómez-Restrepo4
1Médico psiquiatra. Profesor titular, Universidad Nacional de Colombia. Bogotá, Colombia. ]]>
2Médico psiquiatra. Universidad Nacional de Colombia.Conflictos de interés: Los autores manifiestan que no tienen conflictos de interés en este artículo.
Correspondencia
Ricardo Sánchez
Facultad de Medicina
Universidad Nacional de Colombia
Ciudad Universitaria
Carrera 45 No. 26-85 ]]>
Recibido para evaluación: 2 de julio del 2011. Aceptado para publicación: 28 de septiembre del 2011
Resumen
Introducción: La escala EMUN se desarrolló para medir síntomas psiquiátricos en pacientes con trastorno afectivo bipolar. Aunque ha mostrado adecuadas propiedades psicométricas, varios estudios han reportado que la labilidad afectiva, la agresividad y la impulsividad (síntomas no incluidos en la escala) son características importantes del trastorno. Objetivo: Determinar las propiedades psicométricas de la EMUN al adicionar tres ítems: labilidad afectiva, agresividad e impulsividad. Métodos: Los datos para el estudio fueron recolectados en 223 pacientes con diagnóstico de episodio maniaco, hipomaniaco o mixto, utilizando una versión modificada de la escala EMUN (EMUN-II), que incluye tres ítems adicionales. Se usó el alfa de Cronbach para evaluar consistencia interna. El contenido se validó usando métodos factoriales y modelamiento con ecuaciones estructurales. Resultados: Una solución de cuatro factores (activación general, agresividad, activación cognoscitiva y depresión) da cuenta del 96% de la varianza total. Los coeficientes de correlación-concordancia de Lin revelaron valores adecuados para la confiabilidad test-retest. La escala detectó una diferencia significativa entre las medias antes del tratamiento farmacológico y después de este. Conclusión: La inclusión de tres ítems adicionales mejoró la validez de contenido de la escala EMUN y conservó un instrumento con adecuadas propiedades psicométricas.
Palabras clave: escalas de valoración psiquiátrica, trastorno bipolar, psicometría.
Abstract
Introduction: The EMUN scale has been developed as a psychiatric rating scale for measuring manic symptoms in patients with bipolar disorder. Although the instrument has shown adequate psychometric properties, additional symptoms not included in the scale such as mood lability, aggressiveness, and impulsivity have been reported as important clinical characteristics in several studies. Objectives: To determine the psychometric properties of the EMUN scale when items measuring mood lability, aggressiveness, and impulsivity are included in the instrument. Method: Study data was collected from 223 patients with manic, hypomanic or mixed episodes using a modified version of the EMUN scale that includes three additional items (EMUN-II). The CARS-M scale was applied simultaneously to measure concurrent validity. Reliability and sensitivity to change were determined using a repeated measures design. Results: A four-factors solution (general activation, aggressiveness, cognitive activation, and depression) accounts for 96% of the total variance of the scale. Lin's concordance correlation coefficient revealed adequate scores for test-retest reliability. The scale detected a significant difference between the means before and after pharmacological treatment. Conclusion: When three additional items are included content validity of the EMUN scale improves. All of the psychometric properties of the original instrument are preserved.
Key words: Psychiatric status rating scales, bipolar disorder, psychometrics.
Introducción
La escala EMUN es un instrumento que fue desarrollado para medir la gravedad del episodio maniaco. En el proceso de validación inicial de la escala (1) se encontró que el instrumento detecta cinco dominios dentro del síndrome: activación psíquica, activación física, activación autonómica y sus efectos, polaridad depresión-megalomanía y psicosis. El instrumento mostró propiedades psicométricas adecuadas, relacionadas con la validez y la confiabilidad: coeficiente de correlación de Pearson mayor a 0,6, al evaluar validez de criterio concurrente; valores de α de Cronbach para cada dominio mayores de 0,7, coeficiente de correlación intraclase de 0,9 y coeficiente de correlación-concordancia en aplicaciones repetidas de 0,76.
Por otro lado, el instrumento demostró una adecuada capacidad para detectar el cambio en la condición clínica, luego de que los pacientes recibieron tratamiento (detectó diferencias significativas en las medias de los puntajes antes y después del tratamiento, en un grupo de pacientes con diagnóstico de episodios maniacos o mixtos).
Aunque, de acuerdo con los sistemas de clasificación vigentes (DSM-IV o CIE-10) (2,3), en el episodio maniaco los síntomas afectivos aparecen como elementos centrales del constructo, diferentes estudios han mostrado que probablemente los síntomas relacionados con activación tienen un mayor peso en la conformación del síndrome (4,5). Dentro de los síntomas no relacionados con el componente afectivo, la impulsividad, que también podría concebirse como un componente de la activación, ha sido descrita como parte de las características clínicas del síndrome maniaco (6).
Estudios posteriores con la escala EMUN, utilizando metodología de teoría de respuesta al ítem, encontraron que el síndrome maniaco no quedaba adecuadamente cubierto por el instrumento; incluso dentro del componente de síntomas relacionados con el afecto se encontraron posibles zonas no evaluadas con la escala. Dentro de estos síntomas relacionados con el afecto se ha encontrado que la labilidad (7,8), característica clínica no considerada en la escala EMUN, demuestra ser un buen marcador del episodio maniaco, hipomaniaco o mixto. Este hallazgo está de acuerdo con lo reportado por otros estudios, tanto en adultos como en adolescentes (9,10); dicho síntoma también ha sido descrito dentro de la sintomatología de los episodios mixtos, junto con la disforia, la culpa, la ansiedad y la suicidabilidad (7).
De acuerdo con lo que se ha planteado, no puede descartarse que la falta de representatividad de los síntomas afectivos dentro del episodio maniaco pueda corresponder a una falencia de los instrumentos diseñados para su evaluación, al no incorporar un adecuado espectro de medición de este componente. En este sentido, algunos autores proponen que, incluso dentro de la medición del síndrome maniaco, se incorpore la medición de síntomas del espectro depresivo, teniendo en cuenta que, al hacer la medición con criterios no estrictos, la presencia simultánea de síntomas maniacos y depresivos sería lo más frecuente (11,12).
Por otro lado, la agresividad, otro síntoma que no fue incluido en la versión inicial de la escala EMUN, ha sido considerada en instrumentos para medir la gravedad de la manía como la escala de Young (13), en estudios que se basaron en métodos estadísticos multivariables de análisis factoriales (14), y en escalas diseñadas para medir el síndrome en niños y adolescentes (11,15,16). En pacientes con episodios maniacos, estos niveles de agresividad pueden ser tan graves que clínicamente tienen características catatónicas (17), aunque con mejor pronóstico que los cuadros catatónicos de pacientes con esquizofrenia (17).
El presente artículo reporta los resultados de incorporar tres síntomas adicionales: labilidad, hostilidad e impulsividad, a la escala EMUN, con el propósito de mejorar su espectro de medición dentro del síndrome maniaco. Al haber incorporado estos tres ítems se probó el funcionamiento de un instrumento conformado por 19 ítems, manteniendo una estructura con un formato semiestructurado, que permitiera la evaluación de los pacientes de manera más confiable, mediante la descripción precisa del síntoma, el uso de preguntas tipo para su exploración y la utilización de un sistema de medición de los síntomas dentro de una escala ordinal, con apoyos descriptivos para cada nivel.
Material y métodos
]]> Para definir la forma y estructura como se incorporarían los ítems adicionales que evaluarán los síntomas de labilidad, agresividad e impulsividad, un grupo de tres clínicos con experiencia en la utilización de la escala EMUN desarrollaron una estructura de definición de cada síntoma y de medición en categorías ordinales, manteniendo la consistencia con el sistema utilizado en el instrumento original, de tal manera que se utilizaron seis categorías que corresponden a valores entre cero (ausente) y cinco (grave). Considerando el número de ítems que conforma el instrumento, se planteó la asignación de un peso de calificación homogéneo a cada uno de los ítems (18). Una versión preliminar de la estructura de los tres ítems adicionales fue evaluada posteriormente en un estudio piloto con diez pacientes. De acuerdo con los resultados de la fase anterior, se efectuaron los ajustes pertinentes para obtener una adecuada aplicabilidad e interpretabilidad del nuevo instrumento.Posteriormente, se efectuó la detección de pacientes con diagnóstico de episodio maniaco, hipomaniaco o mixto. Los pacientes se ubicaron en las unidades de salud mental de las clínicas Nuestra Señora de la Paz e Inmaculada, hospitales Simón Bolívar y San Ignacio, instituciones ubicadas en Bogotá, y de la clínica ISNOR, situada en Bucaramanga. Los pacientes a quienes en su ingreso se efectuó el diagnóstico de trastorno bipolar en alguna de estas unidades de salud mental en los primeros tres días después de su ingreso, fueron reevaluados por dos de los investigadores para verificación del diagnóstico, según los criterios DSM-IV. Solo los pacientes en quienes los dos clínicos efectuaron el diagnóstico ingresaron en el estudio.
Para evaluar la validez de contenido se efectuó un análisis factorial exploratorio, a partir de la matriz de correlaciones policóricas, teniendo en cuenta la naturaleza ordinal de los puntajes de cada ítem. Adicionalmente, se realizó un análisis factorial confirmatorio para evaluar el ajuste de los ítems dentro de la propuesta factorial inicial, utilizando ecuaciones estructurales. El método de estimación, considerando la naturaleza ordinal de los puntajes de los ítems, fue el de mínimos cuadrados ponderados diagonalmente. Para evaluar el ajuste del modelo se tuvieron como criterios la raíz de la aproximación de mínimos cuadrados (RMSEA), el índice de ajuste no normalizado (NNFI), el índice de ajuste comparativo (CFI), el índice de bondad de ajuste (GFI) y la raíz de residuos de cuadrados medios estandarizados (SRMR) (19).
Para los análisis factoriales se evaluaron 223 pacientes con diagnóstico de episodio maniaco, hipomaniaco o mixto; este número se consideró adecuado, teniendo en cuenta las recomendaciones de tamaño de muestra para análisis factoriales (18). Los procedimientos de análisis factorial y de ecuaciones estructurales fueron realizados con el programa Lisrel 8®.
La consistencia interna del instrumento fue evaluada mediante coeficientes α de Cronbach, tanto para la escala global, como para los factores y para cada ítem al ser retirado. La validez de criterio concurrente se evaluó aplicando simultáneamente la escala EMUN con los ítems adicionales (EMUN-II), y la escala CARS-M a una submuestra de 25 pacientes tomados del grupo al que se le efectuó la aplicación para análisis factorial y consistencia interna. Se calculó el coeficiente de correlación de Spearman entre los puntajes globales de los dos instrumentos, dado que tales puntajes no presentaron distribución normal.
La confiabilidad test-retest se midió con el coeficiente de correlación concordancia de Lin (20) y con los límites de acuerdo de Bland y Altman (21,22); para esto se aplicó la escala a una submuestra de 19 pacientes del grupo de 223 pacientes.
La sensibilidad al cambio del instrumento se midió al evaluar una submuestra de 23 pacientes al momento del ingreso a tratamiento a la institución hospitalaria y a los cinco días de instaurado el tratamiento respectivo; los puntajes totales de la escala se compararon en los dos momentos, mediante ANOVA de medidas repetidas.
Los procedimientos relacionados con la validez concurrente, confiabilidad y sensibilidad al cambio se realizaron con el programa Stata 11®. Se calcularon intervalos de confianza al 95% para los estimadores y se practicaron pruebas de hipótesis a dos colas, con niveles de significación del 5%. El protocolo del estudio fue evaluado y aprobado por el comité de ética de las instituciones participantes.
Resultados
La estructura de los ítems adicionales, tal como quedaron incorporados en la versión de la escala EMUN-II, se presenta en la tabla 1. Dichos ítems correspondieron a los números 17 (labilidad afectiva), 18 (agresividad/hostilidad) y 19 (pobre control de impulsos). Como puede verse, para cada ítem se mantiene el formato de calificación en una escala ordinal de cero a cinco.
]]>
La mayoría de los pacientes evaluados tuvieron diagnóstico de episodio maniaco (n = 189, 84,8%); hubo 24 pacientes con diagnóstico de episodio mixto (10,8%), y 10 con diagnóstico de episodio hipomaniaco (4,4%). Los pacientes tuvieron una media de edad de 41,7 años (DE = 14,5 años). El 70,4% de los pacientes fueron mujeres (n = 157). Teniendo en cuenta que los ítems de la escala se califican en una escala entre cero y cinco, las puntuaciones más altas se encontraron en los ítems "Excesiva energía" y "Disminución de la necesidad de dormir", con medianas de cuatro. Los puntajes más bajos correspondieron a los ítems "Ideas depresivas" e "Hipersexualidad", con medianas de uno. Para todos los ítems de la escala el rango cubrió todo el espectro de la escala (estuvo entre cero y cinco).
La solución factorial más eficiente, evaluada mediante criterios de Kaiser, porcentaje de varianza explicada y gráfico de sedimentación (23), resultó ser la de cuatro factores, la cual retiene un 96% de la varianza total de la escala, distribuida así: factor 1: 49%; factor 2: 20%; factor 3: 14%; factor 4: 13%. Los resultados del análisis factorial ordinal se presentan en la tabla 2. Estos resultados corresponden a la siguiente estructura de dominios o variables latentes:
El modelo factorial de primer orden, evaluado mediante un sistema de ecuaciones estructurales, se muestra en la figura 1. Todos sus coeficientes resultaron significativos y los signos fueron plausibles, lo cual mostró consistencia con el modelo teórico. Se encontraron valores de correlación de 0,82 entre los dominios de activación y cognoscitivo, y de 0,61 entre los dominios de activación y agresividad. Los valores de los estadísticos de ajuste fueron aceptables (RMSEA = 0,09; NNFI = 0,84; CFI = 0,85; SRMR = 0,09).
]]>
En relación con la consistencia interna del instrumento, se encontraron los siguientes valores del coeficiente α de Cronbach: 0,8 para toda la escala, 0,72 para el dominio de activación, 0,78 para el de agresividad, 0,65 para el cognoscitivo y 0,75 para el depresivo. Los valores del coeficiente α de Cronbach para cada ítem al ser retirado no superaron, para ninguno de los ítems, el valor del coeficiente de la escala total.
En cuanto a la validez de criterio concurrente, se encontró un coeficiente de correlación de Spearman de 0,7 entre los puntajes totales de las dos escalas aplicadas (EMUN-II y CARS-M). La evaluación de la confiabilidad test-retest mostró un coeficiente de correlación-concordancia de Lin de 0,67 (IC 95%: 0,46 a 0,88). La media de tiempo transcurrido entre las dos evaluaciones para medir confiabilidad fue de dos días. Los límites de acuerdo se situaron entre -10,5 puntos y 29,1 puntos, lo cual insinúa cierta tendencia a que se presenten mayores niveles de discrepancia en los casos en los que hay puntajes altos. Sin embargo, el gráfico de límites de acuerdo no mostró patrones diferentes al aleatorio.
En relación con la sensibilidad al cambio, se encontró una media en el puntaje de la escala al ingreso de los pacientes de 53,6 (DE = 2,7) y de 10,7 (DE = 1,3), luego de los cinco días de tratamiento. Esta diferencia en las medias resultó significativa (F(1,22) = 257,7; p = 0,000).
Discusión
Los sistemas de diagnóstico utilizados actualmente en clínica psiquiátrica se basan en la exploración de una serie de signos y síntomas, que, básicamente, se obtienen en el curso de una entrevista psiquiátrica. Esto genera diagnósticos sindromáticos que no necesariamente están basados en componentes etiológicos. Hasta la fecha no existen modelos diagnósticos en psiquiatría basados en lo que se ha llamado "disfunción de órgano" que permitan utilizar estrategias de imágenes o pruebas funcionales diagnósticas (24). Por otro lado, los sistemas diagnósticos no proporcionan una cuantificación precisa de los síntomas, ya que se limitan a especificar la existencia o no de estos. Adicionalmente, tales sistemas incorporan un fuerte componente subjetivo, al presentar conceptos como "la mayor parte del día" o "casi todos los días" (2), que pueden variar mucho entre diferentes evaluadores. No puede descartarse que el pobre pronóstico que presentan los pacientes con enfermedad bipolar esté relacionado con el diagnóstico incorrecto (25).
La utilización de escalas de medición en psiquiatría, aunque sin salirse del esquema sindromático, permite evaluar los síntomas de una manera más precisa, ya que incorporan una dimensión cuantitativa que facilita contrastar y ponderar la importancia de los hallazgos clínicos dentro de una entidad diagnóstica.
Si se tiene en cuenta que el concepto de validez de un instrumento de medición se relaciona con el hecho de que los ítems de la escala sean una muestra representativa de todos los posibles ítems que miden el constructo (18), la incorporación de tres síntomas adicionales a la escala EMUN (labilidad afectiva, agresividad, impulsividad) logró mejorar la validez de la medición clínica efectuada con este instrumento. Los nuevos ítems aportaron una dimensión clínica adicional y se distribuyeron entre los dominios evidenciados por una estructura factorial plausible, dentro de la cual sigue apareciendo que la activación es el elemento central dentro del síndrome maniaco.
Este hallazgo de la activación como elemento fundamental del síndrome ha sido consistente en diferentes estudios (4-6, 26), y sugiere que los sistemas de diagnóstico actuales que privilegian los síntomas afectivos sean reconsiderados. El hecho de que síntomas como "excesiva energía" y "disminución de la necesidad de dormir" hayan tenido los puntajes más altos pueden estar reflejando la importancia del componente de activación como elemento central del síndrome maniaco. Otro elemento que resulta importante dentro de la estructura factorial que refleja el instrumento EMUN-II es la importancia de los síntomas depresivos dentro del constructo; este hallazgo estaría de acuerdo con reportes de otros estudios (27,28), en los que los síntomas mixtos (tanto maniacos como depresivos) serían mucho más frecuentes de lo que permiten detectar sistemas restrictivos como el DSM-IV.
Un elemento que debería explorarse en estudios posteriores es la posible relación causal existente entre dominios. En el presente estudio solo se evaluó una estructura factorial de primer orden, pero, al menos teóricamente, no puede excluirse que los síntomas correspondientes al dominio cognoscitivo o al de agresividad puedan ser secundarios al dominio de activación. Modelos factoriales de segundo orden podrían reflejar la posible relación causal entre dominios, teniendo en cuenta que en este estudio el sistema de ecuaciones estructurales mostró un alto grado de correlación del dominio de activación con los dominios cognoscitivo y agresividad.
]]> Otros elementos relacionados con la validez del instrumento (validez concurrente), la confiabilidad (consistencia interna, confiabilidad prueba-reprueba) y la sensibilidad al cambio mostraron adecuadas propiedades psicométricas de la escala EMUN-II. Teniendo en cuenta que esta aproximación se hace desde la teoría clásica de medición, se propone la realización de estudios que permitan validar el instrumento desde enfoques como la teoría de respuesta al item, con lo cual puede obtenerse información adicional de otras importantes características de la escala (rango de cubrimiento del síndrome, características de la escala de medición de ítems, funcionamiento diferencial de ítems).Como limitaciones del estudio debe mencionarse que la muestra puede generar un sesgo de selección, ya que los pacientes utilizados en el estudio presentaron sintomatología en general grave, lo cual puede hacer que las conclusiones no sean completamente generalizables a grupos de pacientes con menores niveles de intensidad de síntomas (debe anotarse que solo el 4,4% de los pacientes presentó como diagnóstico episodio hipomaniaco).
Con base en lo anterior, una propuesta adicional es que en estudios posteriores se amplíe el grupo de pacientes y se incluyan casos de enfermedad bipolar depresiva: esto permitiría estudiar la validez de la propuesta de enfermedad maniaco-depresiva, que abarca diferentes tipos de depresión, actualmente considerados como unipolares, dentro del espectro maniaco-depresivo (29). Como conclusión, podemos decir que la inclusión de tres ítems adicionales mejoró la validez de contenido de la escala EMUN, conservando un instrumento con adecuadas propiedades psicométricas.
Agradecimientos
A la Universidad Nacional de Colombia y a la Sociedad Colombiana de Psiquiatría, por el apoyo financiero ofrecido para la ejecución de este estudio. A la doctora Laura Ospina, por su colaboración en la recolección de datos y en trámites administrativos. A la doctora Juliana Velásquez, por su colaboración en la recolección de datos.
Referencias
1. Sánchez R, Jaramillo L, Gómez C. Desarrollo y validación de una escala para medir síntomas maníacos: Escala para Manía de la Universidad Nacional de Colombia (EMUN). Rev Col Psiqui. 2008;37:516-37. [ Links ]
2. American Psychiatric Association (APA). Electronic DSM-IV-TR plus. Washington: APA; 2000. [ Links ]
3. World Health Organization (WHO). International statistical classification of diseases and related health problems. 10th revision, 2nd edition. Geneva: WHO; 2004. [ Links ]
4. Romero A, Sánchez R. Análisis factorial confirmatorio de síntomas en el síndrome maníaco a partir de la aplicación de la escala EMUN. Rev Col Psiqui. 2009;38:304-15. [ Links ]
5. Rangel O, Sánchez R. Estudio de la estructura latente del síndrome maníaco mediante técnicas de escalamiento multidimensional. Rev Col Psiqui. 2010;39:240-50. [ Links ]
6. Swann AC, Janicak PL, Calabrese JR, et al. Structure of mania: depressive, irritable, and psychotic clusters with different retrospectively-assessed course patterns of illness in randomized clinical trial participants. J Affect Disord. 2001;67:123-32. [ Links ]
7. Cassidy F, Carroll BJ. Frequencies of signs and symptoms in mixed and pure episodes of mania: implications for the study of manic episodes. Prog Neuropsychopharmacol Biol Psychiatry. 2001;25:659-65. [ Links ]
8. Sánchez R, Rangel O, Jaramillo LE. Evaluación de la labilidad afectiva como síntoma del síndrome maníaco. Rev Col Psiqui. 2010;39:654-64. [ Links ]
9. Axelson D, Birmaher BJ, Brent D, et al. A preliminary study of the Kiddie Schedule for affective disorders and schizophrenia for school-age children mania rating scale for children and adolescents. J Child Adolesc Psychopharmacol. 2003;13:463-70. [ Links ]
10. Altman EG, Hedeker D, Peterson JL, et al. The Altman self-rating mania scale. Biol Psychiatry. 1997;42:948-55. [ Links ]
11. Abrams R, Taylor MA, Gaztanaga P. Manic-depressive illness and paranoid schizophrenia. A phenomenologic, family history, and treatment-response study. Arch Gen Psychiatry. 1974;31:640-2. [ Links ]
12. Birmaher B, Ehmann M, Axelson DA, et al. Schedule for affective disorders and schizophrenia for school-age children (K-SADS-PL) for the assessment of preschool children-a preliminary psychometric study. J Psychiatr Res. 2009;43:680-6. [ Links ]
13. Vilela JA, Crippa JA, Del-Ben CM, et al. Reliability and validity of a Portuguese version of the young mania rating scale. Braz J Med Biol Res. 2005;38:1429-39. [ Links ]
14. Cassidy F, Forest K, Murry E, et al. A factor analysis of the signs and symptoms of mania. Arch Gen Psychiatry. 1998;55:27-32. [ Links ]
15. Youngstrom EA, Danielson CK, Findling RL, et al. Factor structure of the young mania rating scale for use with youths ages 5 to 17 years. J Clin Child Adolesc Psychol. 2002;31:567-72. [ Links ]
16. Pavuluri MN, Henry DB, Devineni B, et al. Child mania rating scale: development, reliability, and validity. J Am Acad Child Adolesc Psychiatry. 2006;45:550-60. [ Links ]
17. Taylor MA, Abrams R. Catatonia. Prevalence and importance in the manic phase of manic-depressive illness. Arch Gen Psychiatry. 1977;34:1223-5. [ Links ]
18. Streiner DL, Norman GR. Health measurement scales: a practical guide to their development and use. 4th ed. New York: Oxford University Press; 2008. [ Links ]
19. Raykov T, Marcoulides GA. A first course in structural equation modeling. 2nd ed. Mahwah, NJ: Lawrence Erlbaum Associates, Publishers; 2006. [ Links ]
20. Lin LI. A concordance correlation coefficient to evaluate reproducibility. Biometrics. 1989;45:255-68. [ Links ]
21. Bland JM, Altman DG. Measuring agreement in method comparison studies. Stat Methods Med Res. 1999; 8:135-60. [ Links ]
22. Bland JM, Altman DG. Agreement between methods of measurement with multiple observations per individual. J Biopharm Stat. 2007;17:571-82. [ Links ]
23. Pett MA, Lackey NR, Sullivan JJ. Making sense of factor analysis: the use of factor analysis for instrument development in health care research. Thousand Oaks, Ca.: Sage Pub.; 2003. [ Links ]
24. Kozel FA. Identifying phronotypes in psychiatry. Front Psychiatry. 2010;1: 141. [ Links ]
25. Perlis RH, Ostacher MJ, Patel JK, et al. Predictors of recurrence in bipolar disorder: primary outcomes from the systematic treatment enhancement program for bipolar disorder (STEP-BD). Am J Psychiatry. 2006;163:217-24. [ Links ]
26. Akiskal HS, Azorin JM, Hantouche EG. Proposed multidimensional structure of mania: beyond the euphoric-dysphoric dichotomy. J Affect Disord. 2003;73:7-18. [ Links ]
27. Koukopoulos A, Albert MJ, Sani G, et al. Mixed depressive states: nosologic and therapeutic issues. Int Rev Psychiatry. 2005;17:21-37. [ Links ]
28. Benazzi F, Koukopoulos A, Akiskal HS. Toward a validation of a new definition of agitated depression as a bipolar mixed state (mixed depression). Eur Psychiatry. 2004;19:85-90. [ Links ]
29. Koukopoulos A, Sani G, Koukopoulos AE, et al. Melancholia agitata and mixed depression. Acta Psychiatr Scand Suppl. 2007(433):50-7. [ Links ] ]]>