Análisis factorial y validación de la versión en español de la

escala Brief Psychiatric Rating Scale en Colombia

Ricardo Sánchez ¹, Mario Alexander Ibáñez ², Alexander Pinzón ³

1 Facultad de Medicina, Universidad Nacional de Colombia, Bogotá, D.C., Colombia.

Antecedentes. Se llevó a cabo este estudio para validar la escala Brief Psychiatric Rating Scale (BPRS) en Colombia, usando una versión en lengua española. Utilizamos este instrumento por ser una de las escalas más ampliamente usadas en escenarios clínicos y de investigación en salud mental.

Métodos. La estructura factorial y la consistencia interna se evaluaron en una muestra de 149 pacientes psiquiátricos hospitalizados. La confiabilidad prueba-reprueba e interevaluador se analizó en una submuestra de 30 pacientes. La validez concurrente se evaluó comparando los puntajes de la escala BPRS con los de la escala de impresión clínica global (ICG). La sensibilidad al cambio se evaluó comparando las puntuaciones en dos momentos clínicamente diferentes.

Conclusión. A partir de este estudio concluimos que la versión en lengua española que se evaluó, es un instrumento de registro por parte del médico que es válido y tiene adecuadas propiedades psicométricas.

Palabras clave: estudio de validación, escalas de evaluación psiquiátrica, Brief Psychiatric Rating Scale

Introduction. A validation study was directed toward an evaluation of the Brief Psychiatric Rating Scale (BPRS) in a Spanish-language version in Colombia. The BPRS is important because it is one of the most widely used scales in clinical and research settings in mental health.

Methods. The BPRS was administered to 149 psychiatric impatients and the scores evaluated for factorial structure and internal consistency. Test-retest and inter-rater reliability were assessed in a sub-sample of 30 patients. Concurrent validity was analyzed by comparing scores on BPRS with scores on GAF scale. Sensitivity to change was evaluated by comparing scores in two clinically different settings.

Results. Principal component factor analysis indicated a structure with three domains: schizophreniform, bipolarity and depression. The instrument showed good internal consistency (Cronbach’s alpha=0.79). Coefficients corresponding to inter-rater and test-retest reliability were 0.94 and 0.82 respectively. Correlation between BPRS and GAF was 0.7 (Spearman). Within-subjects ANOVA showed the scale to be an instrument good sensitivity for detecting changes in of clinical characteristics.

Conclusion. We concluded that the Spanish language version evaluated in Colombia to be a valid clinical-report instrument with adequate psychometric properties.

Keywords: validation study, Brief Psychiatric Rating Scale, psychiatric status rating scales.

El diagnóstico psiquiátrico es una actividad clínica con un importante componente subjetivo (1). Los síndromes clínicos en psiquiatría corresponden a agrupaciones diagnósticas, definidos sobre la base de criterios sintomáticos y de curso longitudinal que son de difícil medición objetiva. En este sentido, las escalas de medición en psiquiatría se posicionan como herramientas fundamentales en el ámbito clínico e investigativo. Las escalas de medición, al evaluar la presencia y gravedad de los síntomas, permiten objetivar el estado clínico de los pacientes y, de esta manera, disminuir la posibilidad de darle prioridad a las impresiones subjetivas de los clínicos, las cuales son de difícil medición y no permiten contar con parámetros adecuados de comparación ni de comunicación con otros clínicos (2).

Antes de 1950, los diagnósticos en psiquiatría tenían una pobre definición y claridad, debido a que primaba la descripción fenomenológica detallada de los síntomas sobre la agrupación de tales síntomas en enfermedades o síndromes. Desde el inicio de la era de la psicofarmacología, se hizo clara la urgencia de definir de manera operativa las características de las condiciones clínicas y desde entonces han surgido propuestas clasificatorias diversas como el DSM de la American Psychiatric Society. La definición operativa de los síndromes clínicos permitió generar listados de síntomas característicos de las enfermedades mentales, con la necesidad ulterior de cuantificar tanto la presencia como la gravedad de los síntomas.

 En este contexto, la escala Brief Psychiatric Rating Scale (BPRS) se puso en uso en 1962 (6) y, desde entonces, se ha posicionado como el instrumento psicométrico aplicado por clínicos que se ha utilizado con mayor frecuencia en los últimos cuarenta años. Aplicada junto con otras escalas de medición de deterioro funcional, permite una mejor y más completa evaluación rutinaria de los pacientes en el ámbito clínico psiquiátrico.

La BPRS es una herramienta clínica de dominio público, diseñada para medir el cambio en la gravedad de la psicopatología general. Inicialmente, este instrumento se desarrolló para medir la evolución de los síntomas en pacientes psicóticos; se elaboró con base en pacientes hospitalizados con trastornos psicóticos a partir de la escala multidimensional para calificación de pacientes psiquiátricos de Lorr y de la escala psiquiátrica multidimensional para pacientes hospitalizados (7). La escala no se diseñó para medir de manera integral los dominios de la psicopatología psiquiátrica aguda, razón por la cual su aplicación debe hacerse en contextos específicos.

La BPRS se evalúa sobre un puntaje total continuo que frecuentemente se usa para medir la efectividad de las intervenciones terapéuticas en pacientes con trastornos psicóticos moderados y graves. Varios estudios han definido que las características psicométricas de la BPRS permiten la clasificación de los pacientes en subgrupos con pronósticos y respuestas clínicas diferenciales, lo que le facilita al clínico la decisión sobre el mejor programa de tratamiento que se debe instaurar en determinado paciente (8).

La BPRS es un instrumento de fácil comprensión y aplicación, diseñado para ser administrado por clínicos expertos con base en la información obtenida durante la entrevista clínica y la observación del paciente. Se estima que la escala se puede aplicar en 20 a 30 minutos mediante un modelo de entrevista semiestructurada. La escala original constaba de 16 ítems. En 1972, con el fin de aplicar la escala en investigación de clasificación descriptiva, se adicionaron los ítems que miden excitación y desorientación. Desde esa fecha, la escala incluye 18 ítems relacionados con preocupaciones somáticas, ansiedad psíquica, aislamiento emocional, desorganización conceptual, sentimientos de culpa, tensión, manierismos y posturas, grandiosidad, ánimo depresivo, hostilidad, suspicacia, alucinaciones, lentitud psicomotora, falta de colaboración, contenido extraño del pensamiento, embotamiento afectivo, excitación y desorientación.

Cada uno de los ítems se evalúa en una escala correspondiente a los siguientes niveles: no está presente (1), muy poco (2), poco (3), moderado (4), moderadamente grave (5), grave (6), ostensiblemente grave (7) y no se puede valorar (9).

Los anteriores niveles se miden en escalas de 0 a 6 o de 1 a 7; esta última es la más recomendada dada su mayor capacidad de correcta clasificación de pacientes (6).

El puntaje total se obtiene sumando los ítems individuales. Aunque la BPRS se usa sin descripciones para cada uno de estos puntajes, se han desarrollado algunas versiones que incorporan explicaciones (anclajes) para cada nivel del ítem (9,10). Tales anclajes mejoran la posibilidad de lograr puntuaciones confiables y consistentes en el tiempo. También se han propuesto esquemas de entrevista estructurada y semiestructurada para asegurar que se exploren todos los dominios relevantes para la puntuación de la escala (11,12).

La confiabilidad interevaluador se ha medido con el coeficiente de correlación de Pearson en varios estudios y se han reportado valores mayores de 0,8 en la mayoría de ellos (13). Tales valores se ven afectados por la falta de entrenamiento de los evaluadores (14). Los ítems que suponen medición a partir de la observación son los que muestran puntuaciones de confiabilidad más bajas, por lo que el uso de anclajes puede ser útil para reducir los niveles de error que se presentan.

La sensibilidad al cambio del instrumento se ha contrastado con otros instrumentos como la escala de impresión clínica global (18) y la escala de depresión de Hamilton (19). Tal propiedad se ha tenido en cuenta en varios estudios de intervención farmacológica y no farmacológica.

Algunos autores han encontrado que es cuestionable la sensibilidad del instrumento para detectar cambios en los síntomas negativos (20).

Se han hecho diferentes propuestas de agrupación de los ítems en dominios específicos. Varios estudios factoriales han identificado subescalas en la BPRS (21). Las subescalas que se han replicado consistentemente en varios estudios son: trastorno del pensamiento, suspicaciahostilidad, depresión-ansiedad, aislamientoretardo motor y agitación-excitación.

El panorama de investigación de trastornos psicóticos en Colombia es limitado, en parte, por la falta de disponibilidad de suficientes escalas desarrolladas y validadas. Esto quiere decir que para desarrollar procesos de investigación que consideren el diagnóstico y la evolución de diversos trastornos mentales, se debe disponer de un arsenal de instrumentos válidos y confiables que se ajusten a las características de nuestros pacientes y nuestros clínicos. En este escenario, la presente investigación pretende que los clínicos colombianos dispongan de una versión en castellano de la escala BPRS con adecuada validez y confiabilidad, que les permita su aplicación tanto en ámbitos clínicos como investigativos.

Se hicieron tres traducciones del inglés al español de una versión de la BPRS con puntos de anclaje. Las traducciones fueron hechas por personas que tenían el español como lengua materna y que hablaban y escribían fluidamente el inglés. Un comité de expertos, conformado por tres clínicos con experiencia en evaluación y tratamiento de cuadros psicóticos, ajustó una versión preliminar teniendo como insumo las tres versiones traducidas. En la fase del estudio piloto participaron tres clínicos expertos en entrevista psiquiátrica, quienes aplicaron la versión ajustada del instrumento a diez pacientes que recibían tratamiento intrahospitalario, con el fin de detectar dificultades en la aplicabilidad e interpretación de la escala. Finalmente, los autores junto con el comité de expertos ajustaron la versión definitiva, teniendo en cuenta las dificultades detectadas en la aplicación de la escala durante la prueba piloto. La versión final se tradujo del español al inglés con el fin de evaluar su concordancia con la escala original.

Se consideró adecuado incluir 145 pacientes en esta fase, dada la recomendación de que para el cálculo del tamaño de la muestra para estudios factoriales se considera indispensable incluir 100 pacientes o 5 sujetos, como mínimo, por cada ítem que compone la escala (22,23). El instrumento fue aplicado por dos clínicos expertos a pacientes que recibían atención psiquiátrica intrahospitalaria, mediante un modelo de entrevista psiquiátrica semiestructurada con una duración de 20 a 30 minutos. Los diagnósticos psiquiátricos se formularon de acuerdo con la propuesta clasificatoria del DSM-IV.

Para el análisis factorial se seleccionó el método de factores principales, teniendo en cuenta que el propósito fundamental era determinar la estructura de los dominios del síndrome buscando la presencia de variables latentes no observadas (25). Para definir el número de factores que se debían incluir, se tuvo en cuenta el método de Kaiser (valores propios mayores de 1). La estructura factorial se evaluó también mediante el método de cargas factoriales por rotaciones ortogonal (promax) y oblicua (varimax), para determinar si ofrecían las mismas condiciones de interpretación que el método de componentes principales.

El análisis de consistencia interna se llevó a cabo mediante los coeficientes alfa de Cronbach para establecer qué ítems tenían una medida de homogeneidad entre 0,7 y 0,9.

Se evaluaron 30 pacientes con síntomas psicóticos productivos, número que se determinó mediante el método propuesto por Donner (26). La evaluación de los pacientes fue hecha simultáneamente por dos clínicos expertos en evaluación y diagnóstico psiquiátrico. Las puntuaciones de las escalas fueron dadas por los dos clínicos de manera independiente. Para evaluar la confiabilidad prueba-reprueba, los 30 pacientes evaluados en la fase de confiabilidad interevaluador se examinaron nuevamente dos días después de la medición inicial, asumiendo que en este período no se habían presentado modificaciones en la condición clínica.

Para los puntajes totales de la escala, tanto para la confiabilidad interevaluador como para la confiabilidad prueba-reprueba, la evaluación de concordancia entre las dos mediciones se llevó a cabo mediante el coeficiente de correlaciónconcordancia de Lin (rc) (27), el coeficiente de correlación intraclase (28) y el estadístico de límites de acuerdo de Bland y Altman (29). Para los puntajes de los diferentes ítems, la concordancia se midió usando el coeficiente de correlación-concordancia de Lin. Las mediciones se consideraron fuertemente correlacionadas si el r era mayor de 0,8 y 0,6 para la confiabilidad interevaluador y prueba-reprueba, respectivamente.

Para evaluar la validez de criterio concurrente, se aplicó simultáneamente la escala BPRS y la escala ICG en una sola ocasión al grupo de 30 pacientes evaluados en la fase de confiabilidad interevaluador. Teniendo en cuenta las características de las variables, se efectuó el análisis de correlación utilizando el coeficiente de correlación de Spearman.

Para efectuar el análisis de la sensibilidad del instrumento para detectar cambios en la condición clínica, se aplicó nuevamente al grupo de 30 pacientes evaluados inicialmente en la evaluación de confiabilidad interevaluador, en un momento en que, a juicio de los médicos tratantes, se hubieran presentado cambios en la condición clínica. Se compararon las puntuaciones de la evaluación inicial y de la evaluación posterior mediante la prueba de Anova de sujetos que incluyera factores entre sujetos (30).

Se consideró conveniente realizar el análisis factorial teniendo en cuenta que el examen de la estructura de la matriz de correlación de Pearson reveló múltiples valores superiores a 0,3 del TAB: trastorno afectivo bipolar; TDM: trastorno depresivo mayor coeficiente de correlación. Además, la evaluación de la adecuación de la muestra mediante la prueba de Kaiser-Meyer-Olkin indicó que las variables medían factores comunes al obtenerse un índice de 0,76. Finalmente, el resultado de la prueba de esfericidad de Bartlett fue estadísticamente significativo (p<0,001), lo cual está a favor de adelantar el análisis para determinar los factores subyacentes en la matriz de correlación.

El análisis factorial mediante el método de componentes principales sugirió el análisis con tres ejes factoriales, que correspondió al número de valores propios mayores de 1. Las rotaciones ortogonal y oblicua mostraron los mismos niveles de interpretación.

La estructura de los tres ejes factoriales fue la siguiente:

incoherencia, conducta motora extraña, hostilidad, suspicacia, alucinaciones, falta de colaboración, pensamiento extraño y desorientación. Este factor se relacionó con sintomatología psicótica, principalmente del espectro esquizofrénico y lo denominamos "factor esquizofreniforme".

· Factor 2 (F2): dio cuenta del 20% de la varianza total y estuvo conformado por los siguientes ítems: contacto pobre durante la entrevista, grandiosidad, lentitud psicomotora, reducción del tono afectivo y excitación-irritabilidad. La estructura de este factor refleja la polaridad excitación-inhibición, característica de los trastornos bipolares. A este dominio lo denominamos "factor de bipolaridad".

· Factor 3 (F3): recogió el 13% de la varianza total e incluyó los siguientes ítems:

preocupaciones somáticas, ansiedad psíquica, culpa, tensión y humor depresivo. Este factor estuvo relacionado con síntomas depresivos en los que la ansiedad es una manifestación importante; corresponde, entonces, a un factor de depresión.

Al asumir una estructura no ortogonal, se calcularon coeficientes de correlación entre los factores encontrados partiendo de la presunción teórica de dependencia de los tres factores. Los factores relacionados con los diagnósticos de tipo afectivo F2 y F3 fueron los que mostraron mayor correlación (0,1878; p=0,0464). Los puntajes del factor esquizofreniforme F1 se correlacionaron positivamente con el factor depresivo F3 (0,0636; p=0,5036) y negativamente con el factor bipolar F2 (-0,1745; p=0,0645).

En la aplicación de la escala para determinar la confiabilidad interevaluador, la media del puntaje total de la escala fue de 58,13 (DE=21,46) para el evaluador 1 y de 56,4 (DE=21,7) para el evaluador 2. Para una diferencia media de 1,73 (DE=7,05) entre los dos evaluadores, el intervalo de confianza de límites de acuerdo de Bland y Altman no mostró desviaciones significativas del acuerdo dado por una diferencia media de cero (IC95%: -12,07 a 15,55).

El resultado del coeficiente de correlaciónconcordancia de Lin (rc) fue de 0,944 (IC95%: 0,903 a 0,984); el coeficiente de correlación de Pearson (r) fue de 0,947, y el coeficiente de correlación intraclase fue de 0,947 (IC95%: 0,892 a 0,974).

Los coeficientes señalados fueron significativamente distintos de cero (p<0,001) y superiores a 0,8 lo cual indica una buena concordancia entre las medidas efectuadas por los dos evaluadores.

La concordancia medida entre ítems fue en general buena, con excepción del ítem 6 (tensión), en el cual se encontró un coeficiente de Lin de 0,3. Los restantes coeficientes fueron significativamente diferentes de cero.

La media del puntaje en la evaluación inicial fue de 58,1 (DE=21,55) y en la final de 52,2 (DE=19,4). Esta diferencia de medias resultó significativa (t pareada=2,93, p=0,006). Dada una diferencia media de 5,9 entre las dos mediciones (DE=11,0), el intervalo de confianza de límites de acuerdo de Bland y Altman no mostró desviaciones significativas del acuerdo dado por una diferencia media de cero (IC95%: -15,69 a 27,49).

El resultado del coeficiente de correlaciónconcordancia de Lin (rc) fue de 0,820 (IC95%: 0,706 a 0,934); el coeficiente de correlación de Pearson (r) de 0,860, y el coeficiente de correlación intraclase de 0,856 (IC95%: 0,719 a 0,928). Los coeficientes señalados fueron significativamente distintos de cero (p<0,001) y superiores a 0,8 lo cual indica una buena confiabilidad pruebareprueba.

El resultado con la r de Spearman fue de 0,71 en el punto de mayor seriedad y de 0,72 en el punto de menor seriedad de los síntomas. Ambos coeficientes fueron significativamente diferentes de cero. Los anteriores valores indican que la validez concurrente del instrumento es satisfactoria, más aún si se tiene en cuenta que la escala ICG es un instrumento inespecífico de medición.

Los factores que se midieron dentro del modelo Anova fueron el cambio de la puntuación luego de un período de tratamiento y el papel de los diferentes evaluadores. Se consideraron en el modelo dos fuentes de variabilidad: variabilidad de los sujetos y variabilidad entre los sujetos. La primera se consideró como dependiente del momento en que se efectuó la medición en el paciente y la segunda como dependiente de los diferentes evaluadores participantes en la medición.

Se encontró que la puntuación inicial y final fueron diferentes. La diferencia dependía del componente de variabilidad de los sujetos, dada por el momento en que se efectuó la medición (F(1, 58)=99,4; p=0,000). El componente de variabilidad entre sujetos (evaluador) no resultó significativo (F(1, 58)=0,07 p=0,79). La interacción entre el evaluador y el momento de realizar la entrevista no resultó significativa (F(1, 58)=0,01 p=0,93). Los anteriores resultados indican que la escala BPRS es un instrumento sensible al cambio en la condición clínica de los pacientes y que mantiene dicha sensibilidad cuando es aplicada por diferentes examinadores.

La escala Brief Psychiatric Rating Scale es un instrumento de medición de la psicopatología general que ha mostrado utilidad en ámbitos clínicos e investigativos, habiéndose replicado su validez intercultural en diversos estudios.

En Colombia, este instrumento no se había validado, a pesar de que se está utilizando en los escenarios clínicos. El análisis de la estructura de dominios de la escala en la muestra estudiada produjo resultados que no son consistentes con la estructura factorial definida en estudios previos (21). Nuestro análisis factorial indicó la presencia de sólo tres factores, relacionados con síntomas del espectro esquizofrénico, bipolar y depresivo. Sin embargo, esta estructura factorial tiene una obvia posibilidad de interpretación desde el punto de vista clínico y resulta útil. La falta de concordancia entre la estructura factorial reportada en otros estudios y la encontrada en nuestro análisis amerita la realización de un análisis factorial confirmatorio con muestras de mayor tamaño o con estratos de diagnóstico más representativos. Es posible que la alta proporción de diagnósticos del espectro afectivo (50%) no permitiera definir de manera suficiente el perfil factorial que evalúa la escala. De todos modos, no pensamos que ésta sea una limitación importante del estudio, ya que la escala estudiada tiene aplicación clínica e investigativa en rangos amplios e inespecíficos de pacientes, como el que hemos incluido en este estudio. Algunos ítems, especialmente aquellos que tuvieron mejor representación en el dominio de bipolaridad, mostraron pobre ajuste al instrumento de manera global, lo que pudiese indicar dificultades del instrumento en la evaluación de pacientes inhibidos del espectro bipolar. Este hallazgo sugiere que para lograr mediciones de buena calidad en este tipo de pacientes sería recomendable el uso de escalas diferentes a la BPRS, que incorporen de manera más representativa los síntomas de inhibición en episodios afectivos.

El análisis de confiabilidad interevaluador mostró coeficientes de correlación superiores a 0,94 consistentes con lo reportado en la literatura (13). Estos valores pueden estar relacionados no sólo con las propiedades psicométricas del instrumento, sino con la utilización de anclajes para reducir la variabilidad de la medición. Los análisis de confiabilidad prueba-reprueba, validez de criterio y sensibilidad al cambio fueron consistentes con lo reportado en la literatura (20), encontrándose dentro de valores satisfactorios.

Los resultados de este estudio han documentado, por medio de un proceso sistemático, satisfactorias cualidades de medición de la escala BPRS, lo cual sustentan el uso en Colombia de esta versión del instrumento.

Los autores agradecen a los psiquiatras de la Unidad de Salud Mental del Hospital Santa Clara de Bogotá.

Los autores manifiestan no tener ningún conflicto de intereses.

Trabajo financiado por la Universidad Nacional de Colombia, sede Bogotá.

 Correspondencia:

Ricardo Sánchez, Oficina 202, Facultad de Medicina, Universidad Nacional de Colombia, Ciudad Universitaria,

Carrera 30 con calle 45, Bogotá, D.C., Colombia.

Teléfono: 316 5000, extensión 15117, y 315 7315

Recibido: 03/09/04; aceptado: 03/02/05

1. Guimón J, Mezzich JE, Berrios GE. Diagnóstico en psiquiatría. Barcelona: Salvat Editores; 1988. p.16-9.

2. Strauss JS. A comprehensive approach to psychiatric diagnosis. Am J Psychiatry 1975;132:1193.

3. American Psychiatric Association. Diagnostic and statistical manual of mental disorders. 4^th. edition. Washington, D.C.: American Psychiatric Association; 1994.

4. World Health Organization. The ICD-10 classification of mental and behavioral disorders: diagnostic criteria for research. Geneva: World Health Organization; 1992.

5. Berrios G, Chen H. Recognizing psychiatric symptoms. Relevance to the diagnostic process. Br J Psychiatry 1993;163:308-14.

6. Overall JE, Gorham DR. The Brief Psychiatric Rating Scale. Psychological Reports 1962;10:799-812.

7. Lorr M, Klett CJ. Inpatient Multidimensional Psychiatric Scale (revised edition). Palo Alto, California : Consulting Psychologists Press; 1966.

9. Woerner MG, Mannuzza S, Kane JM. Anchoring the BPRS: an aid to improve reliability. Psychopharmacol Bull 1988;24:112-7.

10. Bech P, Kastrup M, Rafaelsen OJ. Minicompendium of rating scales for states of anxiety, depression, mania and schizophrenia with corresponding DSM-III syndromes. Acta Psychiatr Scand 1986;326(Suppl):7-37.

11. Rhoades HM, Overall JE. The semistructured BPRS interview and rating guide. Psychopharmacol Bull 1988;24:101-4.

12. Tarell JD, Schulz SC. Nursing assessment using the BPRS: a structured interview. Psychopharmacol Bull 1988;24:105-11.

13. Hafkenscheid A. Psychometric measures of individual change: an empirical comparison with the Brief Psychiatric Rating Scale (BPRS). Acta Psychiatr Scand 2000;101:235-42.

14. Andersen J, Larsen JK, Schultz V, Nielsen BM, Corner A, Behnke K et al. The Brief Psychiatric Rating Scale. Dimensions of schizophrenia – Reliability and construct validity. Psychopatology 1989;22:68-76.

15. Gold JM, Caleb Queern BA, Iannone VN, Buchanan RW. Repeatable battery for the assessment of neuropsychological status as a screening test in schizophrenia. I. Sensitivity, reliability and validity. Am J Psychiatry 1999;56:12.

16. Manchanda R, Saupe R, Hirsh R. Comparison between the Brief Psychiatric Rating Scale and the Manchester Scale for the rating of schizophrenic symptoms. Acta Psychiatr Scand 1986;74:563-7.

17. Gur RE, Mozley PD, Resnick SM, Levick S, Erwin R, Saykin AJ et al. Relations among clinical scales in schizophrenia. Am J Psychiatry 1991;148:472-8.

19. Hamilton M. Development of a rating scale for primary depressive illness. Br J Soc Clin Psychol 1967;6:278-96.

20. Eckert SL, Diamond PM, Miller AL, Velligan DI, Funderburg LG, True JE. A comparison of instrument sensitivity to negative symptom change. Psychiatric Research 1996;63:67-75.

21. Dingemans PM, Frohn-de Winter ML, Bleeker JAC, Rathod P. A cross-cultural study of the reliability and factorial dimensions of the Brief Psychiatric Rating Scale (BPRS). Psychopharmacology 1983;80:190-1.

22. Streiner D. Figuring out factors. The use and misuse of factor analysis. Can J Psychiatry 1993;39:135-40.

23. Tabachnik BG, Fidell LS. Using multivariate statistics. Fourth edition. Boston: Allyn and Bacon; 2001. p.588.

24. Pett M, Lackey N, Sullivan J. Making sense of factor analysis: the use of factor analysis for instrument development for health care research. Thousand Oaks, CA: Sage Publications, Inc.; 2003. p.71-84.

25. Hamilton LC. Regression with graphics. A second course in applied statistics. Belmont: Duxbury Press;1992. p.249-88

26. Donner A, Eliasziw M. Sample size requirements for reliability studies. Statistics in Medicine 1987;6:441-8.

27. Lin L. A concordance correlation coefficient to evaluate reproducibility. Biometrics 1989;45:255-68.

29. Bland JM, Altman DG. Statistical methods for assessing agreement between two methods of clinical measurement. Lancet 1986;I:307-10.

30. Gleason JR. Within subjects (repeated measures) ANOVA, including between subjects factors. Stata Technical Bulletin 1999;47:40-5.