SciELO - Scientific Electronic Library Online

 
vol.16 número1Estilos de crianza como predictores del comportamiento tabáquico adolescenteEfectos de un programa de competencias emocionales en la prevención de cyberbullying en bachillerato índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Pensamiento Psicológico

versión impresa ISSN 1657-8961

Pensam. psicol. vol.16 no.1 Cali ene./jun. 2018

 

Validez de constructo de la versión corta de la Escala de Desregulación Emocional para niños y adolescentes1

Construct Validity of the Emotional Dysregulation Scale, Short Form, for Children and Adolescents

Validade de constructo da versão curta da Escada de Desregulação Emocional para crianças e adolescentes

José Alfredo Contreras-Valdez2
Laura Hernández-Guzmán3
Miguel-Ángel Freyre4

Universidad Nacional Autónoma de México, Ciudad de México (México)

1Esta investigación forma parte de la tesis doctoral del primer autor, y fue posible gracias al financiamiento otorgado a José Alfredo Contreras-Valdez por parte del Consejo Nacional de Ciencia y Tecnología (Conacyt; beca 368202) y a la doctora Laura Hernández-Guzmán, responsable de los proyectos PA-PIIT IN305814 "El papel de la regulación emocional en la psicopatologia infanto-juvenil, "y el proyecto IN304016" El papel de la emoción en la terapia cognitivo-conductual: hacia el tratamiento transdiagnóstico de la ansiedad y depresión", Dirección General de Asuntos del Personal Académico de la UNAM.
2Doctor en Psicología.
3PhD Child and Developmental Psychology. Laboratorio de Investigación en Psicopatología Infanto-Juvenil, Facultad de Psicología, Universidad Nacional Autónoma de México. Av. Universidad No. 3004, Edif. E, cubículo 209, Col. Copilco Universidad, C.P. 04510, Delegación Coyoacán, Ciudad de México. Teléfono: (55) 5622-2250. Correo de correspondencia: lher@unam.mx
4Licenciado en Psicología.

Recibido: 17/02/2017 Aceptado: 31/07/2017


Para citar este artículo / To cite this article / Para citar este artigo

Contreras-Valdez, J. A., Hernández-Guzmán, L. y Freyre, M. Á. (2018). Validez de constructo de la versión corta de la Escala de Desregulación Emocional para niños y adolescentes. Pensamiento Psicológico, 16(1), 19-31. doi:10.11144/Javerianacali.PPSI16-1.vcvc


Resumen

Objetivo. Someter a prueba el modelo unidimensional de la Escala de Desregulación Emocional, versión corta (EDS-short) para niños y adolescentes; examinar su invariancia entre sexos y edades; e indagar acerca de su validez convergente. Método. Mediante un muestreo intencional participaron, en un estudio y su réplica, 407 y 546 menores, respectivamente, quienes respondieron la EDS-short y la subescala de afecto negativo de la Positive and Negative Affect Scale para niños. Se empleó el análisis factorial confirmatorio para analizar la estructura unidimensional de la EDS-short y se examinó la asociación entre la desregulación emocional y el afecto negativo por medio de la correlación de Pearson. Resultados. En ambos estudios, el modelo unidimensional mostró un ajuste adecuado (x2 / gl <= 2.76; RMSEA < 0.06; CFI = 0.99; IFI = 0.99; NFI = 0.98; NNFI = 0.99), así como invariancia entre mujeres y hombres y entre niños y adolescentes (ACFI = 0.00). Hubo asociación positiva y moderada entre la desregulación emocional y el afecto negativo (r > 0.57). Conclusión. La EDS-short posee un modelo de medida unidimensional y validez convergente. Se recomienda como una medida viable de la desregulación emocional de niños y de adolescentes.

Palabras clave: Regulación emocional, emociones, malestar, psicopatología, autoinformes.


Abstract

Objective. The aims of this research were to test the unidimensional model of the Emotional Dysregulation Scale, short form (EDS-short), for children and adolescents, to examine its invariance across sex and age, and to investigate its convergent validity. Method. By intentional sampling, 407 and 546 young people answered the EDS-short and the Negative Affect subscale of the Positive and Negative Affect Scale for Children in a first study and its replication, respectively. Confirmatory factor analysis was used to analyze the unidimensional structure of the EDS-short, and Pearson correlation was used to examine the association between emotion dysregulation and negative affect. Results. In both studies the unidimensional model showed an adequate fit (x2 / gl < 2.76; RMSEA < 0.06; CFI = 0.99; IFI = 0.99; NFI = 0.98; NNFI = 0.99), as well as invariance between girls and boys, and children and adolescents (ACFI = 0.00). A positive and moderate relation between emotion dysregulation and negative affect was found (r > 0.57). Conclusion. The EDS-short has a unidimensional measurement model and convergent validity. It is recommended as a viable measure of child and adolescent emotional dysregulation.

Keywords: Emotional regulation, emotions, distress, psychopathology, self-report.


Resumo

Escopo. Os propósitos de esta pesquisa foram someter a prova o modelo unidimensional da Escada de Desregulação Emocional, versão curta (EDS-short), para crianças e adolescentes, examinar sua não variação entre sexos e idades e indagar sobre sua validade convergente. Metodologia. Mediante uma amostra intencional participaram, em um estudo e sua réplica, 407 e 546 menores, respetivamente, os quais responderam a EDS-short e a sub-escada de afeto negativo da Positive and Negative Affect Scale para crianças. Foi empregada a análise fatorial confirmatória para analisar a estrutura unidimensional da EDS-short e foi examinada a associação entre a desregulação emocional e o afeto negativo por médio da correlação de Pearson. Resultados. Em ambos os estudos o modelo unidimensional mostrou um ajuste adequado (x2 / gl 2.76; RMSEA < 0.06; CFI = 0.99; IFI = 0.99; NFI = 0.98; NNFI = 0.99), assim como uma não variação entre homens e mulheres e entre crianças e adolescentes (ACFI = 0.00). Existiu uma associação positiva e moderada entre a desregulação emocional e o afeto negativo (r > 0.57). Conclusão. A EDS-short tem um modelo de medida unidimensional e validade convergente. É recomendada como uma medida viável da desregulação emocional de crianças e adolescentes.

Palavras-chave: Regulação emocional, emociones, indisposição, psicopatologia, auto-informes.


Introducción

Durante las décadas recientes el estudio de la psicopatología de niños y de adolescentes ha sufrido cambios importantes. Las investigaciones de los últimos años han propiciado una transición de una concepción categórica de la psicopatología a una explicación dinámica, multifactorial y dimensional, en la cual se concibe la disfunción psicológica como parte de un continuo que oscila entre lo normal y lo anormal (Geise, Barzman y Strakowski, 2014; Regier, 2012; Widiger y Samuel, 2005). A partir de la contundencia de los resultados de investigación que apoyan esta perspectiva dimensional (Allen, McHugh y Barlow, 2008; Barlow, Allen y Choate, 2004), se ha enfatizado el estudio de factores comunes que subyacen a las diferentes disfunciones psicológicas (Barlow, Bullis, Comer y Ametaj, 2013; Bullis et al., 2015; Hofmann y Barlow, 2014). La desregulación emocional se ha situado como uno de estos factores (Neacsiu, Eberle, Kramer, Wiesmann y Linehan, 2014), al desempeñar un papel central en el desarrollo y en el mantenimiento de la psicopatología infantil y juvenil (Beauchaine, 2015; Bender, Reinholdt-Dunne, Esbj0rn y Pons, 2012; Berking y Wupperman, 2012).

Los niños y los adolescentes que no regulan adecuadamente sus emociones son propensos a presentar secuelas psicológicas negativas graves. A corto plazo, la desregulación emocional de niños y adolescentes predice fuertemente la ansiedad (Bender et al., 2012), el deterioro cognitivo y los déficits en la competencia social (Berkovits y Baker, 2014). Al mismo tiempo, media entre el apego inseguro y la ansiedad (Bender, S0mhovd, Pons, Reinholdt-Dunne y Esbj0rn, 2015), entre el maltrato emocional y la conducta alimentaria disfuncional (Mills, Newman, Cossar y Murray, 2015) y entre los problemas afectivos de los padres y los síntomas interiorizados y exteriorizados de los hijos (Buckholdt, Parra y Jobe-Shields, 2014; Han y Shaffer, 2013).

Además, a largo plazo, la desregulación emocional experimentada en edades tempranas incrementa el riesgo de padecer ansiedad (McLaughlin, Hatzenbuehler, Mennin y Nolen-Hoeksema, 2011), depresión (Abravanel y Sinha, 2015; Crow, Cross, Powers y Bradley, 2014; Paulus, Vanwoerden, Norton y Sharp, 2016), conducta alimentaria disfuncional (Kelly et al., 2016; Racine y Wildes, 2015), conducta agresiva (Herts, McLaughlin y Hatzenbuehler, 2012; McLaughlin et al., 2011), personalidad límite (Buckholdt, Weiss, Young y Gratz, 2015), entre otros problemas.

Debido al papel fundamental que desempeña la desregulación emocional como una variable subyacente a diferentes formas de psicopatología, se ha considerado como un objetivo de tratamiento de los protocolos transdiagnósticos actuales (Barlow et al., 2011; Barlow et al., 2013; Campbell-Sills, Ellard y Barlow, 2014; Fowler et al., 2016; Hofmann y Barlow, 2014; Neacsiu et al., 2014; Sauer-Zavala et al., 2012). Considerando las consecuencias negativas de la desregulación emocional, es necesario saber más acerca de las trayectorias por las cuales el manejo inadecuado de las emociones puede tener por desenlace disfunciones psicológicas. La medición apropiada de este factor transdiagnóstico es un primer paso en tal encomienda y un menester con miras a la investigación e implementación de los tratamientos unificados.

Una herramienta diseñada para medir la desregulación emocional como un extremo del continuo regulación-desregulación (normalidad-anormalidad) es la escala de desregulación emocional (Emotion Dysregulation Scale, EDS; Bradley et al., 2011). Los antecedentes de este cuestionario se sustentan en la perspectiva dimensional de la psicopatología. La EDS surgió como una adaptación del Affect Regulation and Experience Q-sort (Westen, Muderrisoglu, Fowler, Shedler y Koren, 1997), así como de los indicadores de desregulación emocional del Shedler-Westen Assessment Procedure de 200 ítems (SWAP-200; Westen y Shedler, 1999), instrumento creado para que el clínico, ya sea psicólogo o psiquiatra, registre indicadores de diversos desórdenes de la personalidad.

Mediante análisis factorial exploratorio se ha concluido que los ítems del SWAP-200, que miden específicamente desregulación emocional, conforman una sola dimensión, llamada desregulación emocional, que se ha conceptuado como una deficiencia en la habilidad para modular las emociones, por lo que estas tienden a salirse de control, cambiar rápidamente, expresarse de forma muy intensa y, por ende, sobrepasar la capacidad de razonamiento o afrontamiento (Shedler y Westen, 2004). La existencia de esta dimensión se ha replicado en un segundo estudio con adultos (Westen, Waller, Shedler y Blagov, 2014) y en otro con adolescentes (Westen, Dutra y Shedler, 2005). Resultaría beneficioso corroborar el ajuste de la dimensión de desregulación emocional, usando análisis factorial confirmatorio.

La versión corta en inglés de la EDS (EDS-short; Powers, Stevens, Fani y Bradley, 2015) ha mostrado propiedades psicométricas adecuadas: (a) un coeficiente alfa de Cronbach superior a 0.90, (b) evidencia de validez concurrente tras correlacionar fuertemente con una escala de dificultades en la regulación emocional (Difficulties in Emotion Regulation Scale; Gratz y Roemer, 2004) y (c) validez convergente al correlacionar con otros constructos teóricos asociados con la desregulación emocional, entre los que destaca el afecto negativo medido con el Positive and Negative Affect Schedule (PANAS; Watson, Clark y Tellegen, 1988).

Tanto la desregulación emocional como el afecto negativo representan factores comunes en el desarrollo y el mantenimiento de los desórdenes emocionales desde edades tempranas (Chorpita, 2002; Tortella-Feliu, Balle y Sesé, 2010). Si las personas no cuentan con estrategias adaptadas para regular el afecto negativo, este tiende a exacerbarse y a predecir la psicopatología. El afecto negativo y la desregulación emocional son elementos transdiagnósticos responsables de un amplio número de disfunciones psicológicas (Berking y Wupperman, 2012; Bradley et al., 2011; Donahue, Goranson, McClure y van Male, 2014; Powers et al., 2015), lo cual justifica la relación positiva y fuerte entre estas dos variables.

Contrastando con los datos sobre su fiabilidad y su validez concurrente y convergente destaca la dudosa validez de constructo de la EDS-short. No existe evidencia que corrobore si se trata de una sola dimensión, tal y como lo han sugerido de forma preliminar Shedler y Westen (2004). La incertidumbre sobre el carácter unidimensional de la EDS-short se incrementa debido a que sus autores originales (Powers et al., 2015) propusieron que esta mide tres dominios de la desregulación emocional (cognitivo, afectivo y de experiencia emocional), sin especificar ni definir de manera operacional cuáles ítems los conformarían; además, tampoco presentaron evidencia sobre su estructura mediante análisis factorial confirmatorio. Suponer que los indicadores de la EDS-short se agrupan en dimensiones que no poseen respaldo empírico, representa un serio problema que se traduciría en conclusiones inexactas o carentes de validez.

Es indispensable, entonces, indagar sobre la validez de constructo de la EDS-short, pues, a pesar de que el autoinforme es una técnica ampliamente aceptada por su capacidad para acceder a diferentes cualidades de las emociones, su aplicación individual o colectiva y su carácter no intrusivo, algunos hallazgos dentro del estudio de la desregulación emocional carecen de relevancia científica debido a la falta de validez de los instrumentos con los que se ha medido (Zeman, Cassano, Perry-Parrish y Stegall, 2006; Zeman, Klimes-Dougan, Cassano y Adrian, 2007).

Si bien la EDS-short se ha aplicado principalmente a población adulta, sería muy útil contar con una medida válida de desregulación emocional para la población infantil y juvenil. La EDS-short (de 12 indicadores) resulta especialmente atractiva, pues facilitaría el estudio de la desregulación emocional de niños y de adolescentes mediante aplicaciones relativamente breves en comparación con las de otros instrumentos más extensos (Powers et al., 2015). Sin embargo, debido a que se ha encontrado que al medir la desregulación emocional en la infancia y la adolescencia la puntuación de las mujeres es mayor que la de los hombres, sería pertinente analizar si aparte de esas diferencias en intensidad también hay variaciones en la estructura factorial de la EDS-short entre sexos (Bender et al., 2012).

El grupo de edad constituye otra variable de interés para probar la invariancia del modelo unidimensional, ya que, a la luz del desarrollo psicológico, se sabe que el proceso de regulación emocional se torna más complejo conforme avanza la edad. La regulación emocional de los menores se va consolidando a partir del repertorio de estrategias que puedan mostrarles sus padres y las capacidades cognitivas que vayan adquiriendo. En la adolescencia los jóvenes deben satisfacer demandas más grandes de la familia, los pares, la escuela y otros contextos (Cicchetti y Rogosch, 2002; Zeman et al., 2006).

Por consiguiente, esta investigación tuvo como propósito principal conocer, por medio de dos estudios independientes (un primer estudio y su réplica), si la EDS-short es válida para medir la desregulación emocional de niños y de adolescentes de Ciudad de México. La importancia de la réplica radica en que, además de ayudar a establecer la generalidad de un fenómeno, demuestra que las variables extrañas no resultan lo suficientemente poderosas para impedir que un hallazgo se repita (Sidman, 1960).

Ambos estudios se plantearon tres propósitos:

(a) someter a prueba el modelo de medida de una sola dimensión de la desregulación emocional, (b) evaluar la invariancia de este modelo unidimensional, tanto por sexo (mujeres y hombres) como por edad (niños y adolescentes) y (c) indagar sobre la validez convergente de la EDS-short.

Con los hallazgos de la investigación se espera corroborar las hipótesis. Primera hipótesis: la estructura de una sola dimensión de la desregulación emocional presentaría un adecuado ajuste y evidenciaría la validez convergente de la EDS-short, modelo vislumbrado inicialmente por Shedler y Westen (2004). Segunda hipótesis: de acuerdo con los estudios de Bender et al. (2012) y Zeman et al. (2006), el modelo unidimensional sería invariante entre mujeres y hombres y entre niños y adolescentes. La tercera hipótesis: congruente con los hallazgos de Bradley et al. (2011) y de Powers et al. (2015), a mayor desregulación emocional, mayor afecto negativo, lo cual arrojaría evidencia en favor de la validez convergente de la EDS-short.

A continuación se presentan los dos estudios correspondientes.

Estudio 1

Método

Participantes.

Inicialmente la muestra comprendió 558 estudiantes de los tres primeros niveles escolares de la Clasificación Internacional Normalizada de la Educación (primaria, secundaria inferior y secundaria superior; Instituto de Estadística de la Unesco, 2011). La muestra se obtuvo de seis escuelas públicas de diversas entidades de la zona metropolitana de Ciudad de México, por medio de un muestreo intencional tomando como unidad de muestreo al grupo escolar. Los criterios de inclusión fueron pertenecer a algún grupo de los que las autoridades permitieron, saber leer y escribir y asentir su participación. No completar los instrumentos constituyó el criterio de exclusión. Se prescindió de 151 casos con datos faltantes (27.06%; completamente aleatorios, X2 de Little [65] = 69.11, p = 0.340), por lo que la muestra final incluyó 407 participantes (140 niños y 267 adolescentes - de acuerdo con criterios de la Organización Panamericana de la Salud; Breinbauer y Maddaleno, 2008 -, de los cuales, según la distribución por sexo, eran 219 mujeres y 188 hombres), cuyo rango de edad osciló entre los 8 y los 18 años (M = 13.36; DE = 2.54). De ellos, 136 eran estudiantes de primaria; 115 de secundaria inferior y 156 de secundaria superior. Se deseaba un tamaño de la muestra de mínimo 10 participantes por parámetro del modelo a evaluar (25 parámetros; Kline, 1998), criterio que se cumplió en este primer estudio.

Instrumentos.

La escala de desregulación emocional versión corta (EDS-short; Powers et al., 2015), adaptada para población de niños y de adolescentes mexicanos (para consultar el procedimiento de adaptación ver Hernández-Guzmán, 2016) es un autoinforme que consta de 12 ítems para medir desregulación emocional. Cada ítem describe una conducta que indica desregulación emocional y posee una escala numérica de cinco opciones de respuesta (0, muy poco o nada, a 4, mucho); a mayor puntuación, mayor desregulación. El informante valora la medida en la que el enunciado describe la conducta. En este estudio la escala presentó una confiabilidad adecuada con un alfa de Cronbach de 0.90.

La subescala de afecto negativo del PANAS para niños (PANAS-C; Laurent et al., 1999), adaptada a población de niños y de adolescentes mexicanos (para mayor información sobre la adaptación y validación ver Hernández-Guzmán, 2016; Hernández-Guzmán, Alcázar-Olán, Freyre, Contreras-Valdez y Bribiesca, enviado) es un autoinforme que consta de 15 ítems que miden afecto negativo, para los cuales el niño o el adolescente valora qué tanto refleja o describe una palabra o frase un estado afectivo que haya experimentado en las dos semanas previas (p. ej., "espantado/a", "con pena") en una escala de cinco opciones (1, muy poco o nada, a 5, mucho); a mayor puntuación, mayor afecto negativo. La versión para niños y adolescentes mexicanos ha mostrado ser apropiada, con un alfa de Cronbach de 0.88, así como evidencia de validez de constructo (Hernández-Guzmán, Alcázar-Olán, Freyre, Contreras-Valdez y Bribiesca, enviado).

Procedimiento.

Se invitó por escrito a escuelas de diversas zonas del área metropolitana de Ciudad de México a participar en la investigación. Con la anuencia de las autoridades escolares correspondientes, estudiantes de Psicología previamente entrenados aplicaron de manera colectiva la EDS-short y el PANAS-C, junto con otros instrumentos que formaban parte de un estudio más amplio (Hernández-Guzmán, 2016), en sesiones de 35 a 90 minutos en el salón de clases de cada grupo escolar. Se pidió a los participantes que cumplimentaran los instrumentos de manera voluntaria, anónima y autónoma. En la realización de esta investigación se cumplieron los más importantes estándares éticos nacionales (Sociedad Mexicana de Psicología, 2010) e internacionales (American Psychological Association, 2010).

Análisis de datos.

Mediante el paquete EQS 6.2 (Bentler, 1985-2012) se realizó un análisis factorial confirmatorio sobre la matriz de correlaciones policóricas, en busca de datos sobre el ajuste del modelo de un solo factor (desregulación emocional). Se utilizó el método robusto de máxima verosimilitud con la corrección de Satorra y Bentler (1988, 1994). Se examinó el ajuste en términos del cociente X2 / gl, el error cuadrático medio de aproximación (RMSEA) y los índices de ajuste comparativo (CFI), incremental (IFI), normalizado (NFI) y no normalizado (NNFI). De acuerdo con criterios convencionales, los valores adecuados son: x2 / gl < 3, RMSEA < 0.06, CFI > 0.95, IFI > 0.95, NFI > 0.95 y NNFI > 0.95 (Hu y Bentler, 1999; Kline, 1998). Para probar la invariancia del modelo unidimensional por sexo (mujeres y hombres) y edad (niños y adolescentes) de forma independiente se realizaron dos análisis factoriales multigrupo. Se examinó la diferencia en el CFI para evaluar la invariancia del modelo, en la que una diferencia mayor a |0.01| sería significativa (Cheung y Rensvold, 2002). Posteriormente, por medio del IBM SPSS Statistics 22.0, se calculó la media y la desviación estándar a partir de la suma de los ítems del único factor del modelo de medida, lo mismo que la correlación reactivo-total y la mediana de cada reactivo. Finalmente, se examinó la correlación producto-momento de Pearson entre la EDS-short y la subescala de afecto negativo del PANAS-C.

Resultados

El modelo de medida unidimensional presentó un ajuste adecuado de acuerdo con todos los índices (x2 / gl = 1.87; RMSEA = 0.05, IC 90% [0.03, 0.06]; CFI = 0.99; IFI = 0.99; NFI = 0.98; NNFI = 0.99). Con respecto al análisis de invariancia, en los análisis factoriales multigrupo, los modelos mostraron un ajuste aceptable y la diferencia entre ellos no fue significativa (ACFI = 0.00; ver la tabla 1). En la tabla 2 se encuentran la mediana, la carga factorial, el error, la proporción de varianza explicada y la correlación reactivo-total de cada ítem. El único factor del modelo de medida presentó una media de 18.03 (a partir de la suma de los ítems) y desviación estándar de 10.83. Las correlaciones ítem-total oscilaron entre 0.57 y 0.74 (ver la tabla 2). La asociación de la desregulación emocional y el afecto negativo fue positiva y moderada (r = 0.57, p = 0.001).

Estudio 2

Método

Participantes.

La muestra inicial constó de 623 estudiantes de educación primaria, secundaria inferior y secundaria superior, de acuerdo con la Clasificación Internacional Normalizada de la Educación (Instituto de Estadística de la Unesco, 2011). Se utilizó un muestreo intencional. La unidad de muestreo fue el grupo escolar y se tomaron en cuenta los mismos criterios de inclusión y de exclusión del primer estudio. Las 14 escuelas públicas y privadas de las que se extrajo esta muestra se ubicaban en diversos puntos de la zona metropolitana de Ciudad de México. Una vez eliminados 77 casos (12.36%; completamente aleatorios, y? de Little [125] = 115.126, p = 0.725) por presentar datos faltantes, la muestra final fue integrada por 546 participantes (213 niños y 333 adolescentes - según la clasificación de la Organización Panamericana de la Salud; Breinbauer y Maddaleno, 2008 -, de los cuales, según la distribución por sexo, eran 314 mujeres y 232 hombres) de entre 9 y 18 años de edad (M = 12.74; DE = 1.96). De ellos, 186 cursaban primaria; 227 secundaria inferior y 133 secundaria superior. Al igual que en el primer estudio, se cumplió con el criterio de una muestra de mínimo 10 participantes por parámetro (Kline, 1998).

Instrumentos, procedimiento y análisis de datos.

Los instrumentos, el procedimiento y el análisis de datos de este segundo estudio fueron idénticos a los del primero, por tratarse de una réplica. Tanto la EDS-short como la subescala de afecto negativo mostraron una consistencia interna alfa de Cronbach de 0.89.

Resultados

Los índices de ajuste del modelo resultaron aceptables (x2/ gl = 2.76; RMSEA = 0.06, IC 90% [0.05, 0.07]; CFI = 0.99; IFI = 0.99; NFI = 0.98; NNFI = 0.99). Los análisis factoriales multigrupo mostraron un ajuste aceptable de los modelos y no hubo diferencia significativa entre ellos (ACFI = 0.00; ver tabla 1). El único factor del modelo mostró una media de 17.98 (a partir de la suma de los ítems) y desviación estándar de 11.00. Las correlaciones ítem-total oscilaron entre 0.47 y 0.69 (ver tabla 2). La asociación de la desregulación emocional y el afecto negativo fue positiva y moderada (r = 0.70, p = 0.001).

Discusión

Esta investigación se planteó conocer, mediante dos estudios independientes (estudio 1 y su réplica, estudio 2), si la EDS-short es una escala válida para medir la desregulación emocional en niños y adolescentes. Ambos estudios tuvieron tres propósitos: (a) someter a prueba la estructura unidimensional de la EDS-short, (b) evaluar la invariancia del modelo unidimensional entre sexos y grupos de edad y (c) indagar acerca de la validez convergente de la EDS-short.

Los hallazgos de esta investigación apoyaron dos de las hipótesis planteadas, pues la estructura de una sola dimensión de la desregulación emocional presentó un adecuado ajuste y evidenció la validez convergente de la EDS-short. Sin embargo, los datos no favorecieron la segunda hipótesis, debido a que el modelo unidimensional resultó invariante entre mujeres y hombres y entre niños y adolescentes.

Ahora bien, esta es la primera investigación que somete a prueba la estructura factorial unidimensional de la EDS-short, por lo que habría de considerársele pionera al sentar las bases de su validez de constructo. Los autores originales (Powers et al., 2015) habían propuesto que esta escala midiera tres dominios de la desregulación emocional, sin señalar las razones teóricas que justificaran dicha estructura ni los ítems que la conformarían. Además, sus propias conclusiones y la interpretación de sus resultados sugerían la existencia de una sola dimensión. Debido a la dudosa validez de constructo de la EDS-short era necesario someter a prueba si los ítems correspondían a la dimensión de desregulación emocional, vislumbrada por Shedler y Westen (2004) mediante el uso del SWAP-200, antecedente directo de la EDS. En esta investigación se encontró evidencia a favor de la unidimensionalidad de la EDS-short, hallazgo que puede explicarse debido a que el constructo desregulación emocional es una dimensión que contempla indicadores de inestabilidad emocional, manejo de emociones negativas intensas, inestabilidad en el pensamiento bajo situaciones de estrés, entre otros (Westen et al., 2014).

En relación con el segundo propósito, los hallazgos no corroboraron la hipótesis planteada, pues el modelo unidimensional de la EDS-short resultó invariante entre sexos y entre grupos de edad. Sin embargo, Liu, Chen y Tu (2015) también encontraron invariancia de un modelo de dos factores de regulación emocional, tanto entre sexos como entre grupos de edad, en consonancia con los hallazgos de esta investigación. Una posible explicación de estos resultados se relaciona con las características de la EDS-short. Es decir, los hallazgos de esta investigación no descartan la existencia de diferencias entre sexos o entre grupos de edad, pero sugieren que estas no afectan la medición de la desregulación emocional mediante la EDS-short. Se puede concluir que si bien pueden existir diferencias en la intensidad de los síntomas, la estructura unidimensional del constructo es lo suficientemente robusta como para ser válida para mujeres y hombres y para niños y adolescentes por igual.

Con respecto al tercer propósito, se estudió la asociación entre la desregulación emocional y el afecto negativo. Congruente con los hallazgos de otros investigadores (Bradley et al., 2011; Donahue et al., 2014; Powers et al., 2015), en estos estudios se corroboró la relación postulada en la hipótesis, a mayor desregulación emocional, mayor afecto negativo. Esta relación puede explicarse debido a que ambos constructos son factores protagónicos en el desarrollo de la psicopatología desde edades tempranas, especialmente de los desórdenes emocionales (Barlow et al., 2004, 2011). Se sabe que el afecto negativo es un factor supraordenado de estos problemas en la infancia y la adolescencia (Chorpita, 2002), y que las deficiencias en la regulación emocional median la relación entre el afecto negativo y los síntomas de ansiedad y de depresión (Tortella-Feliu et al., 2010), por lo cual la relación entre la desregulación emocional y el afecto negativo da cuenta de la validez convergente de la EDS-short.

La aportación más valiosa de esta investigación es el uso de la réplica al estudiar la validez de la EDS-short en dos muestras independientes. El ajuste del modelo de un factor fue satisfactorio y la EDS-short mostró adecuada validez convergente en dos estudios distintos, lo que añade solidez y validez externa a las conclusiones.

Otro aporte de esta investigación es el uso del análisis factorial confirmatorio para someter a prueba la estructura unidimensional de la EDS-short, debido a que previamente se había analizado su validez únicamente mediante el análisis factorial exploratorio (Powers et al., 2015). De acuerdo con Barlow et al. (2004), el análisis factorial confirmatorio sirve para examinar los indicadores de un espectro, sin tomar en cuenta los límites de categorías creadas arbitrariamente. La EDS-short posee también ventajas adicionales, tales como su confiabilidad adecuada (acorde con la que ofrece la escala original) y la facilidad con la que puede aplicarse en un periodo relativamente breve, en comparación con otros instrumentos que miden desregulación emocional compuestos por numerosos ítems (Gratz y Roemer, 2004).

De las limitaciones de esta investigación se desprenden varias recomendaciones para investigaciones futuras. Dado que la EDS-short no cuenta con puntos de corte es una tarea pendiente obtenerlos, además de someter a prueba su validez en niños y adolescentes de procedencia clínica, población a partir de la cual surgió originalmente la versión para adultos. También convendría reunir muestras más grandes para corroborar la invariancia del modelo. Por otra parte, debido a que ya se cuenta con evidencia de que la desregulación emocional media entre el afecto negativo y los síntomas interiorizados de adultos (Hofmann, Sawyer, Fang y Asnaani, 2012) y adolescentes (Tortella-Feliu et al., 2010) sería de gran utilidad indagar si se cumple este efecto mediador de la desregulación emocional entre el afecto negativo y los diversos conglomerados de síntomas en población infantil.

En esta línea de investigación, los estudios longitudinales y el uso del modelado estructural representan una excelente opción, pues permitirían observar la evolución de la desregulación emocional a lo largo del tiempo y con un carácter explicativo. Eventualmente, un siguiente paso sería someter a prueba la eficacia de tratamientos transdiagnósticos en edades tempranas que contemplen, como diana de la intervención, la desregulación emocional, tal como se ha realizado con adultos (Bullis et al., 2015; Fowler et al., 2016; Neacsiu et al., 2014). Dichos tratamientos resultan más apropiados en comparación con las intervenciones convencionales diseñadas para las categorías diagnósticas creadas a partir del modelo categórico de la psicopatología, las cuales muestran escasa validez de constructo (Barlow et al., 2004, 2011).

Esta investigación representa una aportación importante, ya que contar con una medida sistematizada, breve y de fácil aplicación, como la que se presenta aquí, abre la posibilidad a otros estudios que indaguen sobre las vías por las que la desregulación emocional influye en la psicopatología de niños y adolescentes. La EDS-short se ha perfilado en esta investigación como una medida válida y útil, al poseer propiedades psicométricas adecuadas y un modelo sólido para medir la desregulación emocional infantil y juvenil.

Agradecimientos

Se agradece las facilidades brindadas por las autoridades y el personal de las escuelas participantes, así como el apoyo de los siguientes estudiantes en el reclutamiento de las escuelas: Celia Bribiesca, Citlali Cruz, Aideé Hernández, Ilse Hernández, Viridiana Montealegre, Jimena Ogaz, Williams Ortiz, Gabriela Rodríguez y Selma Rojas. También se agradece el esfuerzo de todos los estudiantes que ayudaron en la recolección de datos.


Referencias

Abravanel, B. T. y Sinha, R. (2015). Emotion Dysregulation Mediates the Relationship between Lifetime Cumulative Adversity and Depressive Symptomatology. Journal of Psychiatric Research, 61, 89-96. doi: 10.1016/j.jpsychires.2014.11.012        [ Links ]

Allen, L. B., McHugh, R. K. y Barlow, D. H. (2008). Emotional Disorders. A Unified Transdiagnostic Protocol. En D. H. Barlow (Ed.), Clinical Handbook of Psychological Disorders. A Step-by-step Treatment Manual (pp. 216-249). New York: The Guilford Press.         [ Links ]

American Psychological Association. (2010). Ethical Principles of Psychologists and Code of Conduct. Washington: Autor. Recuperado de http://www.apa.org/ethics        [ Links ]

Barlow, D. H., Allen, L. B. y Choate, M. L. (2004). Toward a Unified Treatment for Emotional Disorders. Behavior Therapy, 35, 205-230. doi: 10.1016/S0005-7894(04)80036-4        [ Links ]

Barlow, D. H., Bullis, J. R., Comer, J. S. y Ametaj, A. A. (2013). Evidence-based Psychological Treatments: An Update and a Way Forward. Annual Review of Clinical Psychology, 9, 1-27. doi: 10.1146/annurev-clinpsy-050212-185629        [ Links ]

Barlow, D. H., Farchione, T. J., Fairholme, C. P., Ellard, K. K., Boisseau, C. L., Allen, L. B. y Ehrenreich-May, J. (2011). Unified Protocol for Transdiagnostic Treatment of Emotional Disorders. Therapist Guide. New York: Oxford University Press.         [ Links ]

Beauchaine, T. P. (2015). Future Directions in Emotion Dysregulation and Youth Psychopathology. Journal of Clinical Child & Adolescent Psychology, 44, 875-896. doi: 10.1080/15374416.2015.1038827        [ Links ]

Bender, P. K., Reinholdt-Dunne, M. L., Esbj0rn, B. H. y Pons, F. (2012). Emotion Dysregulation and Anxiety in Children and Adolescents: Gender Differences. Personality and Individual Differences, 53, 284-288. doi: 10.1016/j.paid.2012.03.027        [ Links ]

Bender, P. K., S0mhovd, M., Pons, F., Reinholdt-Dunne, M. L. y Esbj0rn, B. H. (2015). The Impact of Attachment Security and Emotion Dysregulation on Anxiety in Children and Adolescents. Emotional and Behavioural Difficulties, 20, 189-204. doi: 10.1080/13632752.2014.933510        [ Links ]

Bentler, P. M. (1985-2012). EQS 6.2 for Windows (Build 101) [programa de computación]. Encino, CA, EE.UU.: Multivariate Software.         [ Links ]

Berking, M. y Wupperman, P. (2012). Emotion Regulation and Mental Health: Recent Findings, current Challenges, and Future Directions. Current Opinion in Psychiatry, 25, 128-134. doi: 10.1097/YCO.0b013e3283503669         [ Links ]

Berkovits, L. D. y Baker, B. L. (2014). Emotion Dysregulation and Social Competence: Stability, Change and Predictive Power. Journal of Intellectual Disability Research, 58, 765-776. doi:10.1111/jir.12088        [ Links ]

Bradley, B., DeFife, J. A., Guarnaccia, C., Phifer, J., Fani, N., Ressler, K. J. y Westen, D. (2011). Emotion Dysregulation and Negative Affect: Association with Psychiatric Symptoms. The Journal of Clinical Psychiatry, 72, 685-691. doi: 10.4088/JCP.10m06409blu        [ Links ]

Breinbauer, C. y Maddaleno, M. (2008). Jóvenes: opciones y cambios. Promoción de conductas saludables en la adolescencia. Washington, DC, EE.UU.: Organización Panamericana de la Salud.         [ Links ]

Buckholdt, K. E., Parra, G. R. y Jobe-Shields, L. (2014). Intergenerational Transmission of Emotion Dysregulation Through Parental Invalidation of Emotions: Implications for Adolescent Internalizing and Externalizing Behaviors. Journal of Child and Family Studies, 23, 324-332. doi: 10.1007/s10826-013-9768-4        [ Links ]

Buckholdt, K. E., Weiss, N. H., Young, J. y Gratz, K. L. (2015). Exposure to Violence, Posttraumatic Stress Symptoms, and Borderline Personality Pathology among Adolescents in Residential Psychiatric Treatment: The Influence of Emotion Dysregulation. Child Psychiatry & Human Development, 46, 884-892. doi: 10.1007/s10578-014-0528-5        [ Links ]

Bullis, J. R., Sauer-Zavala, S., Bentley, K. H., Thompson-Hollands, J., Carl, J. R. y Barlow, D. H. (2015). The Unified Protocol for Transdiagnostic Treatment of Emotional Disorders: Preliminary Exploration of Effectiveness for Group Delivery. Behavior Modification, 39, 295-321. doi: 10.1177/0145445514553094        [ Links ]

Campbell-Sills, L., Ellard, K. K. y Barlow, D. H. (2014). Emotion Regulation in Anxiety Disorders. En J. J. Gross (Ed.), Handbook of Emotion Regulation (pp. 393-412). New York: The Guilford Press.         [ Links ]

Cheung, G. W. y Rensvold, R. B. (2002). Evaluating Goodness-of-fit Indexes for Testing Measurement Invariance. Structural Equation Modeling, 9, 233-255. doi: 10.1207/S15328007SEM0902_5        [ Links ]

Chorpita, B. F. (2002). The Tripartite Model and Dimensions of Anxiety and Depression: An Examination of Structure in a Large School Sample. Journal of Abnormal Child Psychology, 30, 177-190. doi: 10.1023/A:1014709417132        [ Links ]

Cicchetti, D. y Rogosch, F.A. (2002).A Developmental Psychopathology Perspective on Adolescence. Journal of Consulting and Clinical Psychology, 70, 6-20. doi: 10.1037//0022-006X.70.1.6        [ Links ]

Crow, T., Cross, D., Powers, A. y Bradley, B. (2014). Emotion Dysregulation as a Mediator between Childhood Emotional Abuse and Current Depression in a Low-Income African-American Sample. Child Abuse & Neglect, 38, 1590-1598. doi: 10.1016/j.chiabu.2014.05.015        [ Links ]

Donahue, J. J., Goranson, A. C., McClure, K. S. y van Male, L. M. (2014). Emotion Dysregulation, Negative Affect, and Aggression: a Moderated, Multiple Mediator Analysis. Personality and Individual Differences, 70, 23-28. doi: 10.1016/j.paid.2014.06.009        [ Links ]

Fowler, J. C., Clapp, J. D., Madan, A., Allen, J. G., Oldham, J. M. y Frueh, B. C. (2016). Emotion Dysregulation as a Cross-Cutting Target for Inpatient Psychiatric Intervention. Journal of Affective Disorders, 206, 224-231. doi: 10.1016/j.jad.2016.07.043        [ Links ]

Geise, C., Barzman, D. y Strakowski, S. (2014). Pediatric Emotion Dysregulation: Biological and Developmental Evidence for a Dimensional Approach. Psychiatry Quarterly, 85, 383-389. doi: 10.1007/s11126-014-9300-z        [ Links ]

Gratz, K. L. y Roemer, L. (2004). Multidimensional Assessment of Emotion Regulation and Dysregulation: Development, Factor Structure, and Initial Validation of the Difficulties in Emotion Regulation Scale. Journal of Psychopathology and Behavioral Assessment, 26, 41-54. doi: 10.1023/B:JOBA.0000007455.08539.94        [ Links ]

Han, Z. R. y Shaffer, A. (2013). The Relation of Parental Emotion Dysregulation to Children's Psychopathology Symptoms: The Moderating Role of Child Emotion Dysregulation. Child Psychiatry & Human Development, 44, 591-601. doi: 10.1007/s10578-012-0353-7        [ Links ]

Hernández-Guzmán, L. (2016). Informe final de proyecto PAPIIT IN305814 [informe interno]. Facultad de Psicología y Dirección General de Asuntos del Personal Académico, Universidad Nacional Autónoma de México.         [ Links ]

Hernández-Guzmán, L., Alcázar-Olán, R., Freyre, M-Á., Contreras-Valdez, J. A.y Bribiesca, C. (enviado). La escala de afecto positivo y negativo para niños y adolescentes. Manuscrito presentado para su publicación.         [ Links ]

Herts, K. L., McLaughlin, K. A. y Hatzenbuehler, M. L. (2012). Emotion Dysregulation as a Mechanism Linking Stress Exposure to Adolescent Aggressive Behavior. Journal of Abnormal Child Psychology, 40, 1111-1122. doi: 10.1007/s10802-012-9629-4        [ Links ]

Hofmann, S. G. y Barlow, D. H. (2014). Evidence-based Psychological Interventions and the Common Factors Approach: The Beginnings of a Rapprochement? Psychotherapy, 51, 510-513. doi: 10.1037/a0037045        [ Links ]

Hofmann, S. G., Sawyer, A. T., Fang, A. y Asnaani, A. (2012). Emotion Dysregulation Model of Mood and Anxiety Disorders. Depression and Anxiety, 29, 409-416. doi: 10.1002/da.21888        [ Links ]

Hu, L. y Bentler, P. M. (1999). Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria versus New Alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6, 1-55. doi: 10.1080/10705519909540118        [ Links ]

Instituto de Estadística de la Unesco. (2011). International Standard Classification of Education mapping of national educational programmes: Mexico [Hoja de cálculo electrónica]. Recuperado de http://uis.unesco.org/en/isced-mappings        [ Links ]

Kelly, N. R., Tanofsky-Kraff, M., Vannucci, A., Ranzenhofer, L. M., Altschul, A. M., Schvey, N. A., ... Yanovski, J. A. (2016). Emotion Dysregulation and Loss-Of-Control Eating in Children and Adolescents. Health Psychology, 35, 1110-1119. doi: 10.1037/hea0000389        [ Links ]

Kline, R. B. (1998). Principles and Practice of Structural Equation Modeling. New York, NY, EE.UU.: The Guilford Press.         [ Links ]

Laurent, J., Catanzaro, S. J., Joiner, T. E. Jr., Rudolph, K. D., Potter, K. I., Lambert, S., ... Gathright, T. (1999). A measure of Positive and Negative Affect for Children: Scale Development and Preliminary Validation. Psychological Assessment, 11, 326-338. doi: 10.1037/10403590.11.3.326        [ Links ]

Liu, W., Chen, L. y Tu, X. (2015). Chinese Adaptation of Emotion Regulation Questionnaire for Children and Adolescents (ERQ-CCA): A Psychometric Evaluation in Chinese Children. International Journal of Psychology. doi: 10.1002/ijop.12233        [ Links ]

McLaughlin, K. A., Hatzenbuehler, M. L., Mennin, D. S. y Nolen-Hoeksema, S. (2011). Emotion Dysregulation and Adolescent Psychopathology: A Prospective Study. Behavior Research and Therapy, 49, 544-554. doi: 10.1016/j.brat.2011.06.003        [ Links ]

Mills, P., Newman, E. F., Cossar, J. y Murray, G. (2015). Emotional Maltreatment and Disordered Eating in Adolescents: Testing the Mediating Role of Emotion Regulation. Child Abuse & Neglect, 39, 156-166. doi: 10.1016/j.chiabu.2014.05.011        [ Links ]

Neacsiu, A. D., Eberle, J. W., Kramer, R., Wiesmann, T. y Linehan, M. M. (2014). Dialectical Behavior Therapy Skills for Transdiagnostic Emotion Dysregulation: A Pilot Randomized Controlled Trial. Behavior Research and Therapy, 59, 40-51. doi:10.1016/j.brat.2014.05.005        [ Links ]

Paulus, D. J., Vanwoerden, S., Norton, P. J. y Sharp, C. (2016). Emotion Dysregulation, Psychological Inflexibility, and Shame as Explanatory Factors between Neuroticism and Depression. Journal of Affective Disorders, 190, 376-385. doi: 10.1016/j.jad.2015.10.014        [ Links ]

Powers, A., Stevens, J., Fani, N. y Bradley, B. (2015). Construct Validity of a Short, Self-Report Instrument Assessing Emotional Dysregulation. Psychiatry Research, 225, 85-92. doi: 10.1016/j.psychres.2014.10.020        [ Links ]

Racine, S. E. y Wildes, J. E. (2015). Emotion Dysregulation and Anorexia Nervosa: An Exploration of the Role of Childhood Abuse. International Journal of Eating Disorders, 48, 55-58. doi: 10.1002/eat.22364        [ Links ]

Regier, D. (2012). Merging Categorical and Dimensional Diagnoses of Mental Disorders. Epidemiology and Psychiatric Sciences, 21 , 267-269. doi:10.1017/S2045796012000340        [ Links ]

Satorra, A. y Bentler, P. M. (1988). Scaling Corrections for Chi-Square Statistics in Covariance Structure Analysis. En American Statistical Association, Proceedings of the business and economic statistics section, Vol. 1 (pp. 308-313). Alexandria, VA, EE.UU.: Autor.         [ Links ]

Satorra, A. y Bentler, P. M. (1994). Corrections to Test Statistics and Standard Errors in Covariance Structure Analysis. En A. von Eye y C. C. Clogg (Eds.), Latent variables analysis: Applications for developmental research (pp. 399-419). Thousands Oaks, CA, EE.UU.: Sage.         [ Links ]

Sauer-Zavala, S., Boswell, J. F., Gallagher, M. W., Bentley, K. H., Ametaj, A. y Barlow, D. H. (2012). The Role of Negative Affectivity and Negative Reactivity to Emotions in Predicting Outcomes in the Unified Protocol for the Transdiagnostic Treatment of Emotional Disorders. Behavior Research and Therapy, 50, 551-557. doi: 10.1016/j.brat.2012.05.005        [ Links ]

Shedler, J. y Westen, D. (2004). Dimensions of Personality Pathology: An Alternative to the Five-Factor Model. The American Journal of Psychiatry, 161, 1743-1754. doi: 10.1176/ajp.161.10.1743        [ Links ]

Sidman, M. (1960). Tactics of Scientific Research: Evaluating Experimental Data in Psychology. New York, NY, EE.UU.: Basic Books.         [ Links ]

Sociedad Mexicana de Psicología. (2010). Código ético del psicólogo. México, D.F.: Trillas.         [ Links ]

Tortella-Feliu, M., Balle, M. y Sesé, A. (2010). Relationships between Negative Affectivity, Emotion Regulation, Anxiety, and Depressive Symptoms in Adolescents as Examined Through Structural Equation Modeling. Journal of Anxiety Disorders, 24, 686-693. doi: 10.1016/j. janxdis.2010.04.012        [ Links ]

Watson, D., Clark, L. A. y Tellegen, A. (1988). Development and Validation of Brief Measures of Positive and Negative Affect: The PANAS Scales. Journal of Personality and Social Psychology, 54, 1063-1070. doi:10.1037/0022-3514.54.6.1063        [ Links ]

Westen, D., Dutra, L. y Shedler, J. (2005). Assessing Adolescent Personality Pathology. The British Journal of Psychiatry, 186, 227-238. doi: 10.1192/bjp.186.3.227        [ Links ]

Westen, D., Muderrisoglu, S., Fowler, C., Shedler, J. y Koren, D. (1997). Affect Regulation and Affective Experience: Individual Differences, Group Differences, and Measurement Using a Q-Sort Procedure. Journal of Consulting and Clinical Psychology, 65, 429-439. doi: 10.1037/0022-006X.65.3.429        [ Links ]

Westen, D. y Shedler, J. (1999). Revising and Assessing Axis II, Part I: Developing a Clinically and Empirically Valid Assessment Method. The American Journal of Psychiatry, 156, 258-272. doi: 10.1176/ajp.156.2.258         [ Links ]

Westen, D., Waller, N. G., Shedler, J. y Blagov, P. S. (2014). Dimensions of Personality and Personality Pathology: Factor Structure of the Shedler-Westen Assessment Procedure-II (SWAP-II). Journal of Personality Disorders, 28, 281-318. doi: 10.1521/pedi_2012_26_059        [ Links ]

Widiger, T. A. y Samuel, D. B. (2005). Diagnostic Categories or Dimensions? A Question for the Diagnostic and Statistical Manual of Mental Disorders - Fifth Edition. Journal of Abnormal Psychology, 114(4), 494-504. doi: 10.1037/0021-843X.114.4.494        [ Links ]

Zeman, J., Cassano, M., Perry-Parrish, C. y Stegall, S. (2006). Emotion Regulation in Children and Adolescents. Journal of Developmental and Behavioral Pediatrics, 27, 155-168. doi: 10.1097/00004703-200604000-00014        [ Links ]

Zeman, J., Klimes-Dougan, B., Cassano, M. y Adrian, M. (2007). Measurement Issues in Emotion Research with Children and Adolescents. Clinical Psychology: Science and Practice, 14, 377-401. doi: 10.1111/j.1468-2850.2007.00098.x        [ Links ]

Creative Commons License Todo el contenido de esta revista, excepto dónde está identificado, está bajo una Licencia Creative Commons