SciELO - Scientific Electronic Library Online

 
vol.54Perfectionistic Self-Presentation Scale in Ecuador: psychometric properties and latent mean differences across gendersSexist mentality, parenting styles and social vulnerability in primary caregivers. A cross-cultural comparison between Argentina and Peru author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista Latinoamericana de Psicología

Print version ISSN 0120-0534

rev.latinoam.psicol. vol.54  Bogotá Jan./Dec. 2022  Epub Feb 28, 2023

https://doi.org/10.14349/rlp.2022.v54.21 

ARTÍCULOS

Adaptación y validación transcultural al español del University Student Engagement Inventory

Cross-cultural Adaptation and Validation of the University Student Engagement Inventory into Spanish

Agustín Freiberg-Hoffmann1  * 
http://orcid.org/0000-0001-8737-1186

Agustín Romero-Medina2 
http://orcid.org/0000-0002-3496-3409

Karina Curione3 
http://orcid.org/0000-0002-4069-5615

João Marôco4 

1 Universidad de Buenos Aires, Consejo Nacional de Investigaciones Científicas y Técnicas, Buenos Aires, Argentina

2 Universidad de Murcia, Murcia, España

3 Universidad de la República, Montevideo, Uruguay

4 William James Center for Research, Instituto Superior de Psicología Aplicada (ISPA), Portugal


Resumen

Introducción:

el compromiso académico hace referencia a la predisposición que los estudiantes tienen a participar de manera activa en la vida universitaria, asistiendo a las clases, entregando los trabajos a tiempo y siguiendo las instrucciones de los docentes. Existe evidencia que demuestra que el compromiso académico predice positivamente el éxito de los estudiantes. Por esta razón, es que su evaluación cobra gran relevancia para el ámbito educativo universitario a la hora de diseñar prácticas pedagógicas que estimulen el compromiso de los alumnos. El objetivo del presente trabajo fue adaptar y validar la versión del University Student Engagement Inventory (USEI) al español, contemplando diferencias lingüísticas y culturales de tres países hispanohablantes.

Método:

participaron 921 estudiantes universitarios de España, Argentina y Uruguay. Se aplicó el USEI que consta de 15 afirmaciones agrupadas en tres dimensiones de compromiso: conductual, cognitivo, emocional.

Resultados:

después de que tres traductores realizaran la adaptación lingüística del instrumento, nueve jueces expertos analizaron el contenido de los ítems y conservaron como resultado la totalidad de los reactivos. Más adelante, se analizó y verificó la estructura interna del instrumento -análisis factorial confirmatorio, validación cruzada, invarianza factorial, consistencia interna-, y también se obtuvo adecuada evidencia de validez externa concurrente entre las dimensiones del USEI y los enfoques de aprendizaje.

Conclusión:

se obtuvo una versión en español del USEI con adecuadas propiedades psicométricas que puede ser empleado en el ámbito de aplicación con el propósito de identificar el compromiso académico de los estudiantes y proponer acciones orientadas a mejorar sus aprendizajes.

Palabras clave: University Student Engagement Inventory; adaptación al español; estudiantes universitarios; propiedades psicométricas; evaluación psicológica

Abstract

Introduction:

Academic engagement refers to the predisposition that students must actively participate in university life, attending classes, turning in work on time, and following teachers’ instructions. There is evidence that shows that academic engagement positively predicts student success. For this reason, its evaluation is of great relevance for university education when designing pedagogical practices that stimulate student engagement. The aim of this study was to adapt and validate the University Student Engagement Inventory (USEI) into Spanish, considering linguistic and cultural differences in three Spanish-speaking countries.

Methods:

921 university students from Spain, Argentina and Uruguay participated in the study. The USEI, which consists of 15 statements grouped into three dimensions of engagement -behavioral, cognitive, emotional- was administered.

Results:

After three translators made the linguistic adaptation of the instrument, nine expert judges analyzed the content of the items, retaining as a result the totality of the items. Subsequently, the internal structure of the instrument was analyzed and verified -confirmatory factor analysis, cross-validation, factorial invariance, internal consistency-. Adequate evidence of concurrent external validity between USEI dimensions and learning approaches was also obtained.

Conclusion:

A Spanish version of the USEI was obtained with adequate psychometric properties that can be used in the field of application with the purpose of identifying students’ academic engagement and proposing actions aimed at improving their learnings.

Keywords: University Student Engagement Inventory; Spanish adaptation; university students; psychometric properties; psychological assessment

El compromiso académico se define como la participación y motivación de los estudiantes hacia las distintas actividades académicas, tales como asistir a las clases, estudiar las distintas asignaturas, entregar los trabajos a tiempo, adquirir habilidades y competencias esperadas por cada especialidad, y participar en clase interactuando con pares y docentes, entre otras cosas (Marôco et al., 2016; Sakurai & Pyhältö, 2018).

Los estudiantes con un mayor compromiso académico asumen un tipo de enfoque profundo con las actividades de aprendizaje, muestran una gran responsabilidad con estas y destinan más energía mental y emocional, que trasciende el aprendizaje superficial de los contenidos (Amerstorfer & Freiin von Münster-Kistner, 2021).

El compromiso académico ha demostrado ser de gran importancia durante el proceso de aprendizaje, siendo su estimulación al inicio del curso fundamental para que los estudiantes obtengan mejores resultados académicos (Ribeiro et al., 2019).

Varias investigaciones verifican el efecto positivo que tiene el compromiso académico en el rendimiento de los estudiantes universitarios (Acosta-Gonzaga & Ramírez-Arellano, 2020; Delfino, 2019; Kim et al., 2019). En este sentido, un estudio metaanalítico informó una fuerte relación tanto del compromiso general, como de cada uno de sus dominios -cognitivo, emocional y conductual- con el rendimiento académico de los estudiantes universitarios. Asimismo, el estudio muestra que esta relación se encuentra influenciada por la cultura y el género (Lei et al., 2018).

El compromiso académico, también se relaciona con otras variables psicológicas -enfoques de aprendizaje, motivación, autoeficacia, estrategias metacognitivas, metas académicas- y educativas -programas de acceso a la educación superior, sentido de pertenencia a la carrera, apoyo de pares- que además de predecir positivamente al rendimiento académico se vinculan con el adecuado ajuste del estudiante al contexto educativo, contribuyendo a la autorregulación de su aprendizaje (Lira-Munizaga & Pérez-Salas, 2022; Maluenda-Albornoz et al., 2021, 2022; Maricuțoiu & Sulea, 2019; Mohamed-Bayoumy & Alsayed, 2021; Taghani & Razavi, 2021). Por el contrario, el compromiso académico se relaciona negativamente con variables perjudiciales para el desempeño como el burnout y la procrastinación académica (Aspeé et al., 2021; Liebana-Presa et al., 2018; Morales-Rodríguez et al., 2019).

Distintas investigaciones destacan la importancia del compromiso académico en la permanencia y finalización de los estudios en tiempo y forma de los alumnos universitarios (Korhonen et al., 2019; Truta et al., 2018). Es en este sentido que la evaluación del compromiso académico cobra un papel central a la hora de planificar acciones orientadas hacia la mejora de los logros académicos. De acuerdo con algunos estudios, el compromiso de los alumnos puede incrementarse, si, por ejemplo, se les ayuda a mejorar la confianza en sí mismos, se estimula el trabajo activo y colaborativo entre pares, y se crean experiencias educativas desafiantes para los estudiantes que les permitan enriquecer y ampliar sus habilidades académicas, entre otras cosas (Alonso-Tapia et al., 2022; Khan et al., 2021).

Evaluación del compromiso académico

El compromiso académico se define, en términos generales, como el grado de participación que los estudiantes tienen en relación con las distintas actividades académicas (Skinner et al., 2009). Si bien existen múltiples definiciones operacionales del compromiso académico, hay tres de ellas que destacan por encima del resto (Chapman, 2002). La primera evalúa la participación de los estudiantes en las actividades educativas, principalmente mediante indicadores basados en el tiempo, como puede ser la cantidad de horas que dedican a la resolución de las tareas (Brophy, 1983). Una segunda definición estudia la participación a partir de indicadores relacionados con la voluntad de los alumnos para cumplir con las distintas actividades académicas -asistir a clases, entregar tareas, atender en clase, entre otras cosas- (Natriello, 1984). La tercera definición, que es la más difundida actualmente, considera el compromiso académico como un constructo multidimensional (Marôco et al., 2016). Desde esta perspectiva, una de las caracterizaciones actuales y más difundidas propone evaluar el grado de participación de los estudiantes mediante tres dimensiones de compromiso: emocional, comportamental y cognitivo (Fredricks et al., 2004). El compromiso emocional se refiere a reacciones positivas y/o negativas de los estudiantes hacia compañeros y docentes, entre otros. El compromiso comportamental alude a la participación en actividades académicas y no académicas que promuevan buenos resultados en el aula. El compromiso cognitivo implica el esfuerzo de los estudiantes por comprender el contenido académico. Estos tres componentes se encuentran en constante interacción, determinando el grado de intensidad y duración del compromiso de los estudiantes (Fredricks et al., 2004, 2015). Posteriormente, se incorporó una cuarta dimensión -menos investigada y operacionalizada- denominada compromiso agente, que se refiere a las conductas de los estudiantes -formular preguntas, realizar sugerencias, entre otras- que promueven una interacción positiva con el docente, favoreciendo el proceso de enseñanza-aprendizaje (Reeve & Tseng, 2011).

Las dimensiones cognitivas, conductuales y afectivas son operacionalizadas dentro del ámbito educativo por medio de múltiples instrumentos (Appleton et al., 2006; Doğan, 2014; Handelsman et al., 2005; Skinner, 2009; Wang et al., 2011). Específicamente, para el nivel universitario se han desarrollado varias herramientas (Doğan, 2014; Handelsman et al., 2005), siendo una de las más difundidas y actuales el University Student Engagement Inventory (USEI) (Marôco et al., 2016). El USEI tiene 15 ítems que evalúan tres dimensiones de compromiso: conductual, emocional y cognitivo, y una general de segundo orden. Los reactivos deben responderse mediante una escala Likert de cinco alternativas (1-nunca a 5-siempre). La brevedad de la escala evita el posible sesgo del evaluado debido a la fatiga y/o distracción durante la administración, lo que aumenta la tasa de respuestas y reduce las respuestas al azar (Robinson, 2018). Asimismo, el bajo número de ítems que presenta el instrumento, y el breve tiempo que demanda su administración, permite que sea incluido en una batería junto con otras herramientas de evaluación psicoeducativa. En relación con las características psicométricas del USEI sus autores informan: (1) adecuadas evidencias de validez de contenido de sus ítems (CVR > 0); (2) una estructura interna de segundo orden con óptimos índices de ajuste (CFI = .97; TLI = .97; RMSEA = .06); (3) adecuada consistencia interna (αConductual = .74; αEmocional = .88; αCognitivo = .82; αTotal = .88), (4) y evidencias de validez concurrente -con una herramienta que evalúa compromiso (r > .60)- y predictiva -positiva con el rendimiento académico (B = 1.02 ) y negativa con el fracaso en los cursos (B = -.64) y la intención de abandonar los estudios (B = -54)- (Marôco et al., 2016). La herramienta también ha sido adaptada a distintos países -Portugal, Brasil, Mozambique, Reino Unido, Estados Unidos, Finlandia, Serbia, Macao, Taiwán, Italia y Chile- e idiomas, verificando adecuadas características técnicas (Assunção et al., 2020; Maluenda-Albornoz et al., 2020; Sinval et al., 2021). Tales adaptaciones coinciden en que han conservado la totalidad de los ítems del USEI al replicar su estructura interna de segundo orden y obtener una adecuada consistencia interna en todas sus dimensiones. También registran adecuadas evidencias de validez externa, informado correlaciones entre moderadas fuertes (.60-.99) cuando se emplea un mismo criterio -otro instrumento que evalúa el mismo constructo- e índices moderados (.30-.70) cuando el criterio remite a un constructo teóricamente relacionado -abandono, rendimiento académico autopercibido, sentido de pertenencia a la carrera. Pese a estas similitudes, hay que mencionar que las distintas versiones difieren lingüísticamente en los ítems que refieren al contexto educativo escuela, carrera, universidad, lo que refleja diferencias entre las culturas educativas.

El USEI ha sido aplicado en múltiples estudios desarrollados en distintos países y ha demostrado su utilidad para indagar el compromiso académico en estudiantes universitarios (Arastman et al., 2019; Freda et al., 2021; Marôco et al., 2016; 2020; Tessema & Ananda, 2018).

Recientemente, el instrumento ha sido adaptado al idioma español en población chilena (Maluenda-Albornoz et al., 2020). Si bien el idioma español es el que predomina en Iberoamérica, este suele variar de un país a otro en cuanto a sus modismos y cultura (Sobrino-Triana, 2018). Por esta razón es que se vuelve importante adaptar y validar el USEI al español, contemplado las diferencias lingüísticas de las distintas culturas educativas de diversos países hispanohablantes (Dennehy, 2015). A partir de estas consideraciones se decidió para la presente investigación trabajar con estudiantes universitarios de dos países latinoamericanos, como Argentina y Uruguay, y uno europeo, como España. De esta manera, se busca diseñar una versión en español del USEI controlando el error de medición atribuible a diferencias lingüísticas y culturales entre países hispanohablantes (Krach et al., 2017; Vallejo-Medina et al., 2017). Se propone así: (1) adaptar lingüísticamente el USEI al idioma español, (2) examinar el contenido de sus ítems, (3) analizar su estructura interna análisis factorial confirmatorio, invarianza factorial, (4) estudiar la consistencia interna de sus dimensiones, y (5) analizar evidencias de validez de criterio concurrente.

Método

Participantes

Adaptación lingüística: participaron tres traductores expertos en educación y evaluación psicológica, uno por cada país -España, Argentina y Uruguay.

Análisis de evidencias de validez de contenido: colaboraron nueve jueces expertos del ámbito de la psicología educativa, tres por cada país -España, Argentina, Uruguay-.

Análisis psicométricos: los datos fueron recogidos durante el 2019. Participaron 921 estudiantes de Psicología (33.3% por país; n = 307), de entre 18 y 40 años (M edad = 23.52, DE = 5.74), de los cuales el 83.4% fueron mujeres. La desproporción de la muestra según el género refleja el predominio que las mujeres tienen dentro del sistema universitario, especialmente en las áreas de las Ciencias Humanas, Sociales y de la Salud (Unesco, 2022). El 84.7% de los estudiantes españoles fueron mujeres (M edad = 19.99, DE = 3.13). De los estudiantes argentinos el 87.6% fueron mujeres (M edad = 23.36, DE = 4.86). Respecto de los estudiantes uruguayos el 77.9% fueron mujeres (M edad = 23.69, DE = 6.51).

Instrumentos

Encuesta de datos sociodemográficos y académicos: recogió información sobre género, edad y país.

University Student Engagement Inventory (USEI) (Marôco et al., 2016). Se compone de 15 ítems que evalúan tres dimensiones de compromiso académico: conductual - ítems 1, 2, 3, 4, 5-; emocional -ítems 6, 7, 8, 9, 10-, y cognitivo -ítems, 11, 12, 13, 14, 15- y una dimensión general. Los evaluados deben responder mediante una escala Likert de cinco opciones. Los autores del instrumento han informado adecuadas características psicométricas.

Approaches and Study Skills Inventory for Students (ASSIST) (Tait et al., 1998). Se compone de 18 afirmaciones que deben ser respondidas mediante una escala Likert de cinco opciones. El instrumento mide tres enfoques de aprendizaje: profundo, superficial y estratégico. Se aplicó la versión validada en Argentina (Freiberg-Hoffmann & Romero- Medina, 2020). Sus propiedades psicométricas fueron testeadas en la muestra actual mediante un análisis factorial confirmatorio, del que se obtuvieron adecuados índices de ajuste para las submuestras de España (CFI = .91, TLI = .90, RMSEA (90%) = .07 (.06-.08)), Argentina (CFI = .94, TLI = .93, RMSEA (90%) = .06 (.05-.07)) y Uruguay (CFI = 95, TLI = 95, RMSEA (90%) = .05 (.04-.06)). También se estudió la consistencia interna de las tres dimensiones alcanzando índices adecuados para España (αOrdinal-Prof = .73, αOrdinal-Sup = .73, αOrdinal-Est = .77), Argentina (αOrdinal-Prof = .74, αOrdinal-Sup = .73, αOrdinal-Est = .77) y Uruguay (αOrdinal-Prof = .79, αOrdinal-Sup = .73, αOrdinal-Est = .72).

Procedimientos

La administración de los instrumentos se realizó en línea en los tres países. Se aplicó un consentimiento informado a los estudiantes universitarios en el que se les comunicó el propósito de la investigación. Se informó además sobre el carácter voluntario y anónimo de su participación. Se contó con avales de las instituciones participantes y del comité de ética de las universidades de Murcia, de Buenos Aires y de la República. Se siguió el protocolo ético elaborado por la American Psychological Association (2017).

Análisis de datos

Adaptación lingüística: se empleó un procedimiento de team approach para la traducción de la consigna y los ítems del instrumento (Ali, 2016).

Análisis de evidencias de validez de contenido: los jueces expertos convocados analizaron el contenido de los reactivos del instrumento. Para ello, cada experto recibió un documento en formato Word en el que se detallaba el modelo teórico del compromiso académico y se describía cada una de sus dimensiones: conductual, emocional y cognitiva.

A continuación, los jueces debían indicar para cada ítem su grado de adecuación en relación con la dimensión para la que fue formulado. Siguiendo las sugerencias de la literatura se empleó una escala Likert de cuatro alternativas de respuesta que van de 1-nada adecuado a 4-totalmente adecuado (Yusoff, 2019). La información obtenida del juicio experto se empleó para calcular el índice de validez de contenido para cada ítem (I-CVI) y para la escala (S-CVI). Los valores de este índice oscilan entre 0 -nulo acuerdo- y 1 -completo acuerdo-. Si bien varios autores sugieren adoptar como punto de corte para decidir la conservación de un ítem un valor de .78 (Polit et al., 2007), para el presente trabajo se siguió un criterio liberal que establece un punto de corte de .51 (Lawshe, 1975).

Análisis de la estructura interna: el ajuste de los datos empíricos al modelo teórico de segundo orden se estudió mediante un análisis factorial confirmatorio. Debido al carácter ordinal de los ítems se decidió emplear matrices de correlaciones policóricas y el método de estimación de Robust Maximum Likelihood (RML) (Li, 2016). El ajuste de los modelos se evaluó mediante los índices Comparative Fit Index (CFI), Tucker-Lewis Index (TLI) y Root Mean Square Error of Approximation (RMSEA), en los que guarismos superiores a .90 para CFI y TLI e inferiores a .08 para RMSEA son considerados aceptables (Jordan-Muiños, 2021; Wang & Wang, 2020).

Luego, para cada dimensión del modelo se estimó la consistencia interna mediante el coeficiente alfa de Cronbach para compararlo con el índice obtenido en el estudio transcultural de validación del USEI (Assunção et al., 2020), mediante el programa AlphaTest. El efecto de estas comparaciones se interpretó mediante el coeficiente q de Cohen, en el que valores inferiores a .10 indican un efecto nulo, entre .10 y .30 un efecto pequeño, entre .31 y .50 moderado y guarismos mayores a .51 corresponden a un efecto grande (Cohen, 1988). Adicionalmente se calculó el coeficiente alfa ordinal (Contreras-Espinoza & Novoa-Muñoz, 2018).

Más adelante, se analizó la estabilidad de la estructura interna del modelo de segundo orden según el país mediante análisis factorial confirmatorio. Se interpretaron los distintos índices de ajuste (CFI, TLI, RMSEA) y también el Expected Cross-Validation Index (ECVI). El ECVI brinda información sobre la validez cruzada del modelo entre países, en él se debe ubicar el valor del índice arrojado para la muestra de cada país dentro del intervalo de confianza informado para las muestras de los otros dos países (Rial-Boubeta et al., 2006).

A continuación, se realizó un análisis de invarianza factorial para examinar la equivalencia métrica del modelo entre países (España, Argentina y Uruguay). Para ello se testearon tres modelos anidados imponiendo distintos niveles de restricción de modo progresivo configural, métrico, escalar. Se emplearon los índices ΔCFI y ΔRMSEA para interpretar los resultados del análisis indicando valores inferiores a .01 y .015 respectivamente, equivalencia métrica del modelo entre las submuestras (Putnick & Bornstein, 2016).

Luego, se estimó el coeficiente alfa ordinal para las dimensiones del USEI para cada país y se los comparó mediante el programa AlphaTest. Se estimó el tamaño del efecto a través del coeficiente q.

Análisis de evidencias de validez concurrente: se correlacionaron los puntajes de las dimensiones del USEI con los del ASSIST. Se empleó el coeficiente de correlación rho de Spearman dado que no se cumplió el supuesto de normalidad.

Los análisis fueron realizados mediante los softwares LISREL 8.8 y SPSS 21.

Resultados

Adaptación lingüística

Primero, cada traductor trabajó de manera independiente sobre la consigna y los ítems del USEI hasta llegar, cada uno, a una versión en español del instrumento. Luego los tres traductores compararon sus versiones y discutieron sobre las diferencias hasta arribar a una única versión por consenso.

Análisis de evidencias de validez de contenido

Se conservó la totalidad de los ítems analizados ya que en todos los casos se superó el valor I-CVI de .51. Se obtuvieron I-CVI con valores óptimos (> .78) para todos los ítems, excepto para los reactivos 2 y 12 cuyos índices fueron iguales a .55. Para el caso de las escalas se obtuvo S-CVI de .88 para la dimensión conductual, .95 para la emocional, .88 para la cognitiva y .90 para la escala general.

Análisis de la estructura interna

Mediante un análisis factorial confirmatorio se testeó en la muestra total de estudiantes (españoles, argentinos y uruguayos) la estructura de segundo orden propuesta en el estudio original (Marôco et al., 2016) y replicada posteriormente en un estudio transcultural (Assunção et al., 2020). Se verificó un adecuado ajuste de los datos empíricos al modelo de segundo orden. Los parámetros estimados fueron todos estadísticamente significativos (tabla 1). Luego, se estimó para todas las dimensiones el coeficiente alfa de Cronbach y se lo comparó con el presentado en el estudio transcultural del USEI (Assunção et al., 2020). Los resultados verificaron solo una diferencia significativa en la consistencia interna para la dimensión conductual (tabla 1)

Tabla 1 Ajuste del modelo de segundo orden de la versión en español del USEI 

Para analizar la estabilidad de la estructura de segundo orden se procedió a testearla en las muestras de España, Argentina y Uruguay por separado. Se obtuvo un ajuste óptimo de los datos empíricos respecto del modelo puesto a prueba. Además, se observó una adecuada validez cruzada del modelo, dado que el valor del índice ECVI de cada submuestra se ubicó dentro del intervalo de confianza del valor ECVI de las otras dos submuestras (tabla 2).

Tabla 2 Análisis de validez cruzada del USEI según país 

La equivalencia métrica del modelo se analizó mediante un análisis de invarianza factorial imponiendo de modo progresivo distintos niveles de restricción. Se testearon tres modelos: configural sin imponer restricciones, métrico restringiendo cargas factoriales, escalar restringiendo cargas factoriales e interceptos. Se observó una adecuada invarianza métrica del modelo testeado (tabla 3).

Tabla 3 Análisis de invarianza factorial del USEI según país 

Se comparó la consistencia interna de las dimensiones del USEI entre países para probar si esta permanecía invariante. No se verificaron diferencias estadísticamente significativas (p < .01) para ninguna de las dimensiones (tabla 4).

Tabla 4 USEI. Comparación de índices de consistencia interna según país 

Análisis de evidencias de validez concurrente

Se analizaron evidencias de validez concurrente del USEI. Para ello, a partir de la muestra total, se correlacionó el puntaje de las dimensiones del USEI con las del ASSIST, que evalúa los enfoques de aprendizaje superficial, profundo y estratégico. Todas las asociaciones fueron estadísticamente significativas (p < .01), aunque varias de ellas presentaron magnitud medio-baja (tabla 5).

Tabla 5 USEI. Análisis de evidencias de validez concurrente con los enfoques de aprendizaje 

Discusión

Este trabajo tuvo como propósito adaptar el University Student Engagement Inventory al español y analizar sus propiedades psicométricas. Para ello se tradujeron los ítems y la consigna del instrumento mediante un procedimiento de team approach en el que participaron tres traductores de tres países de habla hispana. Esta instancia posibilitó arribar a una versión en español del instrumento que contemple diferencias de cada cultura educativa (Dennehy, 2015), como también discrepancia en los modismos lingüísticos de cada país. Se espera así haber conseguido una versión en español con mayor probabilidad de ser aplicada (previa validación psicométrica) en otros países hispanohablantes.

La versión en español del USEI fue sometida después a un estudio de contenido de sus ítems. Los expertos identificaron dos reactivos cuyo contenido podría no ser del todo representativo de la dimensión para la que fueron diseñados. Teniendo en cuenta que los valores no fueron óptimos, pero sí aceptables, se decidió conservarlos provisionalmente a fin de testearlos con el conjunto de los ítems del instrumento. Para ello, se realizó un análisis factorial confirmatorio que verificó la estructura de segundo orden propuesta por los autores del instrumento (Marôco et al., 2016) y verificada en distintos países (Assunção et al., 2020). Si bien todos los parámetros estimados fueron estadísticamente significativos, es importante señalar que dos de los ítems (ítem 2 e ítem 3) obtuvieron cargas por debajo de .40, reportando ambos a la dimensión conductual. Esto podría explicarse a partir del contenido de los ítems, ya que los reactivos 1 “Presto atención en clase”, 4 “Cuando tengo dudas hago preguntas y participo de los debates en clase” y 5 “Generalmente participo activamente en los trabajos en grupo”, que son los que obtuvieron mayor saturación, aluden a situaciones de participación en el aula de clases, mientras que los ítems con baja saturación presentan un contenido relacionado con el cumplimiento de reglas que difiere con los ítems 1, 4 y 5. Continuando con el análisis de los reactivos, se observa que el ítem 2, también ha arrojado el guarismo más bajo en estudios precedentes (Assunção et al., 2020; Marôco et al., 2016), mostrando un comportamiento constante entre distintos trabajos. A partir de este resultado se podría pensar en la posibilidad de dividir la dimensión comportamental en dos subdimensiones, una de participación y otra relacionada con conductas responsables y de apego a las normas institucionales.

El análisis de la consistencia interna de las dimensiones obtuvo valores óptimos. Estos índices fueron a su vez comparados con los informados por un estudio transcultural del instrumento (Assunção et al., 2020), mostrando solo una diferencia estadísticamente significativa para la dimensión conductual. Este resultado indica una mayor homogeneidad de los reactivos de la dimensión conductual a favor del presente estudio. Se puede hipotetizar que esta homogeneidad de las respuestas podría deberse a la heterogeneidad cultural y lingüística de la muestra que se empleó en el estudio transcultural. De ahí que es esperable que la actual muestra compuesta solo por participantes hispanohablantes obtenga mayor índice de homogeneidad.

Con respecto al análisis de validez externa del instrumento es importante destacar que todas las dimensiones de compromiso se asociaron con los enfoques de aprendizaje en la dirección teóricamente prevista, es decir, positivamente con los enfoques profundo y estratégico y negativamente con el superficial. Si bien todas las correlaciones fueron estadísticamente significativas (p < .01), debe mencionarse que sus valores son moderados (rho < .70), lo que coincide con hallazgos informados por trabajos anteriores que emplearon otras variables como criterio externo (Assunção et al., 2020; Maluenda-Albornoz et al., 2020; Sinval et al., 2021). La menor magnitud de estas correlaciones dentro del campo educativo suele atribuirse, en parte, al error de medición asociado a cada una de las dimensiones (Gitomer, 2018). También, estos valores podrían explicarse por la naturaleza de los constructos evaluados, ya que, si bien están teóricamente relacionadas, evalúan aspectos diferentes del aprendizaje de los estudiantes.

Como limitación debe destacarse que se trabajó solo con estudiantes de Psicología, predominantemente mujeres, debiéndose ampliar la heterogeneidad de la muestra en futuros trabajos. Por otro lado, solo participaron estudiantes de tres países de habla hispana, siendo interesante en próximas investigaciones incrementar la muestra con alumnos de otros países latinoamericanos. También se intentará en el futuro aportar evidencia de validez predictiva adoptando al rendimiento académico como criterio externo.

Concluyendo, esta investigación dio lugar a una versión en español del USEI con adecuadas propiedades psicométricas y que contempla diferencias lingüísticas y culturales de tres países hispanohablantes. La herramienta conserva la totalidad de los ítems y replica la estructura factorial propuesta originalmente. Estos hallazgos tienen implicancia para los ámbitos de investigación y aplicación. Para el ámbito de investigación, por un lado, aportan evidencias en favor del modelo teórico en el que se basa el instrumento y, por otro, permite disponer de una herramienta que posibilite comparar resultados con otros países. En lo que respecta al campo de aplicación, se espera que el USEI pueda ser empleado dentro del ámbito universitario para conocer el compromiso académico de los estudiantes y planificar acciones que promuevan su permanencia dentro del sistema universitario y faciliten la finalización de sus estudios en tiempo y forma (Korhonen et al., 2019; Truta et al., 2018)1.

Referencias

Acosta-Gonzaga, E., & Ramírez-Arellano, A. (2020). Estudio comparativo de técnicas de analítica del aprendizaje para predecir el rendimiento académico de los estudiantes de educación superior. CienciaUAT, 15(1), 63-74. https://doi.org/10.29059/cienciauat.v15i1.1392Links ]

Ali, M. (2016). Are we asking the same questions in different contexts: Translation techniques in cross-culture studies in science education? Journal of Turkish Science Education, 13(1), 31-44. http://www.tused.org/index.php/tused/article/view/634Links ]

Alonso-Tapia, J., Merino-Tejedor, E., & Huertas, J. (2022). Academic engagement: Assessment, conditions, and effects-a study in higher education from the perspective of the person-situation interaction. European Journal of Psychology of Education. https://doi.org/10.1007/s10212-022-00621-0Links ]

American Psychological Association. (2017). Ethical Principles of Psychologists and Code of Conduct. https://www.apa.org/ethics/code/ethics-code-2017.pdfLinks ]

Amerstorfer, C., & Freiin von Münster-Kistner, C. (2021). Student perceptions of academic engagement and student-teacher relationships in problem-based learning. Frontiers in Psychology, 12. https://doi.org/10.3389/fpsyg.2021.713057Links ]

Appleton, J., Christenson, S., Kim, D., & Reschly, A. (2006). Measuring cognitive and psychological engagement: Validation of the Student Engagement Instrument. Journal of School Psychology, 44(5), 427-445. https://doi.org/10.1016/j.jsp.2006.04.002Links ]

Arastman, G., Gün, F., Turabik, T., & Akbaşli, S. (2019). School engagement as a predictor of burnout in university students. Pamukkale University Journal of Education, 45(45), 293-309. https://dergipark.org.tr/tr/download/article-file/607787Links ]

Aspeé, J., González, J., & Herrera, Y. (2021). Relación funcional entre procrastinación académica y compromiso en estudiantes de educación superior: una propuesta de análisis. Perspectiva Educacional, 60(1), 4-22. https://doi.org/10.4151/07189729- ol.60-Iss.1-art.1116Links ]

Assunção, H., Lin, S., Sit, P., Cheung, K., Harju-Luukkainen, H., Smith, T., Maloa, B., Campos, J., Ilic, I., Esposito, G., Francesca, F., & Marôco, J. (2020). University Student Engagement Inventory (USEI): Transcultural validity evidence across four continents. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.02796Links ]

Brophy, J. (1983). Conceptualizing student motivation. Educational Psychologist, 18, 200-215. https://doi.org/10.1080/00461528309529274Links ]

Chapman, E. (2002). Alternative approaches to assessing student engagement rates. Practical Assessment, Research, and Evaluation, 8(13), 1-7. https://doi.org/10.7275/3e6e-8353Links ]

Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Erlbaum. [ Links ]

Contreras-Espinoza, S., & Novoa-Muñoz, F. (2018). Ventajas del alfa ordinal respecto al alfa de Cronbach ilustradas con la encuesta AUDIT-OMS. Revista Panamericana de Salud Pública, 42(e65), 1-6. https://doi.org/10.26633/RPSP.2018.65Links ]

Delfino, A. (2019). Student engagement and academic performance of students of Partido State University. Asian Journal of University Education, 15(1), 1-16. https://files.eric.ed.gov/fulltext/EJ1222588.pdfLinks ]

Dennehy, E. (2015). Learning approaches and cultural influences: A comparative study of Confucian and western-heritage students. Journal of Further and Higher Education, 39(6), 818-838. https://doi.org/10.1080/0309877X.2013.869561Links ]

Doğan, U. (2014). Validity and reliability of Student Engagement Scale. Bartın Üniversitesi Eğitim Fakültesi Dergisi, 3(2), 390- 403. https://dergipark.org.tr/tr/pub/buefad/issue/3815/51232Links ]

Freda, M., Raffaele, D., Esposito, G., Ragozini, G., & Testa, I. (2021). A new measure for the assessment of the university engagement: The SInAPSi academic engagement scale (SAES). Current Psychology. https://doi.org/10.1007/s12144-021-02189-2Links ]

Fredricks, J., Blumenfeld, P., & Paris, A. (2004). School engagement: Potential of the concept, state of the evidence. Review of Educational Research, 74(1), 59-109. https://doi.org/10.3102/00346543074001059Links ]

Fredricks, J. (2015). Academic engagement. En International encyclopedia of the social & behavioral sciences (pp. 31-36). Elsevier. https://doi.org/10.1016/B978-0-08-097086-8.26085-6Links ]

Freiberg Hoffmann, A., & Romero Medina, A. (2020). Validación del Approaches and Study Skills Inventory for Students (ASSIST) en Universitarios de Buenos Aires, Argentina. Acción Psicológica, 16(2), 1-16. https://doi.org/10.5944/ap.16.2.23042Links ]

Gitomer, D. (2018). Classroom observations. En B. Frey (Ed.), The SAGE encyclopedia of educational research, measurement, and evaluation (pp. 289-293). SAGE. [ Links ]

Handelsman, M., Briggs, W., Sullivan, N., & Towler, A. (2005). A measure of college student course engagement. The Journal of Educational Research, 98(3), 184-192. https://doi.org/10.3200/JOER.98.3.184-192Links ]

Jordan-Muiños, F. (2021). Valor de corte de los índices de ajuste en el análisis factorial confirmatorio. Psocial, 7(1), 66-71. http://portal.amelica.org/ameli/journal/123/1232225009/Links ]

Khan, R., Atta, K., Sajjad, M., & Jawaid, M. (2021). Twelve tips to enhance student engagement in synchronous online teaching and learning. Medical Teacher, 44(6), 601-606. https://doi.org/10.1080/0142159X.2021.1912310Links ]

Kim, H., Hong, A., & Song, H. (2019). The roles of academic engagement and digital readiness in students’ achievements in university e-learning environments. International Journal of Educational Technology in Higher Education, 16(21). https://doi.org/10.1186/s41239-019-0152-3Links ]

Korhonen, V., Mattsson, M., Inkinen, M., & Toom, A. (2019). Understanding the multidimensional nature of student engagement during the first year of higher education. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.01056Links ]

Krach, S., McCreery, M., & Guerard, J. (2017). Cultural-linguistic test adaptations: Guidelines for selection, alteration, use, and review. School Psychology International, 38(1), 3-21. https://doi.org/10.1177/0143034316684672Links ]

Lawshe, C. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.xLinks ]

Lei, H., Cui, Y., & Zhou, W. (2018). Relationships between student engagement and academic achievement: A meta-analysis. Social Behavior and Personality: An International Journal, 46(3), 517-528. https://doi.org/10.2224/sbp.7054Links ]

Li, C. (2016). Confirmatory factor analysis with ordinal data: Comparing robust maximum likelihood and diagonally weighted least squares. Behavior Research Methods, 48(3), 936-949. https://doi.org/10.3758/s13428-015-0619-7Links ]

Liebana-Presa, C., Fernández-Martínez, M., Vázquez Casares, A., López-Alonso, A., & Rodríguez-Borrego, M. (2018). Burnout y engagement en estudiantes universitarios de enfermería. Enfermería Global, 17(2), 131-152. https://doi.org/10.6018/eglobal.17.2.268831Links ]

Lira-Munizaga, J., & Pérez-Salas, C. (2022). Compromiso académico en universitarios del Programa de Acceso a la Educación Superior (PACE). Calidad en la Educación, 56, 78-96. https://doi.org/10.31619/caledu.n56.1159Links ]

Maluenda-Albornoz, J., Contreras, M., Mujica, A., & Bernardo, A. (2020). Propiedades psicométricas del University Student Engagement Inventory en estudiantes de Ingeniería chilenos. Revista Iberoamericana de Diagnóstico y Evaluación - e Avaliação Psicológica, 57(4), 77-90. https://doi.org/10.21865/RIDEP57.4.06Links ]

Maluenda-Albornoz, J., Varas-Contreras, M., Riffo-Ferrada, M., & Díaz-Mujica, A. (2021). Predictores socio-académicos del study engagement en estudiantes de primer año de ingeniería. Estudios Pedagógicos, 47(1), 235-250. https://doi.org/10.4067/S0718-07052021000100235Links ]

Maluenda-Albornoz, J., Infante-Villagrán, V., Galve-González, C., Flores-Oyarzo, G., & Berríos-Riquelme, J. (2022). Early and dynamic socio-academic variables related to dropout intention: A predictive model made during the pandemic. Sustainability, 14(2), 831. https://doi.org/10.3390/su14020831Links ]

Maricuțoiu, L., & Sulea, C. (2019). Evolution of self-efficacy, student engagement and student burnout during a semester. A multilevel structural equation modeling approach. Learning and Individual Differences, 76, 101785. https://doi.org/10.1016/j.lindif.2019.101785Links ]

Marôco, J., Assunção, H., Harju-Luukkainen, H., Lin, S., Sit, P., Cheung, K., Maloa, B., Ilic, I., Smith, T., & Campos, J. (2020). Predictors of academic efficacy and dropout intention in university students: Can engagement suppress burnout? Plos One, 15(10), e0239816. https://doi.org/10.1371/journal.pone.0239816Links ]

Marôco, J., Marôco, A., Campos, J., & Fredricks, J. (2016). University student’s engagement: development of the University Student Engagement Inventory (USEI). Psicologia: Reflexão e Crítica, 29(1), 21. https://doi.org/10.1186/s41155-016-0042-8Links ]

Mohamed-Bayoumy, H., & Alsayed, S. (2021). Investigating relationship of perceived learning engagement, motivation, and academic performance among nursing students: A multisite study. Advances in Medical Education and Practice, 12, 351-369. https://doi.org/10.2147/AMEP.S272745Links ]

Morales-Rodríguez, F., Pérez-Mármol, J., & Brown, T. (2019). Education burnout and engagement in occupational therapy undergraduate students and its associated factors. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.02889Links ]

Natriello, G. (1984). Problems in the evaluation of students and student disengagement from secondary schools. Journal of Research and Development in Education, 17, 14-24. [ Links ]

Polit, D., Beck, C., & Owen, S. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in Nursing & Health, 30(4), 459-467. https://doi.org/10.1002/nur.20199Links ]

Putnick, D., & Bornstein, M. (2016). Measurement invariance conventions and reporting: The state of the art and future directions for psychological research. Developmental Review, 41, 71-90. https://doi.org/10.1016/j.dr.2016.06.004Links ]

Reeve, J., & Tseng, C. (2011). Agency as a fourth aspect of students’ engagement during learning activities. Contemporary Educational Psychology, 36(4), 257-267. https://doi.org/10.1016/j.cedpsych.2011.05.002Links ]

Rial-Boubeta, A., Varela-Mallou, J., Abalo-Piñeiro, J., & Lévy-Mangin, J. (2006). El análisis factorial confirmatorio. En L. Mangin & J. Varela Mallou (Eds.), Modelización con estructuras de covarianzas en ciencias sociales (pp. 119-154). Netbiblo. [ Links ]

Ribeiro, L., Rosário, P., Núñez, J., Gaeta, M., & Fuentes, S. (2019). First-year students background and academic achievement: The mediating role of student engagement. Frontiers in Psychology, 10. https://doi.org/10.3389/fpsyg.2019.02669Links ]

Robinson, M. (2018). Using multi-item psychometric scales for research and practice in human resource management. Human Resource Management, 57(3), 739-750. https://doi.org/10.1002/hrm.21852Links ]

Sakurai, Y., & Pyhältö, K. (2018). Understanding students’ academic engagement in learning amid globalising universities. En A. W. Wiseman (Ed.), Annual review of comparative and international education 2017 (pp. 31-38). Emerald. https://doi.org/10.1108/S1479-367920180000034003Links ]

Sinval, J., Casanova, J., Marôco, J., & Almeida, L. (2021). University student engagement inventory (USEI): Psychometric properties. Current Psychology, 40(4), 1608-1620. https://doi.org/10.1007/s12144-018-0082-6Links ]

Skinner, E., Kindermann, T., & Furrer, C. (2009). A motivational perspective on engagement and disaffection. Educational and Psychological Measurement, 69(3), 493-525. https://doi.org/10.1177/0013164408323233Links ]

Skinner, E. (2009). Using community development theory to improve student engagement in online discussion: a case study. Research in Learning Technology, 17(2), 89-100. https://doi.org/10.25304/rlt.v17.901Links ]

Sobrino-Triana, R. (2018). Las variedades de español según los hispanohablantes: corrección, incorrección y agrado lingüísticos. Cuadernos de Lingüística de El Colegio de México, 5(2), 79-119. https://doi.org/10.24201/clecm.v5i2.115Links ]

Taghani, A., & Razavi, M. (2021). The effect of metacognitive skills training of study strategies on academic self-efficacy and academic engagement and performance of female students in Taybad. Current Psychology. https://doi.org/10.1007/s12144-020-01278-yLinks ]

Tait, H., Entwistle, N., & McCune, V. (1998). ASSIST: A re-conceptualization of the Approaches to Studying Inventory. En C. Rust (Ed.), Improving students as learners. Oxford Brookes University. [ Links ]

Tessema, M., & Ananda, T. (2018). University students’ engagement and academic achievement in Ethiopian public universities. Journal of Advances and Scholarly Researches in Allied Education, 15(12), 115-122. http://ignited.in/a/58396Links ]

Truta, C., Parv, L., & Topala, I. (2018). Academic engagement and intention to drop out: Levers for sustainability in higher education. Sustainability, 10(12), 4637. https://doi.org/10.3390/su10124637Links ]

United Nations Educational, Scientific and Cultural Organization (Unesco). (2022). Gender equality: how global universities are performing, part 2. https://bit.ly/3EnTTyMLinks ]

Vallejo-Medina, P., Gómez-Lugo, M., Marchal-Bertrand, L., Saavedra-Roa, A., Soler, F., & Morales, A. (2017). Developing guidelines for adapting questionnaires into the same language in another culture. Terapia Psicológica, 35(2), 159-172. https://doi.org/10.4067/s0718-48082017000200159Links ]

Wang, J., & Wang, X. (2020). Structural equation modeling: Applications using Mplus. Willey. [ Links ]

Wang, M., Willett, J., & Eccles, J. (2011). The assessment of school engagement: Examining dimensionality and measurement invariance by gender and race/ethnicity. Journal of School Psychology, 49(4), 465-480. https://doi.org/10.1016/j. jsp.2011.04.001Links ]

Yusoff, M. (2019). ABC of content validation and content validity index calculation. Education in Medicine Journal, 11(2), 49-54. https://doi.org/10.21315/eimj2019.11.2.6Links ]

Financiamiento: La presente investigación ha sido desarrollada con financiamiento de la Agencia Nacional de Promoción Científica y Tecnológica (PICT-2020-SERIEA-00087) y el Consejo Nacional de Investigaciones Científicas y Técnicas (PIP #11220200100352CO), de Argentina.

Recibido: 23 de Julio de 2022; Aprobado: 13 de Octubre de 2022

*Autor de correspondencia: Agustín Freiberg-Hoffmann, correo electrónico: agustinfreiberg@gmail.com

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons