SciELO - Scientific Electronic Library Online

 
vol.11 issue1Cross-cultural adaptation of the Colombian version of the Caregiver Quality of Life Index-Cancer (CQOLC) author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


CES Psicología

On-line version ISSN 2011-3080

CES Psicol vol.11 no.1 Medellín Jan./June 2018

https://doi.org/10.21615/cesp.11.1.12 

Reseñas

Análisis complementario del MBI-SS en el contexto académico colombiano

Complementary analysis of MBI-SS in Colombian academic context

Sergio Dominguez-Lara1 

1 Magíster en Psicología Clínica y de la Salud. Psicólogo. Docente del Instituto de Investigación de Psicología de la Facultad de Ciencias de la Comunicación, Turismo y Psicología de la Universidad de San Martín de Porres (USMP).


Sr. Editor,

El estudio del síndrome de burnout (SB) se ha visto enriquecido a lo largo de las décadas por un aumento sustancial de instrumentos de evaluación que tienen como objetivo reflejar de forma válida el constructo y de ese modo brindar un acercamiento preciso para lograr intervenciones efectivas.

En este sentido, uno de los instrumentos más utilizados en la actualidad es el Maslach Burnout Inventory (MBI), que en sus diferentes versiones ha contribuido a conocer más sobre este fenómeno en diversos contextos laborales (salud, educativo, etc.). Recientemente, la preocupación por el impacto del SB se ha extendido hasta la experiencia del estudiante en el ámbito universitario, ya que las consecuencias a mediano y largo plazo podrían resultar muy nocivas. Por tal motivo, se hizo necesario contar con una versión del MBI enfocada en esa población: el MBI-Survey Student (MBI-SS).

Dicho instrumento ha presentado evidencia favorable respecto a su estructura interna y convergencia con otras variables. Por tal motivo, analizar su estructura interna en un contexto diferente al original representa un reto debido a que en la construcción de un instrumento de evaluación psicológica tanto los elementos conceptuales como la cultura influyen en su configuración final. De este modo, conocer la estructura interna del MBI-SS, sus indicadores de confiabilidad, así como la prevalencia del SB en universitarios, podría plantearse como un curso de acción coherente con la gravedad del problema, ya que si las dimensiones poseen suficiente diferenciación empírica (e.g., no hay un solapamiento sustancial) la intervención podría realizarse de forma focalizada sobre ellas, es decir, mediante estrategias orientadas a cada dimensión del SB.

Los hallazgos de Hederich-Martínez y Caballero-Domínguez (2016) publicados en la revista CES Psicología podrían ser complementados con algunos análisis mencionados en la presente carta, y de ese modo podría brindarse información adicional sobre el MBI-SS en el contexto colombiano.

En primer lugar, la estructura interna encontrada por medio de un análisis de componentes principales, que pese a no ser un procedimiento recomendado (Lloret-Segura, Ferreres-Traver, Hernández-Baeza, & Tomás-Marco, 2014), fue relativamente consistente con la literatura previa (tres factores). Sin embargo, un aspecto que ayudaría a comprender de forma pormenorizada el comportamiento de los ítems es su grado de simplicidad factorial, es decir, evaluar si el ítem es influido predominantemente por un solo factor o por más de uno (Fleming & Merino, 2005). En ese sentido, se esperaría que los Índices de Simplicidad Factorial (ISF) sean elevados (> .80) (Merino & Grimaldo, 2011) ya que eso indicaría que la varianza de los ítems se explica predominantemente por un factor, porque si dos o tres factores contribuyen de la misma forma a la variabilidad del ítem, su interpretación sería problemática (Dominguez-Lara, 2016).

Respecto a ello, y con los datos presentados en la Tabla 2 del manuscrito (Hederich-Martínez & Caballero-Domínguez, 2016, p. 7), fueron re-calculados los ISF con el programa SIMLOAD (Fleming, 2003) obteniendo indicadores predominantemente moderados y bajos (ISF < .80) (Tabla 1) en 12 de los 14 ítems (85.71%), es decir, que presentan en mayor grado complejidad factorial (Tabla 1). Cabe precisar que es esperable algún grado de complejidad factorial cuando son evaluados instrumentos multidimensionales, por lo que los indicadores presentados, hasta cierto punto, podrían resultar predecibles. Con todo, hallazgos como estos deben ser reportados y discutidos debido a que en algunos estudios previos la correlación interfactorial observada entre Agotamiento y Cinismo es la más elevada (Hu & Schaufeli, 2009; Maroco, Maroco, & Campos, 2014; Schaufeli, Martinez, Pinto, Salanova, & Bakker, 2002), llegando inclusive a la multicolinealidad (p.e., Tsubakita & Shimazaki, 2016).

Tabla 1 Simplicidad factorial y confiabilidad de las puntuaciones del MBI-SS 

Nota: C: Componente; ISF: Índice de Simplicidad Factorial

Tabla 2 Confiabilidad de los puntos de corte del MBI-SS 

Nota: PC: Punto de corte; *Tomado de la tabla 1 de Hederich-Martínez y Caballero-Domínguez (2016); En negrita: K2 > .90

Quizás un elemento que ayudaría a comprender las relaciones entre constructos a nivel de variables latentes son las correlaciones inter-factoriales, pero si bien fue utilizada una rotación oblicua, estas no fueron reportadas, mostrando solo las correlaciones entre puntuaciones (p. 8).

Esta situación, es decir, la elevada complejidad factorial, podría sugerir que fueron extraídos más factores de los que realmente son necesarios. No obstante, debido a que no se muestra en el manuscrito la información sobre los valores propios (valores Eigen) de cada factor antes de la rotación, no es posible saber mediante un análisis paralelo (Horn, 1965) cuán tos factores podrían ser necesarios.

En segundo lugar, y asumiendo que tres dimensiones son suficientes, quizás el asunto más relevante para los fines que se muestran en la segunda parte el manuscrito es la necesidad de un análisis completo de la confiabilidad: de las puntuaciones, de los puntos de corte y del perfil resultante.

Respecto al primer tema, los coeficientes de confiabilidad poseen magnitudes adecuadas (> .70), pero solo si son analizados como estadístico puntual, por lo que es menester conocer a profundidad su potencial variabilidad. Entonces, al ser re-analizados sus intervalos de confianza (IC) (Dominguez-Lara & Merino-Soto, 2015) tanto Agotamiento (α = .77; IC95% .741 - .796) como Eficacia (α = .82; IC9% .796 - .841) poseen un límite inferior del IC adecuado, a diferencia de Cinismo (α = .72; IC95% .685 - .751). Dado que no se reporta el cumplimiento del supuesto de tau-equivalencia (igualdad estadística de las cargas factoriales) para usar el coeficiente α, se calculó el αordinal (Dominguez-Lara, 2012) a fin de analizar el índice de atenuación del α con relación a un αteórico, que en este caso es el αordinal ([α - αordinal(] / αordinal); Gadermann, Guhn, & Zumbo, 2007). Los resultados (Tabla 1) muestran que la escala Cinismo es la más afectada por el incumplimiento del supuesto, es decir, es probable que el incumplimiento de la tau-equivalencia signifique una infraestimación de la confiabilidad de sus puntuaciones.

Por otro lado, en vista que las puntuaciones obtenidas por cada dimensión han sido usadas para clasificar a las personas por niveles (p.e., Muy bajo, bajo, etc.), es necesario reportar con qué precisión fueron designadas a uno u otro grupo. Un estadístico sumamente útil para ese propósito es el coeficiente K2 (Livingston, 1972), que ya fue empleado anteriormente para valorar la confiabilidad de los puntos de corte en otra versión del MBI brindando resultados esclarecedores (Fernández & Merino, 2014). Su valoración es similar a la del coeficiente α, aunque en el presente caso y por las características y relevancia de la aplicación del MBI-SS en el contexto universitario, se esperarían valores elevados (K2 > .90). Para tal análisis fueron tomados los datos de la Tabla 1 de Hederich-Martínez y Caballero-Domínguez (2016, p. 5).

Como puede apreciarse (Tabla 2), los puntos de corte escogidos solo clasificarían de forma precisa los niveles extremadamente altos de las tres dimensiones, y en los niveles más bajos solo para Agotamiento y Eficacia. En general, Cinismo posee los coeficientes más bajos y en consecuencia realizaría la calificación menos precisa, es decir, sería difícil decir con certeza si una persona se encuentra entre los niveles Muy bajo y Medio con la puntuación obtenida. Esto podría afectar las interpretaciones realizadas con base en los puntos de corte mostrados cuando se indica la prevalencia por dimensión.

Finalmente, al utilizar la información de las dimensiones de forma conjunta para “…obtener la medida de la prevalencia del síndrome en la muestra” (p. 9), no fue reportada previamente la confiabilidad de las diferencias (ρd) (Dominguez-Lara, en prensa), es decir, el grado en el cual la diferencia entre dos puntuaciones al interior de un perfil se debe más a la varianza verdadera que a la varianza del error.

El análisis complementario realizado reveló que solo la diferencia entre Agotamiento y Eficacia es aceptable (ρd = .723), mientras que la diferencia entre Agotamiento y Cinismo (ρd = .625) y Cinismo y Eficacia (ρd = .597) obtienen indicadores bajos.

Además, y como complemento al resultado anterior, podría ser de utilidad un análisis de la Diferencia Mínima Confiable (D) entre dos puntuaciones (Charter, 1996) entre dos puntuaciones: ; donde EEM es el error estándar de medición de cada puntuación () y Z podría asumir valores de 1.64, 1.96 y 2.58 para un nivel de confianza de 80%, 95% y 99%, respectivamente. Entonces, considerando puntuaciones estandarizadas (M = 50, DE = 10) a un nivel de confianza de 95%, la D (en valor absoluto) entre Agotamiento y Cinismo es 14, entre Agotamiento y Eficacia es 13, mientras que entre Cinismo y Eficacia, 13. Para ejemplificar, si una persona es evaluada y obtiene en Agotamiento 18 puntos y en Cinismo 10 puntos, al ser la diferencia de ocho puntos (< D), se asume que esta es producto del error de medición y, por tanto, no sería recomendable su interpretación (Dominguez-Lara, Merino-Soto, & Navarro-Loli, 2016).

De este modo, un análisis conjunto de estos indicadores (ρd y D) permite concluir que, al menos con la muestra de estudio, es difícil brindar un diagnóstico general de SB académico utilizando la configuración completa del MBI-SS.

El estudio del SB en el ámbito académico es complejo, pues convergen diferentes factores de índole personal, contextual, etc. en su génesis y desarrollo, y si bien su abordaje es urgente, es de suma utilidad contar con instrumentos que puedan proveer información confiable sobre su prevalencia.

En tal sentido, tomando en cuenta los re-análisis presentados en esta comunicación, es necesario retomar la discusión acerca de aquellos puntos más sobresalientes: la complejidad factorial de los ítems, insuficiente precisión en la clasificación de las personas, y la configuración de un perfil poco confiable.

Esos aspectos podrían constituir una amenaza a la validez de las interpretaciones a partir de las puntuaciones del MBI-SS, porque sus ítems no garantizarían una evaluación empíricamente diferenciada de las tres dimensiones, y debido al error medición que poseen sus puntuaciones no es posible garantizar una clasificación precisa ni un perfil confiable.

Para finalizar, y como es evidente, los puntos de referencia utilizados para valorar el ISF, α, K2, y ρd son aproximaciones y no deben tomarse como normas absolutas. Sin embargo, al ser un constructo con implicancias prácticas reales (p.e., una persona con SB debe ser evaluada nuevamente con fines de intervención) las exigencias deben ser mayores.

Referencias

Charter, A R. (1996). Formulas for reliable and abnormal differences in raw test scores. Perceptual and Motor Skills, 83(3), 1017-1018. https://www.researchgate.net/publication/269496712_Formulas_for_reliable_and_abnormal_differences_in_raw_test_scoresLinks ]

Dominguez-Lara, S. (en prensa). Reporte de las diferencias confiables en el perfil del ACE-III. Neurología. [ Links ]

Dominguez-Lara, S. (2012). Propuesta para el cálculo del Alfa Ordinal y Theta de Armor. Revista de Investigación en Psicología, 15(1), 213-217. http://revistasinvestigacion.unmsm.edu.pe/index.php/psico/article/view/3684Links ]

Dominguez-Lara, S. (2016). Análisis factorial exploratorio y complejidad factorial: más allá de las rotaciones. Enfermería Clínica, 26(6), 401. http://www.sciencedirect.com/science/article/pii/S157518131730058XLinks ]

Dominguez-Lara, S., & Merino-Soto, C. (2015) ¿Por qué es importante reportar los intervalos de confianza del coeficiente alfa de Cronbach? Revista Latinoamericana de Ciencias Sociales, Niñez y Juventud, 13(2), 1326- 1328. https://www.researchgate.net/publication/281344055_Por_que_es_importante_reportar_los_intervalos_de_confianza_del_coeficiente_alfa_de_CronbachLinks ]

Dominguez-Lara, S., Merino-Soto, C., & Navarro-Loli, J. (2016). Estimación paramétrica de la confiabilidad y diferencias confiables. Revista Médica de Chile, 144(2), 305 - 306. http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0034-98872016000300019Links ]

Fernández, M., & Merino, C. (2014). Error de medición alrededor de los puntos de corte en el MBI-GS. Liberabit, 20(2), 209-218. http://www.scielo.org.pe/scielo.php?pid=S1729-48272014000200002&script=sci_arttextLinks ]

Fleming, J. (2003). Computing measures of simplicity of fit for loadings in factor-analytically derived scales. Behavior Research Methods, Instruments, and Computers, 34, 520-524. https://www.ncbi.nlm.nih.gov/pubmed/14748496Links ]

Fleming, J., & Merino, C. (2005). Medidas de simplicidad y ajuste factorial: Un enfoque para la construcción y revisión de escalas derivadas factorialmente. Revista de Psicología, 23(2), 252-266. http://revistas.pucp.edu.pe/index.php/psicologia/article/view/2150Links ]

Gadermann, A. M., Guhn, M., & Zumbo, B. D. (2007). Ordinal versions of coefficients alpha and theta for Likert rating scales. Journal of Modern Applied Statistical Methods, 6(1). Recuperado desde: http://pareonline.net/getvn.asp?v=17&n=3Links ]

Hederich-Martínez, C., & Caballero-Domínguez, C.C. (2016). Validación del cuestionario Maslach Burnout Inventory-Student Survey (MBI-SS) en contexto académico colombiano. Revista CES Psicología, 9(1), 1 - 15. http://www.scielo.org.co/pdf/cesp/v9n1/v9n1a02.pdfLinks ]

Horn, J. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30, 179-185. https://link.springer.com/article/10.1007/BF02289447Links ]

Hu, Q., & Schaufeli, W. B. (2009). The factorial validity of the Maslach Burnout Inventory-Student Survey in China. Psychological Reports, 105(2), 394-408. http://www.wilmarschaufeli.nl/publications/Schaufeli/315.pdfLinks ]

Livingston, S. A. (1972). Criterion-referenced applications of classical test theory. Journal of Educational Measurement, 9(1), 13-26. http://psycnet.apa.org/record/1972-27739-001Links ]

Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169. http://scielo.isciii.es/scielo.php?script=sci_arttext&pid=S0212-97282014000300040Links ]

Maroco, J., Maroco, A. L., & Campos, J. A. D. B. (2014). Student’s Academic Efficacy or Inefficacy? An Example on How to Evaluate the Psychometric Properties of a Measuring Instrument and Evaluate the Effects of Item Wording. Open Journal of Statistics, 4, 484 - 493. http://www.scirp.org/jouRNAl/PaperInformation.aspx?PaperID=49248Links ]

Merino, C., & Grimaldo, M. (2011). Complejidad factorial y conductas moralmente controversiales. Revista Argentina de Ciencias del Comportamiento, 3(3), 38-43. http://www.redalyc.org/html/3334/333427075006/Links ]

Schaufeli, W. B., Martinez, I. M., Pinto, A. M., Salanova, M., & Bakker, A. B. (2002). Burnout and engagement in university students a cross-national study. Journal of Cross-Cultural Psychology, 33(5), 464-481. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.459.8952&rep=rep1&type=pdfLinks ]

Tsubakita, T., & Shimazaki, K. (2016). Constructing the Japanese version of the Maslach Burnout Inventory-Student Survey: Confirmatory factor analysis. Japan Journal of Nursing Science, 13(1), 183-188. https://www.ncbi.nlm.nih.gov/pubmed/26011741/Links ]

Forma de citar: Dominguez-Lara, S. (2018). Análisis complementario del MBI-SS en el contexto académico colombiano. Rev. CES Psiccol, 7/(1), 144-148.

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons