SciELO - Scientific Electronic Library Online

 
 issue38Relationship between Bullying, Cyberbullying and Self-esteem: Prevalence and Associated Factors in Colombian AdolescentsConceptual Convergences of Initial Training, Language Didactics and Pedagogical Practices in the Area of Foreign Languages author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Zona Próxima

On-line version ISSN 2145-9444

Zona prox.  no.38 Barranquilla Jan./June 2023  Epub July 13, 2023

https://doi.org/10.14482/zp.38.323.214 

Artículo de investigación

Validez de contenido de un instrumento de medición para medir competencias sociales, emocionales e interculturales de estudiantes de pregrado

Content Validity of a Measurement Instrument for the Social, Emotional and Intercultural Skills of Undergraduate Students

Sara María Yepes Zuluaga1 
http://orcid.org/0000-0001-9295-9208

Willer Ferney Montes Granada2 
http://orcid.org/0000-0003-4268-2057

Johny Antonio Alvarez Salazar3 
http://orcid.org/0000-0002-7041-8619

1Instituto Tecnológico Metropolitano Correo electrónico: sarayepes@itm.edu.co Orcid: 0000-0001-9295-9208

2Instituto Tecnológico Metropolitano Correo electrónico: willermontes@itm.edu.co Orcid: 0000-0003-4268-2057

3Instituto Tecnológico Metropolitano Correo electrónico: johnyalvarez@itm.edu.co Orcid: 0000-0002-7041-8619


Resumen

Una de las funciones misionales de las instituciones de educación superior es la formación humana integral de sus estudiantes. El objetivo de este trabajo de investigación descriptivo y no experimental es evaluar la validar y la confiabilidad de un instrumento de recolección de información destinada a estudiantes de pregrado de una IES, con el fin de medir las competencias sociales, emocionales e interculturales (SEI), desarrolladas en ellos a partir del aporte de las estrategias de internacionalización curricular ofrecidas desde la institución. En la valoración participaron 13 expertos en el tema, quienes validaron el contenido del instrumento. Se obtuvo como resultado una razón de validez de contenido (CVR) en el rango de 0.23 a 1, con un índice de validez de contenido (CVI) de 0.92, el cual, por rebasar el punto de corte mínimo de 0.54, da cuenta de que el instrumento de medición evaluado es aceptable, y un índice Alfa de Cronbach promedio de 0.81, resultados que indican que el instrumento evaluado aplica para los objetivos de la investigación.

Palabras clave: competencias emocionales; competencias interculturales; competencias sociales; SEI; validación instrumentos; validez de contenido; CVR; CVI

Abstract

One of the missions of Higher Education Institutions is the integral human formation of their students. The objective of this descriptive and non-experimental research work is to evaluate the validation and reliability of the content of an information collection instrument intended for undergraduate students of an HEI, in order to measure their social, emotional, and intercultural competencies (SEI), as developed from the contribution of the curricular internationalization strategies offered by the institution. 13 experts on the subject participated in the evaluation of the instrument. The result was a content validity ratio (CVR) in the range of 0.23 to 1, with a content validity index (CVI) of 0.92, which, by exceeding the minimum cut-off point of 0.54, shows that the evaluated measuring instrument is acceptable; furthermore, an average Cronbach's Alpha index of 0.81 shows that the evaluated instrument fits the research objectives.

Keywords: emotional skills; intercultural skills; social skills; SEI; instrument validation; content validity; CVR; CVI

INTRODUCCIÓN

Algunos cambios actuales surgidos como consecuencia de la globalización en sectores como la política, la economía, la tecnología, lo cultural y lo social han generado inquietudes en el sector educativo respecto al rol de la educación con relación al crecimiento de los países y el bienestar y desarrollo de las personas (Pugh y Lozano, 2019).Por esto se requiere orientar el aprendizaje de las competencias a partir de la formación humana integral, articulando en los procesos educativos las metas distintivas de la formación por competencias propuestas por la Unesco en cuatro pilares: el saber hacer, el saber conocer, el saber convivir y el saber ser (Tobón, 2013).

Goleman (1996) plantea que la inteligencia emocional aporta el 80 % del éxito, mientras que los factores y competencias cognitivas aportan el 20 % restante. Boyatzis et al. (2002) coinciden con Goleman en que las habilidades intelectuales por sí mismas no son suficientes para el buen desempeño de los estudiantes. Vélez et al. (2018) recomiendan que los estudiantes requieren desarrollar más competencias, específicamente las socioemocionales. De ahí que las competencias Sociales y Emocionales sean consideradas competencias básicas para la vida y cobren importancia en la formación integral de los estudiantes articulando todas las etapas de la persona y su posicionamiento en el mundo desde todos los ámbitos.

Se trata entonces de integrar un enfoque humanista, multidimensional y holístico a la educación, que asuma principios éticos, como el respeto a la vida y a la dignidad humana, a la diversidad cultural, la igualdad de derechos y justicia social, así como un sentido de solidaridad humana y responsabilidad compartida. En esta forma, los fines de la educación se reorientan a promover la paz, los derechos humanos, la equidad, la aceptación de la diversidad y el desarrollo sostenible (Unesco, 2015).

En la actualidad, con la situación del confinamiento a causa de la pandemia, se ha evidenciado que las competencias sociales y emocionales son cruciales para el éxito en la escuela y en la vida; cuando se tienen en cuenta estas competencias, los impactos positivos en los resultados de conducta y actitudinal, aumentan el autoconcepto y la autoestima. Sin embargo, se necesita ayuda externa para lograr una implementación efectiva en el aula (Coelho et al., 2021). El contacto en las aulas permite una interacción en la cual los estudiantes al relacionarse ponen en práctica las habilidades sociales de relacionamiento; diversas organizaciones internacionales y en general los especialistas médicos han mostrado especial preocupación por los riesgos de salud mental en los estudiantes a causa del cierre de las instituciones educativas, afirmando que se tienen riesgos de pérdida de estas habilidades, así como de brechas en los aprendizajes en el interior del aula, o que podría llevar a un aumento importante de los estudiantes con riesgo de desertar. Recomiendan que para el retorno a clases se deben tener en cuenta, además de los factores técnicos y biológicos, herramientas para el apoyo emocional de los estudiantes (Eyzaguirre et al., 2020).

COMPETENCIAS SOCIALES EMOCIONALES E INTERCULTURALES (SEI)

CASEL (2018), define el proceso educativo de aprendizaje social y emocional (SEL) como la forma por la cual las personas adquieren y aplican de manera efectiva los conocimientos, actitudes y habilidades necesarias para comprender y manejar las emociones, lograr metas, sentir y mostrar empatía por los demás, establecer y mantener relaciones positivas, y tomar decisiones responsables.

El SEL es importante no solo para el comportamiento individual, sino también en términos de dar forma a la sociedad según la definen sus instituciones, reglas y leyes que facilitan la cooperación a nivel social (Corcoran et al., 2020). Por su parte, la competencia Intercultural, de acuerdo con Deardorf (2006), puede definirse como la capacidad de comunicarse de manera efectiva y apropiada en situaciones interculturales basadas en el conocimiento, las habilidades y las actitudes interculturales.

La inclusión de competencias sociales, emocionales e interculturales (SEI) en contextos académicos ha sido apoyada por organizaciones internacionales, como la Unión Europea, las Naciones Unidas y la OCDE desde principios de la década de 2000. En esta vía surgen propuestas educativas como CASEL y el proyecto GCE (Educación para la Ciudadanía Global) de las Naciones Unidas; estos se proyectan como paradigmas educativos que se ocupan de desarrollar los valores, conocimientos, habilidades y actitudes que los estudiantes requieren para asegurar un mundo más justo, con tolerancia, inclusión, sustentable y sin violencia, a partir de la colaboración y convivencia entre seres humanos (Unesco, 2014).

A continuación, se presentan las características y descripción de las dimensiones o competencias SEI.

Tabla 1 Características de las dimensiones SEI 

Nota: Adaptado de Goleman et al. (2002), Deardorf (2006), (Gacel-Ávila, 2017), Vega et al. (2019).

Fuente: elaboración propia.

Si bien las competencias SEI han cobrado mayor importancia en los actores de la educación superior, son los organismos internacionales los que hacen la recomendación de enfocar el proceso de formación integral a estas competencias; para ello se hace necesario determinar el nivel de desarrollo de estas competencias en los estudiantes a través de un instrumento de medición que presenten confiabilidad y validez (Hernández y Mendoza, 2018). En ese sentido se vuelve indispensable la generación y aplicación de instrumentos para medir dichas competencias, sin embargo, en la literatura se encuentra que algunos autores miden las competencias de forma individual o las agrupan de acuerdo con la necesidad de la investigación (Muller et al., 2020). Más aún, se encuentran autores que deciden estudiar dentro de una competencia una sola categoría, aplicada a un contexto local o global utilizando instrumentos como DIT1, DIT2 (juicio situacional de dilemas contemporáneos y elementos asociados) para medir la toma de decisiones responsable (Corcoran et al., 2020).

Muller et al. (2020) clasifica los instrumentos para medición de competencias en herramientas de autoinforme y en otras mediciones, como viñetas, diarios, entrevistas, rúbricas y portafolios. Encontró que el 88,6 % de todas las herramientas de evaluación fueron encuestas y cuestionarios autoinformados. Encontró, además, que los instrumentos revisados en la literatura que permiten la evaluación de la totalidad SEI son el 4.7 %; el resto para evaluación en forma individual o combinadas de a dos. Para la medición de las tres competencias de forma conjunta se tienen herramientas como CASAS-A (medición del estrés aculturativo en las escuelas americanas), Escala de socialización cultural, CSCI (inventario comprensivo del clima escolar), CCAI (inventario de adaptabilidad intercultural), ICAPS (escala de potencial de ajuste intercultural), MPQ (cuestionario de personalidad multicultural), SWMLS (satisfacción con la escala de vida de migración). Cada una de ellas permite medir una serie de dimensiones ajustadas al requerimiento de una investigación particular (Muller et al., 2020).

El instrumento MPQ busca medir la empatía cultural, mentalidad abierta, estabilidad emocional, iniciativa social y flexibilidad. En esta misma línea, Vega et al. (2019) presenta un instrumento para medir el grado de desarrollo de las competencias emocionales en un grupo de estudiantes de la Facultad de Ciencias de la Salud de la Universidad Técnica de Manabí, en Ecuador, lo cual permite determinar los valores medios de Inteligencia Emocional, así como las competencias sociales y emocionales que más se desarrollan en los estudiantes.

Si bien las competencias SEI han cobrado mayor importancia entre los actores de la educación superior, son ellos los que hacen la recomendación de enfocar el proceso de formación integral a estas competencias; para ello, se hace necesario que los profesores, las IES, organismos de acreditación y el gobierno determinen el nivel de desarrollo de estas competencias en los estudiantes a través de un buen instrumento de medición que presente confiabilidad y validez (Hernández y Mendoza, 2018).

Es por esto que el objetivo de este trabajo de investigación descriptivo y no experimental es evaluar la validez de contenido y la confiabilidad de un instrumento de recolección de información destinada a estudiantes de pregrado de una IES pública de Colombia, con el fin de medir las competencias sociales, emocionales e interculturales (SEI), desarrolladas en ellos a partir del aporte de las estrategias de internacionalización curricular ofertadas desde la institución, como lo son el intercambio académico, pasantía de investigación, prácticas internacional, programas de doble titulación, clase espejo, entre otros.

VALIDEZ DE CONTENIDO

Una de las acciones fundamentales en la investigación cuantitativa es la de aplicar un instrumento para medir las variables contenidas en las hipótesis. La medición es eficaz cuando todas las variables están inmersas y se reflejan en el instrumento; si no es así, la medición será deficiente. Los instrumentos no generan mediciones perfectas, sin embargo, se deben acercar lo más posible a la fiel representación de las variables. Los instrumentos de medición de datos deben tener cumplir tres requisitos: Confiabilidad, Validez y Objetividad (Hernández y Mendoza, 2018). Este artículo se enfoca principalmente en la validez del instrumento, definida como el grado en el que se mide la variable de estudio, evaluando si el instrumento contempla las dimensiones y aspectos claves relacionados con el concepto del constructo que se quiere medir (Díaz et al., citado en Vargas et al., 2016).

García (2009) define la validez del constructo como el grado en que una variable se relaciona con otras, al establecer implicaciones teóricas y semánticas entre los conceptos que conforman sus dimensiones. Similarmente, la validez de contenido, que mide el grado con que se incluye en el instrumento de forma comprensiva un dominio específico de conocimientos, destrezas, actitudes, rasgos de personalidad, etc. Dicha validez de contenido es una condición necesaria, no única pero suficiente, para interpretar los resultados de los instrumentos de medición, permitiendo valorar si todas las dimensiones que conforman la variable por evaluar están integradas en los ítems del instrumento (Pedrosa et al., 2014). Un procedimiento comúnmente empleado es determinar la Razón de Validez de Contenido (Content Validity Ratio - CVR) de los instrumentos de medición; este fue desarrollado por Lawshe (1975) para determinar qué ítems del instrumento son adecuados y deben mantenerse en la versión final del mismo. El procedimiento consiste en conformar un panel de jueces considerados especialistas o expertos en el tema; se les proporciona el instrumento integrado por el conjunto de ítems, para que emitan una opinión clasificando en unas categorías preestablecidas de acuerdo con la destreza para el desempeño de la tarea: a) esencial, b) útil pero no esencial y c) no necesario (Vargas et al., 2016).

Con las respuestas se establece el total de coincidencias por ítem en cada categoría, donde la opción "esencial" se espera presente en consenso superior al 50 %. El CVR de cada ítem se representa con la ecuación (1), y el valor mínimo aceptable es un CVR de 0.49, mientras que el grado máximo es un CVR de 0.99, cuando se recurre a 7 expertos o menos (Medina, 2020).

Donde

ne = número de expertos que tienen acuerdo en la categorial esencial

N = número total de expertos

Luego de haber determinado el CVR de los ítems, Lawshe propone el cálculo del Índice de validez de Contenido (CVI) para el instrumento, el cual no es más que un promedio de la validez de contenido de todos los ítems seleccionados en el paso previo, que se calcula con la ecuación (2).

CVRi = La razón de validez de contenido de los ítems aceptables de acuerdo con el criterio de Lawshe

M = total de ítems aceptables en el instrumento

Existen dos interpretaciones de este índice en cuanto a la flexibilidad o no que se puede adoptar. Desde el punto de vista estadístico, el CVI debe ser superior a una probabilidad asociada de 0.05 de acuerdo con Lynn (citado en Pedrosa et al., 2014). O como una interpretación directa del índice obtenido, que propone Davis (citado en Pedrosa et al., 2014), el cual debe ser superior a 0,80 para definir el conjunto de ítems como adecuado.

El problema del modelo de Lawshe es que requiere de un gran número de jueces y con acuerdos muy altos entre ellos (Tristán, 2008), lo cual afecta los valores mínimos del CVR; por lo tanto, cuando se cuenta con pocos panelistas, Tristán modifica el modelo del cálculo de los valores mínimos de aceptación para los ítems en general, simplificándolo desde un nuevo indicador de acuerdo entre los jueces con base en una normalización, planteado en la ecuación (3), cuyo valor mínimo aceptable es de un CVR' de 0.582.

Donde

CVRi = La razón de validez de contenido para cada ítem

METODOLOGÍA

Para la elaboración del instrumento se tuvieron en cuenta las dimensiones y capacidades de cada competencia SEI encontradas en la literatura, y con base en esto se realizó una búsqueda en varios frentes. En primer lugar, se realizó una búsqueda de instrumentos que se enfocaran en recolectar información sobre las competencias SEI articuladas, con el fin de tener una base de datos de elementos asociados a las capacidades de los estudiantes, y en segundo lugar, evidenciar cuáles eran los principales obstáculos para la adaptación de un instrumento que logre medirlas en el contexto local. Se encontró que muchos instrumentos realizaban una evaluación de las competencias SEI de forma segmentada y que eran pocos los que las abordaban juntas. El grupo de trabajo evidenció también que los instrumentos no se podían implementar sin realizar varias acciones: La primera es que cuando se parte de un instrumento redactado en un idioma diferente del que se va a aplicar localmente es posible que la traducción no esté contextualizada a los términos propios del lenguaje local y que no tenga un significado representativo de lo que en el instrumento se requiere preguntar. Autores como Sousa et al. (2015) recomiendan realizar traducciones a la lengua local y nuevamente a la lengua de origen, para finalmente realizar una segunda traducción y compararlas para constatar la eficacia del proceso. En segunda instancia, revisar si lo traducido corresponde a palabras utilizadas localmente en el contexto adecuado o si se deben cambiar palabras o frases enteras, con el fin de garantizar la adecuación de la pregunta de cada ítem, a fin de conservar la intencionalidad y sentido del constructo.

En esta investigación de tipo descriptivo con un diseño no experimental se determinó la validez de contenido de un instrumento para la recolección de información, denominado Inventario de Competencias SEI (ICSEI), que fue construido a partir de García (2017) para las competencias sociales y emocionales; y de Deardorf (2006) y Gacel-Ávila (2017) para las competencias interculturales en las características inteligencia cultural y ciudadanía global, respectivamente.

El instrumento inicial contiene 47 ítems, representados en 6 características: Autoconciencia, Autogestión, Conciencia social, Habilidades de relación, Ciudadanía global e Inteligencia cultural. Cada dimensión cuenta con sus variables observables y sus propios ítems (ver tabla 2).

Tabla 2 Operacionalización del constructo perfil integral 

Fuente: elaboración propia.

Con el objeto de validar la primera versión del cuestionario ICSEI diseñado y mejorarlo, se procedió a cubrir tres etapas: sometimiento a juicio de expertos, prueba piloto y evaluación de confiabilidad con el programa estadístico SPSS para Windows. Con la ayuda de un grupo de 13 expertos en el área se evaluó el contenido y la pertinencia del instrumento, analizando de forma individual cada uno de los ítems a fin de validar la comprensión y la relevancia del constructo y de las dimensiones que se desean medir. El panel de expertos lo conformaron profesores de diversas IES, con una experiencia mayor a cinco años en el campo profesional y académico, relacionados con áreas de ciencias sociales e ingeniería: 2 profesores extranjeros (Chile y México) y 11 colombianos; de los cuales 5 son de sexo femenino y 8 masculino, 7 están en el rango de edad de 36 a 45 años y el resto son mayores de 46 años y la mayor parte de ellos con título de doctor y magíster en nivel de doctorantes.

Para tener certeza de que la definición semántica estaba representada correctamente en cada uno de los ítems, se calculó el índice de validez de contenido (CVI) del instrumento con el modelo cuantitativo de Lawshe (1975) modificado por Tristán (2008). Para llevar a cabo esta medición, se conformó el grupo de expertos y se les envió individualmente por correo electrónico el cuestionario, donde se iniciaba con la definición conceptual del constructo y las indicaciones para evaluar el nivel de importancia de cada uno de los ítems de acuerdo con los criterios de valoración aportados por (Vargas et al., 2016): (a) esencial, (b) útil pero no esencial, (c) no necesaria.

Posteriormente, se calculó con la ecuación (1) la razón de validez de contenido para cada ítem (CVR), de acuerdo con el modelo de Lawshe (1975).

Para la prueba piloto se contactó a estudiantes de los programas de ingeniería que aplicaron a alguna de las estrategias de internacionalización ofertadas por la Oficina de Relaciones Internacionales (ORI) durante los últimos cinco años; por tanto, no se hizo cálculo de muestra estadística. De los 135 estudiantes que inicialmente expresaron interés, 45 participaron respondieron voluntaria y anónimamente la encuesta de forma virtual. Al abrir el instrumento, se les informó de los objetivos perseguidos con la investigación y se le solicitó su consentimiento, garantizándoles que la información obtenida no se emplearía para otros fines fuera del marco de la investigación. De los encuestados en la prueba piloto, 24 fueron estudiantes varones y 21 mujeres, sin ninguna diferencia representativa en las distribuciones de género; las edades estaban entre 15 a 35 años, con una edad media de 23 años y sin diferencias significativas en el perfil de edad de acuerdo con los programas de estudio. Todos los estudiantes pertenecían a estratos socioeconómicos de 1 a 4, con la mayor parte concentrados en los estratos 2 y 3 (estratos bajos-medios).

RESULTADOS

VALIDEZ DE CONTENIDO

La evaluación de la razón de validez de contenido (CVR) de cada uno de los ítems se muestra en la tabla 3. De acuerdo con los criterios de Lawshe (1975) modificados por Tristán (2008), el punto de corte mínimo acorde con el número de jueces (13) que participaron en la evaluación de este instrumento es de 0.54. Se puede observar en la herramienta de percepción que los ítems 5, 12, 13, 15, 18, 19, 21, 22, 26, 31 y 33 están por debajo de este valor. Así mismo, se calculó el índice de validez global con un valor de 73 % y el índice de validez de los ítems considerados como aceptables del 81 %. Por lo anterior es posible afirmar que el instrumento es aceptable.

De los ítems anteriormente mencionados, para la dimensión Autoconciencia, específicamente la variable observable de Autovaloración adecuada de uno mismo, el CVR' fue de 0.38. De igual manera, para la dimensión Autogestión en la variable observable Adaptabilidad e Iniciativa, el CVR' fue de 0.46 y 0.54, respectivamente. Mientras que la dimensión Conciencia social obtiene cuatro valores desfavorables en las variables Empatía, Conciencia de la organización, Orientación al servicio con el CVR' de 0.23, 0.46 y 0.54, respectivamente. Por último, con valores menores o iguales a 0.54, la dimensión Habilidades de relación con su variable Influencia, Catalizar el cambio, Desarrollo de los demás, resultaron con un valor 0.38, 0.54, y 0.54, respectivamente.

Tabla 3 Razón de Validez de Contenido  

Nota: Esta tabla presenta la razón de validez de contenido para cada ítem (CVR), de acuerdo con el modelo de Lawshe (1975), así como la razón de validez de contenido para cada ítem (CRV) de acuerdo con el modelo de Lawshe (1975) modificado por Tristán (2008) y el Índice de validez de Contenido (CVI).

Fuente: elaboración propia.

Luego de realizar el corte en 0.54, la versión final del instrumento quedó integrado por 36 ítems, como puede verse en la tabla 4: la primera dimensión, referida la emoción, incluye 14 ítems; la segunda, referida a lo social, con 13 ítems; y la tercera, referida a lo intercultural, con 9ítems.

Tabla 4 Operacionalización final de las dimensiones SEI 

Fuente: elaboración propia.

CONFIABILIDAD DEL INSTRUMENTO

Para esto, se usó el enfoque del análisis de consistencia interna de los ítems, a través del cálculo de los coeficientes Alpha de Cronbach con el programa estadístico SPSS para Windows, resultados que se consignan en la Tabla 5.

Tabla 5 Resultados de evaluar Alpha de Cronbach con SPSS 

Fuente: elaboración propia.

DISCUSIÓN

Para tener criterios de comparación respecto al método de validación usado y los resultados obtenidos, se abre una discusión alrededor de estudios similares en los que se validen instrumentos para medir competencias. Como criterio externo de comparación se toma el Inventario de Cociente Emocional (EQ-i) de Bar-On (Gómez Dupertuis y Moreno, citado en Mikulic et al., 2015), que consiste de una prueba de autoinforme que evalúa con 133 ítems y una escala tipo Likert un conjunto de competencias personales, emocionales y sociales, agrupados en cinco dimensiones (intrapersonal, interpersonal, adaptabilidad, manejo del estrés y humor general) y 15 subescalas; esta prueba ha demostrado tener adecuadas propiedades psicométricas, reportándose valores Alpha de Cronbach promedio de 0,77 para las subescalas (Bar-On, citado en Mikulic et al., 2015).

En el trabajo de Mikulic et al. (2015) se sustenta la construcción de un instrumento propio denominado Inventario para medir las Competencias Socioemocionales en adultos (ICSE); para validar la consistencia interna se utiliza una técnica de análisis por juicio de expertos similar a la realizada en este trabajo. Algunas diferencias consistieron en que usaron 18 jueces, a los cuales se les presentaron los ítems de manera aleatoria; el instrumento contaba inicialmente con 124 ítems redactados en forma de capacidades que debían autocalificar los participantes, de los cuales en el proceso de validación se retiraron 52 ítems (un 41,93 %), obteniendo un coeficiente Alpha de Cronbach promedio de 0.72, aduciendo que se considera aceptable por la literatura (George y Mallery, citado en Mikulic et al., 2015).

En otro trabajo de Vargas et al. (2016) también se toma como base el modelo de Lawshe modificado (Tristán, 2008) para validar el contenido de un instrumento de medición de competencias de Liderazgo Transformacional en una universidad mexicana. Con la participación de un grupo de 7 expertos en el tema se evaluó de manera independiente el contenido y pertinencia de cada uno de los ítems del instrumento, y se obtuvo una razón de validez de contenido (CVR) promedio de 0.57 (valores entre 0.286 y 0.857), con un índice de validez de contenido (CVI) de 0.75, que sobrepasa el punto de corte mínimo de 0.58; por esto consideran que el instrumento es aceptable; en este trabajo no se realizó análisis de confiabilidad.

En Ponce de León et al. (2020) se aplicó validez y fiabilidad a un cuestionario que evalúa competencias investigativas e innovadoras en la Universidad de Ciencias Médicas de Matanzas (Cuba), por intermedio de 11 expertos con más de 10 años de experiencia en la docencia universitaria e investigativa. Las escalas de evaluación para expertos eran cuatro: nada (0), poco (1), suficiente (2) y mucho (3); donde cada ítem se consideró "adecuado" si fue evaluado con la categoría

"Mucho" por al menos 70 % de los expertos en cada uno de los criterios. Se evaluó la validez de constructo mediante un análisis factorial exploratorio, con componentes principales y rotación "Varimax", calculado con el software SPSS; no se eliminaron ítems debido a que todos resultaron por encima del criterio de 0.58. El Alfa de Cronbach obtenido en la prueba piloto fue de 0.93, por lo que se considera que la formulación de los ítems fue razonable, justificando su presencia en el cuestionario; se concluye que las categorías propuestas para ser incluidas en la construcción del instrumento son adecuadas. Los resultados sugirieron la presencia de cuatro factores que explicaron el 71.16 % de la varianza acumulada por todos los factores (Alpha Cronbach promedio de 0.71).

CONCLUSIONES

Muy coherente con tendencias globales de la educación, como las propuestas por CASEL y GCE, se concluye que los procesos formativos no pueden reducirse solo a la adquisición de conocimientos disciplinares o competencias duras; deben además propender por el desarrollo de todo el potencial individual y grupal de las personas. En este artículo, sustentado en una revisión sistemática de la literatura, se condensa en un instrumento de percepción un inventario de ítems correspondientes a capacidades propias de las seis dimensiones de competencias SEI (ICSEI), para que sean auto- valoradas por los participantes del estudio.

Se analizó la validez de contenido y de consistencia interna del instrumento ICSEI a través del método de expertos, utilizando como herramienta estadística el método de Lawsche modificado por Tristán-López. Este método causa gran controversia debido a su naturaleza subjetiva, lo que desdibuja la validez inherente al propio instrumento o a las decisiones que de él se derivan; a pesar de las críticas, de acuerdo con la investigación bibliográfica realizada, se constata que es de gran uso para la validación de herramientas tipo cuestionario, sobre todo en el ámbito socio-humanístico. El modelo de Lawshe modificado ha demostrado ser útil para enjuiciar la calidad de un instrumento en función de la validez de constructo y de contenido, pero se observa como un inconveniente la influencia de la cantidad de jueces en el tope mínimo de corte; de tal modo que para grupos pequeños de expertos el modelo es muy exigente y conforme la cantidad se incrementa el modelo se vuelve más laxo.

En este trabajo, los 47 ítems iniciales del ICSEI se presentaban organizados como capacidades inherentes a cada una de las seis dimensiones del estudio, que debían ser autovaloradas por los participantes; para la validación interna intervinieron 13 jueces, por cuyo criterio se eliminaron 11 ítems, quedando finalmente el instrumento con un total de 36 ítems (se eliminó el 23.4%), y se obtuvo un índice de validez global promedio de 0.73.

Para el análisis de confiabilidad se realiza una prueba piloto, aplicando el instrumento ICSEI de 36 ítems a una muestra no estadística de 45 estudiantes de características similares a los que serán los participantes en la investigación que le da origen. Se calculó con software SPSS el coeficiente Alpha de Cronbach de cada una de las dimensiones de competencias SEI que conforman el instrumento, y se obtuvo un promedio de 0.81. Esto resulta muy satisfactorio por obtener en la mayor parte de ítems del instrumento una puntuación por encima de 0.58, considerada como el mínimo permitido.

Como se airmó, no se encontró en la investigación bibliográica del estado del arte un constructo coherente ni instrumentos para medir cuantitativamente las tres competencias SEI de forma conjunta; por tanto, el instrumento ICSEI se constituye en una herramienta valiosa tanto para el uso académico como investigativo en el ámbito educativo, cumpliendo con estándares de confiabilidad y validez.

Referencias

Álvarez-Gayou, J. L. (2014). Cómo hacer investigación cualitativa. Fundamentos y metodología. México: Paidós Educador. [ Links ]

Boyatzis, R., Stubbs, E. y Taylor Scott, N. (2002). Learning Cognitive and Emotional Intelligence. Competencies Through Graduate Management Education. Academy of Management Learning and Education, 1 (2), 150-162. [ Links ]

Coelho, V., Romao, A., Ribeiro, P. y Saldanha, S. (2021). A nationwide analysis of the effectiveness of a Social and Emotional Learning program in Portugal: Focus on the role of developers' involvement. Revista de Psicodidáctica, 26 (2), 2530-3805. https://doi.org/10.10167j.psicoe.2021.04.001. [ Links ]

CASEL Collaborative for Academic, Social, and Emotional Learning (2018). Competencias del aprendizaje social y emocional (SEL). https://casel.org/wp-content/uploads/2019/12/CASEL-whe-el-competencies-Spanish.pdfLinks ]

Corcoran, R., O'Flaherty, J., Xie, C. y Cheung, A. (2020). Conceptualizing and measuring social and emotional learning: A systematic review and meta-analysis of moral reasoning and academic achievement, religiosity, political orientation, personality, Educational Research Review, 30. https://doi.org/10.1016/j.edurev.2019.100285Links ]

Deardorff, D. K. (2006). Identification and assessment of intercultural competence as a student outcome of internationalization. Journal of Studies in International Education, 10(3), 241-266. https://doi.org/10.1177/1028315306287002. [ Links ]

Eyzaguirre, S., Le Foulon, C. y Salvatierra, V. (2020). Educación en tiempos de pandemia: Antecedentes y recomendaciones para la discusión en Chile. Estudios Públicos, 159, 111-180. https://doi.org/10.38178/07183089/1430200722Links ]

Gacel-Ávila, J. (2017). Ciudadanía Global: Concepto emergente y polémico. ESS: Educación Superior y Sociedad, 21(Colección 25° aniversario), 39-63. https://www.iesalc.unesco.org/ess/index.php/ess3/issue/view/4Links ]

García, B. (2009). Manual de métodos de investigación para las ciencias sociales. Un enfoque de enseñanza basado en proyectos. México: Manual Moderno [ Links ]

García, M. J. (2017). Las competencias emocionales de los trabajadores cubanos. ¿cómo medirlas? Alternativas cubanas en psicología, 5(13). http://www.alfepsi.org/wp-content/uploads/2017/01/ alternativas-cubanas-en-psicologia-v5n13.pdfLinks ]

Goleman, D. (1996). Inteligencia emocional. Barcelona: Kairós. [ Links ]

Goleman, D., Boyatzis, R. y McKee, A. (2002). El líder resonante crea más: el poder de la Inteligencia Emocional. Plaza y Editores. [ Links ]

Hernández, R. y Mendoza, C. (2018). Metodología de la investigación: Las rutas cuantitativa, cualitativa y mixta. México DF: McGraw-Hill. [ Links ]

Hernández, R. y Mendoza, C. (2018). Metodología de la investigación: Las rutas cuantitativa, cualitativa y mixta. México DF: McGraw-Hill . [ Links ]

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575. [ Links ]

Medina, R. (2020). Validez de Contenido de un Instrumento de Medición de Derechos Humanos en México. Revista de Ciencias Sociales (Cr), II(168), 2. https://www.redalyc.org/articulo. oa?id=15364525014Links ]

Mikulic, I., Crespi, M. y Radusky, P. (2015). Construcción y validación del inventario de Competencias Sociemocionales para adultos (ICSE). Interdisciplinaria, 32(2), 307-330. http://www.redalyc.org/articulo.oa?id=18043528007Links ]

Muller, F., Denk, A., Lubaway, E., Salzer, C., Kozina, A., Vrsnik, T., Rasmusson, M., Jugovic, I., Lung Nielsen, B., Rozman, M., Ojstersek, A. y Jurko, S. (2020). Assessing social, emotional, and intercultural competences of students and school staff: A systematic literature review. Educational Research Review, 29. https://doi.org/10.1016/j.edurev.2019.100304Links ]

Sousa, C., Goncalves, G ., Orgambídez, A. y Santos Joana. (2015). Questionário de Personalidade Multicultural: Características métricas da adaptacáo para a populacáo portuguesa e correlacoes com a inteligencia cultural. Revista portuguesa de psicología, 43, 31-47. [ Links ]

Pedrosa, I., Suárez, J. y García, E. (2014). Evidencias sobre la validez de contenido: avances teóricos y métodos para su estimación. Acción psicológica, 10 (2), 3-18. http://revistas.uned.es/index. php/accionpsicologica/issue/view/766Links ]

Ponce de León Narváez, R., Soler Cárdenas, S., Hernández Nariño, A., Díaz Díaz, A. A. y Soler Pons, L. (2020). Validez y fiabilidad de un cuestionario que evalúa competencias investigativas e innovativas. Rev. Medica Electron, 42(5), 2220-2232. [ Links ]

Pugh, G. y Lozano, A. (2019). El desarrollo de competencias genéricas en la educación técnica de nivel superior: un estudio de caso. Calidad en La Educación, 50, 143-179. https://doi.org/10.31619/caledu.n50.725Links ]

Tobón, S. (2013). Formación integral y competencias. Pensamiento complejo, currículo, didáctica y evaluación (4a ed.). Bogotá: ECOE. [ Links ]

Tristán-López, A. (2008). Modificación al modelo de Lawshe para el dictamen cuantitativo de la validez de contenido de un Instrumento objetivo. Avances en Medición, 6, 37-48. https://www.humanas.unal.edu.co/lab_psicometria/revista-avances-en-medicion/avances-en-medicion-no6Links ]

Unesco (2006). Directrices de la Unesco sobre la educación intercultural. Biblioteca digital, Unesco . https://unesdoc.unesco.org/ark:/48223/pf0000147878_spaLinks ]

Unesco (2014). Global Citizenship Education. Preparing learners for the challenges of the 21st century. París: Unesco. [ Links ]

Unesco (2015). Global Citizenship Education. Topics and Learning Objectives. París: Unesco . [ Links ]

Vargas, M., Máynez, A., Cavazos, J. y Cervantes, L. (2016). Validez de contenido de un instrumento de Medición para medir el liderazgo Transformacional. Revista Global de Negocios, 4, (1), 35-45. https://www.theibfr.com/es/download/rgn/2016-rgn/rgn-v4n1-2016/RGN-V4N1-2016.pdfLinks ]

Vega, J. O., Bello Dávila, Z., Medina García, J. y Alfonso León, A. (2019). Un estudio de las competencias emocionales en estudiantes de Ciencias de la Salud de la Universidad Técnica de Manabí. Revista Científica Sinapsis, 1(14). https://doi.org/10.37117/s.v1114.190Links ]

Vélez, Á., Delgado, L. y Sánchez, W. (2018). Análisis prospectivo de las competencias genéricas Tuning-Alfa en la ciudad de Medellín al 2032. Ágora U.S.B., 18(1), 131. https://doi.org/10.21500/16578031.3446Links ]

Como citar este artículo: Yepes Zuluaga, S., Montes Granada, W. y Alvarez Salazar, J. (2023). El portafolio en la formación inicial del profesorado: ¿Cómo conseguir un aprendizaje reflexivo en los Trabajos de Final de Grado?. Zona Próxima, 38, 110-133.

ANEXO DESARROLLO DE LAS COMPETENCIAS SOCIALES, EMOCIONALES E INTERCULTURALES DE ESTUDIANTES

Estudiante reciba un cordial saludo

Usted ha sido seleccionado para diligenciar esta encuesta, que pretende medir el fortalecimiento de su formación global a través de sus capacidades sociales, emocionales y culturales.

Lo/la invitamos a usted a participar, de manera libre y voluntaria, en un estudio interno del cual se desprende la necesidad de conocer su percepción sobre algunos aspectos clave. Para ello, se aplica el siguiente cuestionario. Todos los datos recopilados serán confidenciales.

Usted tiene la opción libre y voluntaria de participación, y puede retirarse de este estudio en cualquier momento sin consecuencias negativas para usted o para la institución.

Responda las siguientes preguntas generales:

  1. Correo institucional

  2. Género

  3. Rango de edad

  4. Seleccione el semestre que actualmente está cursando

  5. Seleccione el programa al que pertenece

  6. Seleccione el estrato socioeconómico al que pertenece

A continuación, se presentan un conjunto de capacidades que debe evaluar en qué medida considera que las posee, es decir, que caracterizan su comportamiento habitual.

Las valoraciones debe realizarlas en una escala de 1 a 5 puntos, donde 5 = siempre, 4 = casi siempre, 3 = a veces, 2 = casi nunca y 1 = nunca. Intente responder de la manera más sincera posible; esto no es una prueba, solo se trata de explorar su perfil de capacidades sociales, emocionales y culturales.

Recibido: 02 de Octubre de 2020; Aprobado: 27 de Enero de 2022

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons