Self-assessment: A critical competence for Industrial Engineering
Autoevaluación: Una competencia crítica para la Ingeniería Industrial
Domingo Verano-Tacoronte a, Alicia Bolívar-Cruz b & Sara M. González-Betancor c
a Facultad de Economía, Empresa y Turismo, Universidad de Las Palmas de Gran Canaria, España. domingo.verano@ulpgc.es
b Facultad de Economía, Empresa y Turismo, Universidad de Las Palmas de Gran Canaria, España. alicia.bolivar@ulpgc.es
c Facultad de Economía, Empresa y Turismo, Universidad de Las Palmas de Gran Canaria, España. sara.gonzalez@ulpgc.es
]]> Received: November 6th, 2014. Received in revised form: May 14th, 2015. Accepted: October 22th, 2015.
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
Abstract
Assess one's own abilities realistically and critically is the key for a continuous adaptation to the changing labor market conditions. The university system must train the future engineers to rate their own performance accurately, reducing biases as self-benevolence. This paper analyzes, with a sample of students of Industrial Engineering, the accuracy of self-assessment in oral presentations, using a scoring rubric. The results of several statistical tests indicate that students are good assessors of others work, but benevolent with their own work. In addition, men evaluate themselves significantly higher than women do. Finally, self-assessment tend to compensate for others assessments, mainly in the case of students considered worse by teachers. These results point to the need of including self-assessment activities in an increasing number to improve students' performance.
Keywords: self-assessment; higher education; engineering; transversal competences; employability; scoring rubrics.
Resumen
Valorar de manera realista y crítica las propias capacidades es clave para una adaptación continua a las cambiantes condiciones del mercado de trabajo. El sistema universitario debe preparar a los futuros ingenieros para que puedan juzgar su propio trabajo de manera precisa, reduciendo los sesgos como la auto-benevolencia. Este trabajo analiza, con una muestra de estudiantes de Ingeniería Industrial, la precisión de la autoevaluación en presentaciones orales, utilizando una rúbrica. Los resultados, fruto de varias pruebas estadísticas, indican que los estudiantes son buenos valoradores del trabajo de otros, pero benevolentes consigo mismos. Además, los hombres se autoevalúan de manera significativamente superior que las mujeres. Finalmente, las autoevaluaciones tienden a compensar las valoraciones efectuadas por otros valoradores, fundamentalmente en el caso de los estudiantes peor considerados por los profesores. Estos resultados sugieren la necesidad de incluir actividades de autoevaluación en un número creciente que mejoren el desempeño de los estudiantes.
Palabras clave: autoevaluación; educación superior; ingeniería; competencias transversales; empleabilidad; rúbricas.
]]> 1. Introducción
Como consecuencia de la situación económica por la que atraviesa España, la tasa de paro no ha dejado de aumentar en los últimos años. En el campo de la ingeniería, un estudio encargado por el Consejo General de Ingenieros Industriales de España y que se basa en una encuesta que se realizó en 2013 al colectivo de ingenieros industriales colegiados de España pone de manifiesto que la tasa global de desempleo asciende al 15,5% de los encuestados, alcanzando el 27,1% en el colectivo que tiene una experiencia entre 1 y 5 años [1]. A pesar de estos datos tan desalentadores, hay que tener en cuenta que la crisis es coyuntural y que a medida que la economía se recupere, estos titulados volverán al mercado laboral. De cara a facilitar ese retorno y, por tanto, fomentar la empleabilidad es vital poseer, además de conocimientos técnicos, una serie de competencias de carácter transversal, también denominadas habilidades blandas o soft-skills. Estas competencias transversales incluyen el trabajo en equipo, la presentación oral, la resolución de problemas, el aprendizaje y trabajo autónomos y el razonamiento crítico. La Universidad asume, dentro del Espacio Europeo de Educación Superior, la responsabilidad de capacitar a sus estudiantes para que puedan desarrollar de manera efectiva una actividad profesional. Esto es así dados los nuevos retos profesionales y los desafíos del mercado actual debidos a las nuevas formas de trabajo multicultural e interdisciplinar. Por ello se hace necesario potenciar las competencias que desarrollen la capacidad de los estudiantes de integrarse en el mercado de trabajo y permanecer en él a lo largo del tiempo, e incluso poder volver a él si lo abandonan temporalmente.
Este trabajo se centra en la autoevaluación, que está íntimamente relacionada con las competencias de aprendizaje y trabajo autónomos y de razonamiento crítico por cuanto la autonomía requiere la capacidad para evaluar el propio trabajo y, por definición, esta evaluación debe ser crítica para reconocer las limitaciones que tiene la persona respecto a su preparación y sus resultados laborales e intelectuales [2-6]. Asimismo, la autoevaluación es fundamental para la mejora y la innovación en el ámbito empresarial a través de los procesos de I+D+i en los que se involucran los ingenieros [7]. Estas competencias son de gran importancia para potenciar la empleabilidad de los ingenieros, tal y como se reconoce en el Libro Blanco de las titulaciones de Ingeniería rama industrial (propuesta de las Escuelas Técnicas Superiores de Ingenieros Industriales) [8], en el que las citadas competencias reciben valoraciones de 7 y 8 puntos, respectivamente, en una escala de 1 a 10.
Por otra parte, si se consigue garantizar que la autoevaluación sea precisa, en cuanto a que exista coincidencia entre las puntuaciones de un valorador y las de otras fuentes de valoración consideradas como referencia [6,9-11] se está contribuyendo a desarrollar el espíritu crítico del estudiante con su propio trabajo y, por tanto, a estimular el aprendizaje continuo del mismo, tanto en el plano académico como profesional.
El enfoque sobre la precisión de la autoevaluación ya ha sido tratado en estudios previos [e.g., 12-14], sin embargo son pocos los que se han centrado en el campo de la Ingeniería Industrial o los que han realizado el estudio segmentando su muestra atendiendo al género del estudiante o a las diferencias de rendimiento en la competencia objeto de evaluación. Así pues, el objetivo principal de este trabajo es determinar si el estudiante de Ingeniería Industrial es preciso a la hora de autoevaluarse en un contexto de evaluación sumativa y si aspectos como el género o su rendimiento valorado por otros evaluadores influyen en su propia evaluación.
Tras esta introducción, se presentan los fundamentos teóricos de la cuestión. Seguidamente, se describe el diseño metodológico que ha guiado la investigación. A continuación se analizan los resultados del trabajo empírico. Por último, se discuten los principales resultados y se exponen las conclusiones alcanzadas, así como las limitaciones del estudio y las líneas futuras de trabajo.
2. Marco teórico
En el ámbito educativo, la autoevaluación se refiere a la capacidad de los estudiantes para enjuiciar su propio aprendizaje, particularmente sus logros y resultados [15]. La participación de los estudiantes en su propia evaluación presenta una serie de ventajas para el estudiante [16-18] que se pueden sintetizar en ayudar a desarrollar competencias de gran valor en el mercado de trabajo, como el espíritu crítico con el propio trabajo, y aumentar la involucración de los estudiantes en su propio aprendizaje. Específicamente, en el ámbito de la ingeniería, se defiende la autoevaluación como mecanismo de estimulación de las capacidades para la reflexión continua y la resolución de problemas [2].
Son estas ventajas las que conducen a que la literatura se muestre favorable a la implantación de herramientas docentes orientadas al desarrollo de la autoevaluación, aunque su precisión sea inferior a la deseable [15,19,20]. Para ser competitivo, cualquier profesional debe ser capaz de evaluar de manera crítica su preparación y su trabajo, con el fin de poder mejorarlo y adaptarse a las necesidades del mercado laboral y de los clientes. Esto ocurre especialmente en el ámbito de la ingeniería, donde es habitual el ejercicio libre de la misma. Como resultado de esta percepción favorable, se puede observar un creciente número de metodologías docentes innovadoras en el ámbito de la educación que emplean la autoevaluación en diferentes tipos de actividades, fundamentalmente orientadas a la evaluación formativa (i.e., centrada en la mejora de las capacidades de los estudiantes).
]]> Sin embargo, no es frecuente que se presente en la evaluación sumativa (i.e., orientada a obtener la calificación de los estudiantes), ya que los profesores suelen pensar que los estudiantes no son suficientemente precisos a la hora de evaluarse, tal y como refleja la literatura en el ámbito de la educación. Se han identificado dos tipos de sesgos especialmente relevantes para la autoevaluación [4], como son la auto-indulgencia (i.e., la tendencia a valorarse por encima de las valoraciones dadas por otros) y la comparación descendente (i.e., la tendencia general a puntuarse positivamente a uno mismo y más negativamente a los demás). A este respecto, al comparar las puntuaciones de autoevaluación con las de los profesores, las primeras resultan ser superiores [3].De cara a mejorar la precisión de la autoevaluación se recomienda tomar una serie de medidas. En primer lugar se recomienda combinar la autoevaluación, con otro tipo de indicadores, como las calificaciones de los profesores, preferentemente más de uno, por su carácter integrador [21]. Asimismo es conveniente tener en cuenta a los pares pues su evaluación es más precisa que la autoevaluación [12,13,16].
En segundo lugar, se hace necesario proporcionar al evaluador formatos de evaluación fáciles de utilizar, fiables y con alta validez de contenido, lo cual se puede conseguir a través de la utilización de rúbricas. Las rúbricas constituyen herramientas de evaluación que posibilitan valorar la calidad de las aportaciones de los estudiantes en distintos ámbitos, así como su nivel de ejecución, especificando, antes de la realización de la actividad evaluada, los factores o variables que se van a analizar y los niveles de cumplimiento en cada uno de ellos [22-24].
En tercer lugar, se debe proveer de formación y experiencia en la utilización de los formatos de evaluación, en este caso de las rúbricas, a los evaluadores, sean estos estudiantes o profesores [14, 23].
Por último, es recomendable tener en cuenta la diferencia entre los evaluadores, los cuales pueden actuar de diferente forma atendiendo a su género o sus habilidades en la competencia analizada.
Con el fin de dar cumplimiento al objetivo formulado, se llevó a cabo un estudio en una asignatura troncal de 13,5 créditos, correspondiente al cuarto curso de la titulación de Ingeniero Industrial y que se imparte en el primer semestre. Este estudio, a su vez, tiene como objetivos específicos:
3. Metodología
Durante el primer semestre del curso se explicó a los estudiantes que debían realizar un trabajo y exponer el mismo en equipos de dos miembros. Una parte de la valoración de este trabajo consistiría en la presentación oral del mismo, que debía realizarse bajo unas condiciones específicas de formato y tiempo. Cada presentación sería valorada por dos profesores (el responsable de la asignatura y otro profesor ajeno a la misma, ambos con amplia experiencia en la evaluación de presentaciones orales), el resto de compañeros y los propios ponentes. Por lo que, a partir del total de participantes (47 hombres y 16 mujeres) se obtuvo un total de 4.032 evaluaciones, conforme al detalle que se muestra en la Tabla 1.
Se ha de tener en cuenta que la competencia de presentación oral es otra de las competencias que se requiere a los ingenieros industriales y que recibe una valoración de 7 puntos sobre 10 en el Libro Blanco anteriormente citado [8]. Específicamente, con respecto a la capacidad de presentación oral, se indica que la autoevaluación mejora su aprendizaje y desarrollo [12].
Para proporcionar criterios de evaluación homogéneos y así mejorar la precisión de la autoevaluación y generar buenas prácticas en el desarrollo de esta competencia se facilitó con antelación a los evaluadores (estudiantes y profesores) la rúbrica que figura en el anexo. ésta fue elaborada por profesores con amplia experiencia en la valoración de presentaciones orales en el contexto universitario y fue diseñada y validada a través del proceso que se detalla en un estudio previo [25]. La rúbrica está compuesta por diez criterios, que reflejan las principales dimensiones de la competencia analizada. Cada uno de los criterios es evaluable según una escala de tres niveles (1-deficiente, 2-aceptable, 3-excelente), en función del nivel de consecución de los estándares previamente definidos en cada uno de ellos. Se optó por una rúbrica de 3 niveles, con el fin de hacer identificable a los usuarios de la misma qué patrones de comportamiento debían tener en cuenta para poder asignar una determinada puntuación en cada uno de los criterios. A medida que se incrementa el tamaño de la escala resulta más difícil poder identificar estándares diferenciados para cada uno de los niveles. De hecho, en el caso extremo de una escala Likert en la que no se identifican estándares sino tan sólo los extremos, ante un mismo comportamiento, dos evaluadores pueden dar puntuaciones totalmente diferentes, pues interviene la subjetividad del evaluador.
La calificación obtenida en la presentación oral se vinculó a la calificación final de la asignatura (evaluación sumativa), con el fin de lograr una mayor implicación de los estudiantes. Con relación al diseño metodológico hubiera sido deseable poder trabajar con un grupo de control. Sin embargo, esto hubiese implicado que una parte de los estudiantes no dispusiera de parte de su calificación final, por lo que se descartó esta posibilidad.
El contenido y funcionamiento de la rúbrica se explicó pormenorizadamente a todos los evaluadores, resolviendo antes de su aplicación las posibles dudas que pudieran surgir. Una vez recogidas las evaluaciones de las presentaciones, se valoró la fiabilidad de la rúbrica a través de la consistencia intra-valorador [26], considerando los tres grupos de valoradores.
La variable que se analiza a lo largo de este artículo para responder a los objetivos planteados es la puntuación global, obtenida mediante la agregación de las puntuaciones otorgadas por los evaluadores en cada criterio de la rúbrica. De esta forma, se generan las variables puntuación total de los profesores, puntuación total de los pares y autoevaluación. En las dos primeras, al tratarse de varios evaluadores, se utiliza el promedio de la puntuación otorgada por cada uno de los mismos, es decir, la media de los profesores o la media de los pares. Para facilitar la comparativa entre ellas, se redondean los promedios calculados al primer número entero, puesto que la autoevaluación sólo puede dar lugar a números enteros.
Respecto al primer objetivo específico, analizar si la autoevaluación del estudiante de Ingeniería Industrial es precisa, se analiza gráficamente el nivel de coincidencia en la puntuación otorgada a cada una de las presentaciones por las tres fuentes de evaluación disponibles (profesores, pares y autoevaluación), así como los principales estadísticos descriptivos, comprobando en cada caso su significatividad estadística a través de los contrastes de igualdad de medias.
]]> El análisis para el segundo objetivo específico se realiza diferenciando por el género del estudiante. Se parte de los histogramas de frecuencias, así como de los estadísticos descriptivos básicos, para posteriormente buscar una relación lineal entre las puntuaciones a través del coeficiente de correlación lineal simple y, en caso de no detectarla, se procede a determinar su posible independencia a través del coeficiente de Spearman.Por último, el análisis para el tercer objetivo específico se realiza a través la interpretación gráfica para las submuestras de estudiantes que reciben mayor y menor puntuación por parte de los profesores. Para seleccionar a estos dos grupos de alumnos se determina el intervalo de confianza para la puntuación media otorgada por los profesores, de forma que los alumnos que caigan fuera del intervalo (construido como la puntuación media más/menos una desviación típica) serán los que se clasifiquen como estudiantes "con competencia de comunicación alta/baja".
4. Resultados
La fiabilidad de la rúbrica se analizó a través del cálculo del Alpha de Cronbach, obteniendo los resultados que muestra la Tabla 2. Como se puede observar, existe una buena consistencia interna en los tres colectivos en ambas titulaciones, pues todas son superiores al 75%, por lo que se consideró que la rúbrica era fiable [27].
Una primera aproximación al nivel de consenso logrado entre los tres colectivos implicados (precisión de las evaluaciones) se deduce de la Fig. 1. Se observa cómo la valoración de los profesores coincide en mayor medida con la de los pares que con la autoevaluación. De hecho, esta última suele ser en muchos casos superior a las otras dos. En líneas generales, se aprecia cómo la senda trazada por la puntuación de profesores es muy similar a la de los pares, aunque esta última presenta menores oscilaciones y, por tanto, discrimina menos.
El rango entre las puntuaciones mínima y máxima de los profesores es superior al rango de los pares, mientras que la horquilla de la autoevaluación se sitúa siempre por encima del mínimo y del máximo del resto de evaluadores (Tabla 3). Por tanto, así como entre compañeros parece más habitual poner puntuaciones intermedias, mientras que el profesorado utiliza un mayor rango de puntuación, la autoevaluación parece otorgar mayoritariamente puntuaciones más elevadas. Por su parte, y ahondando en el nivel de consenso entre evaluadores, se comprueba que no hay diferencias significativas entre la media de las evaluaciones de profesores y pares, mientras que las diferencias entre cualquiera de estos dos y la autoevaluación sí resultan estadísticamente significativas. Una vez más, se observa que profesores y pares puntúan de forma similar, mientras que la autoevaluación se desvía de ellos.
]]> A continuación se desagrega la información en función del género del estudiante, para comprobar si este comportamiento diferenciado de la autoevaluación se mantiene independientemente de si se trata de un hombre o de una mujer (segundo objetivo específico). Con esta finalidad, se presenta la Fig. 2, en donde se muestra el histograma de frecuencias de la puntuación total otorgada por cada uno de los sujetos evaluadores, diferenciando por género del estudiante. Al haber utilizado una rúbrica de 10 criterios y una escala de 3 valores para obtener la puntuación total, la distribución de dicha puntuación podrá oscilar entre un mínimo de 10 y un máximo de 30 puntos. Se observa una tendencia generalizada a que la distribución se desplace hacia la derecha a medida que se cambia de evaluador (profesores, pares, autoevaluación), para ambos sexos, aunque esta tendencia parece más acusada cuando la autoevaluación es de hombres que cuando es de mujeres. En términos generales, los pares puntúan más alto la habilidad comunicativa de sus iguales que el profesorado, independientemente del sexo del estudiante. Asimismo la propia percepción de dicha habilidad es, en términos generales, superior a la percepción de los compañeros. Además, esta última diferencia parece superior en los hombres que en las mujeres.Estas diferencias gráficas en función del género del estudiante deben ser verificadas en términos estadísticos, por lo que se realizan contrastes de diferencias de medias y se analiza la tendencia de las puntuaciones por grupo valorador (Tabla 4). En primer lugar, y sin entrar en la significatividad de las diferencias, destaca que todos han otorgado una mayor puntación a los hombres que a las mujeres. Sin embargo, al contrastar la significatividad estadística de dicha diferencia, resulta que sólo es significativa en el caso de la autoevaluación. Por tanto, profesores y pares no muestran apenas diferencias en función del género del estudiante evaluado, mientras que la autoevaluación sí. De hecho, los datos manifiestan que, en promedio, la autoevaluación de los hombres es sistemáticamente más alta que la de las mujeres, siendo esta diferencia significativa.
A partir de los datos de la Tabla 4 se puede intuir una cierta correlación entre las valoraciones de pares y profesores, no así entre éstas y la autoevaluación. No obstante, antes de poder aseverarlo, se hace necesario cuantificar dicha relación (Tabla 5).
Tal y como era de esperar, se detecta una alta correlación lineal entre la valoración de pares y profesores (83% para hombres y mujeres). Sin embargo, la correlación lineal entre la autoevaluación y el resto de fuentes no resulta estadísticamente significativa. No obstante, dado que todos los evaluadores habían visto la misma presentación y además habían utilizado la misma rúbrica, se consideró la posibilidad de que la relación entre la puntuación total otorgada por los diferentes evaluadores fuera diferente a la lineal, por lo que también se calculó la correlación a través de los rangos de Spearman, sin que se modificaran los resultados.
El análisis del tercer objetivo específico se realiza sin diferenciar por género del estudiante, puesto que la diferencia de puntuación otorgada por los profesores no resulta estadísticamente significativa por este motivo. La Fig. 3 muestra la puntuación otorgada por cada una de las tres fuentes de valoración para el colectivo de estudiantes peor/mejor valorado por el profesorado (con competencia de comunicación baja/alta) según los intervalos de confianza creados previamente.
En el caso de las presentaciones de aquellos estudiantes peor valorados por el profesorado se observa mayor disparidad en la valoración de las tres fuentes, mientras que entre los alumnos con mayor valoración es donde se aprecia mayor consenso entre las puntuaciones.
]]> En cualquier caso el comportamiento de profesores y pares parece mantener un mismo patrón, de forma que en las presentaciones de los estudiantes con competencia baja el profesor es más estricto que los pares. En cambio, en las de aquellos con competencia alta el profesor es más benévolo que los pares. De la misma forma se detecta un patrón claro en la autoevaluación cuando se trata de presentaciones de estudiantes con baja competencia. En éstas, la autoevaluación es sistemáticamente mayor a la de las otras dos fuentes de evaluación.
5. Conclusiones
Saber autoevaluarse es una competencia clave en una profesión como la ingeniería sometida a constantes cambios y que requieren una permanente actualización. La importancia de la autoevaluación adquiere aún más valor en una situación como la que se vive en España, con elevadas tasas de paro.
Un buen desempeño en la autoevaluación implica que el individuo sea capaz de desarrollar la tarea con precisión. Ello se debe potenciar desde la Universidad a través de la implicación del estudiante en actividades en las que tenga que valorar su propio trabajo. Para mejorar la precisión de la autoevaluación, la literatura recomienda tomar una serie de medidas como la formación de los valoradores o la utilización de rúbricas. Este trabajo ha determinado el grado de precisión de un grupo de estudiantes de Ingeniería Industrial teniendo en cuenta sus estímulos a la hora de autoevaluarse (i.e, evaluación sumativa) y las diferencias entre los evaluadores debidas al género y a su capacidad como oradores, valorada por los profesores.
Los resultados alcanzados muestran que la rúbrica posibilita un alto nivel de precisión, dado que los profesores y los pares puntúan de manera similar. Sin embargo, el efecto no es el mismo en la autoevaluación, tal y como señala la literatura [11,14,28,29]. Por tanto, el estudiante es capaz de evaluar de manera precisa (i.e., de forma similar a los profesores) cuando dispone de criterios claros; el problema surge cuando se evalúa a sí mismo. Esto se puede justificar con varios argumentos. En primer lugar, la repercusión en la nota de la autoevaluación puede influir en el resultado de la misma, sobrevalorándola respecto a otras fuentes de evaluación, dejando sin efecto a la rúbrica. La falta de hábito de autoevaluación y la no implicación de los estudiantes en la identificación de los criterios son otras posibles explicaciones. Por último, cabría pensar que las diferencias entre profesores y autoevaluaciones pueden deberse a la mayor experiencia de los profesores al juzgar las presentaciones orales [12]. No obstante, hay que considerar que los propios estudiantes sí fueron capaces de valorar con precisión a sus compañeros, cuando actuaban como pares, lo que parece dar más peso a la motivación de los estudiantes para mejorar su calificación a la hora de autoevaluarse.
Respecto al segundo objetivo específico, se puede concluir, a partir de los datos analizados, que la autoevaluación guarda relación con el género. Al separar a los estudiantes en dos grupos atendiendo a esta característica, se observa que tanto hombres como mujeres se autoevalúan por encima de los pares y profesores en línea con lo descrito en la literatura revisada [15,30]. Además, en general, y también consistente con los estudios previos, los hombres presentan una autoevaluación estadísticamente más alta que las mujeres [11,31,32]. Habría que indagar en cuáles son las causas que justifican este comportamiento de los hombres que sistemáticamente se puntúan por encima de lo que lo hacen las mujeres. La literatura señala como causa la menor percepción de auto-eficacia de las mujeres y, por tanto, un menor nivel de confianza en su propio desempeño [33].
En relación con el tercer objetivo específico, la rúbrica hace más precisas las puntuaciones cuando el estudiante que se autoevalúa es un orador con alta competencia de presentación oral según el criterio de los profesores. En el caso de los estudiantes con bajo nivel de competencia, desde el punto de vista del profesorado, su autoevaluación es sistemáticamente mayor que la de los pares y la del profesorado. Este resultado apoya la afirmación de que especialmente los estudiantes brillantes son muy buenos juzgando su propio desempeño, mientras que los estudiantes con menos habilidades son menos precisos [6,34,35].
Por tanto, como conclusión general, la mejora de la precisión en la competencia de autoevaluación requiere atender las características individuales diferenciadoras de cada estudiante. El trabajo presentado evidencia que los estudiantes, a la hora de autoevaluarse, no actúan de forma homogénea, por lo que hay que actuar en consecuencia.
Para mejorar la precisión de la autoevaluación en el ámbito educativo y, como consecuencia, en el profesional se proponen una serie de líneas de actuación: (1) incrementar la formación de los estudiantes en autoevaluación, haciendo hincapié en la indulgencia a la hora de valorar el propio trabajo, así como en la mayor severidad de las mujeres al evaluarse; (2) aumentar las experiencias de autoevaluación, dado que mejoran la capacidad de los estudiantes para autoevaluarse [15]; (3) involucrar al estudiante en el diseño de las escalas de evaluación [18], puesto que aumenta su compromiso con el sistema y (4) advertir a los estudiantes de que, de cara a la evaluación sumativa, el profesor podrá aplicar factores correctores [17], en la medida en que su autoevaluación difiera significativamente de las evaluaciones de los referentes.
]]> A pesar de las contribuciones realizadas, este estudio presenta una serie de limitaciones. En primer lugar, hay que tener en cuenta que los resultados se han obtenido en unas condiciones determinadas entre las que se encuentra el hecho de que la autoevaluación estaba ligada a la calificación del estudiante (i.e., evaluación sumativa). De cara a valorar el efecto que tiene en la precisión de la autoevaluación su carácter sumativo, hubiese sido deseable contar con un grupo de control de estudiantes para los que la autoevaluación no tuviese repercusiones en su calificación. Así, sería posible analizar si los resultados se mantienen cuando la autoevaluación no tiene efecto en la nota final. No obstante, y puesto que en este trabajo los mismos estudiantes han evaluado con la misma rúbrica a los pares, y ahí se ha observado un grado significativo de precisión entre la evaluación de pares y profesores, esta limitación podría quedar, en cierta medida, solventada. Dado que la evaluación de los pares sí presenta un grado significativo de precisión respecto a los profesores, podría considerarse como una forma de controlar que los estudiantes conocen la rúbrica y saben aplicarla con criterios similares a los profesores y que lo hacen cuando no existe un estímulo.La segunda limitación se relaciona con la muestra. A pesar del elevado número de evaluaciones obtenidas (más de 4.000), sería deseable poder aumentar la muestra, tanto en número como en diversidad, incorporando a estudiantes de otras universidades e incluso a egresados. Asimismo se pondría incrementar la muestra con individuos de otros países al objeto de valorar la incidencia de los factores culturales.
En tercer lugar, no se tiene información sobre la opinión del estudiante sobre la utilidad de la autoevaluación para mejorar sus habilidades y competencias. Sería conveniente conocer cómo esta opinión influye en la precisión de la autoevaluación.
Por último, aunque se ha estudiado la influencia del género en la precisión de la autoevaluación, no se ha profundizado en las causas que motivan estas diferencias de comportamiento entre hombres y mujeres, lo que se debería hacer en futuros estudios.
La baja precisión de la autoevaluación no debe desalentar su utilización pues no sólo tiene utilidad cuando se emplea con fines sumativos, sino que se puede utilizar para desarrollar la capacidad de autocrítica de la persona. La incorporación de la autoevaluación ofrece ventajas [12,36,37], por lo que hay que integrar estas formas de evaluación en los planes de estudio [17], vinculándolas a la calidad del aprendizaje [36]. La autoevaluación es una herramienta efectiva en aras de capacitar a los estudiantes para unir varios aspectos de su aprendizaje, reflejar sus logros y examinar las implicaciones en su formación posterior. Por tanto, la gran utilidad de la autoevaluación estaría en su dimensión de evaluación formativa, esto es, para mejorar las habilidades y capacidades del estudiante de Ingeniería Industrial, lo cual redundará en su mejor empleabilidad.
Anexo
Referencias
]]>[1] Díaz-Lucas, A., La empleabilidad de los ingenieros industriales españoles. DYNA, 88(6), pp.614-615, 2013. [ Links ]
[2] Beyerlein, S., Davis, D., Trevisan, M., Thompson, P. and Harrison, K. Assessment framework for capstone design courses, en Annual ASEE Conference and Exposition (113th, 2006, Chicago). Proceedings of the American Society for Engineering Education. Chicago: ASEE, 2006. [ Links ]
[3] Ryan, G.J., Marshall, L.L., Porter, K. and Jia, H., Peer, professor and self-evaluation of class participation. Active Learning in Higher Education, 8(1), pp. 49-61, 2007. DOI: 10.1177/1469787407074049 [ Links ]
[4] Van Duzer, E. and McMartin, F., Methods to improve the validity and sensitivity of a self/peer assessment instrument. IEEE Transactions on Education, 43(2), pp.153-158, 2000. DOI: 10.1109/13.848067 [ Links ]
[5] Rychen, D.S. and Salganick, L.H., A holistic model of competence, en D.S. Rychen, and Salganick, L.H., (Ed.). Key Competencies for a successful life and a well-functioning society, Cambridge, MA: Hogrefe & Huber, 2003, pp. 41-62. [ Links ]
[6] Brown, G.T.L. and Harris, L.R., Student self-assessment, en J.H. McMillan, (Ed.), The SAGE handbook of research on classroom assessment, Thousand Oaks, CA: Sage, 2013, pp.367-393. [ Links ]
]]>[7] Vicente-Oliva, S., Martínez-Sánchez, A. y Berges-Muro, L., Buenas prácticas en la gestión de proyectos de I+D+i, capacidad de absorción de conocimiento y éxito. DYNA-Colombia 82(191), pp. 109-117, 2015. DOI: 10.15446/dyna.v82n191.42558. [ Links ]
[8] ANECA. Libro Blanco. Titulaciones de ingeniería rama industrial (Propuesta de las Escuelas Técnicas Superiores de Ingenieros Industriales). Madrid: Agencia Nacional de Evaluación y Certificación de la Calidad, 2006, pp. 163-167. [ Links ]
[9] Brown, G.T.L. and Harris, L.R., The future of self-assessment in classroom practice: reframing self-assessment as a core competency. Frontline Learning Research, 2(1), pp. 22-30, 2014. DOI: 10.14786/flr.v2i1.24 [ Links ]
[10] Boud, D., The role of self-assessment in student grading. Assessment and Evaluation in Higher Education, 14(1), pp. 20-30, 1989. DOI: 10.1080/0260293890140103 [ Links ]
[11] Panadero, E. and Romero, M., To rubric or not to rubric? The effects of self-assessment on self-regulation, performance and self-efficacy. Assessment in Education: Principles, Policy & Practice, 21(2), pp. 133-148, 2014. DOI: 10.1080/0969594X.2013.877872 [ Links ]
[12] De Grez, L., Valcke, M. and Roozen, I., How effective are self- and peer assessment of oral presentation skills compared with teachers' assessments?. Active Learning in Higher Education, 13(2), pp.129-142, 2012. DOI: 10.1177/1469787412441284 [ Links ]
[13] Langan, A.M., Shuker, D.M., Cullen, W.R., Penney, D., Preziosi, R.F. and Wheater, C.P., Relationships between student characteristics and self-, peer and tutor evaluations of oral presentations, Assessment and Evaluation in Higher Education, 33(2), pp.179-190, 2008. DOI: 10.1080/02602930701292498 [ Links ]
[14] Marín-García, J.A., Los alumnos y los profesores como evaluadores. Aplicación a la calificación de presentaciones orales, Revista Española de Pedagogía, 67(242), pp.79-98, 2009. [ Links ]
[15] Boud, D. and Falchikov, N., Quantitative studies of student self-assessment in higher education: a critical analysis of findings. Higher Education, 18(5), pp. 529-549, 1989. DOI: 10.1007/BF00138746 [ Links ]
[16] Campbell, K.S., Mothersbaugh, D.L., Brammer, C. and Taylor, T., Peer- versus self-assessment of oral business presentation performance. Business Communication Quarterly, 64(3), pp.23-42, 2001. DOI: 10.1177/108056990106400303 [ Links ]
[17] Dochy, F, Segers, M. and Sluijsmans, D., The use of self-, peer and co-assessment in Higher Education: A review. Studies in Higher Education, 24(3), pp.331-350, 1999. DOI: 10.1080/03075079912331379935 [ Links ]
[18] Falchikov, N., Improving assessment through student involvement: Practical solutions for aiding learning in Higher and Further Education. Nueva York: Routledge Farmer, 2005, pp. 128. [ Links ]
[19] Boud, D., The role of self-assessment in student grading. Assessment and Evaluation in Higher Education, 14(1), pp. 20-30, 1989. DOI: 10.1080/0260293890140103 [ Links ]
[20] Taras, M., Student self-assessment: Processes and consequences. Teaching in Higher Education, 15(2), pp.199-209, 2010. DOI: 10.1080/13562511003620027 [ Links ]
[21] Fagerholm, F and Vihavainen, A., Peer assessment in experiential learning, en Frontiers in Education Conference (2013, Oklahoma City) IEEE Proceedings, 2013. [ Links ]
]]>[22] Andrade, H. and Du, Y., Student perspectives on rubric-referenced assessment, Practical Assessment, Research & Evaluation, 10(3), pp.1-11, 2005. [ Links ]
[23] Jonsson, A. and Svingby, G., The use of scoring rubrics: reliability, validity and educational consequences, Educational Research Review, 2(2), pp. 130-144, 2007. DOI: 10.1016/j.edurev.2007.05.002 [ Links ]
[24] Panadero, E. and Jonsson, A., The use of scoring rubrics for formative assessment purposes revisited. A review, Educational Research Review, 9, pp.129-144, 2013. DOI: 10.1016/j.edurev.2013.01.002 [ Links ]
[25] Bolívar-Cruz, A., Verano-Tacoronte, D., y González-Betancor, S.M., Is university students' self-assessment accurate? En: Peris-Ortiz, M. y Merigó-Lindahl (Eds). Sustainable Learning in Higher Education, Netherlands: Springer, 2015: pp., 21-35. DOI: 10.1007/978-3-319-10804-9 [ Links ]
[26] García-Ros, R., Análisis y validación de una rúbrica para evaluar habilidades de presentación oral en contextos universitarios. Electronic Journal of Research in Educational Psychology, 9(25), pp.1043-1062, 2011. [ Links ]
[27] Cortina, J.M., What is coefficient alpha? An examination of theory and applications, Journal of Applied Psychology, 78(1), pp.98-104, 1993. DOI: 10.1037/0021-9010.78.1.98 [ Links ]
[28] Kwan, K.P. and Leung, RW., Tutor versus peer group assessment of student performance in a simulation training exercise, Assessment & Evaluation in Higher Education, 21(3), pp.205-214, 1996. DOI: 10.1080/0260293960210301 [ Links ]
[29] Magin, D. and Helmore, P., Peer and teacher assessments of oral presentation skills: How reliable are they? Studies in Higher Education, 26(3), pp.287-298, 2001. DOI: 10.1080/03075070120076264 [ Links ]
[30] Das, M., Self and tutor evaluations in problem based learning tutorials: is there a relationship? Medical Education, 32(4), pp 411-418, 2001. DOI: 10.1046/j.1365-2923.1998.00217.x [ Links ]
[31] Acker, D. and Duck, N.W., Cross-cultural overconfidence and biased self-attribution, The Journal of Socio-Economics, 37, pp. 1815-1824, 2008. DOI: 10.1016/j.socec.2007.12.003 [ Links ]
[32] Blackwood, T., Business undergraduates' knowledge monitoring accuracy: How much do they know about how much they know? Teaching in Higher Education, 18(1), pp. 65-77, 2013. DOI: 10.1080/13562517.2012.694100 [ Links ]
[33] Pallier, G., Gender differences in the self-assessment of accuracy on cognitive tasks, Sex Roles, 48(5-6), pp. 265-276, 2003. DOI: 10.1023/A:1022877405718 [ Links ]
[34] Dinsmore, D.L. and Parkinson, M.M., What are confidence judgements made of? Students' explanations for their confidence ratings and what that means for calibration, Learning and Instruction, 24, pp. 4-14, 2013. DOI: 10.1016/j.learninstruc.2012.06.001 [ Links ]
[35] Hattie, J., Calibration and confidence: Where to next? Learning and Instruction, 24, pp. 62-66, 2013. DOI: 10.1016/j.learninstruc.2012.05.009 [ Links ]
[36] Boud ,D., Reframing assessment as if learning were important", en Boud, D. and Falchikov, N., (Ed.), Rethinking assessment in higher education: Learning for the longer term. Londres: Routledge, 2007, pp.14-28. [ Links ]
[37] Langan, A.M., Wheater, C.P., Shaw, E.M., Haines, B.J., Cullen, W.R., Boyle, J.C., Penney, D., Oldekop, J.A., Ashcroft, C., Lockey, L. and Preziosi, R.F., Peer assessment of oral presentations: effects of student gender, university affiliation and participation in the development of assessment criteria. Assessment and Evaluation in Higher Education, 30(1), pp.21-34, 2005. DOI: 10.1080/0260293042003243878 [ Links ]
]]> D. Verano-Tacoronte, es Lic. en Ciencias Económicas y Empresariales y Dr. en Economía y Dirección de Empresas por la Universidad de Las Palmas de Gran Canaria, España. Actualmente es profesor de Dirección de Recursos Humanos en dicha Universidad, donde ha impartido docencia desde el año 1993 en el Departamento de Economía y Dirección de Empresas en diferentes Facultades y escuelas universitarias, incluyendo Ingeniería Industrial e Ingeniería Informática. Sus líneas de trabajo a nivel investigador son la evaluación del rendimiento, la precisión en los procesos de evaluación del desempeño profesional y académico y la influencia que los sistemas de recompensas tienen en el desempeño profesional y académico. Asimismo, estudia aspectos personales y contextuales relacionados con los procesos de adquisición y mejora de competencias académicas y profesionales. ORCID: 0000-0001-7612-4147
A. Bolívar-Cruz, es Lic. en Ciencias Económicas y Empresariales y Dra. en Economía y Dirección de Empresas por la Universidad de Las Palmas de Gran Canaria, España. En la actualidad es profesora de Organización de Empresas en dicha Universidad, donde imparte docencia desde el año 1994 en el Departamento de Economía y Dirección de Empresas en diferentes centros universitarios, como la Escuela de Ingenierías Industriales y Civiles y la Facultad de Economía, Empresa y Turismo. Sus intereses de investigación se centran en el emprendimiento, los procesos de autoevaluación y en el estudio de las competencias para la empleabilidad. ORCID: 0000-0003-2765-527X
S.M. González-Betancor, es Lic. en Ciencias Económicas y Empresariales y Dra. en Economía por la Universidad de Las Palmas de Gran Canaria, España. Es profesora en dicha Universidad desde 1998, impartiendo Estadística y Econometría en diferentes titulaciones de la Facultad de Economía, Empresa y Turismo así como de Ciencias Jurídicas. Sus principales líneas de investigación son la Economía de la educación (funciones de producción educativa, evaluación educativa, determinantes del rendimiento educativo, inserción laboral, indicadores educativos, evaluación de competencias), las Investigaciones bibliométricas (bibliometría, factores de impacto, bases de datos bibliométricas) y la Economía de la pobreza. ORCID: 0000-0002-2209-1922
]]>
