DOI: http://dx.doi.org/10.19053/22160159.5223
Artículo de Investigación
EVALUACION DE COMPETENCIAS CON APOYO DE UN SISTEMA DE GESTION DE APRENDIZAJE
Competency Evaluation With the Support of a Learning Management System
Avaliação de Competências com o Apoio de um Sistema de Gestão de Aprendizagem
Evaluation des Compétences avec le Soutien D'un Système de Gestión de L'apprentissage
Sergio Augusto Cardona Torresa, Sonia Jaramillo Valbuenab, Yadira Navarro Rangelc
a Magister en Ingeniería Universidad del Quindío (Armenia - Colombia) seigio_cardona@unquinclio.edu.co.
b Estudiante de Doctorado en Ingenierí Universidad del Quindío (Armenia - Colombia) sjaramiHo@umquindio.edu.co. ]]>
Recepción: 7 de noviembre del 2015 Aprobación: 18 de marzo del 2016
Resumen
En este trabajo se presentan los resultados de una investigación descriptiva correlacional con dos propósitos definidos, por un lado, analizar la opinión de los estudiantes respecto a la contribución de la metodología de evaluación de los proyectos formativos para su proceso de formación por competencias; por otro, hacer un análisis comparativo entre los resultados de la evaluación de evidencias realizada por los estudiantes y la evaluación del profesor. La experimentación se realizó con estudiantes de un curso de lógica formal de pregrado del programa de Ingeniería de Sistemas y Computación de la Universidad del Quindío, Colombia. Para soportar el proceso de evaluación de competencias, se desarrolló un nuevo componente tecnológico que se incorpora como un bloque al sistema de gestión de aprendizaje Moodle. Los resultados del trabajo permiten afirmar que los estudiantes consideran que la participación activa en el proceso de evaluación contribuye al desarrollo de las competencias del curso. En relación con los resultados de la evaluación de evidencias, se identificó que existe diferencia estadísticamente significativa entre la evaluación realizada por los estudiantes y la evaluación del profesor.
Palabras clave: evaluación, competencias, evidencias, proyectos formativos.
Abstract
This paper presents the results of a correlational descriptive research for two purposes defined, on the one hand, analyze student opinion regarding the contribution of the methodology of evaluation of training projects for process skills training are presented, on the other side, make a comparative analysis between the results of the evaluation of evidence by students and teacher assessment. The experiment was conducted with students in a course of formal logic undergraduate program Systems Engineering and Computer Science, Universidad del Quindío, Colombia. To support the skills assessment process, it developed a new technology component that is incorporated as a block to learning management system Moodle. Work results support the conclusion that students consider that active participation in the evaluation process contributes to the development of the skills of the course. Regarding the results of the evaluation of evidence, it was identified that there is statistically significant between the evaluation by students and teacher assessment difference.
Keywords: evaluation, competence, evidence, formative projects.
Résumé
Cet article présente les résultats d'une recherche descriptive corrélationnelle à deux fins déterminées, d'une part, d'analyser les commentaires des étudiants En ce qui concerne la contribution de la méthodologie de l'évaluation des projets de formation pour la formation professionnelle de processus sont présentés, de l'autre côté, faire une analyse comparative Entre les résultats de l'évaluation des preuves par les élèves et l'évaluation des enseignants. L'expérience a été menée avec les étudiants dans un cours d'un programme formel logique de premier cycle Systèmes génie et d'informatique, Universidad del Quindío, Colombie. Pour soutenir le processus d'évaluation des compétences, il a développé une nouvelle technologie est incorporé en tant que composant ce bloc à un système de gestion de l'apprentissage Moodle. Les résultats du travail appuient la conclusion que considérer que les étudiants de participation active dans le processus d'évaluation contribuent au développement des compétences des cours. En ce qui concerne les résultats de l'évaluation de la preuve, il a été determiné qu'il y est statistiquement significatif entre l'évaluation par les étudiants et la différence d'évaluation des enseignants.
]]> Mots clés: évaluation, la compétence, des preuves, des projets de formation.Resumo
Este artigo apresenta os resultados de uma pesquisa descritiva correlacional para duas finalidades definidas, por um lado, analisar opinião do aluno sobre a contribuição da metodologia de avaliação de projectos de formação para treinamento de habilidades de processo são apresentados, por outro lado, fazer uma análise comparativa entre os resultados da avaliação de provas por alunos e avaliação dos professores. O experimento foi realizado com os alunos em um curso de formal de programa de lógica de graduação Sistemas de Engenharia e Ciência da Computação, Universidad del Quindío, Colômbia. Para apoiar o processo de avaliação de competências, desenvolveu-se um novo componente de tecnologia que está incorporada como um bloco ao sistema de gestão de aprendizagem Moodle. Os resultados do trabalho permitem concluir que os estudantes consideram que a participação activa no processo de avaliação contribui para o desenvolvimento das habilidades do curso. Em relação aos resultados da avaliação de provas, identificou-se que existe estatisticamente significativa entre a avaliação por estudantes e diferença avaliação dos professores.
Palavras chave: avaliação, competência, evidências, projectos de formação.
Introducción
Uno de los retos actuales en el contexto educativo, es la necesidad de mejorar las prácticas en los procesos de evaluación de los estudiantes. Los aportes de la tecnología como soporte al aprendizaje, la ciencia cognitiva y la psicometría, han permitido la creación de nuevas prácticas de evaluación, a través de las cuales se busca contribuir a los propósitos formativos de los estudiantes (Almond, Steinberg & Mislevy, 2002).
La sociedad del conocimiento demanda una transformación en la forma de evaluar en la educación, por ello cada vez más se promueve la participación del estudiante en la evaluación (Sánchez, Ruiz & Sánchez, 2011), (Cukusié, Caraca & JadriC, 2014), (Van den Bergh et ál., 2006). Cuando el estudiante se involucra de forma activa en la evaluación, este debe asumir la responsabilidad por sus resultados, y tal como se plantea en (García, 2010), "se espera con ese proceso, la consolidación de una cultura democrática, lo cual conlleva al desarrollo de valores como la participación, la responsabilidad social, la sostenibilidad y la rendición de cuentas".
Como respuesta a los retos que demanda la sociedad del conocimiento, desde diversos enfoques pedagógicos por competencias se propone la evaluación continua del desempeño del estudiante en contextos específicos. Uno de estos enfoques por competencias es el socioformativo, en donde se propone la metodología de proyectos formativos (Tobón, 2013a), la cual está fundamentada en el método de proyectos propuesto por Kilpatrick (Kilpatrick, 1918). Los proyectos formativos se basan en acciones articuladas para resolver un problema del contexto, con base en la colaboración y la creación de saberes; con el propósito que los estudiantes sean competentes para afrontar los retos que plantea el contexto (Tobón, 2010). La metodología de proyectos formativos contempla la implementación diferentes tipos de evaluación: autoevaluación, coevaluación y heteroevaluación. En estos tipos de evaluación, estudiantes y profesores participan en la definición de los criterios y en las actividades de evaluación (Álvarez, 2008).
En la implementación de estos tipos de evaluación en la práctica pedagógica, se han identificado dificultades, en las que se destaca: la poca experiencia del profesor (Fiallos & Maradiaga, 2011), la inexactitud de los estudiantes para autoevaluarse (Dochy, Segers & Sluijsmans, 1999a), la falta de objetividad de los estudiantes para evaluar (Mcdonald, Boud, Francis & Gonnczi, 2000) y la dificultad para comprender las demandas cognitivas de la tarea de evaluación (Álvarez, 2008).
En este artículo se presentan los resultados de una investigación descriptiva correlacional realizada con estudiantes de un curso lógica formal del programa de pregrado de ingeniería de sistemas y computación de la Universidad del Quindío, Colombia. Las dificultades para implementar nuevos tipos de evaluación motivan la realización de esta investigación, con dos propósitos definidos: 1) identificar si la participación activa en la evaluación, es de utilidad para el proceso de aprendizaje de los estudiantes; 2) determinar si la autoevaluación y la coevaluación realizada por los estudiantes se corresponde con la evaluación del profesor.
]]> Los resultados de la investigación muestran que los estudiantes consideran que la participación activa en el proceso de evaluación contribuye al desarrollo de las competencias esperadas en el curso. Se identificó que existe diferencia estadísticamente significativa entre los resultados de la evaluación de los estudiantes y la evaluación del profesor del curso.El resto de este artículo está organizado de la siguiente manera: la sección 2 presenta los elementos conceptuales de evaluación de competencias. En la sección 3 se describen los detalles metodológicos de la investigación. En la sección 4 se reportan los resultados de la investigación. Finalmente, se muestran las conclusiones del trabajo.
Marco de referencia
Evaluación de competencias
Durante las últimas décadas la evaluación se encuentra en el núcleo del proceso formativo, debido a que tiene impacto directo sobre el proceso de aprendizaje del estudiante (Brahim, Mohammed & Samir, 2010). En el modelo de formación por competencias se valora de forma continua el desempeño del estudiante en contextos específicos, buscando resolver las dificultades de la evaluación tradicional, la cual evalúa conceptos y conocimientos (Villardón, 2006), responde a criterios de valoración sumativo (Cukusic et ál., 2014) y se enfoca exclusivamente a la medición de resultados (Mcdonald et ál., 2000). Un proceso de evaluación continua está orientado a gestionar el aprendizaje de los estudiantes, proporcionando información y criterios para la autorregulación (Zabalza, 2007). Esta evaluación implica actividades que realizan los profesores y los estudiantes, con el propósito de producir retroalimentación que mejore la enseñanza y el aprendizaje (Curtis, 2011).
Ante los retos que demanda la sociedad del conocimiento, desde el contexto educativo cada vez más se promueve la participación activa del estudiante en la evaluación (Sánchez et ál., 2011), (Cukusic et ál., 2014), (Van den Bergh et ál., 2006), mediante tipos de evaluación como: la autoevaluación (Dochy, Segers & Sluijsmans, 1999b), (Florián, Baldiris & Fabregat, 2010); la coevaluación (Hall, 1995), (Gikandi, Morrow & Davis, 2011); y la heteroevaluación (Tobón, 2013b). En estos tipos de evaluación, los estudiantes participan autónomamente en el establecimiento de criterios de valoración y en la selección de evidencias que muestran lo aprendido (Fiallos & Maradiaga, 2011).
En diversas investigaciones se reportan las ventajas de implementar nuevos tipos de evaluación. Se destaca que la participación de los estudiantes en la evaluación contribuye a su proceso de aprendizaje (Dochy et ál., 1999a), incrementa la motivación del estudiante (Villardón, 2006), mejora la percepción acerca de la calidad de su productos, aumenta la responsabilidad y satisfacción del aprendizaje (Sahin, 2008). Así mismo, los estudiantes consiguen una opinión más realista de sus propias capacidades, pueden hacer juicios más racionales al evaluar los logros de sus compañeros de clase (Álvarez, 2008), y autorregulan el desarrollo de las competencias.
Caso contrario se presenta en las investigaciones de (Van Den Berg, Admiraal & Pilot, 2006), (Baartman, Bastiaens, Kirschner & van der Vleuten, 2007), en las cuales se presentan inconvenientes de la evaluación como: falta de madurez de los estudiantes y actitudes negativas frente a la evaluación. Otras dificultades están relacionadas con la falta de objetividad de los estudiantes para autoevaluase (Mcdonald et ál., 2000) y la complejidad de analizar los resultados de aprendizaje para proporcionar retroalimentación a los estudiantes (Sung, Chang, Chiou & Hou, 2005).
Los propósitos de la educación precisan fomentar una evaluación que proporcione la información necesaria para adecuar la enseñanza a las necesidades de aprendizaje (Olmos, 2008). Sin embargo, es generalizado que los estudiantes durante el proceso de formación pocas veces pueden evaluar algo, ya que tradicionalmente la evaluación ha recaído y recae casi con exclusividad sobre el profesorado. Las nuevas tendencias en evaluación recalcan más la necesidad de pasar de una evaluación sumativa a una evaluación formadora que se fundamente en el autoaprendizaje, de una evaluación centrada en el profesorado a una evaluación participativa, y de una evaluación centrada en el control a una centrada en el aprendizaje (Sánchez et ál., 2011).
Proyectos formativos
]]> Un proyecto formativo es un conjunto articulado de actividades que se despliegan en el tiempo para resolver un problema contextualizado y contribuir a formar competencias, con base en criterios y evidencias. Los proyectos formativos tienen diversos propósitos (Tobón, 2005):Un proyecto formativo se estructura por medio de fases en las cuales participan profesor y estudiantes. Estas fases son los escenarios en donde se establecen las actividades de aprendizaje necesarias para que los estudiantes alcancen las competencias definidas. Las fases de un proyecto formativo son: direccionamiento, planeación, ejecución y socialización (Tobón, 2010). El direccionamiento es la fase en la cual se define entre profesores y estudiantes, el propósito del proyecto, las competencias esperadas y el proceso de evaluación. En la planeación los estudiantes planifican con el docente las actividades a realizar del proyecto, de acuerdo al propósito planteado en la fase de direccionamiento. En la fase de ejecución los estudiantes ejecutan el proyecto diseñado con la mediación del docente, buscando el logro de las competencias planteadas. Finalmente, en la socialización los estudiantes presentan ante la comunidad académica los resultados del proyecto formativo.
La evaluación en los proyectos formativos está basada en evidencias las cuales son valoradas mediante rúbricas por niveles de dominio: receptivo, resolutivo, autónomo y estratégico. Los niveles de dominio orientan al profesor y estudiantes en torno a la valoración de las competencias, desde lo más sencillo a lo más complejo, unificando los criterios de evaluación. En la tabla 1, se describen los niveles de dominio con relación a la valoración del desempeño de determinado contexto.
Para la evaluación de las evidencias del proyecto formativo se usaron rúbricas. Las rúbricas son tablas de doble entrada que determinan el nivel de dominio que posee un estudiante respecto a la resolución de un problema. El uso de las rúbricas en el proceso de evaluación de evidencias facilita la retroalimentación de los estudiantes, sugiere acciones de mejora para lograr el mayor desempeño posible, permite señalar los retos progresivos a ser alcanzados por los estudiantes en las evidencias y mide las acciones del alumnado sobre los aspectos de la tarea o actividad que serán evaluados (Torres & Perera, 2010). Diversas investigaciones (Torres & Perera, 2010), (Panadero & Jonsson, 2013), reportan el impacto positivo de las rúbricas como instrumento de evaluación en proceso formativo.
En la figura 1, se presenta un modelo de dominio bajo la notación del Lenguaje Unificado de Modelado (UML)TM el cual contiene los conceptos fundamentales para estructurar un proyecto formativo.
]]>
Un proyecto formativo se compone de fases, actividades de aprendizaje, sistema de evaluación y las competencias a formar en los estudiantes. La evaluación tiene una relación de generalización con los tipos de evaluación (autoevaluación, Heteroevaluación y coevaluación). En la autoevaluación el estudiante hace un juicio sobre el desarrollo de sus competencias, fortalezas y aspectos a mejorar, con base en criterios de desempeño (Florián et ál., 2010). La heteroevaluación consiste en la valoración de las competencias de los estudiantes por personas formadas para ello como los docentes. La coevaluación es la valoración que realizan los pares a una persona para ayudarla a reconocer o acreditar sus logros siguiendo unos determinados criterios de referencia (Tobón, 2013a). La competencia contiene la descripción de los desempeños que deben desarrollar los estudiantes con la realización del proyecto formativo. La evidencia es la descripción del producto que se evaluará de acuerdo con unos determinados criterios que orientan los objetivos de aprendizaje. El nivel de dominio contiene la descripción del logro de aprendizaje basado en los niveles de dominio. En la actividad se describe la acción de aprendizaje concreta a realizar en las diferentes fases del proyecto formativo.
Metodología
La metodología para la investigación realizada es de tipo descriptiva correlacional. El diseño de la investigación es de carácter cuasi experimental, descriptivo y correlacional. La investigación estuvo soportada en un diseño intergrupos con grupo control y experimental, con medida pretest - postest. En la tabla 2 se presenta el diseño intergrupos basado en la tipología propuesta en (Campbell & Stanley, 1966).
El contexto para realizar la investigación es el curso de Lógica Formal del programa de pregrado de Ingeniería de Sistemas y Computación de la Universidad del Quindío - Colombia. El curso tiene como propósito desarrollar competencias para la solución de problemas mediante diferentes tipos de lógicas (proposicional y de predicados), métodos de razonamiento y de deducción.
La investigación se realizó con 36 estudiantes (21 del grupo control y 15 del grupo experimental). La distribución por género de los estudiantes es de 36,1% mujeres y el 63,9% hombres. La edad promedio de los estudiantes es de 21,2 años.
La participación de los estudiantes en el experimento se solicitó de manera voluntaria y mediante consentimiento informado. Se recalcó que la información recolectada y el análisis de los datos sería usada únicamente para efectos de carácter investigativo, respetando el carácter confidencial de los datos personales, de acuerdo con la Ley Colombiana estatutaria 1581 del 2012 (Gobierno Nacional Colombia, 2012) y al decreto 1377 del 2013 (Ministerio Comercio, 2013), del régimen general para la protección de datos personales.
Proceso de evaluación
La estructura del proyecto formativo de la figura 2, muestra las fases y los tipos de evaluación para la valoración de evidencias del proyecto formativo. El proyecto consistió en la implementación de una herramienta informática para la comprobación automática de fórmulas preposicionales, aplicando el método de resolución (Robinson, 1965), el cual es un método de deducción que realiza una búsqueda semántica de modelos basados en la estructura de una formula proposicional. El proyecto formativo fue resuelto en grupos de dos o tres estudiantes.
]]>
El proyecto formativo se desarrolló en cuatro fases: direccionamiento, planeación, ejecución y socialización. En la fase de direccionamiento el profesor presentó a los estudiantes las competencias, el proyecto formativo y la metodología orientada a consensuar, qué y cómo se evaluará. Para la fase de planeación los estudiantes establecieron las actividades a realizar para el logro de los requerimientos del proyecto. En la fase de ejecución los estudiantes implementaron el proyecto formativo con base en lo establecido en la fase de planeación. En la socialización los estudiantes presentaron a la comunidad académica los productos y los resultados de la realización del proyecto formativo.
Para la evaluación de las evidencias se utilizaron rúbricas por niveles de dominio. Las rúbricas fueron utilizadas para la autoevaluación, coevaluación y heteroevaluación. La rúbrica de evaluación se estableció en una escala numérica por rangos de acuerdo con los niveles de dominio: receptivo (0.0 - 2.9), resolutivo (3.0 - 3.7), autónomo (3.8 - 4,4) y estratégico (4.5 - 5.0).
Para la fase de direccionamiento y de planeación no se solicitó entrega de evidencias a los estudiantes. Las evidencias definidas para las fases de ejecución y socialización, así como el tipo de evaluación se muestran en la tabla 3.
El diseño del curso y el proceso de evaluación, estuvo soportado en el sistema de Sistema de Gestión de Aprendizaje (LMS) Moodle. Los estudiantes en grupos de trabajo entregaron todas las evidencias través de la plataforma Moodle (http://grupoitem.co/moodletest/course/viewphp?id=5).
Se creó un foro en Moodle disponible todo el semestre para que los estudiantes hicieran aportes y sugerencias relacionadas con el desarrollo del proyecto formativo. Los comentarios de los estudiantes eran aclarados directamente por el profesor en la plataforma.
Para realizar la autoevaluación el profesor creó un foro en Moodle, el cual permitió que cada estudiante de forma individual y voluntaria, agregara un nuevo tema para valorar sus propias evidencias, de acuerdo con la rúbrica establecida. Los resultados de la autoevaluación fueron visibles para todos los estudiantes del curso. Para la coevaluación el profesor creó un foro para que cada equipo de trabajo coevaluara el trabajo de otro equipo de trabajo con base en las rúbricas. La nota de la coevaluación fue visible solo para los integrantes del grupo.
El profesor realizó la heteroevaluación de las evidencias usado un componente adicional desarrollado para Moodle, el cual permitió tanto la evaluación cuantitativa como la cualitativa de acuerdo con los niveles de dominio. A través de este componente el profesor estableció la retroalimentación para cada estudiante de acuerdo al nivel de logro de la evidencia. Los resultados de la heteroevaluación se realizaron en la plataforma y fueron enviados vía correo electrónico a cada estudiante.
Soporte tecnológico del curso en Moodle
]]> Teniendo en cuenta que Moodle no tiene un soporte para la metodología de proyectos formativos y para el proceso de evaluación de evidencias, se construyó un componente de software que se integra como un bloque independiente al LMS Moodle. El componente se desarrolló bajo la infraestructura WAMP (Windows, Apache 5.6.3, MySQL 5.6.21 y PHP 5.6.3), en la versión de Moodle 2.8.3. El componente proporciona diferentes funcionalidades que permiten al profesor configurar un curso por competencias, describir uno o varios proyectos formativos, establecer el sistema de evaluación de evidencias y los diferentes tipos de evaluación. En la figura 3 se presenta a la venta principal desde la vista del profesor y en el recuadro enmarcado se muestra el componente disponible denominado bloque del proyecto formativo.La extensión del bloque permite la administración de competencias, proyectos formativos, criterios, evidencias y de la evaluación, que se describen a continuación:
En la figura 4, se presenta una vista del gestor de proyectos formativos. Este componente permite la edición de la información del proyecto formativo y la especificación del proceso de evaluación de las evidencias.
]]>
Este bloque para Moodle constituye un aporte a la formación y evaluación de competencias para cursos en línea, debido a que, hasta el momento, no se contaba con herramientas informáticas que permitieran estructurar un curso por competencias en Moodle con los principios de un enfoque explícito por competencias.
Resultados
Los resultados de la investigación se orientaron a: 1) determinar la utilidad de los proyectos formativos y del proceso de evaluación en la formación de los estudiantes, y 2) comparar los resultados de la autoevaluación y coevaluación de los estudiantes, con la heteroevaluación realizada por el profesor. El análisis correlacional estuvo orientado a analizar la relación existente entre las actividades del proceso de evaluación y la metodología de proyectos formativos.
La experimentación con los estudiantes se llevó a cabo durante catorce semanas del segundo semestre académico del 2015. En la primera y última semana de clase se aplicó respectivamente un instrumento para pretest y postest, con diez preguntas en una escala de Likert de 1 a 5, a partir de las cuales se pretendía que los estudiantes aportaran información sobre dos aspectos:
La validez de los ítems del instrumento se realizó con tres profesores universitarios, expertos en el área de conocimiento objeto de estudio. La fiabilidad interna del instrumento se basó en el coeficiente alfa de Cronbach, en el cual todas las preguntas tuvieron discriminación positiva para un coeficiente alfa (0,945).
En la primera parte del instrumento se preguntó a los estudiantes sobre aspectos relacionados con la utilidad de los proyectos formativos. Las preguntas se presentan en la tabla 4.
]]>
En la segunda parte del cuestionario se preguntó a los estudiantes sobre la contribución de la evaluación en el proceso de formación. En la tabla 5, se muestran las preguntas relacionadas con el proceso de evaluación.
Pretest
El instrumento para pretest se aplicó al grupo control y experimental. Para verificar la homogeneidad de ambos grupos se corrió un análisis de varianza ANOVA. En cada una de las pregunta se constataron los supuestos de aleatoriedad, homogeneidad de varianzas y distribución normal de residuos. Debido a que los supuestos no se cumplieron en las preguntas, se aplicó la prueba no paramétrica de Kruskal-Wallis, la cual permite comparar las medianas de dos o más poblaciones, sin requerir suposiciones acerca de la forma real de las distribuciones de probabilidad. En la tabla 6 se muestran los estadísticos de homogeneidad en pretest para los grupos control y experimental.
Los resultados de la prueba de Kruskal-Wallis, muestran que para ambos grupos no existe diferencia estadísticamente significativa para el pretest. Una vez que se verificó la homogeneidad entre ambos grupos, se procedió a la implementación de la metodología de proyectos formativos en el grupo experimental.
Postest
Los resultados obtenidos en el postest, muestran que la propiedad de homogeneidad para el grupo control y experimental, se conserva solamente para la pregunta 1. En la tabla 7 se presentan los resultados de homogeneidad en postest entre grupos.
]]> Con el p-valor, p < 0,05 obtenido mediante la prueba de Kruskal-Wallis para cada pregunta, se puede afirmar que existe diferencia estadísticamente significativa para nueve de las diez preguntas del instrumento, a partir del cual se puede afirmar que el proceso de evaluación y la metodología de proyectos formativos tuvo en efecto en los estudiantes del grupo experimental.Análisis de resultados grupo experimental
Con el propósito de analizar si la intervención con la metodología de proyectos formativos tuvo incidencia en la formación de los estudiantes del grupo experimental, se verificó en el postest si en cada una de las preguntas se conservaba la propiedad de homogeneidad con el pretest. De acuerdo con el p_valor obtenido en la prueba de Kruskal-Wallis para cada una de las preguntas, se puede afirmar que existe diferencia significativa entre las medianas del pretest y postest, para ocho de las diez preguntas. Las preguntas 1 y 2 conservan la propiedad de homogeneidad entre pretest y postest. En la tabla 8 se presentan los resultados estadísticos para las respuestas del grupo experimental.
Por ejemplo, para la pregunta 8 se evidencia que existe diferencia estadísticamente significativa entre el pretest y postest, con relación a la apreciación que tienen los estudiantes frente al aporte de la autoevaluación en el proceso de formación. La figura 5 muestra un gráfico de cajas y bigotes con la diferencia de valoración entre el pretest y el postest.
Para ampliar el análisis de los resultados obtenidos en el grupo experimental, en la tabla 9 se presenta la distribución de frecuencias para la primera parte del cuestionario. La última columna indica la cantidad y el porcentaje de estudiantes que respondieron la pregunta con valor mayor o igual a 4, es decir, aquellos que están de acuerdo y totalmente de acuerdo. Los resultados muestran que 60% de los estudiantes comprende las competencias y evidencias definidas para el proyecto formativo, e identifican las actividades de evaluación a realizar en el proyecto. Todos los estudiantes consideran que la metodología de proyectos formativos contribuye al desarrollo de las competencias específicas del curso.
La tabla 10 muestra la distribución de frecuencias de la segunda parte del cuestionario, la cual está relacionada con la contribución del proceso de evaluación en la formación. En esta distribución 93,3% de los estudiantes participó en el proceso de definición de evidencias a entregar en el proyecto formativo. 73,3% de los estudiantes hizo autoevaluación y 66,7% realizó coevaluación. Todos los estudiantes valoran favorablemente la utilidad de la autoevaluación y la coevaluación dentro del proceso de formación. Finalmente, 80% de los estudiantes comprende los instrumentos de evaluación para la valoración de evidencias y 79,9% consideran la rúbrica como un instrumento de evaluación adecuado.
]]> Como complemento a los resultados descriptivos, se presenta una matriz de correlaciones. En la matriz se resalta en negrilla aquellas variables que son directamente proporcionales y que están correlacionadas de acuerdo con un coeficiente de correlación y un p_valor menor de 0,05 (p_valor < 0,05). Por ejemplo, entre las variables p5 y p8, existe una relación directamente proporcional, pues la correlación 0,4441 es significativa y el p_valor es de 0,0018. En la tabla 11 se presenta la matriz de correlaciones.En el análisis de correlaciones, las variables p1, p2 y p9, no tienen relación con las otras variables. A continuación se presentan las correlaciones más destacadas.
Comparación de los tipos de evaluación
Para comparar los resultados de los tipos de evaluación (autoevaluación, coevaluación y heteroevaluación), se valoraron dos evidencias definidas en la fase de ejecución del proyecto formativo. En la coevaluación y la autoevaluación participó 86,7 % de los estudiantes del grupo experimental. Para el análisis comparativo de la evaluación, se realizó un análisis ANOVA en la cual se verificaron los supuestos de homogeneidad de varianzas y la distribución normal de residuos, los cuales se presentan en la tabla 12.
]]> Para ambas evidencias el p-valor es menor de 0,05, a partir de lo cual existe diferencia significativa entre los promedios de las calificaciones de los grupos de la heteroevaluación, autoevaluación y coevaluación. Los resultados de la prueba de normalidad Kolmogorov, permiten aceptar el supuesto que los residuos se distribuyen normalmente. Para verificar la igualdad de las varianzas se aplicó una prueba de Levene, a partir de la cual se acepta que las varianzas de calificaciones en los tres grupos son iguales. Como estos supuestos se cumplen, se acepta que existe diferencia en los promedios de calificación para los tres grupos. La prueba de rangos permite afirmar que existe diferencia en los promedios de calificación de las evidencias. En la tabla 13 se muestran los resultados de la prueba de rangos múltiples.Para la evidencia 1, existe diferencia entre el promedio de la calificación asignada por el profesor y el promedio de calificación de la coevaluación y la autoevaluación. El mayor promedio de notas fue la autoevaluación y el menor promedio el de la heteroevaluación. Los promedios de calificación de los tres tipos de evaluación para la evidencia 1 se presentan en la figura 6.
Para la evidencia 2, existe diferencia entre el promedio de la calificación asignada por el profesor y los estudiantes. El mayor promedio de notas fue la coevaluación y el menor promedio el de la heteroevaluación. Los promedios de calificación de los tres tipos de evaluación para la evidencia 2 se presentan en la figura 7.
Para ambas evidencias el promedio de calificación en las que participa el estudiante, es superior al promedio del profesor, es decir, existe diferencia entre los resultados dados en la heteroevaluación y los resultados de la coevaluación y la autoevaluación. No existe una diferencia significativa en la media de notas asignadas en la autoevaluación y la coevaluación, para las dos evidencias. Los resultados evidencian que los estudiantes no son objetivos al momento de realizar la autoevaluación y la coevaluación, lo cual está en correspondencia con los trabajos de (Mcdonald et ál., 2000) y (Dochy et ál., 1999a).
Los resultados de la heteroevaluación muestran que 13,3% de los estudiantes alcanzó el nivel de competencia receptivo, 13,3% alcanzó el nivel resolutivo, 40% el nivel autónomo y 33,3% de los estudiantes alcanzó el nivel estratégico. 86,6% de los estudiantes logró el nivel de competencia mínimo para aprobar el proyecto formativo.
Conclusiones
Con base en los lineamientos pedagógicos de la metodología de proyectos formativos, en este artículo se presenta la implementación de un proceso de evaluación de competencias, el cual permitió la participación activa de profesor y estudiantes. El proceso estuvo guiado por fases, en cada una de las cuales se buscó que los estudiantes comprendieran las actividades para la generación y evaluación de evidencias basadas en rúbricas.
]]> El componente de software implementado para Moodle, permitió dar soporte al diseño del proyecto formativo. Este componente es un aporte al área de la tecnología como soporte al aprendizaje, pues permite la implementación de cursos en línea basados en competencias. El componente permitió la gestión del proyecto formativo y la evaluación de evidencias por parte de profesor y estudiantes.En análisis de los resultados relacionados con la metodología de proyectos formativos, se identificó que los estudiantes valoran favorablemente la contribución de la autoevaluación y la coevaluación, para el logro de las competencias del curso. Así mismo, un elevado porcentaje participa en el proceso de evaluación y afirma que la coevaluación y la autoevaluación son útiles en su proceso de formación profesional. Los estudiantes adoptaron de forma significativa las rubricas como instrumentos de evaluación. Los resultados también muestran que la participación activa de los estudiantes incide en su desempeño académico, esto teniendo en cuenta que un alto porcentaje los estudiantes alcanzó una alta calificación en el logro del nivel de competencia del proyecto formativo.
Durante la observación del proceso de formación de los estudiantes, no se evidenció dependencia de estos para afrontar las actividades de autoevaluación y coevaluación, mostrando autonomía para la toma de sus decisiones. Se identificó una actitud favorable por parte de los estudiantes para evaluar sus propias evidencias y las de sus compañeros, lo que incremento su automotivación hacia el aprendizaje.
El análisis correlacional mostró que la metodología de proyectos formativos contribuye al desarrollo de competencias, lo cual tiene relación directa con la participación activa de profesores y estudiantes en la definición de los criterios de evaluación del curso. Se identificó que considerar la autoevaluación y coevaluación útil con la formación, está directamente relacionado con el uso de rubricas como instrumento de valoración de competencias.
Los resultados de evaluación de las evidencias, mostraron que existe diferencia estadísticamente significativa entre la valoración dada por el profesor y la valoración dada por los estudiantes a través de la coevaluación y la autoevaluación. Para las dos evidencias se identificó que no existe diferencia estadísticamente significativa entre coevaluación y la autoevaluación. A pesar que las rúbricas son consideradas por todos los estudiantes del grupo experimental como un instrumento válido para evaluar evidencias, es evidente la necesidad trabajar en aspectos de autorregulación, con el propósito de generar mayor compromiso y objetividad en las evaluaciones en donde este es agente activo. Los resultados obtenidos permiten sugerir el desarrollo de otras investigaciones que incorporen otras variables educativas que tengan incidencia en el rendimiento académico de los estudiantes.
Agradecimientos
Al Departamento Administrativo de Ciencia Tecnología e Innovación Colciencias, convocatoria 569 del 2012, por el apoyo financiero del proyecto de investigación: Entorno de aprendizaje adaptativo basado en un modelo de estudiante multidimensional, código 142556935016. A la doctora Jeimy Vélez Ramos por la coordinación del proyecto de investigación en referencia. Al doctor Sergio Tobón y al Instituto CIFE de México por su apoyo pedagógico.
Referencias
ALMOND, R., STEINBERG, L. & MISLEVY, R. (2002). A four-process architecture for assessment delivery, with connections to assessment design (Vol. 2002). Princeton: Educational Testing Service. [ Links ]
]]>ÁLVAREZ, I. (2008). La coevaluación como alternativa para mejorar la calidad del aprendizaje de los estudiantes universitarios. Revista Universitaria para la Formación del Profesorado, 22(3), 127-140. [ Links ]
BAARTMAN, L. K. J., BASTIAENS, T. J., KIRSCHNER, P. A. & VAN DER VLEUTEN, C. P. M. (2007). Evaluating assessment quality in competence-based education: A qualitative comparison of two frameworks. Educational Research Review, 2(2), 114-129. doi: 10.1016/j.edurev2007.06.001 [ Links ]
BRAHIM, E. F., MOHAMMED, K. I. & SAMIR B. (2010). A formative assessment model within the competency-based-approach for an individualized e-learning path. World Academy of Science, Engineering and Technology, 40, 208-212. [ Links ]
CAMPBELL, D. & STANLEY, J. (1966). Experimental and quasi-experimental designs for research. Boston: Houghton Mifflin Company. [ Links ]
CUKUSIC, M., GARACA, Z. & JADRIC, M. (2014). Online self-assessment and students' success in higher education institutions. Computers & Education,72, 100-109. doi: 10.1016/j.compedu.2013.10.018. [ Links ]
DOCHY, F., SEGERS, M. & SLUIJSMANS, D. (1999a). The use of self-, peer and co-assessment in higher education: A review. Studies in Higher Education,24(3), 331-350. doi: 10.1080/03075079912331379935 [ Links ]
____ (1999b). The use of self-, peer and co-assessment in higher education: A review. Studies in Higher Education, 24(3), 331-350. doi: 10.1080/03075079 912331379935. [ Links ]
FIALLOS, Z. & MARADIAGA, N. (2011). La incorporación del estudiante a su evaluación; la situación en la UPN. Paradigma: Revista de Investigación Educativa, 20(30), 65-75. [ Links ]
FLORIÁN, B., BALDIRIS, S. & FABREGAT, R. (2010). A new competency- based e-assessment data model. In Education Engineering (EDUCON) (pp. 473-480). Madrid: IEEE. [ Links ]
GARCIA, M. J. (2010). Diseño y validación de un modelo de evaluación por competencias en la universidad. Barcelona: Universitat Autónoma de Barcelona. [ Links ]
GIKANDI, J. W, MORROW, D. & DAVIS, N. E. (2011). Online formative assessment in higher education: A review of the literature. Computers and Education, 57(4), 2333-2351. doi: 10.1016/j.compedu.2011.06.004 [ Links ]
GOBIERNO NACIONAL DE COLOMBIA. (2012). Ley colombiana estatutaria 1581 del 2012. Bogotá, D.C. [ Links ]
HALL, K. (1995). Co-assessment: participation of students with staff in the assessment process. In 2nd European Electronic Conference on Assessment and Evaluation. European Academic & Research Network (EARN). [ Links ]
KILPATRICK, W H. (1918). The Project Method. Teachers College, 19, 319-335. [ Links ]
MCDONALD, R., BOUD, D., FRANCIS, J. & GONNCZI, A. (2000). Nuevas perspectivas sobre la evaluación. Boletín de Cinterfor, 149, 41-72. [ Links ]
MINISTERIO DE COMERCIO, INDUSTRIA TURISMO. (2013). Decreto 1377 - Régimen general para la protección de datos personales. Bogotá, D.C. [ Links ]
OLMOS, S. (2008). Evaluación Formativa y Sumativa de estudiantes universitarios: Aplicación de las Tecnologías a la Evaluación Educativa. Universidad de Salamanca. [ Links ]
PANADERO, E. & JONSSON, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational ResearchReview, 9, 129-144. doi: 10.1016/j.edurev.2013.01.002. [ Links ]
ROBINSON, J. (1965). A Machine-Oriented Logic Based on the Resolution Principle. Journal of the ACM (JACM), 12(1), 23-41. [ Links ]
SAHIN, S. (2008). An application of peer assessment in higher education. The Turkish Online Journal of Educational Technology, 7(2), 5-10. [ Links ]
SÁNCHEZ, J., RUIZ, J. & SÁNCHEZ, E. (2011). Análisis comparativo de evaluación entre pares con la del profesorado. Un caso práctico. Docencia e Investigación, 36(21), 11-24. [ Links ]
SUNG, Y, CHANG, K.-E., CHIOU, S.-K. & HOU, H.-T. (2005). The design and application of a web-based self- and peer-assessment system. Computers & Education, 45, 187-202. doi: 10.1016/j.compedu.2004.07.002. [ Links ]
TOBÓN, S. (2005). Formación basada en competencias (ECOE.). Bogotá [ Links ].
____ (2010). Formación integral y competencias (Tercera Ed.). Bogotá: ECOE Ediciones. [ Links ]
____ (2013a). Formación integral y competencias (Tercera Ed.). Bogotá: ECOE Ediciones. [ Links ]
____ (2013b). La evaluación de las competencias en la educación básica (Segunda ed.). México: Editorial Santillana. [ Links ]
TORRES, J. & PERERA, V (2010). La rúbrica como instrumento pedagógico para la evaluación de los aprendizajes. Revista de Medios y Educación, 36, 141-149. [ Links ]
VAN DEN BERG, U., Admiraal, W. & Pilot, A. (2006). Design Principles and Outcomes of Peer Assessment in Higher Education. Studies in Higher Education, 31(3), 341-356. [ Links ]
VAN DEN BERGH, V., MORTELMANS, D., SPOOREN, P., VAN PETEGEM, P., GIJBELS, D. & VANTHOURNOUT, G. (2006). New assessment modes within project-based education - the stakeholders. Studies in Educational Evaluation, 32(4), 345-368. doi: 10.1016/j.stueduc.2006.10.005. [ Links ]
VILLARDÓN, L. (2006). Evaluación del aprendizaje para promover el desarrollo de competencias. Educatio Siglo XXI, 24, 57-76. [ Links ]
ZABALZA, M. (2007). Competencias docentes del profesorado universitario. Madrid: Editorial Narcea. [ Links ]
]]>
