César Alberto Collazos,¹ Sergio F. Ochoa² y Jair Mendoza³

¹ Ingeniero de sistemas y computación, Universidad de los Andes, Colombia. Dr., en Ciencias mención Computación, Universidad de Chile, Chile. Profesor Titular, Departamento de Sistemas, Facultad de Ingeniería Electrónica y Telecomunicaciones (FIET), Universidad del Cauca, Colombia. Coordinador, Grupo Investigación IDIS (Investigación y Desarrollo en Ingeniería de Software), Departamento de Sistemas, Universidad del Cauca- Colombia. http://atenea.unicauca.edu.co/~ccollazo/. ccollazo@unicauca.edu.co
² Ingeniero de sistemas, UNICEN, Argentina. Dr., en Computación, Pontificia Universidad Católica de Chile. Santiago de Chile. Profesor Asistente, Departamento de Ciencias de la Computación, Universidad de Chile, Chile. Post-doctorate, at CEE Department, University of Illinois, Urbana- Champaign, USA. http://www.dcc.uchile.cl/~sochoa/index.htm. sochoa@dcc.uchile.cl
³ Ingeniero electrónico. M. Sc., en Telemática, Universidad del Cauca, Colombia. Profesor Departamento de Telemática, Universidad del Cauca, Popayán- Colombia. jairm1@yahoo.com

RESUMEN

La evaluación del aprendizaje es un aspecto muy importante dentro de los procesos de enseñanza-aprendizaje. La utilización de técnicas colaborativas puede ayudar a desarrollar dentro de los estudiantes sentimientos tan importantes en educación como son los de pertenencia al grupo aceptación y autonomía. El modelo que hemos planteado involucra una combinación de técnicas colaborativas para lograr una apropiación del conocimiento a través del proceso de evaluación.

Palabras clave: evaluación, aprendizaje colaborativo, técnicas de evaluación colaborativas, evaluación del aprendizaje.

ABSTRACT

Evaluating learning is a very important aspect of the teaching-learning process. Using collaborative techniques can lead to developing such important feelings as belonging to a group, acceptance and autonomy amongst students in formal education. The model being proposed here involved a combination of collaborative techniques for approaching how knowledge may be effectively evaluated.

Keywords: evaluation, collaborative learning, collaborative evaluation techniques, evaluating learning.

Recibido: enero 18 de 2007
Aceptado: junio 28 de 2007

Introducción

Hay señala que el objetivo de las evaluaciones pueden ser: (a) medir el nivel real del conocimiento de los estudiantes, y (b) medir su capacidad para relacionar e integrar el conocimiento adquirido (Hay, 1996). Por otra parte, Ebel y Frisbie afirman que el objetivo de las evaluaciones es evaluar los logros de los estudiantes para motivar y guiar sus procesos de aprendizaje (Ebel y Frisbie, 1989). Sin embargo, nosotros pensamos que las evaluaciones pueden ser también utilizadas como mecanismos para un aprendizaje, especialmente si pueden incluirse actividades de aprendizaje colaborativo en ellas. La tarea de diseñar y calificar las evaluaciones adicionalmente es un problema complejo en áreas donde no existe una única solución. En el conocimiento está altamente relacionado y su validez depende del contexto. Es por esa razón que hay pocas verdades absolutas; sin embargo existen varias guías o lineamientos para seguir. De otra parte, en estos escenarios tradicionales de evaluación pueden observarse muchos problemas asociados con la evaluación del aprendizaje. Algunos de los más relevantes son:

1. Ambiguedad: las interpretaciones del profesor y evaluador de las preguntas test pueden diferir.

2. Ansiedad: los estudiantes muestran ansiedad antes y después de las evaluaciones. Dicha ansiedad puede interferir con el proceso de aprendizaje.

3. Falta de uniformidad en la evaluación de los tests: usualmente, las asignaturas tienen más de un profesor asistente encargado de la evaluación de los tests. A pesar de recibir los mismos lineamientos, no necesariamente se usan iguales mismos criterios para ello, dependiendo la evaluación de la subjetividad de cada uno de ellos.

4. Sentimiento de injusticia: muchos estudiantes creen que sus evaluaciones no han sido realizadas de la forma más adecuada para todos los estudiantes, sintiendo que hay predilección en algunos casos.

Como un mecanismo para tratar de solventar dichos problemas y utilizar las evaluaciones como un escenario de aprendizaje, sugerimos una técnica de evaluación colaborativa en cursos de ciencias de la computación.

Trabajos relacionados

La coevaluación o evaluación de pares es una técnica que puede ser aplicada para disminuir problemas de ansiedad. Esta es similar a las autoevaluaciones las cuales consisten en que cada estudiante corrige el examen de otro, basado en una pauta dada por el profesor. Al final del proceso el profesor las revisa y modifica cuando lo estima conveniente. Este tipo de evaluaciones no recompensa ni castiga las buenas o malas correcciones hechas por los estudiantes, de tal manera que no existe mucha motivación por parte de ellos para realizarlas a conciencia.

Otra alternativa que puede ser empleada es la selección múltiple, intentando reducir los problemas de la ansiedad posterior a la evaluación, debido a que existiría una uniformidad en la corrección de las pruebas. El proceso de evaluación se reduce a realizar una comparación entre las respuestas de los estudiantes y las indicadas por el profesor. Hay técnicas de evaluación que son una mezcla o adaptación de aquellas previamente mencionadas, como las propuestas por Shen et al. en el New Jersey Institute of Technology (Shen, 2000; Shen, 2001). Para ser usadas, tienen que adaptarse a cada escenario. Este método posee cuatro etapas. Primero, los estudiantes proponen una pregunta para el examen; luego, cada uno selecciona una pregunta y la responde; después, el alumno estudiante que hizo la pregunta la evalúa y provee las justificaciones para la evaluación; finalmente, algunos estudiantes avanzados (por ejemplo, de doctorado), hacen una revisión de los exámenes y dan la nota final. Claramente, esta estrategia contribuye a la reducción de los efectos del segundo problema mencionado en la sección anterior, pero nada puede asegurarse respecto a los demás.

Ninguna de las técnicas de evaluación presentadas son capaces de reducir o neutralizar todos los problemas y promover el aprendizaje durante el proceso de evaluación al mismo tiempo. Por tal razón, nuestro trabajo propone una nueva estrategia, que ha demostrado ser útil en la solución de los problemas antes planteados, esta consiste en introducir el trabajo grupal como parte del proceso de evaluación.

Aprendizaje colaborativo

El involucrar técnicas de aprendizaje colaborativo puede llegar a reducir algunos de los problemas más comunes cuando se investiga en grupo, como los elementos dominantes, free riding (el esperar que los demás hagan el trabajo), y la inequidad en las labores realizadas (Nunamaker, 1991).

Optar por seguir una forma colaborativa de trabajo no es simplemente colocar a un grupo de personas en torno a una actividad en común, es necesario diseñar actividades que conlleven a una verdadera colaboración entre sus integrantes. Se requiere que asuman roles relacionados, que se complementen entre ellos, pese a ser distintos, para poder lograr la meta planteada. Por lo tanto, los participantes deben trabajar en grupos pequeños y con un objetivo común. Este objetivo debe estar altamente acoplado con los individuales de tal forma que cada uno pueda lograrlos si, y solo si, los demás también lo logran.

Desarrollar una actividad colaborativa exige la definición de una serie de características como: naturaleza de la tarea colaborativa y el entorno (Bañón, 1989). Kagan ha definido cuatro principios básicos que deben estar presentes en cualquier actividad colaborativa: interacción simultánea, igual participación, responsabilidad individual y una interdependencia positiva (Kagan, 1992). El aprendizaje colaborativo es más efectivo si los individuos y grupos tienen que trabajar con escenarios precisos, conscientes de que trabajar en grupo puede no ser suficiente para el logro de los propósitos. Por esta razón, es obligatorio estructurar las actividades con el fin de promover la interdependencia positiva entre los integrantes (Collazos, 2003). Teniendo en cuenta dichos aspectos, y considerando algunos propuestos por Collazos et al. para la implementación de modelos de aprendizaje colaborativo en el aula de clase (Collazos, 2002), describimos a continuación nuestra técnica propuesta.

Nuestro modelo

Para el desarrollo de la estrategia estructuramos la asignación de seis horas a la semana, de esta forma podemos dividir el proceso de evaluación en tres sesiones de dos horas cada una. La técnica desarrollada involucra tres etapas: pretest, test, postest, cada una de las cuales se realizará en una sesión diferente.

Pretest

Esta primera fase tiene como mira principal que los estudiantes puedan disminuir la ansiedad del examen observando un cuestionario similar. Se lleva a cabo en la primera sesión de evaluación, precisamente en la clase inmediatamente anterior al día previsto del examen. Asumiendo que ese día los estudiantes tienen una claridad conceptual respecto al tema que va a ser evaluado, antes del examen se utiliza el tiempo de la clase para repasar algunos conceptos y clarificar posibles dudas, esta etapa persigue algo similar. Se llevan a cabo las siguientes actividades:

- El profesor debe realizar un ejercicio similar al que presentarán los alumnos el día del examen en la segunda sesión, por tal razón planteará una serie de preguntas con un nivel de dificultad semejante. Para ello se pueden utilizar preguntas de exámenes de años anteriores o de alguna base de datos con preguntas análogas sobre el tema a evaluar.

- Utilizando la estrategia colaborativa JIGSAW (Aronson, 1978), se organizan los grupos de trabajo de acuerdo al número de preguntas que el profesor haya planteado para esta actividad. Así, si él ha realizado un examen de cuatro preguntas, los grupos estarán conformados por cuatro personas cada uno. Se recomienda trabajar con un número par de preguntas y que todas tengan el mismo grado de dificultad; entre más pequeños sean los grupos mucho mejor. Se aconsejan grupos de no más de cuatro personas (Kagan, 1992), que pueden ser seleccionados utilizando diversas técnicas: al azar, de acuerdo al nivel de conocimiento, etc., siendo preferible la primera. De acuerdo a nuestra experiencia, con la utilización de este modelo de evaluación, creemos que cuando se realiza la actividad no todas las personas se encuentran en el momento del inicio de la misma, y dado que el tiempo es un factor preponderante para su realización insinuamos que los grupos se vayan organizando de acuerdo al orden de llegada de los alumnos; de esta forma aquellos que llegan puntualmente pueden tener cierta ventaja sobre los demás y no se perjudicarán si alguno de los integrantes llega tarde.

- A cada estudiante de cada grupo se le asigna una pregunta diferente de las establecidas por el profesor. En esta parte cada uno tendrá un tiempo para poder trabajar de manera individual en ella. Esto es muy importante, pues dentro de una actividad colaborativa la responsabilidad individual es unos de los aspectos fundamentales para lograr la verdadera colaboración (Johnson, 1998). Los alumnos podrán disponer de todos los recursos que estimen convenientes para resolver las preguntas asignadas. Es importante mencionar que los profesores en esta etapa no pueden intervenir dando soluciones, su función debe ser la de un orientador, guía o mediador cognitivo, con el fin de que sean los propios estudiantes quienes logren construir su conocimiento.

- Una vez el tiempo haya pasado para trabajar de forma individual, se organizarán lo que en la técnica JIGSAW (Aronson, 1978) se denomina pares expertos. Esta etapa consiste en que se forman grupos de dos personas que tengan la misma pregunta. Debido a la falta de tiempo, lo que hemos planteado es que se armen equipos con todas las personas que tienen igual pregunta. De esta forma habrá tantos grupos como interrogantes hayan sido planteadas en el examen. En esta fase los estudiantes se mezclan con compañeros de otros grupos pero que tienen una característica en común: han trabajado la misma pregunta. Así, lo que se pretende es que como cada uno ha tenido un tiempo individual para analizar y plantear la solución, ahora lo tendrá para discutirla con otras personas que están trabajando en el mismo tema, logrando construir un conocimiento compartido del problema (Dillenbourg, 1995). Dependiendo del tiempo asignado y del número de grupos, esta etapa puede adaptarse a que el número de participantes sea diferente, es decir, si hay tiempo y los grupos no son numerosos, podría dividirse en dos partes, inicialmente formar grupos de dos personas que tengan la misma pregunta, y luego agregar otras dos que también la tengan y de esa forma se puede ir intercambiando las respuestas.

- Culminada la etapa de evaluación experta, los estudiantes regresan a sus grupos originales y tendrán un tiempo para exponer a los demás compañeros la pregunta asignada y la solución planteada. Lo que se quiere realizar en esta parte es que todos puedan conocer el trabajo de cada uno y así lograr lo que se espera de un trabajo colaborativo: entendimiento compartido del problema (Roschelle, 1995). En esta fase todos los integrantes del grupo tendrán un tiempo de exponer lo aprehendido y de escuchar de los demás lo que ellos han realizado, pudiendo intervenir y complementar la solución encontrada.

- Finalmente, los estudiantes entregan un informe con las soluciones encontradas. Este documento sirve de guía para que los profesores del curso puedan detectar las temáticas en las cuales hay mayores inconvenientes, y si lo creen oportuno, plantear una sesión extra con el objeto de aclarar esos inconvenientes. Es de mencionar que todas estas actividades deben ser realizadas durante el período de tiempo de la clase, por lo cual se recomienda que los períodos asignados a cada una se cumplan estrictamente para lograr el objetivo.

Test

Después de culminar el pretest, los estudiantes llegan el día programado para la realización de su examen. Esta actividad consiste en presentarlo de forma tradicional, es decir, individualmente. Claro está, lo que se aconseja acá es que el profesor incluya una pregunta de las planteadas en el pretest, o que al menos una de ellas sea similar.

El objetivo es tratar de medir si realmente se ha dado una construcción compartida del conocimiento. Uno de los inconvenientes en el trabajo colaborativo es que este no se logra solamente por el hecho de colocar a un grupo de personas alrededor de una actividad en común, es a través de ella como podemos determinar si se ha dado ese entendimiento compartido.

Postest

En la última sesión, lo que se espera es que después de haber realizado la actividad anterior los estudiantes reflexionen sobre lo que han desarrollado. Es común encontrar que tan pronto se sale del examen los estudiantes comienzan a comparar sus respuestas, y al darse cuenta de algunos errores cometidos quisieran poder regresar al salón de clase para modificarlo. Esta fase tiene como objetivo que los estudiantes aprendan de sus errores y establecer guías para el proceso de corrección. En ella se realizan las siguientes actividades:

- La organización de los estudiantes en grupos. La idea es que se utilicen criterios similares a los de la actividad del pretest para asignarlos. No necesariamente deben coincidir las personas que participan en ellos con los que actuaron en el pretest.

- El profesor entrega a los grupos las preguntas del examen y las respuestas que cada uno de sus integrantes han planteado y se distribuye una fotocopia del mismo a cada uno de los estudiantes para evitar que se modifique el original.

- Los estudiantes en grupo intentan encontrar una solución al examen planteado, determinando una posible pauta de corrección, o sea, tratarán de colocarse en la posición del profesor y además de solucionar los problemas definirán qué partes dentro de cada pregunta deberían ser evaluadas con mayor rigurosidad. Lo que se pretende es que al final los alumnos puedan definir algunos criterios de evaluación del examen, de acuerdo a lo que ellos estimen sean lo más pertinente en cada una de las preguntas. Esta labor se realiza en grupo y no se plantea una guía estructurada para realizarla.

- Una vez definidos algunos criterios de evaluación y las posibles soluciones a los problemas, cada integrante de cada grupo intenta autoevaluarse en la fotocopia del examen entregada. Es importante mencionar que a pesar de trabajar sobre definir algunos criterios de evaluación, no se tiene por qué llegar a una única solución, por lo que cada cuál podrá determinar su autoevaluación de acuerdo a lo que estime más adecuado.

- Los estudiantes regresan al profesor la fotocopia de su examen con la nota que estimen correcta, junto con la pauta de corrección y solución del examen. Esta información es guardada por el profesor de la asignatura.

- El profesor de la asignatura cuenta con los exámenes originales y las fotocopias con las notas entregadas por los estudiantes, entregando a los profesores encargados de hacer las evaluaciones para que ellos, de acuerdo a los criterios planteados por el profesor de la asignatura, los evalúen. Estos profesores no conocen las notas que cada uno de los alumnos se ha asignado, ni la pauta de corrección, ni los criterios de evaluación.

- Una vez los profesores evalúen los exámenes, estos son entregados al profesor de la asignatura, quien con esta información y las fotocopias donde están las autoevaluaciones, procede a calificar de acuerdo a los siguientes aspectos:

• Si la nota colocada por el estudiante en cada pregunta no difiere en más de 0,3 puntos de la nota asignada por el profesor revisor, habrá un bono de 0,5 puntos en ella. El objetivo es que si el estudiante es capaz de autoevaluarse de forma correcta, puede tener un incentivo.

• Si la nota colocada por el estudiante difiere en más de 0,3 puntos de la asignada por el profesor revisor, se dejará la de este último.

Experimentación realizada

Hemos estado experimentando esta en un curso de computación en el Departamento de Ciencias de la Computación de la Universidad de Chile, denominado CC20A (Computación II) y se comenzó desde el primer semestre del 2002, aplicándola al segundo Examen (Ex2)⁴ de la asignatura. La Tabla 1 presenta los resultados obtenidos en promedio por los estudiantes en el primer y segundo exámenes (en este último se aplica la técnica colaborativa).

Como puede apreciarse, a partir de los semestres en los cuales se comenzó a aplicar la técnica el desempeño de los alumnos ha mejorado, en los últimos años progresó respecto del examen 2, que es al que le aplicamos la técnica colaborativa. Esto nos permite inducir que al haber trabajado con el mismo grupo, que corresponde a estudiantes con características similares, en diferentes semestres académicos, en aquellos donde aplicamos dicha técnica (2002, 2003), el desempeño aumentó, mientras que en los otros años (2000, 2001) sigue igual o ha disminuido, lo que nos lleva a pensar que posiblemente este tipo de técnica logre desarrollar en los estudiantes algún tipo de habilidad metacognitiva que permita lograr un mejor rendimiento académico.

Recomendaciones finales

Las siguientes sugerencias buscan incrementar la probabilidad de éxito de las actividades colaborativas en un salón de clase (Collazos, 2002):

- Evaluar el desempeño individual de cada participante.

- Mantener grupos pequeños de trabajo.

- Seleccionar los participantes en cada grupo de manera aleatoria.

- Asignar roles a los participantes durante la actividad y en la medida que sea posible, rotar dichos roles.

-Entrenar a los estudiantes en técnicas colaborativas antes del pretest.

El instructor debe hacer estas actividades considerando varios papeles que debe desempeñar: como mediador cognitivo, instructor y diseñador instruccional (Collazos, 2001).

Es importante resaltar que estas técnicas de aprendizaje colaborativo requieren un entrenamiento y práctica de parte de los estudiantes, quienes generalmente no están acostumbrados a ellas. En los cursos en los cuales hemos llevado a cabo este tipo de actividad, usualmente existe un profesor asistente, equivalente a un monitor, que da clase una vez a la semana, donde se resuelven dudas sobre el tema enseñado por el de la asignatura. Se propone que durante alguna de dichas sesiones se perfeccione con los estudiantes el trabajo colaborativo, de tal forma que se pueda lograr un aprendizaje de ciertas habilidades importantes para desempeñarse de manera efectiva en un grupo que persiga el mismo fin.

Uno de los grandes problemas que hemos encontrado al aplicar este tipo de técnicas es el trabajo extra que necesitan realizar los profesores, debido a que no solamente deben preparar las preguntas del examen, sino también las del pretest. De igual forma, la carga de trabajo generada por la realización de las copias de los exámenes durante la etapa del postest. Sin embargo, creemos que a pesar de ello los beneficios que pueden lograrse son muy importantes, dado que, por ejemplo, en los cursos experimentados los reclamos se han reducido en casi un 80%, debido a que hay mayor conformidad y aceptación de la evaluación dada por el profesor.

Conclusiones y trabajo futuro

En los cursos universitarios y en áreas con un conocimiento inexacto, la mayoría de las evaluaciones son hechas siguiendo el modelo tradicional de cara a cara (Mason, 1998) y en forma escrita. Este tipo de exámenes presenta problemas como ansiedad, preguntas ambiguas, inconformidad en las correcciones y sentimiento de injusticia.

Al mismo tiempo, dichas evaluaciones apuntan a medir el desempeño real de los estudiantes, y a cuantificar la capacidad de relacionar e integrar el conocimiento adquirido. Sin embargo, no toman ventaja del escenario de evaluación para promover el aprendizaje. Este trabajo plantea, por lo tanto, una estrategia que ha sido implementada usando una técnica colaborativa en la cual algunos de los problemas planteados han sido resueltos.

Es importante realizar experimentaciones con otros grupos de estudiantes para analizar los datos y tratar de validar si realmente la técnica propuesta mejora los procesos de aprendizaje. De igual forma, experimentar con otras áreas del conocimiento diferentes a las de computación. Por último, se está en el proceso de desarrollar entornos computacionales que permitan agilizar los procesos de evaluación de esta técnica y analizar los datos de forma más eficiente y oportuna.

Bibliografía

Aronson, E., Blaney, N., Stephin, C. Sikes, J. and Snapp, M., The Jigsaw Classroom., Beverly Hills, CA. Sage Publishing Company, 1978.        [ Links ]

Bannon, L., Issues in Computer-Supported Collaborative Learning., Procs. of NATO Advanced Workshop on Computer-Supported Collaborative Learning (Claire O’Malley Ed.), Maratea, Italy, 1989.        [ Links ]

Collazos, C., Guerrero, L. and Vergara, A., Collaborative Learning: A change in the role of the teacher (In Spanish)., III Chilean Congress on Higher Education in Computing, Punta Arenas, Chile, 2001.        [ Links ]

Collazos, C., Guerrero, L. and Vergara, A., A guide for the implementation of a collaborative learning model in the classroom (In Spanish)., ITINERANTES Journal, ISSN 1657-7124, No.1, 2002.        [ Links ]

Collazos, C., Guerrero, L., Pino, J. and Ochoa, S., Collaborative Scenarios to Promote Positive Interdependence among Group Members., In Favela and Decouchant (Eds.): Groupware: Design, Implementation and Use. LNCS 2806, 2003, pp. 356-370        [ Links ]

Dillenbourg, P., Baker, M., Blake, A. and O’Malley, C., The Evolution of Research on Colla-borative Learning., Spada, H. and Reimann, P. Eds, Learning in Humans and Machines: Towards an Interdisciplinary Learning Science, Oxford, Elsevier, 1995, pp. 189-211.        [ Links ]

Ebel, R. and Frisbie, D., Essential of Education Measurement., Fourth Edition, Prentice-Hall, Englewood Cliffs, NJ, 1986.        [ Links ]

Hay, I., Examinations: Achievement Tests. Journal of Geography in Higher Education., Vol 20, No. 1, 1996, pp. 137-142.        [ Links ]

Johnson D., Johnson R. and Holubec, E., Cooperation in the classroom., Interaction Book Company, Edina, MN, 1998.        [ Links ]

Kagan, S., Cooperative Learning. San Juan Capistrano., CA. Kagan Cooperative Learning, CA, USA, 1992.        [ Links ]

Mason, D. and Woit, D., Integrating technology into Computer Science examinations., Proc. of the 29th SIGCSE Tech. Symp, on Computer Science Education. Atlanta, USA, Feb. 26 to Mar. 1, 1998, pp. 25-28.        [ Links ]

Nunamaker, J., Dennis, A., Valacich, J., Vogel, D. and George, J., Electronic meeting systems to support group work., Communications of the ACM, 34, 7, July 1991, pp. 40-61.        [ Links ]

Roschelle, J. and Teasley, S. D., The construction of shared knowledge in collaborative problem solving., in Computer Supported Collaborative Learning.. Edited by C. O'Malley, Springer-Verlag, Berlin, 1995, pp. 69-97.        [ Links ]

Shen, J., Cheng, K., Cho, Y., Hiltz, R. and Bieber, M., Evaluation of an on-line collabo-rative examination process,. Proc. of the Americas Conference on Information Systems (AMCIS 2000), Long Beach, California, USA, August 10-13, 2000, pp. 1791-1797.        [ Links ]

Shen, J., Hiltz, R., Cheng, K., Cho, Y., and Beiber, M., Collaborative examinations for asynchronous learning networks: Evaluation results., Proc. of the 34th Hawaii Int. Conf. on Systems Sciences, IEEE Computer Society Press, Los Alamitos, CA. Maui, Jan. 3-6, 2001.        [ Links ]

4 Las notas varían de 1 a 7.