Taller de diseño de una pauta de evaluación de trabajos escritos desde la perspectiva de alfabetización académica: estudio de caso*

Workshop for designing an evaluation guideline of written assignments from an academic literacy perspective: A Study Case

Atelier pour l'élaboration d'un modèle d'évaluation des travaux écrits à partir d'une perspective d'alphabétisation académique: une étude de cas

Karen Shirley López
Universidad del Valle, Cali - Colombia
E-mail: karenshirleylopez@hotmail.com

Nora Lucía Gómez
Universidad del Valle, Cali - Colombia
E-mail: gnoralucia@gmail.com

Carmen Eugenia Pedraza
Universidad Nacional Abierta y a Distancia, Colombia
E-mail: eugeniapedraza@gmail.com

Fecha de recepción: 14-06-2011
Fecha de aceptación: 07-03-2012

* Este artículo se deriva de la investigación de tesis de Maestría en Lingüística y Español de la Escuela de Ciencias del Lenguaje de la Universidad del Valle "Cambios en las representaciones y en las prácticas de docentes universitarios sobre la escritura a partir de una estrategia colaborativa de formación en alfabetización académica", realizada por las estudiantes Karen Shirley López y Carmen Eugenia Pedraza, de 2010 a 2012 y aprobada el 9 de febrero de 2012.

Resumen

La evaluación a través de tareas escritas es casi un implícito de la educación universitaria; sin embargo, resulta desafiante para los docentes ir más allá de la certificación de saberes para hacer de la evaluación un espacio verdaderamente formativo. Este estudio de caso da cuenta de una experiencia de formación de profesorado universitario en aspectos de la alfabetización académica y de la evaluación formativa pertinentes en la elaboración de pautas de evaluación para trabajos escritos de asignaturas que orientan, espacio que posibilitó la interacción, la construcción colaborativa de las pautas y cambios en concepciones y prácticas sobre la escritura y la evaluación.

Palabras clave: evaluación escrita, evaluación formativa, alfabetización académica, formación del profesorado, aprendizaje colaborativo.

Abstract

Evaluation through written tasks is no doubt essential in higher education, however it has been challenging for teachers to go beyond the certification of acquired knowledge and make use of the evaluation process as a truly formative or learning experience. This case study provides an account of a formative experience of university teachers in aspects such as academic literacy and formative evaluation, both pertinent to the design of evaluation rubricsfor written tasks in the subjects being taught, an experience that facilitated the interaction, collaborative construction of goals and changes in conceptions and practices regarding writing and the evaluation process.

Key words: written evaluation, formative evaluation, academic literacy, teacher training, collaborative learning.

Résumé

L'évaluation à travers des devoirs écrits est presque un postulat implicite de l'éducation universitaire; nonobstant, c'est un défi pour les enseignants d'aller au delà de la certification des connaissances, pour faire de l'évaluation un espace véritablement formatif. Cette étude de cas rend compte d'une expérience de formation du professorat universitaire sur les sujets de l'alphabétisation académique et l'évaluation formatrice pertinentes pour l'élaboration de modèles d'évaluation des travaux écrits des matières qu'ils orientent; cet espace a facilité l'interaction, la construction collaborative des modèles (règles) et les changement des conception et des pratiques sur l'écriture et l'évaluation.

Mots clés: évaluation écrite, évaluation formative, alphabétisation académique, formation du professorat, apprentissage collaborative.

1. Introducción

Las tareas de escritura son una estrategia de evaluación muy común, en particular en el contexto universitario; sin embargo, en muchas ocasiones resulta desafiante para los profesores realizar la evaluación de dichas tareas. Este desafío es aún mayor cuando los profesores aceptan el reto de pensar sus prácticas pedagógicas-evaluativas incorporando los postulados de la alfabetización académica. Efectivamente, asumir este enfoque presupone comprender la estrecha relación que hay entre, por un lado, la escritura, entendida como práctica sociocultural que tiene su soporte en procesos cognitivos y afectivos complejos y la transformación del conocimiento en el aprendizaje y, por otro, entre la escritura y las formas de pensamiento, de producción del conocimiento y de comunicación propias de cada disciplina. En consecuencia, la evaluación de los trabajos escritos no se entiende como una práctica pedagógica centrada únicamente en los contenidos disciplinarios, es decir, como un medio para que el profesor certifique que el estudiante ha aprendido los contenidos trabajados en la asignatura, sino también en la forma como se escriben y están escritos los textos producidos por los estudiantes.

Desde la perspectiva de la alfabetización académica, se escribe y se evalúa para aprender cuando se cumplen ciertas condiciones. Una escritura epistémica, reflexiva, se da cuando se realiza con conciencia retórica, teniendo claro el propósito, la audiencia y la situación en que se produce el texto. Una evaluación formativa ocurre cuando, al incorporar aportes del constructivismo y del enfoque psicosocial del aprendizaje, se abordan no sólo los contenidos, sino los procesos de aprendizaje en situaciones de interacción entre los estudiantes y el profesor y de éstos con el entorno social (Camps & Ribas, 1993). En este contexto, el uso de instrumentos de evaluación, así como de pautas evaluativas, es una herramienta que sirve para mediar las interacciones y regular el aprendizaje, para pasar de la heterorregulación a la autorregulación, uno de los fines más importantes de la evaluación formativa.

El presente artículo corresponde a una investigación cuyo objetivo fue analizar una experiencia de formación de profesoras de dos disciplinas de la rehabilitación humana, relacionada con el diseño de una pauta evaluativa para una tarea de escritura. Las preguntas que orientaron la investigación fueron las siguientes: ¿Qué concepción tenían las profesoras sobre la evaluación en lo relacionado con: qué se evalúa, quién evalúa y cómo se evalúa?, ¿cómo se abordó la experiencia de formación y qué cambios se dieron en esa concepción como resultado de lo trabajado? y ¿cómo se refleja el cambio de concepción en el diseño de la pauta evaluativa del trabajo escrito? La metodología que se utilizó fue estudio de caso que implicó la sistematización de la experiencia.

2. Metodología de la investigación

Esta investigación se inscribe en un enfoque cualitativo, en particular en el diseño metodológico de un estudio de caso, pues surge del interés de comprender una experiencia de formación de docentes en su contexto (Escuerdon, Delfín & Gutiérrez, 2008). La investigación consistió en la descripción y el análisis de las representaciones y prácticas de evaluación escrita que tenían las docentes, la manera como éstas se transformaron y los contenidos y estrategias que hicieron parte de la propuesta formativa.

Un componente central de la investigación fue la sistematización de la experiencia llevada a cabo. A continuación se describen los pasos de este proceso:

a. Primera recuperación y ordenamiento de la experiencia: se delimitó el contexto del estudio a cuatro sesiones dedicadas al diseño de una pauta de evaluación de trabajos escritos.

b. Delimitación del objeto de la investigación: se precisó el problema que se buscaba abordar con el estudio de caso, formulando las preguntas y los objetivos que orientarían la sistematización.

c. Recuperación de la experiencia a la luz del objeto de la investigación: en esta fase las preguntas de la investigación permitieron precisar qué aspectos se debían recuperar para el análisis y cuáles no. Para esta recuperación los registros de las sesiones presenciales (videos y bitácoras), las entrevistas y las guías elaboradas por las profesoras, cuyo análisis se hizo con el software Atlas ti, fueron las fuentes que permitieron evidenciar los problemas enfrentados, los logros y los fracasos, así como las nuevas situaciones que emergieron en el desarrollo de la experiencia.

d. Operacionalización de las preguntas y recopilación de la información: esta fase tuvo por objetivo develar, a partir del análisis de la experiencia recuperada, los elementos que permitían responder las preguntas que orientaron la investigación a la luz del marco teórico.

e. Síntesis y conclusiones: en esta fase se logró la concreción de las respuestas a las preguntas centrales o ejes de la investigación tomando como base el análisis de la información recuperada.

3. Perspectiva teórica

3.1. Evaluación escrita

La evaluación escrita ha sido el medio privilegiado a través del cual los docentes dan cuenta del proceso de aprendizaje de sus estudiantes, siendo la educación superior el escenario por excelencia en donde se utiliza. Aunque el uso de este tipo de evaluación esté tan generalizado, resulta difícil ubicar bibliografía que explore qué se entiende por ella o las razones que motivan su uso, principalmente en disciplinas diferentes al área de lengua, ya que es más común encontrar la documentación de algunas investigaciones sobre evaluación de textos escritos, pero realizadas por docentes de esta área. Pareciera ser que el uso de ese tipo de evaluación es un presupuesto, una costumbre sobre la cual no se reflexiona, a pesar de que se use con frecuencia.

Al respecto, Carlino (2004) plantea algunas funciones que pueden atribuirse a la evaluación escrita en la universidad:

Certificar saberes: es la más usada en el contexto educativo, consiste en que el estudiante demuestre un nivel de conocimiento mínimo como condición para aprobar las asignaturas.

Realimentar los procesos de enseñanza y de aprendizaje: de acuerdo con lo que un estudiante evidencia, el docente puede obtener información y devolverla para que el estudiante oriente su desempeño futuro, también orienta al docente en su propio desempeño profesional.

Señalar a los estudiantes los aspectos que son relevantes en la asignatura: esta función implícita evidencia el currículo oculto, pues a partir de las situaciones de evaluación los alumnos dirigen sus esfuerzos de estudio y el docente resalta las temáticas más relevantes para su formación.

Rescatar y resaltar el potencial epistémico de la escritura: las situaciones de evaluación que llevan a los estudiantes a trabajar los temas, construir textos con estructuras definidas, dirigidos a públicos particulares, y que ofrecen la oportunidad de reescribir, potencian la función epistémica de la escritura y permiten pasar de "decir el conocimiento" a "transformar el conocimiento", en términos de Bereiter y Scardamalia (1992).

Cuando estas funciones de la evaluación escrita se orientan a favorecer el aprendizaje y a interiorizar procesos de autorregulación en los estudiantes, podemos hablar de evaluación formativa. Al respecto Camps y Ribas (1993) mencionan una serie de características de este tipo de evaluación, entre las que cabe destacar: 1) Existe una visión compartida entre profesores y estudiantes acerca de los objetivos de las actividades de escritura y su relación con el aprendizaje; 2) La evaluación está inserta en los procesos, da cuenta de los cambios y progresos de los estudiantes y, por tanto, es inherente al proceso de aprendizaje; 3) Posibilita la interacción entre profesor y estudiantes y entre compañeros, mediante la discusión sobre las características de los textos y los contenidos; 4) El momento final de la evaluación permite analizar el proceso realizado tanto a nivel individual como grupal; 5) Permite reflexionar sobre la lengua y el proceso de escritura; 6) Enfatiza los procesos de regulación y autorregulación que se presentan en las situaciones de aprendizaje.

A pesar de la importancia que tiene la evaluación escrita en el proceso de aprendizaje desde una perspectiva de evaluación formativa, diversas investigaciones muestran que su potencial es desaprovechado. Comúnmente se encuentra que las tareas de escritura que se asignan a los estudiantes no reflejan el uso que de éstas se hace en el ejercicio profesional y rara vez se hace explícita la situación retórica en la que se enmarcan (Carlino, 2001), lo que ocasiona que el estudiante no encuentre una relación directa entre la escritura, los contenidos que aprende y su formación profesional. Por otra parte, frecuentemente los docentes evalúan aspectos que no se han señalado como fundamentales en el desarrollo de la asignatura o para cuyo aprendizaje no han proporcionado suficiente acompañamiento.

3.2 Algunos elementos del proceso de evaluación formativa

En este apartado recogemos algunos aspectos relacionados con cuatro elementos del proceso de evaluación formativa mencionados por Camps y Ribas (1993); los hemos seleccionado e integrado en función de la manera como fueron abordados en la secuencia didáctica del taller cuyo análisis se aborda en el presente artículo.

a) Objeto y Sujeto de la evaluación

El objeto de la evaluación en la educación remite a la delimitación de un aspecto de la realidad que se quiere evaluar. Gimeno (1987), citado por Celman (2003), propone dos procesos: el primero es la priorización de unas partes de la realidad sobre otras en tanto es imposible captar la realidad en su totalidad, y el segundo es establecer los aspectos que se van a evaluar en dicha selección. En el caso de la evaluación escrita formativa, este objeto atañe no solamente al producto final sino al proceso que se sigue para obtenerlo, buscando conocer y comprender los resultados del aprendizaje. A partir de esta idea, en la secuencia didáctica sistematizada se propuso que el objeto de la evaluación escrita abarcara tres aspectos: el contenido, los procesos de aprendizaje y el texto escrito (Camps & Ribas, 1993), cuya descripción se amplía en el análisis.

En esta delimitación del objeto a evaluar juega un papel fundamental el entendimiento de quién evalúa, el sujeto de la evaluación. Tradicionalmente, la evaluación educativa compete a quienes tienen posiciones de autoridad en el contrato didáctico, en este caso, los docentes. Sin embargo, resulta fundamental que, además, se haga partícipe activo del proceso de evaluación al estudiante, en tanto que al evaluar su proceso de escritura (autoevaluación) realiza un ejercicio metacognitivo que le posibilita conocer mejor las estrategias para ser un buen escritor dentro de su disciplina y desarrollar un mayor control sobre su proceso de aprendizaje.

Así mismo, mediante el ejercicio de la coevaluación el estudiante podrá mejorar sus propios procesos de escritura a partir de lo que aprende mientras revisa el trabajo de sus compañeros y se ejercitará como par evaluador de sus colegas en el ámbito de la producción de conocimiento y en el ejercicio futuro como profesional. En ambos ejercicios (autoevaluación y coevaluación) el estudiante se enfrentará al desafío ético de la honestidad conjugada con el tacto, ya sea cuando se observa a sí mismo o cuando comenta los trabajos de sus pares. Además del docente y los estudiantes pueden jugar un papel importante los evaluadores externos, sean otros docentes, profesionales de la disciplina o incluso otros estudiantes que no cursan la misma asignatura, tanto para recibir realimentación como para entrenarse en el ejercicio de este tipo de evaluación, situación tan común entre quienes investigan y producen saber dentro de una comunidad científica. En este sentido, el sujeto de la evaluación "es un sujeto plural, constituido por aquellas personas implicadas en la tarea del aprendizaje" (Camps & Ribas, 1993, p. 62)

b) Pautas y criterios de evaluación

En este artículo, entendemos las pautas de revisión o evaluación no sólo como instrumentos que facilitan la recolección de la información por parte de los docentes, sino que cumplen un papel más importante aún dentro del contexto de la evaluación formativa. Según Camps y Ribas (1993), las pautas de evaluación contribuyen a realizar dos operaciones claves en todo proceso de aprendizaje: la representación de lo que se debe hacer y de lo que se debe aprender, y el control sobre el proceso que se sigue. Así, las pautas pueden preparar el camino para que los estudiantes sean más autónomos en su proceso de aprendizaje. En este sentido, pueden usarse con el objetivo de apoyar al estudiante en el paso de la regulación externa, en interacción con el profesor y los pares, a la regulación interna y autónoma, es decir, a la autorregulación.

Efectivamente, las pautas pueden servir, en primer lugar, como referencia común que permite hablar de los textos y de los procesos en situaciones interactivas diversas: individualmente con el profesor, para analizar colectivamente textos o para analizarlos con los iguales en grupo, en el supuesto que los criterios de análisis que desencadenan llegaran a ser criterios interiorizados por el aprendiz-escritor para regular sus propios procesos de producción escrita. Las pautas actúan así de instrumentos mediadores que propician la actualización y operativizacion de los contenidos por parte de los alumnos. El objetivo es que dichos instrumentos se utilicen de manera individualizada (Camps & Ribas, 1993, p. 67).

Las mismas autoras plantean que las pautas propuestas en la literatura son de diversa índole como resultado de la complejidad del proceso de escritura y de la interrelación de éste con el proceso de enseñanza-aprendizaje. Así, pueden tener una formulación general aplicable a cualquier texto o específica para responder a la diversidad textual, o contemplar aspectos relacionados con el proceso de redacción y el proceso de aprendizaje.

Ahora bien, las pautas de revisión o evaluación contienen criterios que se utilizan como elementos de valoración para emitir un juicio sobre el objeto de evaluación. Según Camps y Ribas (1993) estos criterios son generalizaciones que se construyen a partir de observaciones concretas a través de las que se identifican los rasgos que caracterizan las producciones o los procesos de aprendizaje. Para su formulación se debe tener en cuenta el momento de formación y el grado de dificultad del objeto de aprendizaje. En los criterios se establece de alguna manera el tipo y el grado de aprendizaje que se espera hayan alcanzado los estudiantes. La definición de cuál es el contenido de los criterios de evaluación, quién los formula, cómo se apropian y aplican constituye un asunto central en la perspectiva de la evaluación formativa, concepto transversal en la formulación y desarrollo de la secuencia didáctica sistematizada.

En su aproximación a la evaluación formativa en el proceso de enseñanza y aprendizaje de la composición escrita, Camps y Ribas (1993) proponen dos categorías de criterios de evaluación: 1) Criterios de realización relacionados con la gestión consciente del proceso de aprendizaje; 2) Criterios del producto lingüístico relacionados con la valoración del texto como producto. La definición de estos criterios es el resultado de la relación entre tres factores: 1) Las características del producto y del proceso que se va a realizar; 2) La imagen que los sujetos construyen a partir de los conocimientos que tienen, y 3) El nivel de conocimientos que se puede esperar de los estudiantes. (Fayol, 1986, citado por Camps & Ribas, 1993).

En lo que concierne a quién debe formular los criterios, desde una perspectiva de evaluación formativa, las mismas autoras plantean la participación de profesores y estudiantes en su definición. Igualmente, proponen que éstos deben estar estrechamente ligados a la actividad de aprendizaje, en particular a la tarea concreta para la cual fueron diseñados y trabajarse como parte de las actividades de formación, de manera que puedan ser apropiados y aplicados operativamente por los mismos estudiantes y no solamente utilizados por el profesor para certificar saberes al final del proceso formativo.

4. Recuperación e interpretación de la experiencia

4.1 Contexto de la experiencia sistematizada

El taller realizado se inscribe en la perspectiva de la alfabetización académica, entendida como el conjunto de nociones y estrategias necesarias para participar en la cultura discursiva de las disciplinas, así como en las actividades de producción y análisis de textos requeridos para aprender en la universidad. Apunta, de esta manera, a las prácticas de lenguaje y pensamiento propias del ámbito académico (Carlino, 2002).

El "Taller de diseño de tareas de lectura y de escritura académica" se desarrolló en la Escuela de Rehabilitación Humana de la Universidad del Valle y contó con la participación de tres profesoras cuya formación de pregrado es en fisioterapia (dos profesoras) y en terapia ocupacional (una profesora). En el marco del Taller, todas ellas estaban elaborando una guía de trabajo escrito para dos asignaturas de carácter obligatorio y una electiva.

4.2. Descripción de la secuencia didáctica dedicada al tema de la evaluación

Esta secuencia tuvo como objetivos estudiar las relaciones entre la lectura, la escritura y la evaluación, y diseñar una pauta evaluativa de una tarea de escritura. Para ello, dentro de las actividades programadas se dedicaron cuatro espacios de trabajo al tema de la evaluación: dos sesiones presenciales y dos momentos de trabajo individual de las docentes. En estos espacios se desarrollaron las siguientes actividades:

- Primera sesión presencial: dedicada al diseño de la evaluación, tuvo como objetivos explorar los conocimientos y las prácticas de las profesoras participantes frente a la evaluación de las tareas de escritura, y presentar y discutir algunos conceptos sobre evaluación formativa en el contexto de la alfabetización académica. Para alcanzar el primer objetivo se hizo una discusión en torno a las siguientes preguntas: ¿Quién hace por lo general las evaluaciones de los trabajos escritos de los estudiantes? ¿Qué evalúan cuando revisan los trabajos escritos de los estudiantes? ¿Cómo hacen esta evaluación? Además, en esta sesión se presentaron y discutieron algunas pautas que se podían tener en cuenta para la elaboración de los criterios de evaluación del trabajo escrito.

- Primer momento de trabajo individual: se planteó a las docentes que mediante trabajo independiente realizaran la lectura del capítulo "Evaluar con la lectura y la escritura" (Carlino, 2005). Se pidió además a las docentes que, teniendo como referencia todo lo discutido hasta el momento en el marco del Taller, la lectura de Carlino y las orientaciones dadas para el diseño de la pauta, elaboraran una primera propuesta de los criterios con los que iban a evaluar el trabajo.

- Segunda sesión presencial: en un primer momento se comentó la lectura de Carlino y se hizo la discusión de la primera propuesta de evaluación de la tarea de escritura realizada por las docentes. Se trabajó además con las profesoras la diferencia entre criterios de evaluación y pautas de evaluación, para lo cual se tomó como referencia un fragmento de un texto de Camps y Ribas (1993). Se propuso como trabajo individual que reescribieran los criterios teniendo en cuenta lo discutido en la sesión y que elaboraran la pauta que utilizarían en la evaluación del trabajo escrito teniendo como referencia unas pautas proporcionadas a manera de ejemplo.

- Segundo momento de trabajo individual: en este espacio las docentes trabajaron en la reescritura de los criterios de evaluación y el diseño de la pauta. Los resultados de este ejercicio fueron compartidos mediante correo electrónico.

5. Análisis de los resultados

El análisis que se presenta en este apartado se realizó en torno a tres grandes categorías: ¿qué se evalúa?, ¿quién evalúa? y ¿cómo se evalúa?

5.1 ¿Qué se evalúa?

Este apartado tiene como propósito analizar las representaciones que las docentes tienen sobre el objeto de la evaluación escrita, es decir, sobre los resultados y procesos involucrados en el aprendizaje tanto de la escritura como de los contenidos disciplinarios que se abordan en las asignaturas.

¿Qué decían las docentes sobre el objeto de la evaluación escrita antes del taller?

La profesora 1 indicó que en la evaluación de los trabajos escritos se centraba en aspectos como la motivación y la responsabilidad; en cuanto al texto, se enfocaba en el manejo de los contenidos y en los elementos gráficos y estéticos que consideraba pertinentes para el texto asignado: un diario. Se puede observar que la docente se enfocaba en los contenidos plasmados en el texto, uno de los aspectos del objeto de la evaluación. En diversas investigaciones (Camps & Ribas, 1993; Kelly, Bazerman, Skukauskaite & Prothero, 2002; Carlino, 2004) se plantea que la mayoría de los docentes suelen usar la evaluación escrita para conocer qué han aprendido los estudiantes sobre los contenidos de la asignatura, por tanto, se relaciona estrechamente con la función de certificación de saberes.

Respecto al objeto de la evaluación, la profesora 2 afirmó: "Quiero medir qué tanto saben [los estudiantes] acerca de los contenidos teóricos que yo les he dado. Lo que generalmente busco es qué tanto saben, no qué tanto comprendieron el texto ni nada de eso". En esta intervención, se observa la relación de sinonimia que la docente establece entre evaluar y medir, en la que restringe la situación de evaluación a la función de certificación de saberes. Así mismo, se encuentra una concepción más general sobre los procesos de enseñanza y de aprendizaje, en la que se evidencia un modelo de transmisión de los conocimientos, al afirmar que los estudiantes deben apropiarse de unos contenidos que el docente les "ha dado". Finalmente, en esta intervención se encuentra una referencia a los procesos de lenguaje escrito (comprensión del texto), planteamiento que se enfatiza más en la siguiente cita:

Yo siento que el documento [documento de trabajo sobre los planteamientos de Camps y Ribas, 1993] se fija mucho en la forma como el estudiante escribe, o sea que me remite a que yo me mire más y que mire lo que el estudiante escribe... y eso me parece completamente válido, pero [...] ¿Será que yo me enfocaría mucho en el cómo escribe y se me pierde lo que yo quiero ver?, que de todas formas aunque yo sepa que no es lo único, yo si quiero que él haya alcanzado digamos la integración de los conocimientos que yo le he dado en ese caso.

En este punto podemos observar que la docente no encuentra una relación evidente entre el proceso de escritura y la apropiación de contenidos disciplinarios, es decir, no identifica la función epistémica de la escritura. De acuerdo con la literatura (Carlino, 2005; Lea & Street, 1998; Bazerman, Little, Bethel, Chavkin, Touquette, & Garufis 2005) esta situación se presenta con mucha frecuencia, pues los docentes de áreas distintas a lenguaje no han tenido una formación que incluya reflexiones sobre el papel de la escritura en la construcción del conocimiento, lo que implica que es necesario que empiece a ser abordado. Al respecto, Kelly et al. (2002) afirman que escribir en un área del conocimiento ayuda a los estudiantes a aprender el lenguaje de esa área y Waldo (2008) propone que escribir en la lengua de una disciplina tiene como consecuencia aprender a pensar y a construir el conocimiento como lo hacen los expertos de esa área específica.

Respecto al objeto de la evaluación, la profesora 3 afirmó que los elementos que evaluaba en los escritos eran:

El uso lenguaje, de la gramática, la redacción (legibilidad, claridad en las ideas y conceptos expresados), la puntuación, la ortografía, la estructura u organización del escrito, el cumplimiento de la estrategia educativa exigida, el cumplimiento del objetivo de la actividad propuesta, la relación contenido(s) - objetivo, la coherencia y correlación de las ideas, los apoyos o fuentes consultadas, la veracidad de la información empleada y el buen uso de la misma, la sustentación de las ideas expresadas y el uso de fuentes, la pertinencia, suficiencia y vigencia de las fuentes, la presentación del documento.

A diferencia de las docentes anteriores, la profesora 3 incluye, además del contenido, criterios de evaluación relacionados con la escritura. No obstante, la misma docente señaló que tiene en cuenta estos elementos para hacer la evaluación, pero que no los trabaja con los estudiantes por considerar que esto es innecesario: "con frecuencia doy por hecho que el estudiante debe saber que la gramática, la acentuación, la puntuación tienen importancia en la formación profesional y que por tanto se evalúan, corrigen y califican como parte de la formación, como normas implícitas".

Respecto a esta representación, Carlino (2003) plantea que los docentes universitarios tienen ciertos supuestos sobre la escritura académica, como que es una habilidad que se desarrolla de una vez y para siempre en la educación básica y que, por tanto, no es necesario que sea abordada y explicitada en la educación superior. Se evidencia que la docente considera importante la escritura, dado que la incluye en la evaluación, pero no se ocupa directamente de ella en sus asignaturas.

¿Qué se hizo en el taller para trabajar sobre las representaciones de las docentes acerca del objeto de evaluación?

A partir de los textos de Camps y Ribas (1993) y Carlino (2005) se definió que el objeto de la evaluación formativa abarca tanto los resultados del aprendizaje como los procesos implicados en él y se recomendó tener en cuenta como mínimo tres aspectos, el primero y el último planteados por Camps y Ribas (1993) y el segundo retomado de los planteamientos de la alfabetización académica (Carlino, 2005):

La escritura del texto: incluye aspectos como la imagen exterior del texto, presentación gráfica determinada por una norma social; contenido relacionado con la intención o función comunicativa; estructura textual, cohesión y aspectos formales: gramaticales, ortográficos y tipográficos.

Contenidos apropiados y plasmados en el texto: se refiere al aprendizaje de los contenidos disciplinarios básicos.

Procesos de escritura y de aprendizaje: se refiere a que se ayude al estudiante a tomar conciencia de sus propios procesos para que pueda convertirse cada vez en un aprendiz más autónomo.  

El proceso de evaluación formativa debe llevar al estudiante a que tome conciencia explícitamente de los tres aspectos.

Además de lo anterior, se discutieron los contenidos teóricos y se relacionaron con las experiencias y prácticas que cada docente tenía respecto al objeto de la evaluación. De igual manera, se presentó un ejemplo de criterios y pautas que incluían los tres elementos recomendados para definir el objeto de evaluación. La incidencia de este modelo sobre las prácticas de las docentes se aborda en el apartado "cómo se evalúa".

¿Qué dicen las docentes sobre el objeto de la evaluación escrita después del taller?

Posterior a la discusión de los planteamientos teóricos y a la revisión de las prácticas de evaluación escrita de las docentes, se evidencian ciertos cambios en lo que declaran sobre sus representaciones acerca del objeto. La profesora 1 refirió:

Me devolví a las lecturas que ustedes mandaron donde están las especificidades de cada uno de los textos [características de los textos narrativo, argumentativo, expositivo y descriptivo] y leyendo eso la pude construir [la guía] y ¡terminé tan contenta!.... Porque yo decía: cómo hago yo para manejar esa parte de mi debilidad, que yo identificaba, como, bueno: la escritura, para saber cómo sería el texto y si sí lo están haciendo narrativo; para calificar esa parte yo cómo lo voy a hacer, entonces con eso saqué como la guía donde puse: para evaluar el texto se tendrán en cuenta aspectos como [lee su pauta]

En este caso, se puede observar que la profesora 1 se empieza a interesar por aspectos de la escritura del texto, más específicamente en los modos de organización del discurso, en este caso narrativo. De igual manera, comienza a tomar conciencia de la importancia de reconocer ciertos aspectos de la escritura para poder orientarla.

Respecto a qué se evalúa con la escritura, la profesora 2 señaló: "creo que hay que poner más cuidado a la parte conceptual, más a cómo está la solidez argumentativa del proceso mismo, ¿sí?, como está fundamentado lo argumentativo". En este caso, se observa que la profesora 2 empieza a tener en cuenta elementos relacionados con la escritura, específicamente con el modo de organización argumentativo, así como a establecer las primeras relaciones entre los procesos de escritura y los procesos de pensamiento: lo conceptual se pone en relación con la forma de argumentar en el escrito.

Por su parte, la profesora 3 también reconoció la importancia de incluir en la evaluación aspectos de la escritura como las tipologías textuales y los modos discursivos, pero además de ellos, refiere que aspectos como la gramática, la coherencia del texto y escribir para que otros entiendan son elementos indispensables en la formación profesional. El principal cambio que se observa en la profesora 3 está relacionado con pasar de enfatizar en los aspectos formales de la escritura como la ortografía y los signos de puntuación a otorgarle más importancia a los aspectos textuales y discursivos como el propósito del texto, la audiencia, los modos de organización y la coherencia.

Durante y después del taller, se pueden observar importantes cambios en las declaraciones que hacen las docentes sobre el objeto de la evaluación escrita: se empieza a dar importancia a la escritura de los textos y no sólo al contenido, es decir, se amplía el objeto de la evaluación. Sin embargo, el tercer objeto abordado en las sesiones "procesos de escritura y de aprendizaje" no tuvo la trascendencia esperada, asunto que recomendamos tener en cuenta en experiencias de formación similares.

5.2. ¿Quién evalúa?

En este apartado se abordan las representaciones sobre el sujeto de la evaluación, es decir, quién es el encargado de evaluar los textos escritos, de quien afirmamos que idealmente debe ser el estudiante mismo (apoyado por el docente, sus pares y otros actores) en tanto se concibe como protagonista del proceso educativo.

¿Qué decían las docentes acerca del sujeto de la evaluación escrita antes del taller?

La profesora 1 afirmó: "Hasta la fecha la he realizado yo" y la profesora 2, a su vez, dijo: "el docente...en el caso de mi asignatura la elaboro yo". Estas afirmaciones evidencian que las docentes entendían esta función como exclusiva del maestro; además las tres docentes indicaron que poco les informaban a los estudiantes sobre los criterios que se tenían en cuenta para la evaluación escrita. La profesora 1 afirmó, además, que abre algunos espacios de coevaluación, pero únicamente en asignaturas electivas y no en las obligatorias, lo que evidencia que la responsabilidad de evaluar se le sigue asignando al docente cuando se trata de certificar los conocimientos que se consideran básicos en la formación.

En general, las profesoras manifestaban que el temor de dar protagonismo al estudiante en la evaluación respondía a una cierta desconfianza generada porque los estudiantes son poco objetivos y se guían por favorecerse en su calificación, bien sea a ellos mismos en caso de la autoevaluación o a sus compañeros en la coevaluación. La profesora 1 manifestaba que cuando había tenido la oportunidad de hacer autoevaluación "pocos lo hacen a conciencia". En algunas conversaciones manifestaron que, de darse la autoevaluación o la coevaluación en los trabajos en grupo, se les daba poco porcentaje en la calificación final. Estas representaciones y prácticas marcan una relación jerárquica en el contrato didáctico, pues se asume que el docente tiene el control de la asignatura y por tanto es quien debe "juzgar" qué tanto conocen los estudiantes sobre el tema.

¿Qué se hizo en el taller para trabajar sobre las representaciones del sujeto de la evaluación?

Durante las discusiones se planteó que los estudiantes deberían conocer aquellos criterios bajo los cuales serán evaluados, e incluso que podrían ser partícipes de su construcción. Por otra parte, se señaló que espacios de heteroevaluación, coevaluación y autoevaluación podrían abrirse para dar oportunidad al estudiante de ser más autónomo y conocer mejor su propio proceso.

Se esperaba entonces que mediante la discusión las profesoras comprendieran que el estudiante debería asumir en la evaluación un papel, si no protagónico, mucho más activo. Se les invitó a considerar este tipo de participación porque, por un lado, le permite al estudiante ajustar su desempeño a los criterios de evaluación que de antemano él conoce e incluso ayudó a elaborar y, por otro lado, más significativo aún, le dota de herramientas para ejercer una evaluación continua de su desempeño en las múltiples tareas que como estudiante y como futuro profesional habrá de asumir, actitud que le posibilitará ser un aprendiz permanente (objetivo fundamental del proceso educativo).

En general, durante el taller se buscó generar un espacio para reflexionar sobre el sujeto de la evaluación, asunto que depende fundamentalmente de la manera como se asumen los roles dentro del proceso de aprendizaje, particularmente el del docente. Al respecto, Cassany, D.; Luna, M. y Sanz, G. (1994) afirman:

Solamente nos queda añadir que la evaluación... es un proceso complejo que exige una gran evolución en la forma de actuar y de concebir las relaciones maestro-alumno, respecto a lo que estamos acostumbrados a hacer. Quizá uno de los grandes retos... sea precisamente poder ser capaces de abandonar la idea del maestro como autoridad en el saber, transmisor de conocimientos, juez de los resultados de los alumnos, y empezar a pensar en un maestro creador de situaciones de aprendizaje, respetuoso del proceso de aprendizaje de cada alumno, crítico con su propia actuación. (p.77)

¿Qué dicen las docentes acerca del sujeto de la evaluación después del taller?

La profesora 1 incluyó en su pauta de evaluación una rejilla para evaluación de trabajo de grupo y otra para autoevaluación inspiradas en los ejemplos compartidos durante el taller. Por su parte, las profesoras 2 y 3 definieron criterios claros que podían ser conocidos previamente por los participantes. La profesora 3 afirmó "es indispensable presentarle al estudiante, de forma escrita, los distintos criterios que debe atender para que pueda cumplir con cada desarrollo requerido, de modo que las evaluaciones y calificaciones cuenten con sustento o respaldo previo en cuanto a tales criterios". Sin embargo, ninguna de las dos últimas docentes consideró espacios de auto o coevaluación.

Además de lo anterior, ninguna de las profesoras planeó espacios para que los estudiantes participaran de la construcción de criterios o de la evaluación propiamente dicha de sus trabajos. Ante este resultado, planteamos que en intervenciones similares este tema habrá de considerarse con más detenimiento, acompañando a los participantes a construir sus criterios y a aplicarlos en conjunto con los estudiantes, generando espacios de autoevaluación y coevaluación que incidan en la valoración final asignada a las tareas.

5.3 ¿Cómo se evalúa?

Este apartado se ocupa de la sistematización de los instrumentos diseñados por las profesoras para la evaluación; en particular, de las pautas de evaluación de los trabajos escritos y de los criterios contenidos en ellas. Con relación al uso de los instrumentos se aborda también el momento en que se aplican con fines evaluativos.

¿Qué decían las docentes acerca de las pautas y criterios de evaluación antes del taller?

Respecto a la pregunta: ¿Cómo hacían la evaluación de los trabajos escritos? que se hizo al inicio de la secuencia didáctica, la profesora 1 respondió "En asignaturas teórico prácticas he establecido rejillas para evaluar tanto los trabajos escritos como las exposiciones [...] porque me parece que es como más real para uno consignar la información". En este enunciado podemos identificar que la función principal de estos instrumentos estaba puesta en su utilidad para registrar de manera sistemática y organizada los datos, práctica adecuada para que la profesora tenga una base para reflexionar y llegar a conclusiones fundamentadas sobre el desempeño del estudiante. Sin embargo, la profesora no refiere el uso de estos instrumentos para mediar los procesos de regulación del aprendizaje como lo sugieren Camps y Ribas (1993).

La profesora 2 respondió que no había diseñado pautas para la evaluación de los trabajos escritos ni tampoco hecho explícitos los criterios de evaluación a los estudiantes. Ella usaba la asesoría como forma de orientar la realización de los trabajos: "no es una asesoría para que yo les diga cómo deben hacer el trabajo", por eso, en su práctica pide a los estudiantes que "lleguen con preguntas puntuales". Vemos en este comentario que en las asesorías parece no aprovecharse el potencial pedagógico y regulador de la comunicación en la evaluación formativa (Solé, 2001). Se pueden proponer varios supuestos que sustentan la actuación de la profesora: la evaluación sólo se hace al final del proceso y las otras prácticas pedagógicas no se ven como oportunidades para hacer evaluación formativa; el estudiante, por sí solo, tiene que aprender cómo llegar a los desempeños esperados; el papel del profesor es emitir un juicio sobre el resultado, no enseñar cómo llegar al mismo, y la evaluación no es un procedimiento que sirva a este propósito.

La profesora 3 señaló "[...] no siempre se han hecho explícitos en la tarea o actividad exigida o en la guía de la tarea todos los elementos que se evalúan y califican". De este enunciado nos interesa señalar dos asuntos, el primero relacionado con la evaluación como una práctica que no se incorpora en diferentes momentos de la actividad pedagógica, especialmente al inicio de la misma. El segundo, que la guía de la tarea que se entrega al comienzo no incluye todos los criterios que se van a evaluar y a calificar. Al respecto señalamos que si las guías de los trabajos incluyeran sus criterios de evaluación o las pautas evaluativas que va a usar el profesor, podrían contribuir a que el alumno viera con mayor claridad cuáles son los objetivos de aprendizaje, de manera que sirvan para compartir significado sobre la tarea y la forma de realizarla.

[...] excluir la evaluación como instancia en la que es posible enseñar y aprender implica desperdiciar las escasas oportunidades de interacción y diálogo entre alumnos y docente y, a la vez, evidencia desalineación entre los componentes centrales del proceso de enseñanza y aprendizaje. (Di Benedetto & Carlino, 2007, p. 275)

¿Qué se hizo en el taller para trabajar sobre las representaciones de las pautas y criterios de evaluación?

En las sesiones previas a la secuencia didáctica sobre evaluación se había trabajado la relación entre la escritura y el aprendizaje de los contenidos de las asignaturas. Las profesoras habían tenido como texto de referencia para la elaboración de las guías "La Escritura Epistémica: enseñar a gestionar y regular el proceso de composición escrita" de Castelló (2006). Desde esta perspectiva, la escritura se concibe no sólo como una actividad cognitiva sino como una actividad situada en un contexto sociocultural cuyo potencial epistémico depende de las condiciones en que se realice. Las profesoras diseñaron las guías de los trabajos atendiendo a las estrategias que llevarían a los estudiantes a hacer una escritura reflexiva.

Se planteó la conveniencia de diseñar una pauta evaluativa que se entregara junto con las guías de los trabajos escritos. Se discutió, además, acerca de la función que éstas podían cumplir en el proceso de regulación del aprendizaje por parte de los estudiantes al permitirles revisar y evaluar su producto antes de entregarlo al profesor. Desde este punto de vista, las pautas de evaluación o revisión podrían usarse en la enseñanza para apoyar a los estudiantes en el paso de la regulación externa, en interacción con el profesor y los compañeros, a la regulación interna y autónoma, es decir, a la autorregulación (Camps & Ribas, 1993).

En coherencia con los planteamientos sobre las condiciones para una escritura epistémica y con los contenidos de las guías de los trabajos, se presentaron modelos de pautas de evaluación específicas que incluían las siguientes categorías de criterios:

- Criterios valorativos orientados hacia el producto lingüístico. Los modelos de las pautas revisadas contenían criterios de evaluación de los distintos niveles de estructuración del texto: ¿Se podía identificar el objetivo del texto?, ¿respondía a las características de los posibles lectores?, ¿se desarrollaba con claridad el tema o contenido global del texto?, ¿el lenguaje usado reflejaba una apropiación del marco conceptual de referencia?, ¿se ajustaba la organización al tipo de texto solicitado en la guía?, ¿se utilizaban de manera adecuada los mecanismos para relacionar la información en el texto?, ¿se seguían las reglas gramaticales y ortográficas?, ¿se relacionaba de manera adecuada el texto con otros textos?

- Criterios de valoración de la realización que posibilitan que el estudiante reflexione sobre el proceso de producción escrita y aprenda a gestionarlo de manera más consciente. Específicamente, los modelos contenían preguntas que llevaban al estudiante a reflexionar sobre la forma del trabajo en grupo y los procesos de planificación y revisión del trabajo escrito: ¿se ha hecho un trabajo colaborativo y responsable?, ¿se ha seguido un plan de escritura?, ¿se ha hecho un borrador?, ¿se han revisado los aspectos de forma?, ¿se han revisado los aspectos del contenido?

- Criterios de valoración de la apropiación por parte de los estudiantes de los contenidos o conceptos disciplinarios que se ponían en juego en la realización de la tarea de escritura asignada: ¿Desarrolla en forma correcta los conceptos pertinentes?, ¿usa un lenguaje técnico de manera que refleja apropiación de lo estudiado?

Además, se planteó que los criterios de evaluación del aprendizaje debían estar estrechamente ligados a la tarea. Se discutió también la importancia de que los alumnos comprendieran estos criterios y la conveniencia de que participaran en su elaboración. Sin embargo, por la naturaleza y brevedad del taller las profesoras no elaboraron en el desarrollo de su asignatura los criterios de evaluación del trabajo de manera conjunta con los estudiantes. Tampoco se alcanzó a hacer la discusión sobre la naturaleza dinámica y por lo tanto provisional de los criterios de evaluación, que al estar ligados al proceso de aprendizaje de los estudiantes deben ir cambiando (Camps & Ribas 1993).

¿Cómo evaluaban las profesoras después del taller?

Sobre la utilidad de las pautas en el proceso de evaluación y formación, la profesora 1 refirió:

Creo que le da a uno más objetividad en el momento de calificar pues empíricamente se hacían cosas, hacíamos una rejilla y de acuerdo a eso calificábamos, pero esto nos da mucha más objetividad para la calificación, pues está más metida como en unos parámetros, pero también le da la oportunidad al estudiante de saber qué es lo que realmente debe hacer para cumplir con lo que uno le está solicitando, porque lo dejábamos más a la interpretación de la indicación verbal [...]

Es interesante que la profesora reconoce que la pauta no sólo está relacionada con evaluar el resultado de manera más real al final del proceso, como lo planteaba al inicio de la secuencia didáctica, sino que de alguna forma ha empezado a identificar que ésta puede usarse como instrumento que contribuye a realizar las dos operaciones claves en el proceso de aprendizaje "la representación de lo que se debe hacer y de lo que se debe aprender y el control sobre el proceso que se sigue" (Camps & Ribas, 1993, p.67). En consecuencia, ve la aplicación de las pautas como una oportunidad para propiciar una comunicación con los estudiantes que posibilite reafirmar si se ha entendido la tarea, así como aclarar dudas que antes se manifestaban sólo al entregar el trabajo. Por otro lado, podría decirse, que el diseño de la pauta contribuyó también a que la docente viera en la evaluación lo que Carlino (2005) llama la función tácita de señalar a los alumnos lo que es importante aprender.

Respecto a la posibilidad de que los estudiantes revisen y reescriban el trabajo antes de entregarlo, las profesoras 1 y 2 hicieron los siguientes comentarios: P1 "[...] Y me gustó también que como pides un preliminar también los presiona a que vayan construyendo en el tiempo y que no dejen tampoco las cosas para el final", P2: "me tocaría adelantarlo para poder que ellos tengan ya un producto que lo puedan revisar los otros y volver a hacer como esos ajustes y que tengan posibilidad de realimentarse para poder ya entregarlo".

En estas afirmaciones interesa señalar que las profesoras identifican los beneficios de regular en el tiempo el trabajo que deben realizar los estudiantes de manera que haya versiones preliminares que puedan revisarse, realimentarse y ajustarse antes de entregar el producto final; además la profesora 2 habla del papel que pueden jugar los otros (los compañeros) en la revisión del texto. Sin embargo, no se hace referencia al proceso pedagógico que tendría que mediar la construcción del trabajo en el tiempo, la revisión y los ajustes.

Por su parte, la profesora 3 en la evaluación del taller escribió:

Se logró proponer y estructurar una guía para un cuaderno de trabajo [...] para el cual se han propuesto más explícitamente los aspectos a evaluar con relación a la escritura y elaboración del texto.

 [...] Además, es indispensable presentarle al estudiante, de forma escrita, los distintos criterios que debe atender para que pueda cumplir con cada desarrollo requerido, de modo que las evaluaciones y calificaciones cuenten con sustento o respaldo previo en cuanto a tales criterios. [...] Es necesario exigir y tomar en cuenta la reescritura, disponiendo, pre-programando tiempos para su evaluación y retroalimentación.

Los cambios que se evidencian en estas afirmaciones están relacionados con dos aspectos: hacer explícitos los criterios de evaluación en la guía del trabajo, e incluir, no sólo criterios sobre el contenido disciplinario, sino sobre la escritura y elaboración del texto. Finalmente, la profesora señala la necesidad de tener en cuenta la reescritura y la realimentación como parte del proceso de evaluación.

5.4. Análisis de las pautas evaluativas diseñadas por las profesoras

En los siguientes apartados se presentan los resultados del análisis de las pautas diseñadas en el taller y de los criterios de evaluación contenidos en ellas. De las pautas propuestas por cada profesora se escogió la que se consideró que reflejaba más ajuste a la tarea de escritura, las otras eran retomadas, sin ajustes o con muy pocos, de los modelos dados en el taller.

La profesora 1 diseñó cuatro pautas como instrumentos para evaluar la producción del texto "diario de una embarazada". Se eligió una pauta que se introduce con el siguiente enunciado: "Para evaluar el texto se tendrán en cuenta aspectos relacionados con las características del texto narrativo como explicativo". En el siguiente cuadro se presentan algunos ejemplos de las preguntas que contienen los diferentes apartados de la pauta, éstas se han clasificado por su naturaleza en aquéllas que se refieren a las características generales del modo de organización del discurso, ya sea narrativo o explicativo y otras incorporan criterios más específicos relacionados con el tipo de texto solicitado en la tarea, un diario.

Encontramos que la profesora no sólo ha incorporado criterios relacionados con los modos de organización del discurso solicitados en la guía del trabajo, sino que para alcanzar los objetivos formativos de la tarea los ha articulado a los contenidos disciplinarios trabajados desde la asignatura. Esto se evidencia sobre todo en los criterios de evaluación relacionados con el uso del discurso expositivo. En éstos, se pregunta por contenidos concernientes a la gestación: los cambios que el embarazo ocasiona en el cuerpo, las consecuencias que los cambios físicos han tenido a nivel emocional, entre otros asuntos. Un hallazgo significativo es la inclusión de criterios de evaluación relacionados con la función que puede cumplir el texto en el contexto del quehacer del fisioterapeuta en acciones educativas de psicoprofilaxis. Esto se evidencia cuando se pregunta si el texto satisface las necesidades cognitivas de las embarazadas. En consecuencia, la pauta está orientada a promover la reflexión de los estudiantes sobre si el tratamiento que dan a los contenidos es apropiado para satisfacer los requerimientos de una situación retórica que trasciende el espacio de la clase. El texto debe servir a un propósito en el contexto real de la profesión y, por lo tanto, no tiene a la profesora como su única lectora. La pauta cumple así una condición necesaria para promover la función epistémica de la escritura, es decir, aquella que lleva a la transformación del conocimiento en el proceso de enseñanza y de aprendizaje.

La profesora 2 propuso dos pautas evaluativas, a continuación se analiza una de ellas. Esta contiene criterios de valoración de los procedimientos profesionales requeridos para la realización del trabajo, es decir, de los contenidos de aprendizaje disciplinario y criterios de valoración del texto escrito. Estos últimos aparecen en un apartado que se titula "reporte del trabajo de campo". En el siguiente cuadro se presentan algunos ejemplos de los criterios formulados.

Aunque algunos de los criterios que aparecen en esta pauta son generales, como cuando se describe lo que se espera que vaya en la introducción, la pauta se puede considerar específica; en tanto, la profesora integra los contenidos sobre procedimientos profesionales y la estructura del modo argumentativo del discurso con el contenido del informe de evaluación profesional que se ha solicitado en la guía de la tarea "informe técnico de un trabajo vivencial de inclusión con una persona con discapacidad".

La profesora 3 propone una pauta de evaluación que contiene tres apartados, retomando los modelos dados en el taller y otros consultados por ella. A continuación se clasifican los criterios de evaluación, según se consideran generales conforme al modo de organización del discurso o específicos de acuerdo con el tipo de texto solicitado en la tarea, en este caso un "cuaderno de trabajo".

Esta pauta incluye criterios generales de valoración del modo de organización del discurso predominante en el tipo de texto solicitado, el argumentativo; sin embargo, en este apartado no se incluyen criterios específicos en los que se articulen las características del modo argumentativo a los contenidos disciplinarios. Por el contrario, los criterios relacionados con la superestructura del tipo de texto son específicos de un cuaderno de trabajo. Además, en este apartado de la pauta se valora también la coherencia del contenido y se plantea que se prestará especial atención a la "redacción" sin que se describa cómo se entiende el término y qué aspectos van a tenerse en cuenta.

Por otra parte, hay criterios para evaluar la "capacidad" pragmática que tiene el texto para alcanzar el objetivo propuesto: que los estudiantes logren una integración de la práctica con la teoría, así como con la certificación de los conocimientos aprendidos. Es decir, que igual que la pauta anterior, en ésta se establece una relación entre la capacidad del estudiante para "demostrar conocimiento" y el uso de éste para lograr el propósito con los posibles lectores. En consecuencia, la pauta crea una oportunidad para que el estudiante evalúe si la presentación de los contenidos en el texto se ajusta a la situación retórica que se plantea en la guía, es decir, que tenga que analizar y adecuar los conocimientos para satisfacer las necesidades comunicativas que le imponen los posibles lectores.

En síntesis, el análisis revela que, por un lado, hubo aprendizajes significativos relacionados con el diseño de pautas de evaluación específicas, es decir, ajustadas a la tarea; por otro lado, se evidencia que ninguna de las pautas presenta su propósito y las condiciones de aplicación haciendo explícitos quién y en qué momentos se van a usar dentro de la secuencia didáctica del curso. Esto puede sugerir que son pautas diseñadas para ser usadas por las profesoras. En este sentido, un taller de formación para el diseño de guías de trabajo y pautas evaluativas debe hacer énfasis en la importancia de la contextualización de la tarea y de la evaluación. En particular, focalizar la importancia de éstas como instrumentos mediadores del aprendizaje en contextos colaborativos que buscan el paso de la heterorregulación a la autorregulación.

Las pautas de evaluación de los textos que tienen una formulación general, pretendiblemente aplicable a todos los textos, son a nuestro modo de ver inadecuadas por motivos teóricos más fundamentales. Como apuntábamos la diversidad discursiva y textual no permite acercarse a los textos con los mismos criterios de evaluación-revisión. (Camps & Ribas 1993, p.75)

Vale señalar que ninguna de las tres profesoras diseñó o hizo adaptaciones para la construcción de una pauta evaluativa que permitiera a los estudiantes reflexionar sobre el proceso llevado a cabo para la realización del trabajo escrito. Esto quizá se debe a que el tiempo del taller fue insuficiente para abordar y comprender los procesos metacognitivos que están implicados en la producción escrita y las estrategias de apoyo para que los estudiantes adquieran control sobre ellos.

6. Conclusiones y recomendaciones

A partir de los elementos derivados de la experiencia y analizados a la luz del marco de referencia, podemos concluir que:

* La posición de las tres profesoras frente al proceso de evaluación antes del taller no se puede ubicar ni desde enfoques del aprendizaje constructivistas, ni desde enfoques psicosociales con orientación comunicativa (Camps & Ribas, 1993). De los primeros, puesto que en las prácticas evaluativas las profesoras no consideraban al alumno como el centro de los procesos de enseñanza y de aprendizaje, los criterios para juzgar el objeto de aprendizaje no eran conocidos por todos los participantes y en las tareas de evaluación no proporcionaban apoyos suficientes. De los segundos, debido a que la evaluación no hacía parte de procesos de socialización del aprendizaje que viabilizaran la autorregulación, ni se reconocía o valoraba que el alumno progresa cuando sabe qué se espera de él. Se puede inferir además que la propuesta pedagógica que subyacía a la evaluación no tenía como base que el conocimiento se construye en interacción con los demás.

* Respecto al objeto de la evaluación, se pudieron observar importantes cambios en las declaraciones hechas por las docentes. Se empieza a dar importancia a la escritura de los textos y no sólo a su contenido, observándose así una ampliación en el objeto. No obstante, el componente relacionado con los procesos de escritura y de aprendizaje no tuvo la trascendencia esperada.

* A pesar de que al inicio se evidenció una concepción del maestro como sujeto protagonista de la evaluación, relacionada con lo que la tradición ha impuesto y por el sentido de responsabilidad sobre la certificación de saberes y la desconfianza generada por la supuesta falta de objetividad de los estudiantes, la participación de las profesoras en el taller posibilitó una reflexión sobre el rol que deben jugar los estudiantes en los procesos de autoevaluación y coevaluación, que les posibiliten un control cada vez más autónomo del proceso de aprendizaje. Sin embargo, una reflexión más sistemática sobre lo que significa el sujeto en el marco de la evaluación formativa podría propiciar cambios importantes en las prácticas. En la experiencia aquí documentada se refleja esta posibilidad, pues se logró que las docentes dieran un primer paso al tomar la decisión de compartir con los estudiantes, previamente a la evaluación, las pautas elaboradas para este propósito.

* Los aprendizajes más significativos en el diseño de la pauta evaluativa estuvieron relacionados con: 1. Reconocer que una evaluación formativa debe dar la oportunidad al estudiante de saber qué es lo que se espera de él mediante la explicitación de los criterios de evaluación y que el uso de pautas evaluativas que se entreguen junto con la guía de la tarea sirven para que los estudiantes se representen qué es lo que se debe hacer, lo que se debe aprender y cómo controlar el proceso. 2. Identificar los beneficios de regular en el tiempo el trabajo que deben realizar los estudiantes de manera que haya versiones preliminares que puedan revisarse, realimentarse y ajustarse antes de entregar el producto final. 3. Las tres profesoras diseñaron pautas de evaluación específicas en las que integraron los modos de organización del discurso con el contenido abordado en la asignatura.

* Un programa de formación de docentes en lectura y escritura académicas debería abordar con mayor profundidad la función de los instrumentos dentro de un contexto de evaluación formativa. Pensar en su diseño para ser usados en diferentes momentos como mediadores del aprendizaje que posibilitan al estudiante revisar, contrastar y reorganizar el propio conocimiento en función de la situación comunicativa en la que se inscribe la tarea, es decir, pensar los instrumentos para potenciar la función epistémica de la escritura (Castelló, 2006).

* Sugerimos que se abran espacios de interformación relacionados con las prácticas de evaluación de los trabajos escritos en diferentes disciplinas, en los que se trascienda el estilo "conferencia sobre alfabetización académica" y se vaya más allá, al proponer y acompañar el diseño y la implementación de estrategias didácticas que tengan en cuenta estos principios. No es suficiente con conocer las premisas de la alfabetización académica, los docentes requieren acompañamiento e interlocutores que les permitan reflexionar sobre sus propuestas y mejorarlas paulatinamente a partir de lo aprendido del estudio y la experiencia.

7. Referencias

Bazerman, C., Little, J., Bethel, l., Chavkin, T., Touquette, D. & Garufis, J. (2005). Reference Guide to Writing across the Curriculum. West Lafayette, USA: Parlor Press. Consultado el 12/06/2010 en: http://wac.colostate.edu/books/bazerman_wac/chapter1.pdf        [ Links ]

Bereiter, M. y Scardamalia, C. (1992). Dos modelos explicativos de los procesos de composición escrita. Infancia y aprendizaje 58, (pp. 43-64).         [ Links ]

Camps, A. y Ribas, T. (1993). La evaluación del aprendizaje de la composición escrita en situación escolar. Madrid, España: Ministerio de Educación Cultura y Deporte - Secretaría General Técnica.         [ Links ]

Carlino, P. (2001). Hacerse cargo de la lectura y la escritura en la enseñanza universitaria de las ciencias sociales y humanas, en Universidad Nacional de Luján. Jornadas sobre la lectura y la escritura como prácticas académicas universitarias. Buenos Aires, Argentina: Universidad Nacional de Luján. Consultado el 15/06/2010 en: http://www.unlu.edu.ar        [ Links ]

Carlino, P. (2002/08/10). Enseñar a escribir en la universidad. Cómo lo hacen en Estados Unidos y por qué. Revista Iberoamericana de Educación. Consultado el 15/07/2010 en: http://www.rieoei.org/deloslectores/279carlino.pdf        [ Links ]

Carlino, P. (2003). Alfabetización Académica: un cambio necesario, algunas alternativas posibles. Revista Educere 6(20) (pp. 409-420). Consultado el 02/02/2009 en http://www.redalyc.org/articulo.oa?id=35662008        [ Links ]

Carlino, P. (2004). La distancia que separa la evaluación escrita frecuente de la deseable. Acción Pedagógica. Revista de Educación de la Universidad de Los Andes 1(13), (pp. 8-17). Consultado 15/05/2010 de: http://www.saber.ula.ve/db/ssaber/Edocs/pubelectronicas/accionpedagogica/vol13num1/articulo1.pdf        [ Links ]

Carlino, P. (2005). Escribir, leer y aprender en la universidad: una introducción a la alfabetización académica. Buenos Aires, Argentina: Fondo de Cultura Económica.         [ Links ]

Cassany, D., Luna, M. y Sanz, G. (1994). Enseñar lengua. Barcelona, España: Grao.         [ Links ]

Castelló, M. (2006). La escritura epistémica: enseñar a gestionar y regular elproceso de composición escrita. Consultado 15/05/2010 en: http://www.sinte.es/websinte/index.php/es/        [ Links ]

Celman, L. (2003). Sujetos y objetos en la evaluación universitaria. Universidad Nacional de Entre Ríos. Consultado 02/06/2010 en: http://inter27.unsl.edu.ar/rapes/download.php?id=34        [ Links ]

Di-Benedetto, S. y Carlino, P. (2007). Correcciones a exámenes escritos en la universidad: cómo son y a qué sirven a los alumnos. Ponencia presentada en XIV Jornadas de Investigación Tercer Encuentro de Investigación en Psicología del Mercosur. 9 al 11 de agosto, Buenos Aires, Argentina. Universidad de Buenos Aires.         [ Links ]

Escudero, J., Delfín, L. y Gutiérrez, L. (2008) El estudio de caso como estrategia de investigación en las ciencias sociales. Revista Ciencia Administrativa 1, (pp. 7 - 11). Consultado 15/06/2010 de http://colaboracion.uv.mx/iiesca/Revista2008_1/E_REVISTA2008_1.pdf        [ Links ]

Kelly, G., Bazerman, C., Skukauskaite, A. & Prothero, W. (2002). Rhetorical features of student science writing in introductory university oceanography, in University of Victoria. Ontological, Epistemological, Linguistic and Pedagogical Considerations of Language and Science Literacy: Empowering Research and Informing Instruction Conference. Dunsmuir Lodge, USA: University of Victoria.         [ Links ]

Lea, M. & Street, B. (1998). Student writing in higher education: An academic literacies approach. Studies in Higher Education 23(2), (p. 157).         [ Links ]

Solé, I. (2001). Evaluar lectura y escritura: Algunas características de las prácticas de evaluación innovadoras. Lectura y Vida 22(4), (pp. 6 - 17).         [ Links ]

Waldo, M. (2008). Sustainability, Cognition, and WAC. The WAC Journal 19, (pp. 5 - 14).         [ Links ]