Modelo para caracterizar las evaluaciones administrativas de posgrados

Model to characterize postgrade administrative evaluations

Jaime Antonio Benítez Forero¹, Isabel Escobar Elizalde², Helver Ricardo Tocasuche González³

¹ Ingeniero electrónico, magíster en Docencia. Docente la Universidad Distrital Francisco José de Caldas. Bogotá, Colombia. jbenitez@udistrital.edu.co
² Ingeniera Industrial, magíster en Gestión Ambiental. Docente de la Universidad Distrital Francisco José de Caldas. Bogotá, Colombia. iescobar@udistrital.edu.co
³ Psicólogo, especialista en Higiene y Salud Ocupacional. Docente de la Universidad Distrital Francisco José de Caldas. Bogotá, Colombia. hrtg69@gmail.com

Fecha de recepción: 20 de Agosto de 2011 Fecha de aceptación: 28 de Noviembre de 2011

Resumen

Este artículo presenta un modelo de estudio para realizar la caracterización del proceso de evaluación en el ámbito administrativo de posgrados, para el porte de mejoras y cambios del programa, mediante la utilización de la evaluación responsiva desarrollada por Robert Stake. Esta metodología trata a la educación de una manera integral y completa en contraste con la evaluación formal que se concentra en pocas variables del programa de posgrado sometido a evaluación. Con base en lo anterior, este trabajo muestra los resultados obtenidos a partir de la caracterización de las evaluaciones administrativas de un programa de maestría.

Palabras clave: Caracterización, diagnóstico, evaluación, integral, modelo, posgrado.

Abstract

Keywords: Characterization, diagnosis, evaluation, integral, model, graduate.

1. Introducción

La evaluación como práctica se debe entender como una actividad cuya ejecución debe seguir unos derroteros determinados con funciones y fundamentos basados en ideas para dar respuestas a condicionantes característicos establecidos por la institución educativa, con explicaciones basadas en saberes, modelos o métodos utilizados, interacciones e individuos partícipes del proceso de educación.

El propósito del artículo es dar a conocer un modelo de estudio para caracterizar el proceso de evaluación en el ámbito administrativo de un programa de posgrado, con el fin de ofrecer un aporte al mejoramiento del programa estudiado. Se requiere de la comprensión del mismo proceso, buscando la reflexión y motivando al diálogo, a la participación de los estamentos y a la cualificación de los sujetos que la realizan. Es decir, intentar responder a la siguiente pregunta: ¿cuáles son los fines, acciones, interacciones, instrumentos y procesos que caracterizan la evaluación de un programa de posgrado visto desde el ámbito administrativo?

Al establecer la caracterización de las prácticas evaluativas que se han llevado a cabo en el programa de posgrado entre períodos determinados, en los cuales se realiza la descripción del proceso en la búsqueda de sentidos que permitan dar respuesta a las categorías evaluativas del: ¿para qué evaluar?, ¿qué evaluar?, ¿cómo evaluar? y ¿quiénes evalúan? en el programa posgrado objeto de estudio.

El enfoque que se plantea para desarrollar el estudio es desde la evaluación responsiva de Robert Stake [1] en el que se diseña una nueva filosofía evaluativa y en la que se contempla la educación de una manera integral y completa, prestándose una mayor atención a todo el conjunto de la evaluación por parte del evaluador y del educador, contrario a una evaluación formal centrada en unas pocas variables del programa a ser evaluado y, de manera informal, que refeje las opiniones de los grupos pequeños de personas como repetitiva y tradicionalmente se viene haciendo.

Se constituye en un estudio de diagnóstico en razón a que se sistematiza la información sobre la situación problema del proceso evaluativo desarrollado en el posgrado en el Ámbito Administrativo.

2. Importancia Educativa

La importancia del modelo se centra en la necesidad de conocer las tendencias, procesos y modelos de evaluación vigentes en el programa y en la búsqueda, de manera objetiva y justa, de los valores de calidad y eficacia sobre el ser y las propias acciones en una actitud responsable de la institución.

La caracterización del sistema evaluativo se define por las relaciones entre los subsistemas que se establecen a partir de sus criterios de evaluación; esto significa que el grupo de subsistemas o ámbitos, conforman un sistema particular, el Sistema de Evaluación en este caso [2].

3. Marco Referencial

Desde una perspectiva histórica, el proceso de especialización ha colaborado con el conocimiento académico, propiedad de unos pocos. La especialización, un hecho cultural, puede ser vista como una consecuencia necesaria de la aceleración del aumento de la tasa de ganancia, un hecho económico. Más tarde, los procesos de validación de calidad de la producción facilitaron la conformación de "embudos" de selección y apropiación de lo producido.

Se hace entonces necesario un análisis riguroso de todos estos dispositivos y mecanismos reguladores para poder, en primer lugar, establecer sus intenciones, objetivos y eficacia y; en segundo lugar, indagar lo no escrito, lo que juega en cada uno de quienes participan en el programa, la historia colectiva, los apegos y rechazos, las resistencias e inercias, las prácticas a fin de llevar a cabo un proceso de construcción y reconstrucción que genere un conocimiento que permita comprender la realidad y actuar sobre ella en consecuencia.

La evaluación es un proceso de diálogo, construcción y mejora en la que está implicado un juicio valorativo enriquecido con estas características y en el que están implicadas fases reconstructivas de identificación y obtención de la información, pro-positivas de utilización de información para toma de decisiones y, operativas de puesta en marcha de decisiones. De esta forma, se supera la tradición Tyleriana de recoger datos para verificar si se han obtenido los objetivos previstos.

Se trata de una evaluación en la que se realiza una amplia búsqueda de los sentidos y los significados de la realidad del programa evaluado en el ámbito administrativo. La evaluación se concibe, en primera instancia, como el proceso de comprensión de lo que se habla, se vive, se percibe entre los elementos constitutivos del sistema, que definen la unidad lógica del mismo y lo caracterizan referidos a su contexto antecedente y consecuente.

En segunda instancia, se concibe como el sistema reconstructivo que parte de la autorreflexión y autovaloración de los subsistemas en relación consigo mismos y de su interrelación con los demás subsistemas y el sistema como totalidad.

Dicho proceso permitirá establecer significaciones y reconstruir desde sus propios marcos de referencia hasta lograr momentos propositivos para llegar al consenso, en el cual el diálogo es la mediación entre la interpretación, recomprensión y refexión, sobre el sistema de evaluación.

Siendo la comunicación un componente que atraviesa todo el proceso investigativo, la evaluación se apoya en los principios de la acción comunicativa, los cuales son desarrollados a través de la pragmática formal de la palabra, donde esta última es un mecanismo de coordinación de la acción entre los participantes. Esto significa que el uso de la palabra, incluida la de los textos escritos, a partir de las categorías universales del lenguaje para el entendimiento (pragmática formal), permite identificar los alcances, las limitaciones y las posibilidades del proceso evaluativo.

Esta interpretación y comprensión es crítica, al determinar el significado del sentido y el papel de la evaluación en el programa mediante la palabra usada. La crítica hermenéutica se ocupa de la interpretación que se hace necesaria cuando fragmentos del mundo de la vida social se hacen problemáticos.

La evaluación en un programa de posgrado, implica un proceso valorativo más allá de términos instrumentales en busca de resultados. La tendencia dentro de las perspectivas de evaluación que corresponde a este supuesto es la tendencia que pone su énfasis en el compromiso de la evaluación y del evaluador con el mejoramiento de los programas y de las instituciones. Y dentro de esta tendencia se encuentran modelos considerados como holísticos de corte cualitativo e interpretativo, por cuanto parten de una visión general del programa lo que implica tener en cuenta la opinión de quienes hacen parte de este.

En la etapa diagnóstica se desarrolla la estructura esencial del modelo de Stake, además, porque facilita la consecución de información en busca de unaínter subjetividad perceptiva que se potencia a través de las herramientas denominadas matrices evaluativas [3]. Dichas matrices facilitarán la recolección de la información y su correspondiente análisis.

Para lo anterior se consolida una base lógica que correspondería a la dimensión teleológica, es decir, el ¿para qué se evalúa? Y se constituye en su deber ser o ideal, a partir de los supuestos teóricos existentes y concepciones pedagógicas existentes. Igualmente, se requiere indagar por la dimensión ética el ¿por qué se evalúa? Ya que imprime el sentido y la razón de ser de la evaluación.

La elaboración de una matriz descriptiva tiene como propósito recolectar información acerca de las prácticas evaluativas que se desarrollan de forma específica en el programa de posgrado, es decir, el ser como realidad institucional. Para ello se deben fijar dos momentos a saber: el de las intenciones y el de las observaciones. En el de las intenciones se revisan las fuentes de datos de carácter documental que debe contener la información que revela el querer ser del programa.

El momento de las observaciones se orienta a otros hallazgos a partir de los actores del proceso, de las interacciones y de las percepciones del evaluador, este momento corresponde a la fase poblacional ya que la evaluación responsiva permite volver como evaluador una y otra vez sobre las acciones que realiza "ayudando a las audiencias a mejorar y observar lo que están haciendo" [4].

Además, la matriz descriptiva tiene como propósito efectuar un análisis entre la idealidad, el querer ser y la realidad de los programas. Para ello se establecen tres niveles: los antecedentes, las transacciones y los resultados en los que se indaga por las dimensiones epistemológicas, ontológicas, procedimentales, administrativas y empíricas de la evaluación.

El nivel de los antecedentes lo constituyen las concepciones políticas, normas existentes, metas objetivos, recursos y demás condiciones textuales preexistentes a la interacción evaluativa, que definen la dimensión epistemológica de la evaluación. Del mismo modo comprende la definición de criterios que permiten la emisión de juicios y se constituye en la dimensión ontológica y de la normatividad institucional.

El nivel de las transacciones se configura a partir de los procesos de interacción entre los actores y recursos durante las prácticas evaluativas, es decir, responde al ¿cómo evaluar? y da cuenta de lo procedimental cuando se establece la dimensión metodológica, se determinan las estrategias e instrumentos mediante las cuales se evalúa lo administrativo, al identificar ¿quién evalúa? y el ¿cuándo evaluar?

El nivel de resultados está constituido por el ¿qué evaluar? o ¿quién evaluar?, es decir, los logros que se desean obtener a través de los indicadores que den cuenta de estos, lo cual corresponde a la dimensión empírica de la evaluación.

En general, la evaluación responsiva es una perspectiva en la búsqueda y en la representación de la calidad en un programa. Es una actitud más que una receta o un modelo. Ser responsivo significa orientarse hacia la experiencia personal estando allí, sintiendo la actividad, la tensión, conociendo la gente y sus valores. Se apoya fuertemente en la interpretación personal. Su diseño se desarrolla lentamente, con una adaptación continua del propósito de la evaluación y una recolección de datos acompasados con el evaluador que va conociendo el programa y su contexto.

La metodología básica consiste en realizar observaciones que se pueden complementar con muestreos, estudios de casos, eventos e informes descriptivos entre otros. La evaluación responsiva está atenta a eventos y episodios que aunque no sean representativos ayudan a comprender la complejidad del programa evaluado.

Algunos críticos señalan, al referirse a la evaluación responsiva, que las principales ventajas están en conceder más importancia a las actividades que a los propósitos del programa y responder a las necesidades de información y al nivel del conocimiento de quienes se encuentran interesados en el programa. Entre sus desventajas se encuentran la poca precisión de sus datos, no diferenciar entre descripción y análisis y restar importancia a la función política de la evaluación.

El modelo escogido, dentro de la propuesta para desarrollar un estudio, plantea la observación de lo que va a evaluarse en su ambiente natural, la consulta de las audiencias del programa para comprender las distintas percepciones que sobre él existen y la elaboración de transacciones en torno a esta variedad de significados sociales. La validez de este tipo de indagación reside en la comprensión del sentido que el programa tiene para sus audiencias y la respuesta real que da a sus necesidades. La consecución de la información en las distintas fuentes en busca de una intersubjetividad perceptiva, se potencia, a través de unas herramientas que se llaman matrices evaluativas Fig 1.

3.1. Antecedentes

Se refieren a la información más relevante sobre el historial. Son documentos recogidos y relacionados durante la Fase Documental.

3.2. Transacciones

Son los encuentros con la comunidad académica como profesores, estudiantes y administrativos. Se regulan por los diferentes documentos reglamentarios divulgados por la administración del programa.

3.3. Logros

Obtenidos en la práctica evaluativa. Determinan una notoria diferencia sobre la intencionalidad.

El trabajo se orienta para su desarrollo en dos fases: documental y poblacional, y debe permitir caracterizar las prácticas evaluativas del programa objeto de posgrado tomando en cuenta que uno de los principios de la evaluación es la consulta de diferentes fuentes o audiencias de un programa en torno al proceso evaluativo que se desarrolla. La caracterización se realiza sobre la base de informaciones, datos y hechos recogidos y ordenados sistemáticamente en los comunicados, directrices, reglamentos, normas y encuestas aplicadas a docentes, estudiantes y administrativos, lo que permite analizar la realidad de lo que sucede con las prácticas evaluativas del programa.

El estudio se configura como evaluatorio porque se ha de establecer un juicio de valores de los estamentos involucrados directa o indirectamente a los criterios y actividades de evaluación, y, al ser la evaluación fundamentalmente un proceso analítico y descriptivo, también ha de ser procesual al percibirse como un conjunto de fases, etapas, operaciones y funciones sucesivas y en desarrollo, conducente a un determinado resultado.

El enfoque metodológico Fig. 2. que se va a manejar se da desde:

3.4. Lo comunicativo

Debido a que la evaluación se apoya en los principios de la acción comunicativa, los cuales se desarrollan a través de la pragmática formal de la encuesta, siendo esta un mecanismo de coordinación de la acción entre los participantes; el uso de la encuesta permite identificar los alcances, las limitaciones y las posibilidades del proceso evaluativo.

3.5. Lo responsivo

Porque su finalidad ayuda a comprender a los docentes, estudiantes, directivos y administrativos los problemas, las fortalezas y debilidades del programa bajo estudio.

3.6. Lo hermenéutico

Por la interpretación que se hace necesaria cuando fragmentos del mundo de la vida social y académica se hacen problemáticos. En la evaluación se enfatizan aspectos como utilización de documentos del programa para identificar posibles asuntos importantes, realización de observación directa y personal de las actividades del programa antes de diseñar el estudio formalmente con el fin de incrementar la comprensión de lo que es importante en el programa y lo que se puede y debe caracterizar.

La consecución de información en las distintas fuentes o audiencias en busca de una ínter-subjetividad perceptiva, se potencia a través de matrices evaluativas.

El conjunto de la evaluación incluye los siguientes elementos [5]:

• Descripción y juicio del programa.
• Diferentes fuentes de datos.
• Análisis de la congruencia y las contingencias.
• Identificación de las normas pertinentes y opuestas.
• Las diferentes utilizaciones de la evaluación.

Las dos principales tareas son la descripción y el juicio del programa de posgrado, con base en lo que plantea Stuffebeam [6]. La descripción tomada como un acto básico de la evaluación de los antecedentes, supuestos y reales, de las operaciones didácticas y de los resultados que requiere el examen de sus congruencias y contingencias [7].

El juicio es otra de las tareas básicas del modelo de evaluación responsiva, que se toma en el desarrollo del estudio sobre la base de que una evaluación no tiene sentido hasta que se emite un juicio. El esquema de la estructura sustantiva por adelantarse en la metodología a seguir en el estudio para la recopilación de la información se observa en la Fig. 3, el cual se divide en tres sectores, así:

3.7. Base lógica

Representa la concepción del programa posgrado. Se formulan las preguntas ¿para qué evaluar? y ¿porqué evaluar?, Lo que ha de llevar a un análisis de contingencia lógica. Se han de identificar las normas. La información sobre estas fuentes de datos se deben reseñar en una Ficha General de Inventario de Documentos, de ahí se llega a la Ficha Documental para cada uno de los documentos previamente inventariados.

3.8. Matriz descriptiva

Allí se dan las intenciones, lo que pretenden los actores y las observaciones, o sea, lo que perciben. En esta parte se determinan los antecedentes, las transacciones y los logros. Se da una congruencia entre lo que se pretende y lo que se percibe con una comparación relativa. Esto lleva a un análisis de contingencia empírica.

3.8.1. Matriz de Juicio

Permite realizar la comparación absoluta con la Matriz descriptiva en los antecedentes, transacciones y logros para anotar los juicios valorativos. En esa Matriz de juicio se tienen en cuenta las normas como lo que generalmente se aprueba y los juicios como lo que se cree que debe ser el programa principal.

4. Metodología

4.1. Fase documental

El objetivo de la fase documental es reconstruir la experiencia, recolectar, ordenar y clasificar toda aquella información que ha sido requerida y encontrada de acuerdo con las prácticas evaluativas mediante el uso de instrumentos teóricos y técnicos de sistematización.

Se realiza un inventario de las fuentes de datos de estudio, ubicando los archivos principales donde reposa la información sobre el programa de posgrado. Se ubican documentos, que responden a las siguientes características:

La información sobre estas fuentes de datos se reseñan en un formato denominado "Ficha General de Inventario", luego se desarrolla la "Ficha Documental" para cada uno de los documentos previamente inventariados con los siguientes datos: número, título del documento, autor, datos de edición, tipo de documento, ubicación, categoría de estudio, dimensión del estudio, contenido general, observaciones, interrogación.

En esta fase se realizan dos procesos inseparables, pero diferenciables: la clasificación y categorización, los cuales se registran en la Matriz general y en la Matriz descriptiva. La clasificación debe permitir identificar las categorías que están relacionadas con las prácticas evaluativas: los fines, objetos, metodologías y sujetos. Las categorías definidas vinculadas con la práctica evaluatoria fueron: ¿para qué evaluar?, ¿qué evaluar?, ¿cómo evaluar? y ¿a quién evalúa? Estas a su vez se enmarcan en cuatro dimensiones que dan su significado teleológico, ético, empírico y epistemológico.

4.2. Fase poblacional

Esta corresponde a un momento del proceso investigativo que tiene como propósito recopilar información complementaria existente sobre las prácticas evaluativas del programa de posgrado con la intención de identificar las políticas, criterios, orientaciones, métodos, instrumentos y modos de operar de la actividad evaluativa del programa.

Los resultados del análisis documental constituyen el punto de partida de un proceso que apunta hacia la descripción y caracterización de la evaluación del programa. Esta fase ha de partir de una información a nivel documental, ampliada, enriquecida y validada con la muestra seleccionada de la población y la aplicación de instrumentos de encuesta. Alguna información que no se encuentra reseñada en documentos porque hace parte de la memoria colectiva o personal de los agentes del programa y se hace necesario corroborar lo consignado en los documentos de lo que se hace en relación con la evaluación, y de cómo se sugieren cambios en este sentido. Ello justifica un trabajo más directo con la población que ha estado activamente vinculada a estos procesos y actividades evaluatorias, útil para obtener una percepción amplia y diversa sobre esta realidad y de interés para comprender el impacto y los efectos que tiene interna y externamente el proceso evaluativo.

5. Resultados

A continuación se relacionan las tablas y figuras obtenidas como resultado de un estudio de investigación desarrollado a un programa de maestría y en el cual se obtuvieron los datos consignados en cada uno de los materiales que se exponen.

Al referirse a la evaluación como una práctica se ha querido significar que es una acción que se desarrolla siguiendo unos usos, cumpliendo unas funciones, que se fundamenta en ideas y formas de realizarse y que responde a los condicionamientos propios de las instituciones educativas. La práctica de la evaluación se explica en los saberes, en las interacciones, los métodos utilizados y las personas que la realizan. Caracterizar las prácticas evaluativas de un programa de posgrado, es una tarea que convoca a conocer y tratar de reconocer, en esas prácticas, los demás elementos implicados en un programa de posgrado.

Esta es la primera confirmación que se hace a través del ejercicio investigativo: la evaluación es a la vez elemento y factor de la educación, es decir, es un elemento del proceso educativo y paralelamente actúa como hilo que ata los otros elementos.

6. Conclusiones

Las prácticas evaluativas en la maestría se caracterizan por ser:

Desiguales. La evaluación en la maestría cumple con muchas finalidades, pero no están explícitas y no están acordadas. La situación problémica no está en la variedad existente sino en la ausencia de criterios suficientemente conocidos y discutidos. Los criterios facilitan la administración de la evaluación superando los aspectos meramente técnicos de la misma.

Procedimentales. Los instrumentos y las técnicas deberían ajustarse mucho más a lo que se quiere evaluar en un programa de maestría. Los procesos y lo procesual queda en un segundo nivel, esto en parte se explica porque no hay un consenso explícito suficientemente dialogado y compartido del ¿para qué se evalúa en una maestría en docencia? y cómo a través de la evaluación se contribuye al mejoramiento profesional cuando se retroalimenta de manera oportuna y formativa.

Heterónomas. La existencia de la heteroevaluación como la práctica que más marca los procedimientos evaluativos de la maestría es un signo que refleja la necesidad de crecer y orientarse hacia estadios más contributivos para la formación de la autonomía. ¿Cómo contribuir a la transformación e innovación de las prácticas evaluativas? En alguna medida, sin desconocer las implicaciones psicológicas que tiene la evaluación en relación con la motivación ya sea para el aprendizaje, la investigación o la enseñanza, el auto concepto, las actitudes y los valores. Es decir, la inclusión de la autoevaluación como práctica evaluativa con base en criterios es una gran posibilidad en la acentuación de los logros y de los desafíos, una gran fuente de motivación intrínseca de los estudiantes y de los docentes.

Normativas. Las prácticas evaluativas en la maestría responden a una acción de tipo control y a exigencias externas y a procesos pedagógicos. La evaluación, al igual que la investigación, en un programa de posgrado es una temática que debe considerarse parte esencial de las agendas de los encuentros de profesores, de la finalización de semestre y de los eventos académicos, entre otros. Es pues la evaluación una acción que no debe quedarse instalada únicamente en el cumplimiento del reglamento y en la asignación de la calificación, este hecho puntual es parte del proceso y del procedimiento evaluativo.

Referencias

[1] R. Stake, "El método evaluativo centrado en el cliente", en Evaluación Sistemática. Guía teórica y práctica. Barcelona: Paidós, 1995.        [ Links ]

[2] P. A. Luz Helena. Hacia un sistema de Evaluación en la Maestría en Docencia. Proyecto de Investigación - Etapa Diagnóstica. Universidad de La Salle. División de Formación Avanzada. Bogotá, D.C., 2003.        [ Links ]

[3] O. Flórez, "Evaluación Pedagógica y Cognición", Bogotá: McGraw Hill, 1999.        [ Links ]

[4] D. Stuffebeam, "La evaluación orientada hacia el perfeccionamiento", en Evaluación Sistemática. Guía Teórica y Práctica. Barcelona: Paidós, 1995.        [ Links ]

[5] R. Stake, "Standards based and responsive evaluation", en Thousand Oaks, California, USA: Sage Publications, 2004.        [ Links ]

[6] D. Stuffebeam, "Evaluación Sistémica", p. 253, Barcelona: Paidós, 1995.        [ Links ]

[7] F. O. R., "Evaluación Pedagógica y Cognición", en La Evaluación Cualitativa del Currículo, pp. 84 y 86, cap. V, Bogotá: McGraw Hill, 2001.        [ Links ]