Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Cited by Google 
Similars in
SciELO 
Similars in Google 
Permalink
1. Introducción
1.1. Interacciones de aula y la observación de las prácticas educativas. Aproximaciones y contribuciones
En la calidad de los resultados de aprendizaje inciden diversos factores relacionados con el docente, el aprendiz y el contexto en que ambos interactúan. De estos, tal como lo reportan diversos estudios, el profesor tiene un rol preponderante al generar, por un lado, oportunidades y situaciones pedagógicas que favorecen el aprendizaje de los estudiantes y, por otro, al incidir en la pertinencia y relevancia de los contenidos curriculares, el uso y la gestión del tiempo, la disciplina y en el clima del aula (Ball, 1998; García Gómez, 2006; Zibas, Ferretti, y Tartuce; 2006; Tello, 2008; Treviño, Toledo y Gempp, 2013). El trabajo del profesor es interaccional y dialógico y varía en función de las necesidades de aprendizaje, del contenido curricular y de las capacidades que tenga de gestión pedagógica y comunicativa en el aula (Husti, 1992; Villalta y Martinic, 2009). Las interacciones que ocurren entre estudiantes y profesores, principalmente verbales, siguen patrones discursivos (Rojas, Meneses y Joglar, 2019) vinculados con la construcción de significados compartidos, exploración de ideas e intereses y formulación de preguntas que conducen a la producción del conocimiento escolar.
Para el análisis de las interacciones pedagógicas suelen ocuparse pautas de observación de las acciones de interacciones de profesores y estudiantes. Entre ellas el más difundido es el instrumento CLASS que mide el apoyo emocional, la organización de la sala y el apoyo pedagógico que reciben los estudiantes (Godoy, Varas, Martínez, Treviño y Meyer (2016) y Treviño, Toledo y Gempp (2013). Por ejemplo, Godoy et al., (2016) utilizaron CLASS para estudiar las interacciones en clases de matemáticas en escuelas con trayectorias de mejoramiento y las contrastaron con aulas del mismo nivel educativo. Utilizaron, además, los dibujos de los estudiantes para captar las percepciones del proceso. Los resultados obtenidos muestran características propias de las escuelas de trayectorias exitosas tales como la actividad centrada en el profesor y clases organizadas, y características de escuelas en mejoramiento tales como las escasas oportunidades para los estudiantes de exponer, intercambiar ideas con sus pares e involucrarse en actividades de indagación o de análisis.
Treviño et al. (2013), caracterizan y profundizan en las interacciones en las prácticas pedagógicas de profesoras que ocurren al interior de las aulas de prekínder de colegios públicos y en situación de vulnerabilidad en tres dominios: apoyo emocional, organización de aula y apoyo pedagógico mediante la pauta de observación CLASS que luego compararon con aulas de Estados Unidos y Finlandia. Los autores verifican que el patrón de desempeño en las interacciones es similar en los tres países en los que alcanzan niveles medios de desempeño en los dominios de apoyo emocional y organización de la clase y menor en apoyo pedagógico.
El estudio de las interacciones de aula entre profesores y estudiantes ha permitido, entre otros, analizar las prácticas educativas en torno al aprendizaje desde diversos enfoques, categorías y empleo de instrumentos en los niveles y disciplinas escolares. Sin embargo, a pesar de ser usado con frecuencia las observaciones de clase, existen pocos estudios que reporten lo que sucede en el proceso de validación de las categorías para observar el fenómeno y más exactamente, en qué medida factores como los perfiles de formación y experiencia de los observadores podrían afectar y/o contribuir en este proceso, por ejemplo cuando se incluyen unidades categóricas más locales en la interacción para recoger los acuerdos y significados prevalentes en el acto comunicativo.
1.2. Los sucesos en el aula. Acuerdos y límites de los instrumentos de observación y la experiencia de los expertos
Los diversos sistemas de categorías de observación del aula que reporta la literatura se han diseñado en función de objetivos definidos, sustentado en criterio de expertos en los objetos a observar y entrenamiento a los codificadores en las categorías, todos con experiencia -aunque de diversa amplitud- de trabajo en aula (Cook et al., 2018; Sánchez-Alcaraz-Martínez, Gómez-Mármol, Valero-Valenzuela, Esteban-Luis, y González-Villora, 2018). La experiencia del docente en aula y los contextos sociales específicos son algunos de los elementos que inciden en la calidad de la interacción observada (Cadima, Aguiar y Barata., 2018; Wolf et al.. 2018). Dichos factores también pueden incidir en los observadores. Entrenar a los codificadores evidentemente favorece un campo intersubjetivo compartido de observación que está a la base de la validez interna y externa de las herramientas de observación; siendo necesario analizar en profundidad las características de los expertos o evaluadores que afectan o inciden en el proceso de validación.
Las investigaciones a nivel internacional muestran que, en términos generales, los procesos de validación de contenido y Habilidad de los instrumentos de observación de interacciones en el aula, se han centrado en el uso de juicios de expertos junto con la delimitación conceptual de los objetos de observación (Juárez y Tobón, 2018; Pedrosa, Suárez y García, 2013). Por ejemplo, Juárez y Tobón (2018) en la revisión bibliográfica que realizan reportan cómo diferentes autores establecen intenciones y requisitos que un grupo de expertos debe tener, tales como el alto grado de conocimiento de la temática, delimitación de categorías medibles y coherentes con el objeto de estudio, competencias para determinar la relevancia de los eventos observados, entre otros aspectos que caracterizan al experto como capaz de realizar una estrategia de evaluación confiable.
De este modo, se destaca como aspecto fundamental, el número de expertos y el tiempo dedicado a las observaciones al momento de evaluar, por ejemplo, la calidad de la enseñanza mediante los videos puesto que podrán afectar la validación del instrumento. Para el primero de ellos, García, Antúnez e Ibáñez (2016) indican que 10 expertos es un número razonable, pero dependerá de la finalidad de la investigación. En el segundo, Casabianca, Lockwood y McCaffrey (2015) en su estudio longitudinal con 458 profesores de matemáticas e inglés de sexto, séptimo y octavo grado en el desarrollo de dos clases o sesiones semanales durante dos años en las que, además de aplicar el instrumento CLASS-S y desarrollar un modelo estadístico sobre "teoría aumentada", analizaron segmentos de lecciones de clase, tiempos de observación, evaluadores y las interacciones en clase, así como los componentes de varianza para parámetros asociados con tendencias de tiempo en estos puntajes. Los autores señalan que el tiempo de observación que realiza un experto puede incidir en el resultado de las revisiones de las interacciones por lo que recomiendan que 20 ó 40 minutos son suficientes y efectivos para dicha actividad y propósito.
Existe preocupación por aplicar sistemas de validación de contenido y Habilidad en estudios que conllevan el análisis de la práctica educativa y en comprender factores asociados a los evaluadores o expertos como el tiempo de observación, la cantidad de expertos, apropiación y pertinencia de estos entre otros, pero aún se requiere conocer de qué modo el juicio de los expertos puede incidir en este asunto.
El objetivo de este artículo es analizar en qué medida las observaciones difieren en un grupo de profesionales de la educación con diferente nivel de experiencia en el sistema escolar chileno durante la validación de un sistema de categorías observacionales, que pretende determinar la calidad de las interacciones didácticas verbales entre estudiantes y profesores. Las preguntas que lo orientan son: 1) ¿cuál es el grado de acuerdo o desacuerdo del grupo de evaluadores al observar y codificar las interacciones didácticas verbales entre estudiantes y profesores en una clase de lenguaje de educación básica? y 2) estas observaciones ¿difieren en el grupo de profesionales según su formación profesional y experiencia en el sistema escolar?
A continuación, en el marco teórico se presentan y delimitan brevemente los conceptos e investigaciones referidos a la interacción verbal profesor-alumnos en el aula; seguidamente se describe la metodología empleada, de carácter descriptivo, donde se caracteriza a los participantes, el registro de clase que observaron se enfatiza en las categorías de observación a validar, y los procedimientos de análisis de datos. Posteriormente se presentan los resultados organizados en la concordancia de observadores y las características de estos. Finalmente, se muestra la discusión y las conclusiones del estudio.
2. Marco teórico
2.1. El concepto de interacción verbal didáctica en la práctica pedagógica de los profesores
La compleja relación entre aprendizaje y conocimiento en las salas de clase es una construcción interactiva de interés constante en los estudios educativos (Howe y Abedin, 2013; Mercer y Dawes, 2014). El estudio de las interacciones permite analizar significados culturalmente situados y construidos en las prácticas comunicativas de profesores y estudiantes (Candela 2001 ; Sánchez, García, Rosales, 2010; Villalta, Martinic y Guzmán, 2011).
Las interacciones son claves para entender la eficacia de la didáctica. En efecto, una didáctica no es solo una estrategia o técnica predefinida para enseñar, sino que implica, además, el ejercicio de competencias comunicativas pertinentes de saberes curriculares en los contextos comunicativos construidos en la interacción (Perrenoud, 2004; Schon, 1992). Las diversas perspectivas de estudio de la interacción didáctica comparten el supuesto de que es en el microproceso de la interacción donde se produce el aprendizaje y donde existe la posibilidad del cambio de la práctica pedagógica. En el curso de la clase, los profesores toman una serie de decisiones sobre qué enseñar y cómo hacerlo siendo determinadas, por el contenido que se trabaja y por el nivel de profundidad de las disciplinas escolares (Jiménez, Caamaño, Oñorbe, Pedrinaci y de Pro, 2003; Villalta y Martinic, 2012). Dar cuenta de estos micro procesos es clave para entender el aprendizaje y los factores interactivos que inciden en sus resultados.
En investigaciones sobre el aula han predominado los estudios inspirados en paradigmas que privilegian las relaciones proceso-producto. Un modo distinto de analizar el problema y la complejidad de las interacciones en el aula es el que aportan los estudios etnográficos y sociolingüísticos (Candela, 2001 ). Desde esta perspectiva la interacción didáctica no descansa en la simple transmisión de mensajes del profesor hacia los estudiantes, sino que en el diálogo y la interpretación que ocurre en la situación comunicativa mientras se enseñan dichos contenidos. Este diálogo es situado y debe considerar las experiencias e ideas previas de los sujetos, como también la influencia recíproca que existe en el intercambio. De este modo, las interacciones en la sala de clases no funcionan como un mero acto de transmisión. Por el contrario, constituyen procesos complejos que tienen una contingencia propia y que resultan de una relación particular entre los principios que estructuran las prácticas y las subjetividades de profesores y alumnos que intervienen en el contexto de la clase (Delamont, 1984; Candela, 2001).
No obstante, lo prolífico de los estudios de interacciones en el aula no hay consenso entre los investigadores sobre las estructuras dialogales o categóricas desde las cuales analizar los sucesos en sala de clase (Howe y Abedin, 2013). Esto ocurre, posiblemente, por el carácter contextual que tienen las interacciones. En tal sentido, algunos investigadores han avanzado en el desarrollo de categorías de análisis de la interacción considerando los aspectos culturales del diálogo (Hennessy et al., 2016). El enfoque socio-etnográfico-lingüístico de la interacción en el aula permite proponer categorías analíticas de los sucesos en el aula que tengan pertinencia cultural y/o validez ecológica. Desde esta perspectiva, este estudio asume estas premisas y propone un sistema de categorías para el análisis de las interacciones verbales didácticas observadas en la sala de clase. Este proceso exige de acciones que deliberan o limitan la comprensión de la práctica educativa. Uno de ellos está relacionado con las estrategias y toma de decisiones de quien evalúa la interacción, como lo veremos en el siguiente apartado.
2.2. Los expertos y su rol en la evaluación de interacciones de aula
El evaluar interacciones didácticas verbales en clase exige conocer quién es el evaluador, cuáles son sus antecedentes, qué relación tiene con la práctica pedagógica y qué habilidades tiene en esta tarea (Liu, Courtney, Jones, Mccaffre; 2019). El juicio de estos expertos es fundamental para determinar finalmente lo que sucede en el aula mediante un sistema de categorías analíticas que clasifica, por ejemplo, interacciones de aula registradas en videos (Liu et al., 2019).
En los estudios que analizan las interacciones de aula es posible distinguir dos grandes tipos. Por un lado, aquellos que están centrados en comprender cómo suceden las interacciones para determinar la calidad de la enseñanza. Por otro, los que analizan cómo estas interacciones aportan a la construcción de conocimientos en sus diferentes grados de complejidad cognitiva. Para ello se analiza, por ejemplo, las preguntas y respuestas explicitadas en un diálogo; las argumentaciones y explicaciones construidas en el intercambio, entre otros.
En ambos tipos de estudios se requiere de un conjunto de categorías y de un entrenamiento especializado de los observadores para realizar la clasificación o codificación de lo observado. Uno de ellos es Radovic y Preiss (2010) que al examinar las interacciones en profesores de matemáticas de segundo ciclo de educación básica de escuelas públicas mediante el tipo de preguntas y su asociación con actividades de la clase y desempeño del profesor, identificaron un patrón de interacción relativamente compartido, caracterizado por preguntas cerradas, escasa participación de los estudiantes y seguimientos de bajo potencial metacognitivo.
Sin embargo, estudios como el de Liu et al., 2019 ponen de manifiesto que aún con capacitación de los expertos y validación de las observaciones, se requiere prestar mayor atención a las características de ellos pues en su estudio al comparar cómo difieren tres sistemas de observación en contextos diferentes, hallan que la asignación cuidadosa del evaluador logró mayores puntuaciones válidas comparadas con aquellos que por ejemplo no eran profesores a pesar de recibir capacitaciones. De otro modo, Jølle (2015) al revisar la calidad de los textos analizó cómo los evaluadores utilizan con éxito diferentes estrategias para la toma de decisiones en situaciones de evaluación. Los resultados indican la existencia de una simetría entre el conocimiento, la participación de los evaluadores y su formación profesional.
3. Metodología
Diseño. El diseño del estudio fue cuantitativo, de naturaleza exploratoria y descriptiva con estudio de caso único (Yin, 2014) y tuvo como objetivos el analizar en qué medida las observaciones difieren en un grupo de profesionales dedicados a la educación con y sin experiencia en el sistema escolar chileno durante la validación de un sistema de categorías que abordan las interacciones verbales didácticas.
Se consideraron las normas éticas de investigación social, en consecuencia las videograbaciones se realizaron previo consentimiento de la directora y profesora responsable de la asignatura del centro educativo y la participación de los alumnos fue solicitada a padres de familia o apoderados mediante la firma de carta de consentimiento.
Participantes. Para la aplicación del sistema de análisis de las interacciones verbales didácticas, se seleccionaron cinco codificadores con los perfiles que se describen en la Tabla 1.
3.1. Sistema de codificación y análisis de las interacciones verbales didácticas
Se diseñó un sistema de categorías y subcategorías de análisis de las interacciones verbales didácticas donde la unidad de análisis fueron los intercambios realizados entre el profesor y el estudiantado. Para facilitar su identificación se hizo uso de marcadores discursivos, es decir, piezas lingüísticas que contribuyen a la organización global del texto en el tiempo y espacio de desarrollo del contenido del discurso (Tusón y Calsamiglia, 2004) que cuentan con un significado particular determinado por el contexto para ser interpretados (García Torres, 2010).
El sistema de codificación y análisis se constituyó en cinco categorías: 1) intercambios en la clase; 2) tipo de acción del profesor en el intercambio; 3) hablante principal; 4) dirección del habla del profesor y 5) estructura de la clase y 22 subcategorías como se detalla a continuación.
3.1.1. Tipo de intercambio
Los intercambios constituyen las unidades dialógicas de cooperación y de coacción más pequeñas de cualquier interacción social (Moeschler, 1985).Suponen la intervención de un primer Locutor (Ll), luego de un segundo locutor (12) que responde al acto de habla y/o contenido proposicional del primer locutor quien, finalmente, cierra en una tercera intervención el intercambio declarando su satisfacción con la respuesta entregada por 12. En caso de que la evaluación fuera negativa, es decir no satisface el requerimiento planteado, Ll puede abrir uno o más nuevos intercambios hasta lograr el acuerdo y satisfacción. En este caso, y a través de una co-construcción o negociación, se logra la satisfacción interaccional y acuerdo entre los interlocutores (Roulet, Auchlin, Moeschler, Rubattel, 1991). Este tipo de interacción es considerado cómo la forma más típica de comunicación del profesor con sus estudiantes en la sala de clases (Sinclair y Coulthard, 1978; Mehan, 2013; Roulet, 1991).
Los intercambios pueden adquirir distintas características,de acuerdo con el número de intervenciones e interlocutores en diálogo y, por lo general, en los contextos institucionales de la sala de clase adquieren ciertos patrones sistemáticos de interacción y de extensión (Sánchez, García, Rosales, 2010). De acuerdo con ello, en este estudio se propone distinguir los siguientes tipos de intercambios: 1) simples, 2) complejos, 3) inconclusos o truncos y 4) par. Las definiciones de estos junto con ejemplos se detallan en la Tabla 2.
3.1.2. Tipo de acción del profesor en el intercambio
En esta categoría, se distingue la intencionalidad a la base de las acciones realizadas por el profesor en el transcurso de la clase. Se consideraron las siguientes subcategorías: l) organiza la actividad, 2) controla la actividad, 3) realiza la actividad, 4) proporciona ejemplos verbales o prácticos, 5) promueve la participación de los alumnos y 6) modela la actividad. En la Tabla 3 se muestra la definición de cada una de ellas y un ejemplo.
3.1.3. Hablante principal
Esta categoría identifica al sujeto que realiza una intervención verbal que sobresale en el grupo en la unidad de tiempo de observación (Martinic y Vergara, 2007). Se identificaron como subcategorías: 1) profesor; 2) un alumno en particular; 3) varios alumnos; 4) ruido: ruido en la sala que no permite identificar al hablante principal; 5) silencio: No se identifica a un hablante principal, la o el profesor(a) no habla y tampoco se escucha a los estudiantes y 6) otros medios: se utilizan otros materiales (videos, música, pizarra) o no hay intervenciones. En la Tabla 4 se registran ejemplos para las tres primeras subcategorías.
3.1.4. Dirección del habla del profesor
Define la dirección o destinatario de intervenciones del locutor, sea profesor o alumno/a. Puede ser:1) pública: a toda la clase, 2) privada: a un alumno; 3) mixta (a un grupo) o sin intervención (el profesor no interviene verbalmente). Obsérvese en la Tabla 5, ejemplos de las tres subcategorías iniciales.
3.1.5. Estructura de la clase
Algunos estudios de carácter etnográfico distinguen tres partes básicas: inicio, desarrollo y cierre (Mehan, 2013). Señalan asimismo que tanto el inicio como el cierre definen el tiempo de la clase y permiten identificar determinadas acciones, así como el uso de tiempo para ellas.
En este estudio se consideró importante realizar una distinción al interior de las partes de Inicio y Cierre de la clase. En efecto, en ambas existe una dimensión social y otra pedagógica y, aunque son breves, son muy importantes de reconocer en sus funciones y especificidad. Por ello se agregan dos subcategorías a las partes secciones o partes tradicionales de una clase. En la Tabla 6 se definen y se ilustran con ejemplo.
3.2. Plan de análisis. Sistema de codificación. Confiabilidad y validez del contenido
3.2.1. Calibración de los codificadores
Antes de iniciar el proceso de codificación definitivo, se llevaron a cabo sesiones de trabajo, durante cuatro horas semanales por un periodo de dos meses, con el propósito de discutir sobre las dificultades, avances o dudas a partir de una codificación previa e individual, de tal modo que permitió establecer luego, un grado de acuerdo respecto al sistema de categorías propuesto.
La codificación siguió un modelo múltiple y se realizó con apoyo del software Videograph v5.0. La unidad de tiempo para marcar presencia o ausencia de cada una de las categorías fue de 10 segundos continuos (Bakeman & Quera, 2011).
3.2.2. Aplicación y determinación de la validez de contenido
Para determinar el análisis de concordancia inter-observador del conjunto de categorías se empleó el coeficiente Kappa de Cohen (k) mediante el programa ReCa13 para datos nominales codificados. En términos generales, el coeficiente corresponde a la proporción de concordancias observadas sobre el total de observaciones, excluyendo las concordancias atribuibles al azar. Este coeficiente toma valores entre -1 y +1, es decir, cuanto más cercano a +1, mayor es el grado de concordancia inter-observador. Los valores obtenidos fueron etiquetados según la clasificación de Altman (1991 en Torres y Perera, 2009) es decir pobre (0,00,00<0,20); débil (0,21-0,40); moderada (0,41-0,60); buena (0,61-0,80) y muy buena (0,81-1,00).
Marcelo y Perera (2007, p. 401) afirman "que la obtención de buenos valores de concordancia entre múltiples jueces es una tarea que demanda gran esfuerzo, concentración y dedicación" por tanto, se decidió centrar el cálculo estadístico de la Habilidad para cada una de las cinco categorías de manera independiente.
4. Resultados
Para determinar el grado de acuerdo o desacuerdo del equipo de evaluadores o expertos al observar y codificar las interacciones verbales didácticas entre profesores y estudiantes y cómo difieren sus perfiles profesionales y experiencia en aula, se describen a continuación dos momentos: 1) comportamiento de la fuerza de concordancia para el sistema de análisis en general y 2) grado de acuerdo de los participantes en cada categoría del sistema.
4.1. Comportamiento de la fuerza de concordancia para el sistema de análisis en general
La evaluación estadística indicó que las categorías: Tipo de intercambio, Hablante principal, Dirección del habla del profesor y, Tipo de acción del profesor obtuvieron unos índices K= 0.543, K= 0.532, K=0,602 y K= 0,509, es decir, una concordancia moderada. En tanto, la categoría Estructura de la clase, aquella que refiere a categorías que organizan la clase en 5 momentos secuenciales, obtuvo un K= 0,9 una muy buena concordancia (Tabla 7).
Tabla 7 Cálculo de los coeficientes Kappa de Cohen y Fuerza de concordancia general por categorías
Fuente: Elaboración propia
En términos generales, el sistema alcanza una concordancia moderada a muy buena lo que hacen de este, recomendable para su uso en el análisis de interacciones verbales didácticas en clase.
4.2. Grado de acuerdo de los participantes en cada categoría del sistema. Análisis de la fuerza de acuerdo y coeficiente de Kappa Cohen promedio por parejas en cada categoría
4.2.1. Tipo de intercambio
De acuerdo con los resultados obtenidos (ver Tabla 8) los pares 3&4, 1&5, 3&5 y 4&5 obtuvieron porcentajes de acuerdo entre el 83, 47% (K=0,637) y el 70,46 % (K=0,6I9), es decir, una buena concordancia. La observación de los datos indica que el nivel de acuerdo es bueno en los pares con experiencia en aula (1 y 5), con formación en psicología (3 y 4), y formación en psicología con la experiencia en aula de la educación básica (caso 5).
En tanto, los codificadores 1&4, 1&3, 2&5 y 2&4 alcanzaron porcentajes de acuerdo entre 62,60% (K=0,5I2) y 57, 45% (K=0,445), es decir, coeficientes equivalentes a una concordancia moderada. Finalmente, los pares 1&2 y 2&3 obtuvieron porcentajes entre 52,58% (K=0,395) y 50,68% (K=0,369) equivalentes a un nivel de concordancia débil. La observación de los datos indica que el acuerdo moderado se encuentra entre profesor de ciencias con experiencia en aula (caso l) con los profesionales de psicología; y es débil con el docente de filosofía sin experiencia en aula. El docente de filosofía sin experiencia en aula acumula la mayor cantidad de acuerdos entre moderados y débiles con el psicólogo (c4), el docente de básica con experiencia en aula (c5) y débil con el docente de ciencias con experiencia en aula (cl) y el psicólogo (c3).
En síntesis, el caso 5, profesora con experiencia docente de educación básica es quien tiene el mayor número de concordancia entre buena y moderada y el caso 2, profesor de filosofía sin experiencia en aula, es quien acumula los acuerdos entre moderado y débil con sus pares (Ver Figura 1).
Fuente: Elaboración propia.
Figura 1 Grado de acuerdo participantes, categoría "tipo de intercambio".
En relación con las subcategorías intercambio simple, par y complejo estas alcanzaron el mayor porcentaje de acuerdo, siendo estas diferencias estadísticamente significativas (p ≤ 0,05). Lo anterior indica que estas subcategorías están claramente definidas, lo que facilita su distinción.
4.2.2. Tipo de acción del profesor en el intercambio
Los resultados obtenidos (Tabla 8) muestran que los codificadores I&2, 4&5 poseen entre sí una muy buena fuerza de concordancia (K=0,99), alcanzando en ambos casos un 99.28% de acuerdo.
Por otro lado, en el nivel moderado se ubican los pares 2&5, 1&4, 1&5 y 2&4 con porcentajes entre 49, 76 % (K=0,34) y 49, 04% (K=0,33) de acuerdo. Los pares que alcanzan un nivel bueno de concordancia son el 3&5 (74,28%; K=0,67) y el 3&4 (73,57%; K=0,66). Finalmente, en el nivel de concordancia débil se ubican los pares 2&3 (40,47%; K=0,21) y l&3 (39,76%; K=0,2).
Entonces, el tipo de acción del profesor en el intercambio tiene mayor espectro de concordancia entre los codificadores comparado con el nivel de acuerdo alcanzado entre ellos al codificar los Tipo de interacciones. La más alta concordancia se da entre profesor de ciencias con experiencia en aula (c1) y profesor de filosofía sin experiencia en aula (c2), y entre profesor de básica con experiencia en aula (c5) y psicólogas (c3 y c4). Y la concordancia débil se da entre psicóloga (c3) con profesor de filosofía (c2) y profesor de ciencias con experiencia en aula (c1).
La mayor frecuencia de acuerdos entre moderados y fuertes son con el profesor de básica con experiencia en aula. El profesor de filosofía sin experiencia en aula (c2) reúne amplio espectro de acuerdos entre débiles y muy buenos. El profesor de básica con experiencia en aula (c5) reúne la mayor cantidad de concordancia entre moderados y muy buenos con sus pares (Figura 2).
Fuente: Elaboración propia
Figura 2 Grado de acuerdo participantes, categoría “Tipo de acción del profesor en el intercambio”.
Las subcategorías que presentan mayor porcentaje de acuerdo son: promover la participación del alumno, ejecución de la actividad y controlar la actividad siendo estas diferencias estadísticamente significativas (p < 0,05).
4.2.3. Hablante principal
Los resultados obtenidos (Ver Tabla 8) señalan que tanto el par 2&3 como el 4&5 alcanzan una fuerza de concordancia muy bueno con un porcentaje de acuerdo mayor al 99%. Por otro lado, los pares 2&5, 3&5, 2&4 y 3&4 obtuvieron porcentajes de acuerdo entre 63,19% (K=0,49I) y el 62,75% (K=0,485) equivalentes a una fuerza de concordancia moderada. Finalmente, los pares 1&4, 1&2 y 1&3 obtuvieron porcentajes de acuerdo entre el (54,32%; K=0,363) y el 51,66% (K=0,323) mostrando una débil fuerza de concordancia.
Es el profesor de ciencias con experiencia en aula quien reúne la mayor cantidad de acuerdos débiles (con c2, c3 y c4) con sus pares. El profesor de filosofía sin experiencia en aula reúne amplio espectro de acuerdos, entre débiles y muy buenos. En tanto, el profesor de básica con experiencia en aula (c5) reúne los acuerdos entre moderados y muy buenos. Con respecto a las subcategorías, los distintos pares coinciden en señalar "al profesor" como el hablante principal durante el desarrollo de las clases. Esto ratificaría un aspecto ampliamente reportado en la literatura, que indica que es el docente el responsable de guiar el desarrollo de la clase (Figura 3).
Además, la unidad de análisis utilizada permitió definir categorizar a "Un alumno en particular" como el segundo hablante principal.
4.2.4. Dirección de habla del profesor
Los resultados muestran (Ver Tabla 8) una muy buena concordancia entre los pares 1&2 y 3&4 con (98,22%; K=0,97) en ambos casos. Con respecto a los pares 1&5, 1&4, 2&3, 1&3, 3&5 y 4&5 los porcentajes de acuerdo fluctúan entre el 72,06% (K=0,56) y el 68,29% (K=0,47), es decir, el nivel de concordancia es bueno.
En este caso, la mayor frecuencia de concordancia entre muy buena y buena la tiene el profesor de ciencias con experiencia en aula (c1) (Figura 4).
4.2.5. Estructura de la clase
En esta categoría (Ver Tabla 8), la fuerza de concordancia resultó ser la más alta con respecto a las categorías antes mencionadas. La mayoría de los pares presentó una muy buena fuerza de concordancia, con porcentajes de acuerdo entre 99,56% (K=0,98) y 92,19% (K=0,82).
En tanto, la segunda fuerza de concordancia alcanzada fue de nivel bueno en los pares 1&5 (91,54%; K=0,80) y 3&5 (90,67%; K=0,78). Un mayor número de pares logró acuerdo, lo que indica que las subcategorías "inicio de lección" y "desarrollo" son las que destinan la mayor cantidad de tiempo, especialmente la segunda, que ocupa cerca del 75% del total de tiempo (Figura 5).
Fuente: Elaboración propia.
Figura 5 Grado de acuerdo participantes, categoría "Estructura de la clase"
Por otro lado, llama la atención el escaso tiempo destinado tanto al "inicio", "a la preparación de cierre" y al "cierre de la clase". Que son espacios que permiten al docente presentar contenidos, conocer los aprendizajes previos de los estudiantes como elementos que favorecen una clase más situada. En tanto, el cierre de la clase permite sintetizar ideas y sondear el nivel de retención de los estudiantes sobre el tema desarrollado.
En términos generales la Tabla 8 recoge el grado de acuerdo de los expertos u observadores para las cinco categorías evaluadas.
Tabla 8 Análisis de la fuerza de acuerdo y coeficiente de Kappa de Cohen (k) promedio por par de observadores en cada categoría de análisis.
Fuente: Elaboración propia
Destaca la concordancia muy buena entre los observadores 3 y 4 para intercambios, entre 1-2 y 4-5 para "tipos de acción del profesor en intercambios"; entre los observadores 2 -3 y 4-5 para determinar "hablante principal"; entre observadores 1 y 2 y 3 y 4 para observar la dirección del habla del profesor; la "estructura de la clase" es lo más consensuado entre todos los observadores.
Siendo gran parte de las concordancias encontradas por pares entre buena y muy buena, el mayor acuerdo se ubica en la categoría "estructura de la clase", y el menor acuerdo para describir los "tipos de acción del profesor en el intercambio", donde el nivel de concordancia llega a Moderada. Es decir, en una mirada global o macro de la clase suele haber acuerdo entre observadores. En cambio, en una mirada micro o más fina de los diálogos los observadores ya no ven lo mismo.
Aunque todos los observadores fueron igualmente capacitados y participaron del rediseño de las categorías, los resultados ponen en evidencia que las estructuras de observación previas persisten, lo cual la aleja de los acuerdos grupales, como es el caso de los observadores 1, 2 y 4 (Profesores de ciencias, filosofía y psicóloga), donde dos de ellos no poseen experiencia en aula.
5. Discusión de los resultados
Esta investigación se enfoca en estudiar en qué medida las observaciones de un grupo de profesionales con diferente nivel de experiencia en el sistema escolar chileno difieren durante la validación de un sistema de análisis de interacciones didácticas verbales en sala de clases, analizada esta intención desde dos preguntas: ¿cuál es el grado de acuerdo o desacuerdo del grupo de evaluadores al observar y codificar las interacciones didácticas verbales entre estudiantes y profesores en una clase de lenguaje de educación básica? y estas observaciones 2) ¿difieren en el grupo de profesionales según su formación profesional y experiencia en el sistema escolar?
Con respecto a la primera pregunta, al comparar los resultados por perfiles profesionales se encuentra que los evaluadores que tienen experiencia docente en aula y formación pedagógica suelen tener niveles de concordancia buena y moderada entre ellos, en casi todas las categorías -excepto la referida al hablante principal-; algo similar se observa entre quienes corresponden a otras disciplinas profesionales (psicólogas) donde el nivel de concordancia incluso puede llegar a ser muy bueno al momento de categorizar la dirección del habla del profesor.
La razón de estas diferencias reside en que la experiencia profesional -entre docentes con experiencia en aula y entre psicólogos- ofrece también un lenguaje común para reconocer y precisar los marcadores discursivos (en particular, la identificación de las múltiples funciones que estos cumplen en la progresión lógica del discurso durante el desarrollo de la clase) lo que a su vez facilita la identificación del comienzo y el final de una categoría, especialmente en aquellas más complejas. Estos resultados son concordantes con lo hallado por Jølle (2015) si bien los evaluadores utilizan estrategias compartidas de análisis, es su experiencia profesional (profesores de aula) la que determina su decisión final con respecto a la calidad del texto y las interacciones en clase.
En consecuencia, el presente estudio verifica que es precisamente una de las características que los expertos deben poseer para una exitosa evaluación de las interacciones didácticas verbales entre profesores y estudiante. Por tanto, esta condición puede estar asegurando una calidad en el resultado del análisis observacional y con ello superar algunos de los obstáculos mencionados por Juárez y Tobón (2018) como también, el minimizar el error del evaluador al realizar puntuaciones más válidas y evitar el sesgo (Liu et al.. 2019;White, 2018).
El perfil docente sin experiencia de trabajo en aula (c2) tiene variados niveles de acuerdos con sus pares, siendo mayor la concordancia con uno de los docentes con experiencia en aula al momento de observar el tipo de acción y dirección del habla del profesor. La concordancia más baja se observa precisamente entre profesores con y sin experiencia de aula al momento de categorizar los tipos de intercambio de "débil a moderada".
Para la segunda pregunta de investigación, los resultados ofrecen elementos a considerar para el análisis de las clases y de los observadores de estas, referidas a la formación profesional y experiencia en el aula. Específicamente, los resultados tienden a confirmar los estudios sobre el rol que tiene la reflexión de la experiencia de trabajo en aula en el tipo de interacciones que se observan (Godoy et al., 2016;Treviño et al., 2013); es posible que la formación profesional y la experiencia en aula incidan en los niveles de acuerdo con el cual pueden llegar los observadores con las categorías propuestas, especialmente cuando se trata de categorizar los tipos de intercambio, donde el profesor de educación básica con experiencia en aula recoge la mayor frecuencia de concordancia entre buena y moderada; no obstante, similar fuerza de concordancia se encuentra entre los psicólogos sin experiencia de trabajo en aula (Figura 1).
De otro parte, con respecto a la matriz de observación, el trabajo realizado condujo a una versión válida para el análisis de esta temática. Sin embargo, un elemento no menor es la selección del tiempo designado como unidad de análisis (10 segundos), que si bien permitió una mayor profundidad en la observación y recoger mayor detalle de las interacciones ocurridas, por otro, elevó el grado de dificultad para el análisis de algunas categorías, lo que implicó un mayor tiempo para el logro de una adecuada consistencia entre los evaluadores o expertos.
Otro aspecto a considerar es la inclusión de variables de tipo "gestión" y "corporal", pues como se mencionó en el documento principal existen momentos de la clase en que el docente si bien no recurre al lenguaje hablado, su medio de comunicación son señas, sonidos, entre otros.
Finalmente, independientemente de los aspectos recién mencionados, y que por el momento constituyen parte de los límites del estudio, podemos afirmar que las categorías del instrumento, son fiables.
5. Conclusiones
Analizar las interacciones profesor - estudiantes demanda una preparación previa no sólo del instrumento sino también de los codificadores. La docencia con experiencia en aula favorece los niveles de acuerdo con el momento de categorizar los tipos de intercambio y la dirección del habla del profesor. Posiblemente esa misma experiencia personal se moviliza para interpretar la aplicación de las categorías lo que hace más complejo que lleguen a un total acuerdo sobre lo que observan. No es el caso de los profesionales psicólogos del estudio, quienes, al no contar con experiencia de aula, aplican las categorías sin los sesgos de la experiencia, pero posiblemente también sin el saber práctico para evaluar la pertinencia cultural de la acción en aula observada.
Asimismo, se propone un sistema de evaluación de los sucesos en el aula con niveles de acuerdo de tipo moderado y fuerte. El análisis de las variaciones inter-observador indican que los niveles de acuerdo dependen parcialmente de la formación profesional o de la experiencia previa de trabajo en el aula. Aunque los resultados de este estudio no son concluyentes respecto al papel de la formación profesional y papel de la experiencia en aula para clasificar los sucesos comunicativos en la sala de clase, son relevantes para la comprensión de la práctica educativa dado que ofrecen la posibilidad de estudiar, de manera confiable, la acción del docente en el aula en referencia a la estructuración de la clase, a los tipos de intercambios comunicativos y las acciones que desarrollan durante estos. La información generada proporciona elementos para la formación inicial y continua de profesores que permitan fortalecer y mejorar la observación crítica de sus prácticas pedagógicas en aula.
Se identifica como una de las limitaciones en este estudio, el número de observadores (evaluadores) que permitan hacer generalizaciones a pesar de validar un sistema de análisis de las interacciones didácticas verbales entre profesor y estudiante en clases de lenguaje, aunque ello demande tiempo en la calibración de las observaciones y acuerdos entre estos, como bien lo reconoce la literatura.
Se recomienda, por tanto, profundizar otras relaciones mediante análisis estadísticos que permitan avanzar en el entendimiento del perfil de los evaluadores, su rol e importancia cuando se analiza la práctica pedagógica como edad, género, percepciones de ellos con respecto al proceso evaluativo, conocimientos de contenido, entre otros que puedan incidir en los juicios que emiten sobre los sucesos observados en el aula.
