Español (pdf)
Articulo en XML
Referencias del artículo
Traducción automática
Enviar articulo por email
Citado por SciELO 
Citado por Google 
Similares en
SciELO 
Similares en Google 
Permalink
Introducción
El currículo de los estudios oficiales de grado estructurado por competencias se ha ido imponiendo como el enfoque pedagógico dominante en los últimos años en todo el mundo, y Chile no ha estado ajeno a este proceso. En este contexto se ha dado un gran impulso al rediseño de los planes de estudio de carreras universitarias en las últimas décadas, debido al apoyo económico entregado por el Ministerio de Educación de la nación (Ampuero et al.,2014).
Diferentes autores coinciden en afirmar que uno de los elementos más decisivos de este nuevo paradigma en la enseñanza es la evaluación (Ampuero et al., 2014; Ibarra y Rodríguez, 2010; Olmos- Miguelañez & Rodríguez Conde, 2010; San Martí, 2008) porque condiciona todo el proceso de aprendizaje. Es decir, de la evaluación depende la calidad del proceso formativo en su totalidad.
Este estudio focaliza la atención en la autoevaluación. Panadero (2011) define este concepto como "la valoración cualitativa de la ejecución, esto es, proceso de aprendizaje y del producto final del mismo, valoración realizada a partir de unos criterios preestablecidos y modulada por los niveles de perfección" (p.78). Se entiende como valoración cualitativa no el hecho de autocalificarse sino se refiere al el proceso de comprensión por parte del alumno. El mismo autor hace la diferencia entre el valor de la autoevaluación como recurso pedagógico o instruccional formando parte de la evaluación formativa y el valor de la autoevaluación como proceso de autorregulación del propio aprendizaje. El docente puede utilizar la autoevaluación como una estrategia instruccional teniendo presente un segundo objetivo, cual es el de entrenar el proceso interno autorregulatorio de los estudiantes (Panadero, en Panadero y Alonso, 2014).
Efectivamente, la autoevaluación se aprende, y los estudiantes deben ejercitarse en esta práctica, tomando conciencia por sí mismos de sus logros, errores y aspectos por mejorar durante el aprendizaje de las competencias. Esto genera en los estudiantes una actitud más responsable ante su propio aprendizaje (autorregulación). En consecuencia, la autoevaluación es la estrategia por excelencia para educar en la responsabilidad y aprender a valorar, criticar y reflexionar sobre el proceso de aprendizaje individual realizado por los estudiantes (Torrez-Meruvia, González Sabate y Tena León, 2010).
Otro elemento importante para destacar en el proceso de autoevaluación es el efecto positivo sobre el aprendizaje cuando se le relaciona con tareas auténticas, estimula a los estudiantes a utilizar conocimientos en un contexto realista, propicia el desarrollo de una gran variedad de destrezas y los estudiantes la perciben como beneficiosa a largo plazo (Andreu-Andres, 2009). Diferentes estudios han demostrado que la autoevaluación y la evaluación entre pares son un estímulo para alcanzar un aprendizaje profundo y el desarrollo de un pensamiento crítico (Figueira Martínez, González Tellado, Raposo Rivas, 2013).
Estudios dan cuenta de una correlación positiva entre el ejercicio de la autoevaluación y el incremento de la capacidad crítica, la objetividad metodológica y la predisposición más alta hacia el trabajo en equipo (Rugiero Pérez, Apip Gautier, Hirmas Yunis, 2006). Mas aún en el ámbito empresarial, en el que se han reconducido los procesos de gestión de competencias, se subraya la necesidad de desarrollar la capacidad de observarse a sí mismo y evaluarse de forma coherente comparando sus conclusiones con las de los demás (jefes, profesores, compañeros). Por tanto, el aprender a autoevaluarse tiene valor en el perfil profesional, por cuanto es una actividad que está descrita en la mayoría de los manuales de funciones y especialmente en la asistencia sanitaria.
Cuando se habla de evaluación una pregunta que subyace es ¿cómo se evalúa? La respuesta deende del instrumento que aparezca como más apropiado y congruente con las estrategias pedagógicas utilizadas. Sin embargo, evaluar las propiedades psicométricas de un instrumento es un criterio esencial para determinar la calidad de su medición (Carvajal, Centeno, Watson & Sanz Rubiales, 2011). Las dos características métricas esenciales para valorar la precisión de un instrumento son la validez y la confiabilidad.
La validez se refiere al grado en que un instrumento mide realmente la variable que pretende medir. La validez es una pieza clave tanto en el diseño de un cuestionario como en la comprobación de la utilidad de la medida realizada (Carvajal et al., 2011). Mientras que la confiabilidad se define como la cantidad de la varianza presente en los resultados de la medición que se debe a diferencias reales en la magnitud de atributo medido. En otras palabras, la confiabilidad de un instrumento se refiere al grado en que su aplicación repetida al mismo individuo u objeto produce resultados iguales (Hernández, Fernández y Baptista, 2010).
La competencia clínica es compleja, y debe ser evaluada en el contexto de problemas clínicos relevantes y específicos, no de forma aislada. Por tanto, es un concepto multidimensional, y como tal debe utilizarse diferentes tipos de instrumentos de evaluación que permitan realizarla de forma objetiva, confiable y válida.
En este contexto, la rúbrica es considerada por varios autores como una herramienta versátil que puede utilizarse de forma muy diferente para evaluar y para tutorizar los trabajos de los estudiantes; también se refieren a ellas como guías de puntuación que describen las características específicas del desempeño de un producto, proyecto o tarea en varios niveles de rendimiento o ejecución (López de Guereño, Tamayo Orbegozo, Villarreal Larrinaga, Albizu Gallastegui, 2013; Marin, Guzman y Castro, 2012; Moya et al., 2017; Durá Ros, 2013). También se le atribuye el potencial de promover el aprendizaje autónomo y mejorar la instrucción del tutor, dado que las rúbricas hacen explícitos los criterios de evaluación, facilitan la retroalimentación y la autoevaluación (Raposo y Martínez, 2011).
Dado el contexto anterior, se plantea esta investigación para determinar la confiabilidad interobservadores de la rúbrica para ser utilizada como instrumento válido en la autoevaluación de la experiencia clínica de los estudiantes de enfermería.
Objetivo general
Determinar el alcance de la rúbrica como instrumento confiable para la autoevaluación del aprendizaje clínico de los estudiantes de enfermería producto de la experiencia intrahospitalaria en una asignatura de tipo teórico-práctico.
Hipótesis
La hipótesis nula declara que las diferencias en los resultados obtenidos al aplicar la rúbrica por los docentes como heteroevaluación y por los estudiantes como autoevaluación no son estadísticamente significativas cuando el p valor sea > a 0,05.
Metodología
Se trató de una investigación cuantitativa, de tipo descriptiva, de corte transversal, cuyo objetivo fue determinar el alcance de la rúbrica como instrumento confiable para la autoevaluación del aprendizaje clínico de los estudiantes de enfermería producto de la experiencia intrahospitalaria en una asignatura de tipo teórico-práctico, "Cuidados de Enfermería al Adulto y Adulto Mayor", en una Universidad pública en Chile, año académico 2018.
Población y muestra
Para esta investigación se consideraron los siguientes participantes:
Docente supervisor de práctica clínica: se entendió por docente supervisor de práctica clínica a profesionales de enfermería contratados por la universidad para ejercer docencia teórica y práctica. De acuerdo con el número de estudiantes, se necesitaron cuatro docentes. N=4.Se consideró una muestra censal n=4.
Estudiantes: La población estuvo conformada por todos los estudiantes matriculados en primer año que cumplieron los criterios de inclusión en el segundo semestre del año académico 2018, N=40. Por ser una población de pocos estudiantes, se consideró una muestra censal, n=40.
Tipo de muestreo: Se realizó un muestreo no probabilístico por conveniencia, ya que se trató de la primera asignatura teórica-práctica dentro del currículum con práctica clínica en un hospital y, por ende, la aplicación de la rúbrica como instrumento de evaluación de esa experiencia.
Criterios de inclusión y exclusión: Se incluyeron en el estudio todos los estudiantes de enfermería matriculados en la asignatura Cuidados de Enfermería al Adulto y Adulto Mayor, que se impartió en el segundo semestre del primer año de la carrera, durante el año académico 2018, que hubieran aprobado la parte teórica de la asignatura con nota 4.0 y hubieran firmado el Consentimiento Informado (CI)
Variables de estudio. Fueron las competencias y resultados de aprendizajes (RA) contenidas en la rúbrica:
Competencia específica 1: Otorga cuidados básicos de enfermería para la promoción y prevención de la salud.
RA 1: identifica conceptos fundamentales que sustentan el cuidado.
RA 2: aplica el proceso de enfermería.
RA 3: realiza cuidados básicos de enfermería.
Competencia específica 2: Se integra paulatinamente al trabajo en equipo. RA 4: identifica las bases del trabajo en equipo y el rol de enfermería. RA 5: aplica conceptos del trabajo en equipo.
Competencia genérica 1: Planifica y organiza sus actividades académicas. RA 6: desarrolla actitudes y habilidades sociales básicas. RA 7: desarrolla capacidad de autogestión.
Recolección de datos
Instrumento: La rúbrica utilizada fue validada por juicio de experto en el 2016, V de Aiken de 0.88 (Espinoza, 2019a).
En 2016 se hizo modificaciones a la rúbrica, se realizó análisis de confiabilidad interna, Alpha de Cronbach 0.83, análisis de confiabilidad externa con la participación de dos tipos de docentes diferentes y prueba de estabilidad temporal aplicando método Test-retest CCI=(IC 95 %) 0,811 (0,648; 0,898) y 0,564 (0,190; 0,766).
La rúbrica demostró ser un instrumento estable al ser utilizado por diferentes observadores y en diferentes periodos de tiempo (Espinoza, 2019b).
Para este estudio, la rúbrica contiene 2 competencias específicas, 1 competencia genérica y 7 resultados de aprendizaje.
A cada resultado de aprendizaje se le asignaron cinco criterios de desempeño (excelente, muy bueno, bueno, insatisfactorio y deficiente), cada uno con puntajes que se distribuyeron en rangos de desempeño, en donde:
Destacado: un score de máxima puntuación: 70 puntos.
Adecuado: un score intermedio de 55 - 43 puntos.
Deficiente: un score mínimo de 42 puntos y menos (tabla 1).
Bajo este rango deficiente, los estudiantes no aprobaron la práctica clínica.
Procedimiento
El curso tuvo una matrícula de 40 estudiantes. A cada docente se le asignaron grupos de 5 estudiantes por vez para que supervisara la práctica intrahospitalaria, que duró cuatro semanas; al término del cual se aplicó la rúbrica de evaluación. Se terminaba con un grupo, se evaluaba e iniciaba otro grupo de 5 estudiante por otras cuatro semanas. En total, cada docente debió evaluar 10 estudiantes.
La rúbrica fue dada a conocer a los estudiantes desde el inicio de la práctica, como una forma de familiarizar al estudiante con el instrumento y para dar claridad de los resultados de aprendizaje que debían lograr.
La dinámica de evaluación fue la siguiente: al término de cada semana, el docente revisaba la rúbrica con el estudiante y se le realizaba una evaluación formativa por escrito. El estudiante, de igual manera, registraba los aspectos que debía mantener y los que debía mejorar para alcanzar las competencias requeridas.
Al término de la cuarta semana, se realizó la evaluación sumativa; en un mismo tiempo el docente aplicó la rúbrica y el estudiante también. Se revisó ambos instrumentos, cotejando los criterios que tenían diferencias. De acuerdo con cada caso se mantuvo la evaluación más alta.
Análisis de los datos
Se realizó estadística descriptiva, se calcularon puntajes promedios, medias, medianas y desviaciones estándares para la rúbrica completa, para sus competencias y resultados de aprendizajes.
Se realizó prueba de medias, Prueba de normalidad de los datos y cálculo de la T de Student
Se realizó análisis de confiabilidad de la rúbrica a través de la medición de la consistencia interna del instrumento, Coeficiente Alpha de Cronbach. Para este estudio se aplicó el criterio de George y Mallery (2003).
Se realizó análisis de consistencia externa a través de la medición Coeficiente de Correlación Intraclase (CCI). Para este estudio se aplicó criterio de Landis y Koch (1977), en donde un valor de CCI cercano a 1 ilustra que la variabilidad total observada se debe a las diferencias entre los sujetos estudiados.
Estas pruebas son las utilizadas para medir la confiabilidad de un instrumento, verifican la hipótesis de estudio y estiman el nivel de concordancia que existe entre dos o más examinadores. Todos los análisis de datos se realizaron con el software SPSS 21 y se estableció un nivel de significación estadística de pvalor= o >0,05.
Resguardos éticos. Se solicitó autorización a la directora de Escuela, y todos los participantes, docentes y estudiantes firmaron en forma voluntaria un Consentimiento Informado (CI). Esta investigación no contempló el manejo de datos sensibles, por cuanto no fue necesario la autorización del Comité de Ética. Los datos fueron anonimizados; todas las bases de datos del estudio estuvieron protegidas electrónicamente con códigos que limitaban el acceso únicamente al investigador
Resultados
■ Caracterización de los participantes:
Estudiantes: De un total de 40 estudiantes matriculados en la asignatura, participaron 37 estudiantes que cumplieron con el criterio de haber aprobado la parte teórica de la asignatura con nota igual o superior a 4.0 como requisito para ingresar a la práctica clínica, con un promedio de edad 19 años, la mayoría de sexo femenino (gráfico 1).
Docentes: Los docentes supervisores de práctica clínica que participaron fueron 4, la mayoría con más de 20 años de experiencia clínica, más de 5 años de experiencia en docencia y con formación en docencia, la mayoría cuenta con estudios de Magister en Pedagogía de Educación Superior (Tabla 2)
■ Análisis descriptivo: prueba de medias, prueba de normalidad prueba T de student
De los resultados obtenidos en la aplicación de la rúbrica por ambos evaluadores, se observa que la media de las puntuaciones registradas por docentes supervisores (heteroevaluación) fue levemente menor al puntaje logrado por los propios estudiantes (autoevaluación), 57,5676±4.573 puntos versus 58,1081±5.20 puntos (tabla 3).
Según la prueba de normalidad, los datos siguen una distribución normal (tabla 3), se realizó la Prueba T de Student para muestras pareadas. Se tiene que:
Ho: Hipótesis nula: declara que las diferencias de la aplicación de la rúbrica por los docentes supervisores como heteroevaluación y las aplicadas por los propios estudiantes como autoevaluación no son estadísticamente significativas cuando el p valor sea > a 0,05.
H1; Hipótesis alternativa: declara que las diferencias de la aplicación de la rúbrica por docentes supervisor y por estudiantes son estadísticamente significativas cuando el p valor sea < a 0,05.
De acuerdo con los resultados mostrados en la tabla 3, el valor de igualdad de varianzas es de ,637, cifra mayor a Sig.>0,05. Por lo tanto, la diferencia de las muestras no es estadísticamente significativa. No se rechaza la hipótesis nula.
■ Análisis de Confiabilidad. Coeficiente Alpha de Cronbach
Se obtuvo un Coeficiente Alpha de Cronbach aceptable. Se observa mejor consistencia en el instrumento aplicado por los estudiantes.
■ Análisis de Confiabilidad Correlación Intraclase
Considerando las puntuaciones obtenidas por ambos evaluadores (heteroevaluación - autoevaluación) se tiene un nivel promedio de concordancia 0.655, lo que de acuerdo con el criterio acogido de representa una concordancia entre evaluadores sustancial (tabla 5).
Discusión
En esta investigación se analizó la confiabilidad de la rúbrica para la autoevaluación. Se obtuvo un valor de Alpha adecuado 0.750, aun cuando la muestra de estudiantes fue pequeña.
Jonsson y Svingby (2007) revisaron 7 estudios sobre fiabilidad intrajueces. La mayoría de estos estudios utilizaron el Alpha de Cronbach para evaluar la consistencia de las rúbricas de evaluación de competencias en estudiantes universitarios y valores de Alpha en torno a 0,70 fueron considerados como suficientes. Los autores hicieron notar en sus conclusiones la importancia de la formación de los evaluadores como característica principal para el uso de la rúbrica. En este sentido, los estudiantes participantes en esta investigación conocieron el instrumento al inicio de la práctica, sin embargo, no tuvieron entrenamiento en su uso.
En relación con el análisis de confiabilidad externa, se obtuvo un Coeficiente de Correlación (CCI) 0,655, lo que de acuerdo con el criterio elegido es sustancial. En otro estudio similar realizado por la investigadora del presente estudio, comparando variabilidad interobservadores entre diferentes docentes de enfermería supervisores de práctica y estabilidad temporal, el CCI fue = 0,690 en evaluación formativa y CCI= 0,811 en evaluación sumativa al final de la experiencia clínica. Este estudio consideró como muy importante la acción de la retroalimentación formativa permanente, la formación en docencia de parte de los evaluadores y el conocimiento que se tenía de la rúbrica previo a la aplicación (Espinoza, 2019b).
En el caso de los estudiantes de enfermería que deben ser evaluados por diferentes docentes con una misma rúbrica de evaluación, se reconoce el sesgo entre los observadores o evaluadores como una fuente importante de error de medida en la variabilidad entre observadores (Mandeville, 2005). En consecuencia, los estudios de confiabilidad de una rúbrica deben estimar el grado de dicha variabilidad.
En este sentido, la literatura revisada evidencia el cálculo del Coeficiente de Correlación Intraclase (CCI) o el índice de Kappa para variables categóricas (Norcini et al., 2011; Valverde Barrocoso y Ciudad Gómez, 2014; Cano, 2015). Este análisis es utilizado frecuentemente en investigaciones de tipo clínico, en las que el objetivo es evaluar la concordancia entre los métodos y/o instrumentos para diagnóstico médicos y sus mediciones. Estos estudios dan cuenta de que la precisión de la medida puede alterarse por la variabilidad de los observadores; la variabilidad dada por el instrumento de medida o por la variabilidad debida a medir en momentos diferentes en el tiempo (Cortés-Reyes, Rubio-Moreno y Gaitan-Duarte, 2010).
Del mismo modo, fue posible probar la Hipótesis nula, toda vez que las diferencias de la aplicación de la rúbrica por los docentes supervisores como heteroevaluación y las aplicadas por los propios estudiantes como autoevaluación no fueron estadísticamente significativas.
La literatura revisada ampliamente confiere a la rúbrica la capacidad de facilitar la calificación del desempeño del estudiante en las áreas del currículo (asignaturas o temas) que son complejas, imprecisas y subjetivas de evaluar (Torres Gordillo y Pereira Rodriguez, 2010; Lima-Rodríguez, Lima-Serrano, Ponce- González y Guerra-Martin, 2015). Las competencias clínicas son complejas; por tanto se requiere de instrumentos objetivos y confiables, más aún si se dan en ambientes clínicos, llámese hospitales o centros de atención primaria (Renjith, George, Renu & D'Sousa, 2015; Shipman, Roa, Hooten & Wang, 2012).
La autoevaluación es la forma de evaluación que hace una persona de sí misma. Esta modalidad es muy importante para el desarrollo personal y profesional (Panadero, Alonso, 2014), supone aspectos claves para el desarrollo de la madurez humana como son autocrítica, autoconocimiento, autoconcepto y objetividad sobre uno mismo (Andreu-Andrés, 2009; Torrez Meruvia, González Sabate y Tena León, 2011; Figueira et al., 2013). Esta capacidad debe aprenderse y los estudiantes deben ejercitarse en esta práctica. Es muy importante que el estudiante esté convencido de que a través de la evaluación se puede aprender y que adquiera responsabilidad en el ejercicio de sus nuevas funciones; en este sentido el estudiante se transforma en agente activo de su propia evaluación al mismo tiempo que aprendiz del contenido que se evalúa (Raposo Martínez, 2011).
De acuerdo con lo anterior, la autoevaluación tiene un efecto positivo sobre el aprendizaje cuando esta se relaciona con tareas auténticas, es decir, los resultados de aprendizaje se adquieren en contextos lo más parecidos a la realidad. Delgado García y Oliver Cuello (2009) advierten que el aprendizaje debe ponerse en relación con la complejidad que los estudiantes pueden encontrar en la vida cotidiana, lo que representa exigencias razonables; esto anima a los estudiantes a utilizar conocimientos en un contexto realista, propicia el desarrollo de una gran variedad de destrezas y los estudiantes la perciben como beneficiosa a largo plazo (Tobón, Pimienta y García, 2010).
Diferentes estudios han demostrado que la autoevaluación y la evaluación entre pares son un estímulo para alcanzar un aprendizaje profundo y el desarrollo de un pensamiento crítico y reflexivo (Medina y Castillo, 2017). En este sentido, la autoevaluación en contextos clínicos como parte de la formación de los estudiantes de enfermería es una herramienta eficaz que los prepara a lo largo de la formación profesional, como es desarrollar el pensamiento crítico para realizar una práctica reflexiva, tomar decisiones inmediatas en contextos complejos de cuidado como lo es un hospital. Esta competencia puede ser muy bien valorada en los perfiles de egreso profesional cuando se trata del mundo del trabajo (Medina y Castillo, 2017, Espinoza, 2019b).
Autores argumentan que una rúbrica bien planificada, construida por grupo mixtos de profesores y estudiantes, y validada en su contenido por panel de expertos y por medios estadísticos aportan al proceso enseñanza-aprendizaje mejores oportunidades para una evaluación auténtica. Múltiples experiencias fundamentan la ventaja de crear las rúbricas con los estudiantes; por ejemplo, Fraile, Panadero y Pardo (2017), Sküladóttir y Hrónn (2016) y Karayurt, Merte y Beser (2009) evaluaron aportes significativos para el estudiante al ser evaluados con una rúbrica que ellos mismos habían ayudado a elaborar versus ser evaluados con otra rúbrica. Evidenciaron mejoras en la autoeficacia, la autorregulación la motivación al estudio y el rendimiento, entre otras. También denotaron que el proceso mismo de la evaluación mejoraba, toda vez que en la elaboración en conjunto permitía discutir los criterios de evaluación, estándares y expectativas en un lenguaje común con los mismos estudiantes.
Conclusiones
La rúbrica objeto de estudio tiene una confiabilidad interna adecuada; un valor Alfa de Cronbach 0,750 para autoevaluación y 7.13 para heteroevaluación y confiabilidad externa sustancial, Correlación Intraclase =0,655.
Las diferencias de la aplicación de las rúbricas por los docentes supervisores como heteroeva-luación y las aplicadas por los propios estudiantes como autoevaluación no son estadísticamente significativas; el p valor es 0.637 > a 0,05.
De acuerdo con los resultados obtenidos, se puede decir que la rúbrica es válida y confiable y es un instrumento objetivo para ser utilizado por los estudiantes para su autoevaluación en el contexto en que fue aplicado.
La práctica de la autoevaluación genera en los estudiantes una actitud más responsable ante su propio aprendizaje y estimula habilidades metacognitivas.
