La importancia de la evaluación por competencias en contextos clínicos dentro de la docencia universitaria en salud
The importance of evaluation in clinical competence in the presence of college teaching in health
A importância da avaliação de competência clínica na presença de ensino colégio em saúde
Jorge Enrique Correa Bautista, Ft, Sp, MSc1
1 Grupo de Investigación en Educación Médica y Ciencias de la Salud, Escuela de Medicina y Ciencias de la Salud, Universidad del Rosario. Correspondencia: jorge.correa@urosario.edu.co
Recibido: junio 9 de 2011 • Aprobado: noviembre 2 de 2011
]]> Para citar este artículo: Correa JE. La importancia de la evaluación por competencias en contextos clínicos dentro de la docencia universitaria en salud. Rev. Cienc. Salud 2012; 10 (1):73-82.Resumen
La evaluación por competencias (ExC) ha renovado la manera de determinar el desempeño clínico de los profesionales en salud. Para tal efecto, el docente universitario requiere del dominio conceptual y metodológico de las distintas técnicas de evaluación formativa. Este artículo da cuenta de las principales técnicas de evaluación por competencias en escenarios clínicos, concibiéndola como una competencia fundamental para la docencia universitaria en salud.
Palabras clave: competencias clínicas, evaluación educacional, docencia, Ciencias de la Salud.
Abstract
Competency assessment (CA) has renewed the way to determine the clinical performance of health professionals. To this end, the university teaching requires conceptual and methodological domain on the various techniques of formative assessment. This article reports the main technical competency assessment in clinical settings, considering it as a core competency for university teaching in health.
Keywords: clinic competence, educational measurement, teaching, Health Science.
Resumo
Competência de avaliação (CA) renovou a maneira de determinar o desempenho clínico dos profissionais de saúde. Para o efeito, o ensino universitário requer domínio conceitual e metodológica sobre as várias técnicas de avaliação formativa. Este artigo relata a avaliação da competência técnica principal na prática clínica, considerando-a como uma competência essencial para o ensino universitário em saúde.
Palavras chave: habilidades clínicas, avaliação educacional, ensino, Ciências da Saúde.
Dentro de estos escenarios el proceso de evaluación educativa se convierte en un mecanismo de retroalimentación para el perfeccionamiento del desempeño profesional, en donde el docente universitario desempeña un papel fundamental como juez y verificador de los logros alcanzados por los profesionales en formación en el desarrollo y perfeccionamiento de las competencias profesionales en clínica.
La manera tradicional de evaluar en estos escenarios se ha centrado en la determinación del dominio conceptual, de la capacidad argumentativa y del razonamiento clínico para la toma de decisiones por parte de los estudiantes. La aplicación de pruebas escritas y orales permite dar cuenta de las competencias cognitivas, pero no alcanza a determinar el logro en relación con las competencias procedimentales y del actuar profesional del practicante en salud. Esta mirada reduccionista de la evaluación educativa en clínica genera serias discrepancias e inconsistencias en el proceso de evaluación del desempeño profesional en dicha área.
En este marco la evaluación por competencias (ExC) debe ser entendida como un método de evaluación sistemático (meta-evaluación), periódico, de medición cuantitativa y cualitativa que evidencie el progreso y el mejoramiento del desempeño profesional, útil en contextos clínicos en salud. Por tanto, es necesario que el docente universitario de práctica clínica cuente con el dominio conceptual y metodológico de las diferentes técnicas y protocolos de ExC que le permitan cumplir con su función de juzgamiento en el proceso de adquisición de las competencias clínicas en salud (2-3).
Este artículo se centra en describir las principales técnicas y protocolos de ExC utilizadas en contextos clínicos como estrategia esencial para una docencia estratégica en salud.
La evaluación por competencias, EXC Las técnicas y protocolos de ExC que se han implementado en escenarios clínicos se basan en la observación directa del actuar profesional con pacientes reales o en entornos que simulan situaciones clínicas. A este respecto, Kogan y otros autores realizaron una revisión sistemática de los principales instrumentos ExC que se encuentran en la literatura científica especializada (4).
Dichos instrumentos se pueden clasificar en tres categorías:
a) Técnicas de evaluación por observación directa (TOD) en contextos clínicos reales;
b) Técnicas de evaluación indirecta (TEI) en situaciones clínicas reales o simuladas;
c) Técnicas de evaluación de conocimiento y razonamiento clínico (TCR).
]]> Dentro de las TOD se encuentra el examen clínico por objetivos estructurados (ECOE) (5), que consiste en un circuito de doce a veinte estaciones de llegada con distintos procedimientos por los cuales pasa el profesional en formación hasta completar el circuito en un tiempo determinado. En cada una de las estaciones se organiza una serie de situaciones clínicas diferentes, ya sea sobre pacientes reales o maniquíes. Los evaluadores observan y cuantifican la ejecución acertada de una tarea o procedimiento clínico (6).En el ya tradicional Clinical Evaluation Exercise (CEX) propuesto por la American Board of Internal Medicine para residentes (R1) de Medicina Interna, el experto evalúa las competencias de comunicación y de interacción del evaluado con el paciente junto con el razonamiento clínico del mismo frente al diagnóstico, el pronóstico y las intervenciones realizadas o por efectuar del profesional en formación (7-8). El CEX fue modificado por Nortina y otros autores, formulando luego el mini-Clinical Evaluation Exercise, mini-Cex (9), que es un instrumento con una alta aplicabilidad en distintas situaciones clínicas, dando como resultado una herramienta de evaluación versátil. El mini-Cex ha demostrado tener buena reproductividad, validez y confiabilidad para la evaluación de las competencias clínicas (10).
Otro de los instrumentos de observación directa es la exploración generalizada de un paciente (EGP), la cual consiste en entrenar a un paciente con signos estables o a un actor para que simule una situación clínica-patológica frente a la cual el evaluado debe proceder a resolver. Esta técnica evalúa las competencias comunicativas e interpersonales, el manejo adecuado de la historia clínica, la indagación de antecedentes y la exploración física. Una modificación de la EGP es la utilización de un registro de video para ser utilizado como estrategia de retroalimentación, identificando debilidades y fortalezas del evaluado en su desempeño profesional (11).
La discusión basada de casos (DBC) también conocida como sustentación de caso (SC), o examen de simulación de manejo estratégico (ESME), se basa en el establecimiento de un diálogo directo con dos asesores (evaluadores) que estructuran y organizan una serie de acciones profesionales para indagar sobre el cumplimiento efectivo de tareas específicas frente a pacientes reales. Los asesores realizan preguntas puntuales sobre el diagnóstico, el conocimiento clínico-patológico, el manejo y la planeación de intervenciones de tratamiento (12).
Del mismo modo se encuentra la observación directa de procedimientos (ODP), la cual se trata del acompañamiento permanente por parte de dos evaluadores durante la realización de todos los procedimientos realizados por el evaluado con los pacientes. Este protocolo es utilizado en la formación de especialistas médico-quirúrgicos, como por ejemplo en Ortopedia, Traumatología y Neurocirugía (13).
Otra técnica es la observación directa en el lugar de trabajo o workplace assessment, indiscutiblemente la mejor forma de evaluación in situ. El evaluador acompaña la interacción del profesional en formación con los pacientes y con el personal de trabajo dentro de la unidad de asistencia clínica en tiempo real por un período determinado, que puede ir entre una semana y varios días. Por tal razón, esta técnica tiene alta validez y confiabilidad en la determinación de logro sobre el desempeño del profesional. Sin embargo, su desventaja radica en que demanda mucho tiempo de dedicación por parte del evaluador (14).
De la misma manera, se encuentra la lista de verificación (LV) o de cotejo, checklist evaluation, instrumento útil para indagar el cumplimiento de tareas y procedimientos clínicos. Consiste en listar una serie de acciones específicas concebidas, en donde el evaluador verifica de forma directa el cumplimiento (cumple o no cumple) de la acción profesional de forma adecuada y oportuna. Para asegurar la validez y la pertinencia de las acciones enlistadas y la ponderación en la puntuación y la calificación, se recomienda su elaboración por consenso de varios expertos. Asimismo, se utilizan LV que incorporan escalas de apreciación con escala Likert o con una escala numérica utilizada para cuantificar la apreciación del desempeño clínico por parte del evaluador (15).
Por último, dentro de las TOD se menciona la calificación global de rendimiento (CGR). Es un instrumento que se fundamenta en el seguimiento del examinado por más de un evaluador durante largo tiempo, calificando el desempeño mediante la aplicación de varias escalas de apreciación cualitativas y cuantitativas en la adquisición de competencias procedimentales clínicas específicas, como por ejemplo en el entrenamiento de una técnica quirúrgica o de técnicas de laboratorio (16). En la (Tabla 1) se sintetizan las TOD utilizadas en contextos clínicos reales.
Dentro de las TEI en situaciones clínicas simuladas se encuentran la retroalimentación 360°, el feedback multifuente o el 360° appraisal, que es un protocolo utilizado para evaluar aspectos relacionados con las competencias interpersonales, teniendo en consideración aspectos atinentes al comportamiento profesional como la responsabilidad, la comunicación, las actuaciones profesionales en su sitio de trabajo o de práctica clínica. Para ello, el evaluador entrevista a los diferentes colegas o profesionales que han interactuado o se han relacionado con el evaluado dentro de la práctica clínica, incluyendo personal administrativo y pacientes (17).
]]> También se hallan los portafolios (P) consistentes en una recolección de material que da soporte y evidencia a la consolidación del razonamiento clínico y a la toma de decisiones en una situación específica. Los P son utilizados para sustentar un diagnóstico o intervención clínica por parte del profesional de la salud en formación y se conocen además como carpetas de evidencia; permiten dar cuenta de las competencias del profesional en formación respecto a la búsqueda efectiva de información, al dominio bases de datos especializadas, a la aplicación de protocolos de intervenciones basadas en la evidencia y a las competencias en la lectoescritura (18).Una división de los P son los portafolios electrónicos, e-portafolio, también conocidos como web-folios. Se definen como recursos de apoyo a la evaluación educativa por medio del uso de los recursos tecnológicos de la información y la comunicación para recoger evidencia sobre las actividades del estudiante en términos de búsqueda de información, de la elaboración de videos sobre procedimientos clínicos, de la participación en foros de discusión con expertos o del diseño de hipertextos que permitan determinar las competencias en el manejo de dicho recurso para el diálogo con otras comunidades académicas (19-20).
En la misma línea se encuentran las rúbricas (R) o matrices de valoración de competencias, (MVC), entendidas como instrumentos que describen en profundidad una tarea con sus dimensiones dentro de una escala de ejecución y de calificación. Esta matriz muestra el avance del proceso de logro mediante una serie de criterios objetivos de evaluación. Las R se han utilizado en salud para evaluar competencias en la revisión de literatura, en la presentación o socialización de temáticas, en la participación en cursos online y como estrategia de retroalimentación y de motivación para el aprendizaje (21).
La evaluación por círculo de docentes o teacher cyrcle, más conocido en salud como el preparatorio clínico sustentado o clinicalpreparatory, consiste en una sustentación argumentada frente a un grupo de expertos que evalúan el estricto orden lógico en la toma de decisiones clínicas, ciñéndose a la correcta interpretación y análisis de un caso clínico. Esta técnica es útil para evaluar el razonamiento clínico, la capacidad de análisis y la capacidad argumentativa para la toma de decisiones, como paso previo al manejo de pacientes o al ingreso a la práctica clínica (22).
En último lugar se encuentran las encuestas de opinión o de percepción, difundidas como formas de evaluación del desempeño profesional. Pueden ser aplicadas a los pacientes o al mismo profesional en formación para evaluar la satisfacción en la atención prestada y las competencias interpersonales dentro de las prácticas clínicas (23). En la (Tabla 2) se resumen las TEI en situaciones clínicas simuladas.
Dentro de la última categoría, TCR, se agrupan las pruebas escritas y/o sustentación oral. El examen de sustentación oral triple salto (TS) diseñado por la Universidad de MacMaster, se desarrolla en tres pasos entre el evaluador y el evaluado. En un primer paso se lanza una hipótesis, una pregunta o se identifica un problema de forma conjunta; inmediatamente se define un tiempo de preparación o de trabajo independiente para que el estudiante realice una consulta a fuentes de información (bases de datos especializadas, libros, revistas o consulta a expertos) para fundamentar una respuesta argumentada, cuyo tiempo de preparación no debe ser mayor de 48 horas. Pasado este tiempo se realiza un encuentro entre el evaluador y el examinado en donde se desarrolla la discusión argumentada (24).
El ensayo (E) es una forma de sustentación escrita útil en la evaluación de competencias argumentativas. Esta prueba consiste en la redacción de un texto corto alrededor de una temática definida por el evaluador. En él se evalúa la organización de los contenidos, la exposición de ideas y la capacidad de presentar criterios de forma coherente soportada con evidencias de consulta bibliográfica (25).
Los exámenes escritos (EE) entendidos como instrumentos de evaluación ya tradicionales que se organizan en dos formatos básicos. El primero es el EE en formato de respuesta, el cual presenta distintas modalidades de contestación. Ejemplo de ello son los EEFP que contienen preguntas cerradas con única respuesta, de respuesta múltiple y/o de respuestas de falso o verdadero. Estos tipos de formatos son los más versátiles y difundidos como pruebas masivas dentro de la educación profesional en salud siendo utilizados como pruebas de ingreso a los pregrados en salud o a las especializaciones en general.
En esta misma línea se encuentran los EE en formato de pregunta abierta, los cuales pueden ser de respuesta corta o de respuesta argumentada dependiendo de la intencionalidad y del grado de razonamiento que el estudiante deba procesar para responder en forma correcta (26).
]]> Por otro lado, se encuentran los EE en formato de estímulo, centrado en aumentar el puntaje de calificación, ya sea por el número de respuestas correctas o por el contrario restar puntaje por la cantidad de respuestas erróneas. Dentro de este tipo de EEFE se presentan preguntas con encabezados amplios ricos en contexto, en donde se ubica al examinado en una situación específica para evaluar el razonamiento clínico. Existen preguntas pobres en contexto, las cuales evalúan la comprensión de conceptos básicos, por lo que se consideran de tipo memorístico y de alguna manera se apartan de la concepción de la evaluación por competencias.Otras de las modalidades incluidas en este tipo de formato son las pruebas a libro abierto, que posibilitan que el estudiante desarrolle una serie de preguntas consultando sus apuntes, textos y/o cualquier otro material bibliográfico de apoyo (27).
De la misma forma, otra técnica menos utilizada es el uso de problemas basados en puntos clave (PC). Dicha técnica consiste en presentarle al examinado un caso clínico con información para interpretar y tomar decisiones esenciales. Los PC son útiles para la interpretación de laboratorios clínicos y para-clínicos (28).
Finalmente, se encuentra el test de concordancia de scripts (TCS) introducido en la literatura en salud por Feltovich y Barrows en 1984 para evaluar el conocimiento y el razonamiento clínico. Esta técnica se fundamenta en la existencia de redes de conocimientos estructuradas en la memoria, de complejidad creciente, que con el crecimiento de la experiencia se activan para comprender situaciones, priorizar acciones y tomar decisiones como preparación para la práctica clínica (29). En la (Tabla 3) se relacionan las TCR.
Esta base amplia de técnicas y protocolos de evaluación permite generar una medición más objetiva dentro del proceso de aprendizaje en contextos clínicos, lo que garantiza contar con elementos suficientes de seguimiento y de retroalimentación en la adquisición y desarrollo de competencias clínicas en los profesionales en formación.
La ExC se constituye en un elemento fundamental de la formación en salud que debe ir alineado con otros aspectos del proceso educativo. En la figura 1) se propone un cuadro que ordena y articula las técnicas y protocolos de evaluación con los métodos, las estrategias didácticas y los logros de competencias siguiendo el modelo piramidal propuesto por Miller (30). Lo anterior permite obtener una panorámica general e integrada del conjunto de elementos básicos para una adecuada planeación educativa.
Para el docente universitario, la ExC en contextos clínicos implica proponer e implementar un modelo eficiente de seguimiento continuo (meta-evaluación), basado en la utilización de distintas baterías de medición, con el fin de recolectar y obtener suficiente evidencia del desempeño laboral en clínica.
Se reconoce entonces la necesidad de ampliar y generar estrategias de fortalecimiento del conocimiento evaluativo por competencias en los docentes universitarios de práctica clínica que les permita proponer un sistema ordenado y efectivo de medición progresiva de las competencias clínicas que se pretenden favorecer.
]]> ConclusionesDesde esta perspectiva los docentes universitarios deben generar estrategias de validación, de confiabilidad y de estandarización de pruebas y de escalas de calificación para que esto funcione de forma colegiada dentro de una comunidad académica; para ello se recomienda crear Unidades de Formación Docente dentro de las Escuelas o Facultades de Salud que faciliten la implementación de este sistema de evaluación en contextos clínicos.
La ExC es una excelente oportunidad de repensar el proceso evaluativo, las metodologías y las estrategias de enseñanza-aprendizaje en salud, pero sobre todo el rol del docente universitario dentro de las prácticas clínicas.
Descargos de responsabilidad:
Este manuscrito es responsabilidad absoluta del autor. Se declara que este documento no tiene ningún conflicto de intereses que pudieran haber condicionado su desarrollo.
Bibliografía
1. Frenk J, Chen L, Bhutta ZA, Cohen J, Crisp N, Evans T et al. Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. Lancet 2010; 376, p. 1923-58. [ Links ]
2. Martínez P, Martínez M, Muñoz J. Formación basada en competencias en educación sanitaria: aproximaciones a enfoques y modelos de competencias. RELIEVE, 2008. [Consultado el 13 de enero de 2011]; 14 (2). Disponible en http://redalyc.uaemex.mx/pdf/916/91614201.pdf [ Links ]
3. Batalden P, Leach D, Swing S, Dreyfus H, Dreyfus S. General competencies and accreditation in graduate medical education. Health Aff. (Millwood) 2002; 21 (5):103-11. [ Links ]
4. Kogan J, Holmboe ES, Hauver KE. Tools for direct observation and assessment of clinical skills of medical trainees: a systematic review. JAMA 2009; 302 (12):1316-26. [ Links ]
5. Newble D. Techniques for measuring clinical competence: objective structured clinical examinations. Med. Educ. 2004; 38 (2):199-203. [ Links ]
6. Holmboe ES, Hawkins RE. Methods for evaluating the clinical competence of residents in internal medicine: a review. Ann. Intern. Med. 1998; 129 (1):42-8. [ Links ]
7. Norcini JJ, Blank LL, Arnold GK, Kimball HR. The mini-CEX (clinical evaluation exercise): a preliminary investigation. Ann. Intern. Med. 1995; 123:795-9. [ Links ]
8. Norcini JJ, Blank LL, Duffy FD, Fortna GS. The mini-CEX: a method for assessing clinical skills. Ann. Intern. Med. 2003; 138 (6):476-81. [ Links ]
9. Nair BR, Alexander HG, McGrath BP, Parvathy MS, Kilsby EC, Wenzel J et al. The mini clinical evaluation exercise (mini-CEX) for assessing clinical performance of international medical graduates. Med. J. Aust. 2008; 189 (3):159-61. [ Links ]
10. Ney E, Shea J, Kogan J. Predictive validity of the mini-Clinical Evaluation Exercise (mcex): do medical students' mCEX ratings correlate with future clinical exam performance? Acad. Med. 2009; 84 (10Suppl):S17-20. [ Links ]
11. Kneebone RL, Kidd J, Nestel D, Barnet A, Lo B, King R et al. Blurring the boundaries: scenario-based simulation in a clinical setting. Med. Edu. 2005; 39(6):580-7. [ Links ]
12. Brown N, Doshi M. Assessing professional and clinical competence: the way forward. Adv. Psychiatr. Treat. 2006; 12:81-9. [ Links ]
13. Wilkinson J, Benjamin A, Wade W. Assessing the performance of doctors in training. BMJ 2003; 327 (32):s91-2. [ Links ]
14. Wilkinson JR, Crossley JG, Wragg A, Mills P, Cowan G, Wade W. Implementing workplace-based assessment across the medical specialties in the United Kingdom. Med. Edu. 2008; 42 (4):364-73. [ Links ]
15. Adler MD, Vozenilek JA, Trainor JL, Eppich WJ, Wang EE, Beaumont JL et al. Comparison of checklist and anchored global rating instruments for performance rating of simulated pediatric emergencies. Simul. Healthc. 2011; 6 (1):18-24. [ Links ]
16. Doyle JD, Webber EM, Sidhu, RS. A universal global rating scale for the evaluation of technical skills in the operating room. Am. J. Surg. 2007; 193(5):551-5. [ Links ]
17. Wood J, Collins J, Burnside ES, Burnside ES, Albanese MA, Propeck PA et al. Patient, faculty, and self-assessment of radiology resident performance: a 360-degree method of measuring professionalism and interpersonal/communication skills. Acad. Radiol. 2004; 11 (8):931-9. [ Links ]
18. Pitts J, Coles C, Thomas P, Smith F. Enhancing reliability in portfolio assessment: discussions between assessors. Med. Tech. 2002; 24 (2):197-201. [ Links ]
19. Buckley S, Coleman J, Davison I, Khan KS, Zamora J, Malick S et al. The educational effects of portfolios on undergraduate student learning: a Best Evidence Medical Education (BEME) systematic review. BEME Guide No. 11. Med. Teach. 2009; 31 (4):282-98. [ Links ]
20. Lawson M, Nestel D, Jolly B. An e-portfolio in health professional education. Med. Edu. 2004; 38(5):569-70. [ Links ]
21. Isaacson JJ, Stacy AS. Rubrics for clinical evaluation: objectifying the subjective experience. Nurse Educ. Pract. 2009; 9 (2):134-40. [ Links ]
22. Lurie SJ, Mooney CJ, Lyness JM. Measurement of the general competencies of the accreditation council for graduate medical education: a systematic review. Acad. Med. 2009; 84 (3):301-9. [ Links ]
23. Bedggood R, Pollard R. Uses and misuses of student opinion surveys in eight australian universities. A.J.E. 1999; 43 (2):129-56. [ Links ]
24. Matthes J, Look A, Hahne AK, Tekian A, and Herzig S. The semi-structured triple jump. A new assessment tool reflects qualifications of tutors in a PBL course on basic pharmacology. Arc. Phar. 2008; 377 (1):55-63. [ Links ]
25. McGaghie WC. Assessing readiness for medical education: evolution of the medical college admission test. JAMA 2002; 288 (9):1085-90. [ Links ]
26. Schuwirth L, Van Der Vleuten CP. Different written assessment methods: what can be said about their strengths and weakness? Med. Educ. 2004; 38:974-9. [ Links ]
27. Heijne-Penninga M, Kuks JB, Schõnrock-Adema J, Snijders TA, Cohen-Schotanus J. Open-book tests to complement assessment-programmes: analysis of open and closed-book tests. Ad In. Health. Sci. Edu. 2006; 13 (3):263-73. [ Links ]
28. Hatala R, Norman GR. Adapting the key features examination for a clinical clerkship. Med. Edu. 2002; 36 (2):160-5. [ Links ]
29. Charlin B, Roy L, Brailovsky C, Goulet F, Van der Vleuten C. The script concordance test: a tool to assess the reflective clinician. Teach. Learning Med. 2000; 12 (4):189-95. [ Links ]
30. Miller GE. The assessment of clinical skills/competence/performance. Acad. Med. 1990; 65 (9 Suppl):S63-7. [ Links ] ]]>
