⁽¹⁾ Profesor asistente de Cirugía, Departamento de Cirugía, Hospital Universitario San Ignacio, Pontificia Universidad Javeriana, Bogotá D.C., Colombia.
⁽²⁾ Profesor titular de Cirugía, Departamento de Cirugía, Hospital Universitario San Ignacio, Pontificia Universidad Javeriana, Bogotá D.C., Colombia.
⁽³⁾ Profesor instructor de Cirugía, Departamento de Cirugía, Hospital Universitario San Ignacio. Pontificia Universidad Javeriana, Bogotá D.C., Colombia.
⁽⁴⁾ Residente de IV año de Cirugía General, Hospital Universitario San Ignacio, Pontificia Universidad Javeriana, Bogotá D.C., Colombia.
⁽⁵⁾ Profesor asistente, Departamento de Epidemiología y Bioestadística, Pontificia Universidad Javeriana, Bogotá D.C., Colombia.

Correspondencia: Lilian Torregrosa, MD. Bogotá D.C., Colombia. Correo electrónico: lilian.torregrosa@javeriana.edu.co

Fecha de recibo: 28 de mayo de 2009. Fecha de aprobación: 5 de junio de 2009.

Resumen

Introducción. La instrucción en salas de cirugía tiene características particulares que requieren una evaluación, también particular. Es escasa la literatura sobre la evaluación de los cirujanos en su papel como docentes dentro y fuera del quirófano y es infrecuente la utilización en nuestro medio de procesos de evaluación estandarizados que incluyan la percepción del residente como fuente de información.

Materiales y métodos. Se realizó un estudio prospectivo en el que se evaluó la totalidad de los docentes de planta participantes en la formación de residentes dentro del Hospital Universitario San Ignacio en las áreas quirúrgicas.

Resultados. Las expectativas de los residentes fueron superadas, en promedio, por 59% de los docentes. En tres aspectos, más de 65% de los docentes obtuvieron una calificación en el rango superior correspondiente a excelente. Estos aspectos fueron: "El docente mantiene un clima de mutuo respeto entre todos los miembros del equipo de salud", "El docente demuestra habilidades técnicas con confidencia" y "El docente responde las preguntas clara y precisamente".

El 41% de los docentes no superaron las expectativas de los residentes como docentes en el quirófano, pero sólo en 3,5% de los casos el desempeño docente en esta área fue considerado deficiente.

Discusión. La evaluación integral que incluye la perspectiva de los residentes, constituye una herramienta indispensable para tener una percepción más realista sobre la enseñanza dentro y fuera del quirófano.

La implementación de medidas de evaluación de la calidad de la docencia se justifica dentro de los programas académicos que buscan la excelencia en la formación de futuros cirujanos.

Palabras clave: cirugía; enseñanza; instituciones de enseñanza superior; evaluación educacional.

Abstract

An aspect of surgical training that cannot be so easily evaluated is the faculty-resident interaction in the operating room. There are few literature reports regarding this teaching process (in the OR) and in the team setting (rounds, clinic) and also is not a current practice to evaluate teachers behaviors in this settings. An important question for sugical educators is how to optimize such faculty interactions.

To address this issue from the perspective of the residentes, this study identifies excellence in teaching in a variety of surgical specialties in a university teaching hospital, through a previously validated instrument. The survey instrument was applied to 43 second, third and fourth year residents, who evaluated 50 faculty members.

The expectations of the trainees were exceded by 59% of the faculty overall, and ther was insatisfaction with teaching behaviors in only 4% of the cases.

Three behaviors characterize superior teaching: "Mantain climate of mutual respecto for all members of healthcare team", "Demostrates technical skills with confidence and expertise", and "Answers questions clearly and precisely".

A resident-based teaching assessment system is a fundamental part of faculty evaluation. It provides valuable information regarding specific behaviors that merit promotion among surgeons and is a valid form of feedback to academic surgeons.

Key words: surgery; teaching; higher education institutions; educational measurement.

Introducción

La competencia quirúrgica combina el ejercicio intelectual de toma de decisiones con la habilidad para realizar diferentes procedimientos mecánicos. En estos dos aspectos juegan un papel fundamental los docentes de cirugía puesto que, en gran parte, las acciones de los residentes son el producto de la imitación del comportamiento de sus profesores, después de interactuar con ellos en situaciones quirúrgicas y clínicas (1,2).

Es imposible convertirse en un cirujano competente sin utilizar habilidades cognoscitivas de orden elevado, pero también es imposible lograrlo sin adquirir una serie de habilidades, destrezas y competencias clínicas y afectivas que son necesarias para lograr procedimientos quirúrgicos exitosos. El escenario central de este aprendizaje es el quirófano y la experiencia vivida dentro del mismo no se puede reemplazar por la adquirida en ningún laboratorio o simulador (3).

En el campo de la educación médica han surgido grandes interrogantes sobre el papel del instructor de un área quirúrgica en el desarrollo de estas habilidades por parte del residente y se ha intentado proponer características "deseables" en el profesor que garanticen una labor docente exitosa en las salas de cirugía (1-6).

Se han descrito varios métodos para evaluar la práctica de los docentes en medicina. Los estudios sugieren que la evaluación debe ser integral y debe incluir autoevaluación, evaluación por superiores, pares y alumnos (1,4,7-13) y, además, enfatizan que los residentes son una fuente válida y fundamental de información, usualmente no reconocida (2,12).

Son escasos los estudios sobre la evaluación en salas de cirugía (1-3,12,13), pero la mayoría coincide en considerar la "tradicional" evaluación de docentes quirúrgicos como subjetiva, irreal y, por lo tanto, de cuestionable utilidad. Se suma a lo anterior el hecho de que los docentes quirúrgicos no son retroalimentados en forma específica sobre su labor, lo cual constituye una deficiencia adicional en este proceso de evaluación "tradicional" (2,14).

Dadas las particularidades de la enseñanza en esta área hospitalaria, los criterios empleados para evaluarla deben diferir de los utilizados en otras áreas médicas (2,14).

La evaluación en el quirófano no es una evaluación teórica ni de las destrezas manuales de cada cirujano: debe tener en cuenta habilidades y comportamientos reconocidos como "docentes" por los estudiantes (2,3). Aunque los criterios para evaluar estas habilidades son subjetivos, pueden fundamentarse y éste es el objetivo de las herramientas de evaluación estandarizada, las cuales detectan aspectos importantes que un observador desapercibido no ve y se evalúan bajo los mismos parámetros, en diferentes momentos y por diferentes evaluadores (12).

Es bien conocido que la evaluación estandarizada optimiza la calidad de la docencia, ya que los profesores tienen un concepto claro sobre los objetivos perseguidos en su labor, conocen sus debilidades y fortalezas, y pueden establecer comparaciones entre su desempeño real y el que sería ideal, y así mismo, trabajar en disminuir la brecha existente entre estos dos.

En Colombia, no se conocen publicaciones previas respecto a un método estandarizado para evaluar los profesores de las especialidades quirúrgicas.

De hecho, es frecuente encontrar que, como ocurre en la Facultad de Medicina de la Pontificia Universidad Javeriana, el método de evaluación que se aplica a los profesores de las áreas quirúrgicas no difiere del que se aplica a los profesores de áreas no quirúrgicas, e inclusive, del utilizado para evaluar los profesores de las otras facultades.

Estas razones justifican proponer una herramienta integral de evaluación aplicable en nuestro medio y que tome en cuenta la percepción del residente acerca del desempeño de sus maestros como docentes en las salas de cirugía.

Los objetivos del estudio fueron los siguientes: realizar un diagnóstico de la perspectiva de los residentes respecto al entrenamiento que reciben en los aspectos prácticos de la atención de pacientes, especialmente en las salas de cirugía; implementar el uso de un instrumento estandarizado para evaluar a los docentes de las especialidades quirúrgicas en la Facultad de Medicina de la Pontificia Universidad Javeriana, en el Hospital Universitario San Ignacio, y proponer la utilización de una estrategia útil y aplicable, como parte de la evaluación integral de los docentes vinculados a programas académicos de cirugía general en el país, favoreciendo la cultura de la evaluación.

Materiales y métodos

Se realizó un estudio prospectivo entre julio y octubre de 2007, en el que se evaluó la totalidad de los docentes de planta que participaban en la formación de los residentes de Cirugía del Hospital Universitario San Ignacio, en las áreas de cirugía general, ortopedia, cirugía plástica, urología, otorrinolaringología y ginecología y obstetricia.

Se excluyeron aquellas especialidades en las cuales más del 80% de los docentes tenían vinculaciones recientes, menores de 1 año.

La participación por parte de los residentes fue anónima y voluntaria, con consentimiento verbal para estudio de mínima intervención.

Los docentes no conocían el instrumento ni la investigación en curso.

El estudio se llevó a cabo en dos fases; la primera fase constituyó la aplicación del instrumento a la totalidad de los residentes activos en las especialidades mencionadas, que tuvieran, al menos, un año de antigüedad en el programa, lo cual aseguraba un contacto suficiente con el grupo de docentes evaluados.

Cada residente evaluó solamente los aspectos directamente observados en cada docente y cada docente fue evaluado por la totalidad de sus residentes.

Se puntualizó el objeto de la evaluación, así como su carácter formativo y no punitivo.

Instrumento

Fue diseñado en 1994 por Sherralyn S. Cox  y Melvin S. Swanson a partir de los siguientes insumos, cuya información fue refinada mediante análisis estadísticos: revisión de la literatura, consulta de percepciones entre expertos en educación quirúrgica y consulta de percepciones entre los residentes de las especialidades quirúrgicas.

El instrumento ha sido aplicado por más de diez años, en forma bianual por el Departamento de Cirugía de la East Carolina University y sometido a un riguroso análisis el cual ha mostrado exitosos resultados (13). Además de lo anterior, se seleccionó este instrumento por su credibilidad, aplicabilidad, diseño, confiabilidad, validez y sensibilidad al cambio. El instrumento se tradujo al español y, luego, en sentido inverso, logrando equivalencia translinguística. Posteriormente, se aplicó una prueba piloto a 30 sujetos, en la cual se depuraron algunos aspectos técnicos.

Como resultado, se obtuvo un instrumento compuesto por 20 características, 10 para cada situación clínica de docencia: ejercicio clínico fuera del quirófano (consulta y área hospitalaria) y dentro de salas de cirugía (Anexo).

Cada una de lo 20 comportamientos docentes se evaluó mediante una escala de Likert, que incluyó las siguientes variables:

1: No demuestra el comportamiento.
2: Lo demuestra en bajo grado.
3: Lo demuestra en mediano grado.
4: Lo demuestra en alto grado.

En la segunda fase, se creó una base de datos en Excel con la información proveniente de las encuestas y se calcularon medidas de tendencia central (porcentajes, frecuencia, promedios, mediana) y de asociación, utilizando el programa STATA, versión 9.2. (StataCorp. 2006. Statistical Software: Release 9.2. College Station, TX: Stata Corporation).

La información obtenida fue digitada por un digitador externo no vinculado directamente con el programa, con el fin de garantizar la confidencialidad de la información y se acordó, en el Comité de Investigaciones y Ética institucional, informar los resultados en términos de promedio, media, rangos para cada especialidad y en forma individual, asignando un código a cada docente evaluado.

Resultados

Se intentó la categorización de los puntajes para cada actitud docente. Sin embargo, los datos no permitieron discriminar entre habilidades sobresalientes y deficientes.

De acuerdo con las características del estudio y sus variables, los resultados se describieron en términos de frecuencia y se estableció la relación de los puntajes de cada especialidad con el promedio general.

Se calificó el desempeño individual de cada docente y el desempeño de cada grupo de profesores (especialidad).

Dado que el foco del estudio fue el concepto de "excelencia" (puntajes superiores), se consideró excelencia una calificación de 4 puntos (el docente demuestra el comportamiento en alto grado) y los puntajes menores se asimilaron a conceptos de desempeño mediocre o deficiente, así:

1: deficiente,
2 y 3: mediocre, y
4: superior (excelente).

Durante el periodo evaluado, se obtuvieron 543 evaluaciones sobre un grupo de 50 docentes y 43 residentes, de las cuales, 143 correspondieron a 11 profesores de cirugía general. Todos estos profesores fueron evaluados por el grupo de 13 residentes de cirugía (que incluía sólo aquéllos con un tiempo de permanencia en la especialidad mayor de un año) (figura 1).

Al discriminar por especialidades, encontramos que los docentes de otorrinolaringología fueron los que mejores puntajes globales obtuvieron de sus residentes.

¿En qué porcentaje se alcanzó la excelencia en la enseñanza en salas de cirugía?

Las expectativas de los residentes fueron superadas, en promedio, por 59% de los docentes. En sólo tres aspectos quirúrgicos y tres clínicos, más de 60% de los docentes obtuvieron una calificación superior y en ningún caso superaron el 70%. Analizando los datos generales, se encontró que 41% de los docentes no superó las expectativas de los residentes como docentes en el quirófano, y los 20 aspectos evaluados dentro y fuera de salas de cirugía fueron calificados como regulares y deficientes.

La expectativa teórica era encontrar un elevado porcentaje (probablemente mayor de 80%) de respuestas en el rango superior (demuestra el comportamiento en alto grado). A ese respecto encontramos lo siguiente.

En la calificación global de las seis especialidades evaluadas, los mayores puntajes fueron asignados a las siguientes habilidades.

A. En salas de cirugía

"El docente mantiene un clima de mutuo respeto entre todos los miembros del equipo de salud", fue calificado como superior en 67% de los docentes.

"El docente demuestra habilidades técnicas con confidencia y conocimientos teóricos y prácticos", fue calificado como superior en 66% de los docentes.

"El docente responde las preguntas clara y precisamente", fue calificado como superior en 61% de los docentes (tabla 1).

B. En el área clínica

"El docente mantiene un clima de mutuo respeto entre todos los miembros del equipo de salud", fue calificado como superior en 67% de los docentes.

En los otros 19 aspectos del desempeño clínico evaluados, se obtuvieron resultados sobresalientes en un rango entre 51% y 61 % de los profesores.

Se encontraron resultados "mediocres" (2: lo demuestra en bajo grado sumado a 3: lo demuestra en mediano grado) en un rango entre 30% y 42%, y resultados deficientes, entre 2,5% y 8% de los profesores (tabla 2).Con los anteriores resultados, se concluyó que, a pesar de que la mayoría de las calificaciones se encontraron en el rango sobresaliente, las calificaciones regulares estuvieron muy cercanas en frecuencia y los porcentajes alcanzados como sobresaliente no superaron el 70%. Esto muestra que no hay una plena satisfacción por parte del personal en formación de las áreas quirúrgicas frente al desempeño docente de sus profesores.

Resultados en cirugía general

Para el caso de cirugía general, 51% de los docentes alcanzó parámetros de excelencia en la enseñanza, según los parámetros de la encuesta. Dentro de la calificación global de las 20 características, los mayores puntajes (entre 60 y 65%) fueron asignados a las siguientes.

Dentro del quirófano:

• El docente demuestra habilidades técnicas con confidencia y conocimientos teóricos y pácticos.

• El docente responde las preguntas clara y precisamente.

Dentro y fuera del quirófano:

• El docente mantiene un clima de mutuo respeto entre todos los miembros del equipo de salud.

En cuanto a los puntajes deficientes, la característica que obtuvo un 60% de docentes calificados como regulares y deficientes fue:

• El docente retroalimenta al residente acerca de su progreso.

Discusión

La escala propuesta fue útil, práctica y aplicable en nuestro medio. Permitió conocer un punto de partida respecto a nuestro desempeño docente en el quirófano y será un instrumento para tener en cuenta en la planeación de estrategias docentes futuras en esta área, que deben incluir metas específicas para cada uno de los docentes y para el grupo de profesores.

Al aplicar el instrumento, encontramos que ninguno de los evaluadores asignó el mismo puntaje a los 20 diferentes comportamientos docentes, lo cual indicaba que las encuestas no fueron diligenciadas de manera poco cuidadosa y que los residentes se tomaron el tiempo de calificar una a una las habilidades y comportamientos de cada profesor.

Nos aseguramos de que todo el grupo de residentes evaluara a cada docente, para evitar el sesgo de la percepción humana, que es altamente selectiva, y asegurar que diversos evaluadores pudieran ver diferentes aspectos de una misma situación.

Aunque esperábamos unos puntajes mayores en el rango de excelencia, esta experiencia corroboró lo que otros han publicado respecto a la poca correlación entra la evaluación por agentes externos y la autoevaluación. Los resultados mostraron claramente la importancia de obtener retroalimentación por parte de los residentes, pues ésta usualmente difiere de la propia percepción sobre el desempeño, y resaltaron la importancia de asumir el reto de ser evaluados.

Por otra parte, este estudio se enfocó en el concepto de excelencia, de manera que se emplearon parámetros estrictos para evaluar a los docentes y sólo aquéllos con los puntajes más elevados fueron asimilados a este concepto de "excelencia en la docencia". En este punto del análisis, es fundamental tener en cuenta que otro porcentaje de docentes se encontró en un rango aceptable de desempeño, aquéllos calificados por los residentes como 3 (El docente demuestra el comportamiento en mediano grado), lo cual es también favorable al momento de la evaluación global de la calidad de la enseñanza.

La correlación entre los puntajes obtenidos para algunos comportamientos presentes en la escala clínica y la escala correspondiente a salas de cirugía fue alta, lo cual puede indicar que los profesores calificados como "superiores" lo son tanto en el área clínica como en salas de cirugía o que las características incluidas en el instrumento se correlacionan tan fuertemente que todas tienden a reconocer el mismo tipo de actividades.

Al analizar los aspectos mejor evaluados en forma global, la habilidad del docente para mantener un clima de mutuo respeto entre todos los miembros del equipo de salud fue la habilidad mejor evaluada, tanto en el área quirúrgica como clínica. Esto resalta la importancia de cultivar este aspecto dentro del proceso docente en salas de cirugía.

También la habilidad del docente para demostrar habilidades técnicas con confidencia y conocimientos teóricos y prácticos fue otro de los aspectos calificados como superiores. A diferencia de las especialidades médicas, para los residentes de las áreas quirúrgicas son importantes la habilidad y la destreza manual de sus profesores.

Asimismo, la capacidad del docente para responder las preguntas del residente clara y precisamente, fue una habilidad calificada como superior, lo cual ilustra la importancia de esta dinámica para los residentes.

El 41% de los docentes no supera las expectativas de los residentes como docentes en el quirófano, pero sólo en 4% de los casos se encontró que el desempeño fue claramente deficiente.

Como aspectos críticos comunes a todas las especialidades, se puede citar la poca retroalimentación de los residentes, que fue considerada como regular y deficiente en más de 50% de los docentes tanto dentro como fuera del quirófano, y la falta de refuerzo positivo al residente.

Aunque el objetivo primario del estudio era evaluar los comportamientos calificados como sobresalientes, es importante mencionar que en el área quirúrgica existe una evidente deficiencia en la habilidad del docente para retroalimentar al residente sobre su progreso.

Este resultado coincide con el hallazgo en el área clínica de deficiencia en la retroalimentación por parte del docente sobre el progreso del residente.

La anterior información es de gran utilidad, pues resalta la importancia que tiene para el educando la constante retroalimentación dentro y fuera de las salas de cirugía.

Sin lugar a dudas, la evaluación integral que incluye los actores involucrados en la formación hospitalaria, y específicamente a los residentes, constituye una herramienta fundamental que no se puede obviar dentro de los procesos de mejoramiento de la calidad de la docencia, si el objetivo es obtener una información veraz sobre la cual construir la excelencia. Si somos capaces de identificar los elementos que operan dentro del ambiente educativo de la residencia y cómo estos son percibidos por estudiantes y maestros, seremos capaces de trabajar alrededor de ellos, enriqueciendo la experiencia educativa.

No se puede olvidar que la falta de control de calidad del profesorado y el pobre entrenamiento en su papel como educadores, han sido causas atribuidas a la disminución en el número de candidatos a la especialidad en los años recientes (10, 17) y, posiblemente, han contribuido a las tasas de deserción (18).

El objetivo a largo plazo de esta propuesta, es concientizar a los grupos de cirugía académica sobre la importancia de la evaluación dentro de nuestro quehacer como docentes y diseñar estrategias permanentes que incluyan la retroalimentación de los profesores y puedan ser empleadas por diferentes escuelas de cirugía en nuestro medio. Poco a poco, los programas demandarán uniformidad en las exigencias de cuantificación del nivel académico, actualización y destrezas de los profesores (10,17).

En pocas palabras, mediante este trabajo proponemos emplear la evaluación para lograr una mejor educación en cirugía, aprovechando las enormes posibilidades de enseñanza que ofrece el quirófano.

Agradecimientos

Al doctor Saúl Rugeles Q., por la corrección del manuscrito. Profesor de Cirugía; director Departamento de Cirugía, Pontificia Universidad Javeriana, Hospital Universitario San Ignacio. Bogotá, D.C., Colombia

Referencias

1. Hauge LS., Wanzek JA., Godellas C. The reliability of an instrument for identifying and quantifying surgeons' teaching in the operating room. Am J Surg. 2001;181:333-7.        [ Links ]

2. Ko CY., Escarce JJ., Baker L., Sharp J., Guarino C. Predictors of surgery resident satisfaction with teaching by attendings. A national survey. Ann Surg. 2005;2:373-80.        [ Links ]

3. Kenton K. Cómo enseñar y evaluar en el quirófano. Obstet Gynecol Clin North Am. 2006;33:325-32.        [ Links ]

4. Fenner DE. Evitar errores: lecciones de la enseñanza quirúrgica. Obstet Gynecol Clin North Am. 2006;33:333-42.        [ Links ]

5. Ehrlich PF., Seidman PA. Deconstructing surgical education-teacher quality really matters: implications for attracting medical students to surgical careers. Am Surg. 2006;72:430-4.         [ Links ]

6. Rogers DA. Ethical and educational considerations in minimally invasive surgery training for practicing surgeons. Semin Laparosc Surg. 2002;9:206-11.         [ Links ]

7. Leibrandt TJ., Kukora JS., Dent TL. Integrating educational objectives and the evaluation process in a general surgery residency program. Acad Med. 2001;76:748-52.        [ Links ]

8. Sloan DA., Donnelly MB., Schwartz RW. The surgical clerkship: characteristics of the effective teacher. Med Educ. 1996;30:18-23.         [ Links ]

9. Minor S., Poenaru D. The in-house education of clinical clerks in surgery and the role of housestaff. Am J Surg. 2002;184:471-5.         [ Links ]

10. Fitzpatrick CM., Kolesari GL., Brasel KJ. Surgical origins: new teaching modalities integrating clinical and basic science years -a role for residents as active teachers. Surgery. 2003;133:353-5.        [ Links ]

11. Fernández L. General surgery as education, not specialization. Ann Surg. 2004;240:932-8.         [ Links ]

12. Alloni R., Binetti P., Coppola R., Arullani A. Education in postgraduate surgical schools: the role of the surgical tutor as supervisor in the operating room. Ann Ital Chir. 2005;76:495-9.        [ Links ]

13. Cox SS., Swanson MS. Identification of teaching excellence in operating room and clinic settings. Am J Surg. 2002;183:251-5.        [ Links ]

14. Kanashiro J., McAleer S., Roff S. Assessing the educational environment in the operating room. A measure of resident perception at one Canadian institution. Surgery. 2006;139:150-8.         [ Links ]

15. Cohen R., MacRae H., Jamieson C. Teaching effectiveness of surgeons. Am J Surg. 1996;171:612-4.         [ Links ]

16. Postuma R. Evaluation of surgical faculty and surgical undergraduate teaching. Can J Surg. 1985;28:351-4.        [ Links ]

17. Carrasco JA. La educación quirúrgica nuevos paradigmas. Cir Ciruj 2007;75:1-2.         [ Links ]

18. Bermúdez C., Monroy A., Torregrosa L., Henao F. Estado actual de la formación de residentes de cirugía general en Colombia. Rev Colomb Cir. 2006;21:225.         [ Links ]