Servicios Personalizados
Revista
Articulo
texto en 
Inglés (pdf)
Articulo en XML
Referencias del artículo
Traducción automática
Enviar articulo por emailIndicadores
-
Citado por SciELO -
Accesos
Links relacionados
-
Citado por Google -
Similares en
SciELO -
Similares en Google
Compartir
Permalink
Colombian Journal of Anestesiology
versión impresa ISSN 0120-3347versión On-line ISSN 2256-2087
Rev. colomb. anestesiol. vol.48 no.3 Bogotá jul./set. 2020 Epub 15-Oct-2020
https://doi.org/10.1097/cj9.0000000000000158
Revisiones no sistemáticas
La evaluación en anestesia en la era de las competencias: estado del arte
a Clínica de Marly. Bogotá, Colombia.
b Universidad de los Andes. Bogotá, Colombia.
c Instituto Universitario Hospital Italiano de Buenos Aires. Buenos Aires, Argentina.
d Hospital Universitario CEMIC. Buenos Aires, Argentina.
e Ministerio de Salud y Desarrollo Social de la Republica de Argentina. Buenos Aires, Argentina.
f Clínica de Marly Jorge Cavelier Gaviria. Chía, Colombia.
Introducción:
La anestesiología requiere la realización de procedimientos, resolución de problemas y crisis en tiempo real, previsión de problemas y complicaciones, entre otros, por lo tanto, la evaluación de su aprendizaje debería centrarse en cómo el estudiante alcanza la competencia y no solo en la adquisición de conocimientos. La literatura muestra que, a pesar de existir numerosas estrategias de evaluación, estas continúan siendo subvaloradas en muchos casos por desconocimiento.
Objetivo:
Este artículo pretende dar a conocer el proceso de evaluación en la anestesiología desde la competencia, además de sugerir una breve descripción de los dominios y teorías de aprendizaje, instrumentos y sistemas de evaluación en esta área y, finalmente, mostrar algunos de los resultados más relevantes sobre los sistemas de evaluación en Colombia.
Metodología:
Tras una búsqueda bibliográfica en PubMed, OVID, ERIC, DIALNET, REDALYC, con las palabras clave, se revisaron 110 artículos de los cuales 75 fueron considerados relevantes para elaborar el marco teórico de la investigación.
Resultados y conclusiones:
La evaluación en anestesiología debe ser concebida desde la multidimensionalidad de la competencia, ser longitudinal y enfocada en los objetivos de aprendizaje.
Palabras clave: Evaluación educacional; Educación basada en competencias; Evaluación por competencias; Anestesiología
Introduction:
Anesthesiology requires procedure fulfillment, problem, and real-time crisis resolution, problem, and complications forecast, among others; therefore, the evaluation of its learning should center around how students achieve competence rather than solely focusing on knowledge acquisition. Literature shows that despite the existence of numerous evaluation strategies, these are still underrated in most cases due to unawareness.
Objective:
The present article aims to explain the process of competency-based anesthesiology assessment, in addition to suggesting a brief description of the learning domains evaluated, theories of knowledge, instruments, and assessment systems in the area; and finally, to show some of the most relevant results regarding assessment systems in Colombia.
Methodology:
The results obtained in "Characteristics of the evaluation systems used by anesthesiology residency programs in Colombia" showed a certain degree of unawareness by stakeholders in the educational process, a fact that motivated the publishing of this discussion around the topic of competency-based assessment in anesthesiology. Following a bibliography search with the keywords through PubMed, OVID, ERIC, DIALNET, and REDALYC, 110 articles were reviewed and 75 were established as relevant for the research's theoretical framework.
Results and conclusion:
Anesthesiology assessment should be conceived from the competency's multidimensionality; it must be longitudinal and focused on the learning objectives.
Keywords: Educational Assessments; Competency-Based Education; Outcome and Process Assessment (Health Evaluation); Professional competence; Anesthesiology
Introducción
Los sistemas educativos han cambiado drásticamente en los últimos 20 años, la tecnificación de la ciencia, la afluencia de información y la influencia de la economía en el desarrollo científico no solo han promovido un cambio en las instituciones, sino del pensamiento, que se expresa mediante cambios en los métodos de enseñanza y evaluación como resultado del entendimiento de las diferencias en la forma de aprender de niños y adultos.
La evaluación del desempeño debe ser un proceso dinámico, sistemático y estructurado que identifique e involucre los objetivos de evaluación, la selección y utilización de múltiples herramientas e instrumentos según dichos objetivos y la aplicación de conductas derivadas de este proceso para optimizar y guiar el aprendizaje.1,2
Tras una búsqueda de la literatura comprendida entre 1999 y 2017 centrada en el proceso de evaluación del desempeño de los estudiantes de anestesiología, que intentaba describir su fundamentación teórica y pedagógica, principios educativos, herramientas de evaluación y estrategias de implementación desde el concepto de evaluación programática y evaluación para el aprendizaje en esta área de conocimiento práctico, se revisaron 110 artículos de los cuales 73 fueron considerados relevantes para la revisión (Tabla 1, Fig. 1).
Tabla 1 Características de los estudios seleccionados para la revisión no sistemática.
Fuente: Autores.
A continuación, el lector podrá encontrar los resultados más relevantes de esta revisión narrativa (no sistemática) de la literatura. Inicialmente entenderá cómo el concepto de competencia ha modificado el proceso de evaluación en la anestesiología en las últimas dos décadas, por medio de una breve descripción de los dominios y teorías de aprendizaje aplicadas en la anestesiología y, finalmente, encontrará los instrumentos y sistemas de evaluación actualmente recomendados para la evaluación del desempeño de los estudiantes de posgrado en anestesiología.
La evaluación en anestesiología
Los anestesiólogos desarrollan durante la vida un sin número de habilidades complejas que deben ser aprendidas durante el entrenamiento y perfeccionadas en el prácticum. Los docentes tienen la responsabilidad de saber qué habilidades deben enseñar, cómo hacerlo, cuándo delegar responsabilidades y cuándo el residente está en la capacidad de enfrentarse al mundo real en condiciones no supervisadas.33
Algunos autores proponen trabajar la clasificación propuesta por Gaba, Howard y Small34 basada en el concepto de "Conciencia de la situación", que describe tres aspectos básicos que el anestesiólogo debe desarrollar durante su entrenamiento para la toma responsable de decisiones de manera consciente: interpretación de señales sutiles, interpretación y manejo de situaciones en evolución y aplicación de conocimientos especiales.33,34,55)
Gaba y cols. clasifican las competencias en las que el anestesiólogo debería ser entrenado en habilidades técnicas y no técnicas.6,7,33,34 El término habilidades técnicas se refiere a la ejecución de acciones desde el conocimiento médico y la perspectiva técnica, estas se centran en el control del cuerpo y el pensamiento (Tabla 2).56 Las más estudiadas son intubación orotraqueal, cateterización vascular, anestesia regional, manejo de crisis, manejo de dolor, valoración de pacientes y manejo del paciente crítico.40,41
El concepto habilidades no técnicas hace referencia al desarrollo de habilidades cognitivas, sociales y recursos personales que permiten el desempeño seguro y eficiente de las tareas.6,30 La adquisición de este tipo de habilidades58 es lo que disminuye la posibilidad de error y aparición de eventos adversos en la atención de pacientes7) (Fig. 2).
Fuente. Adaptado de Non-technical skills for anaesthetists: developing and applying ANTS.30 Autorizado por Rhona Flin.
Figura 2 Habilidades no técnicas basadas en el sistema ANTS (anaesthetists non technical skills).
En la actualidad, existen múltiples marcos teóricos centrados en la aplicación de diferentes modelos por competencias (ACGME, CanMEDS, UEMS, SCARE, etc.), los cuales han alcanzado diferentes rangos de desarrollo e investigación (Tabla 3).18-22,53 La visión más actual es quizás el abordaje basado en actividades profesionales confiables (EPA, por las iniciales de entrustable professional activities) propuesto por Ten Cate desde el 2010, aún en estudio y profundización en esta área de la medicina.50-52
¿Como se evalúa en anestesiología?
Finalidad de la evaluación
Por años, la evaluación en anestesia se ha enfocado en la valoración sumativa de competencias relacionadas con la práctica clínica, la interacción con pacientes y el análisis crítico de situaciones; muchas veces al final de las rotaciones. Actualmente, se propone hacer énfasis en la evaluación en tiempo real, secuencial y progresiva de procesos y la individualización del aprendizaje, así como la relevancia de la retroalimentación dentro de este proceso.4-6
Contenido de la evaluación
La evaluación del desempeño técnico y del no técnico debería tener el mismo peso al momento de establecer un juicio.27,34,35 Tradicionalmente, la evaluación en anestesia se ha limitado a pruebas de conocimientos de tipo teórico como principal fuente de información, sumada a la observación directa no estructurada del trabajo cotidiano y bitácoras aisladas de información sin retroalimentación enfocadas a la adquisición de habilidades técnicas (Fig. 3).
Fuente. Autores.
Figura 3 Tendencias en la valoración del desempeño en anestesiología según el tipo de habilidades.
Un estudio realizado por Ross y cols., encontró que la mayoría de las evaluaciones estaban relacionadas con las competencias "cuidado del paciente" y "conocimiento médico" (la atención del paciente, el plan y la conducta anestésica [35 %], seguidos por el uso e interpretación del monitoreo y equipos [8,5 %]). El 10,2 % se relacionaban con el aprendizaje y el mejoramiento basados en la práctica, más comúnmente el aprendizaje autodirigido (6,8 %); y 9,7 % estaban relacionados con la competencia de práctica basada en sistemas.11
Herramientas de evaluación
Aunque la literatura educativa respalda la utilidad de múltiples herramientas para evaluar el desempeño, el hábito conduce al uso de una herramienta única para definirlo (Evaluación global de la rotación y exámenes de selección múltiple).4 Este tipo de evaluaciones adolece de la limitación conocida del uso e interpretación inadecuada de escalas, valoraciones subjetivas de desempeño y del efecto "halo", donde el resultado está determinado por lo que se sabe que ocurrió en el pasado.4-6
Pese al interés de la Sociedad Europea de Anestesiología (UEMS/EBA) (por sus siglas en inglés de The Union of European Medical Specialists/European Board of Anaesthesia) de armonizar las herramientas de evaluación y certificación de los programas de anestesia en dicho continente,20-22,24 un estudio reciente realizado en la Unión Europea10 encontró que los procesos de evaluación y certificación en el entrenamiento de especialistas en anestesia eran diversos. En muchos países permanece activo el modelo de aprendizaje tradicional basado en tiempo, con una media de duración de 5 años (rango 2,75 7). Los programas con mayor número de herramientas de evaluación eran aquellos basados en competencias (media 9,1 [SD 2,97] vs. 7,0 [SD 1,97]; p 0,03). Las herramientas más frecuentemente mencionadas eran la observación clínica directa, la retroalimentación, preguntas orales y/o exámenes de opción múltiple (MCQ), bitácora de procedimientos y portafolio. La mayoría de los países tenía un proceso de certificación a nivel nacional.
Algunos programas de anestesia basados en competencias, como el de la Universidad Ottawa en Canadá,7) sugieren herramientas de evaluación simplificadas similares a las utilizadas en los exámenes orales RCPSC (The Royal College of Physicians and Surgeons of Canada), las cuales sirven para evaluar el conocimiento médico y el pensamiento crítico de las residentes asociadas a preguntas para dirigir su aprendizaje.
La evaluación basada en simulación es tal vez una de las herramientas con más evidencia para la adquisición de competencias en el manejo de eventos intraoperatorios simulados; sin embargo, se necesitan estudios adicionales para determinar su validez en términos de desempeño clínico y transferencia de conocimientos.41,43
Algunos estudios enfocados en la medición de la eficacia y validez de métodos, como el Script, ECOE, Mini-CEX y DOPS, entre otros, han demostrado su utilidad en la evaluación de estudiantes de posgrado en anestesia, pero con un mayor costo4-6,65.
Paralelo a las dificultades de la aplicación de estos métodos "novedosos" de evaluación dentro de la práctica anestésica, Tetzlaff muestra las virtudes de evaluación basada en problemas para la adquisición y evaluación de competencias tanto técnicas como no técnicas a un costo más racional.4-6
A modo de síntesis, la evaluación en anestesiología se caracteriza en la mayoría de los casos por la brecha entre lo que se quiere evaluar y lo que realmente se evalúa, dando mayor importancia a la valoración del conocimiento teórico sobre la valoración de las habilidades procedimentales y el juicio clínico al momento de realizar la evaluación del residente. Esta situación impide valorar el nivel de competencia alcanzado por el estudiante al no hacer una evaluación global del mismo.
El advenimiento de múltiples instrumentos de evaluación diseñados bajo el concepto de "evaluar para aprender" y la fórmula de la utilidad de la evaluación propuesta por Van der Vleuten y cols.90 demuestran que la anestesiología cuenta con una brecha importante entre la aplicación de dichos instrumentos en situaciones específicas de la enseñanza y la evaluación por competencias en esta especialidad10-17,35-78 (Tabla 4).
Tabla 4 Instrumentos de evaluación en anestesia según la ecuación de Van der Vleuten.
* Curvas de CUSUM o curvas de aprendizaje de sumatoria acumulada. Los gráficos CUSUM son modelos que valoran en el tiempo el porcentaje de éxito en la realización de una tarea, considerando las posibilidades de fallo del método de valoración desde el punto de vista de error tipo 1 y tipo 2, y de la habilidad que se va a evaluar propiamente desde el punto de vista de la probabilidad de fallo aceptable e inaceptable. En anestesiología, los gráficos CUSUM se han usado no solo para valorar el aprendizaje psicomotriz sino, también, para describir su evolución en el tiempo tanto en personas entrenadas como en no entrenadas. Los procedimientos que se han valorado con mayor frecuencia son: intubación orotraqueal (IOT), cateterización vascular y anestesia regional.70
Fuente: Autores.
Es evidente la necesidad de evaluar en el contexto clínico a los residentes de anestesia; sin embargo, no existe consenso en la utilización y mucho menos en la selección de la mejor estrategia de valoración de su desempeño y aprendizaje. Aunque la tendencia en evaluación se centra en las competencias "cuidado del paciente" y "conocimiento médico", existe gran preocupación por otro tipo de herramientas e instrumentos en las otras competencias del marco teórico de AGCME y de la CanMEDS. Por ejemplo, para la evaluación de habilidades no técnicas, la Universidad de Aberdeen, en Escocia, diseñó la herramienta ANTS (por las iniciales en inglés de anaesthetists non-technical skills), incorporada actualmente por el Royal College of Anaesthetists de Reino Unido (RCoA) para la evaluación rutinaria de los residentes de anestesia y como una posible herramienta de selección nacional de futuros anestesiólogos.30,65
Teniendo en cuenta que la elaboración de un sistema de evaluación programático adecuado debe partir del hecho de que no existe un solo tipo de método o herramienta de evaluación que sea intrínsecamente superior o suficiente para la evaluación de la totalidad de las competencias, independiente del modelo curricular propuesto, los programas deberían velar por el diseño e implementación de métodos de evaluación que sean coherentes con la filosofía curricular según sus prioridades y objetivos de aprendizaje.
Conclusiones
El análisis de la evaluación desde su impacto educativo y desarrollo histórico, nos indica que la forma de evaluar ejerce una influencia sustancial en el cambio de los estilos de aprendizaje de los alumnos; de ahí la importancia de no hacer de esta una medición aislada del desempeño de los estudiantes.
La competencia es específica según el contenido o el contexto, por ende, para evaluarla se requiere más de un solo método o medición, además de ser acorde al nivel de aprendizaje.13 Esto revela la importancia de un programa de evaluación que incluya -de manera estructurada y en sintonía con la filosofía curricular- la utilización de múltiples instrumentos para obtener la mayor cantidad de datos y atributos relacionados con el desempeño del estudiante.
Es más fácil reconocer una competencia cuando esta se ha desarrollado que cuando se encuentra ausente,88 por lo cual es importante evaluar todos los aspectos de la formación, principalmente en aquellas áreas donde la adquisición de habilidades procedimentales aparentemente tiene una mayor importancia y se resta atención a la adquisición de las otras competencias profesionales en el personal en formación.
Los programas y los docentes tienen la responsabilidad de definir las competencias y habilidades complejas que deben ser aprendidas,87,90 cómo enseñarlas y evaluarlas, con el fin de reconocer cuándo delegar responsabilidades y cuándo el residente está en la capacidad de enfrentarse al mundo real en condiciones no supervisadas.
Cada día hay más recursos para hacer de la evaluación una herramienta transformadora del aprendizaje. Hoy por hoy existen múltiples instrumentos, basados en la tradicional pirámide de Miller para medir competencias, que permiten evaluar tanto habilidades técnicas como no técnicas desde el proceso y el progreso del residente, con el fin de aplicar en mayor grado el concepto de individualización del estudiante del que tanto se habla actualmente13,32,88
Aunque en el área de la anestesia aún queda un largo trecho por andar, existe una gran preocupación por perfeccionar y estudiar el impacto de otro tipo de herramientas e instrumentos en escenarios específicos de la especialidad. Las reformas curriculares, el cambio de visión y la profesionalización de la disciplina médica nos han ampliado las posibilidades de mejoramiento en el área de la enseñanza, así como, la aplicación de nuevas estrategias e instrumentos de evaluación que podrían ser prometedoras y aumentar la posibilidad de "aprendizaje significativo" en los residentes de esta especialidad.
Responsabilidades éticas
El presente artículo se acoge y sigue las "Normas científicas, técnicas y administrativas para la investigación en salud" establecidas en la Resolución 8430 de 1993 del Ministerio de Salud de la República de Colombia. Se consideró que el estudio publicado corresponde a una investigación con riesgo bajo, que requirió consentimiento informado por escrito, puesto que el estudio utilizó documentos privados, así como la opinión y datos personales cuyo uso puede causar cambios o modificaciones psicológicas y/o sociales de la conducta humana.
REFERENCIAS
1. Van Der Vleuten CP. Revisiting assessing professional competence: from methods to programmes. Med Educ 2016;50:885-888. [ Links ]
2. Celman S. ¿Es posible mejorar la evaluación y transformarla en herramienta de conocimiento? En Camilloni AW: La evaluación de los aprendizajes en el debate didáctico contemporáneo. Paidos, Buenos Aires; 1998. [ Links ]
3. Colbert CY, Dannefer EF, French JC. Clinical competency committees and assessment: changing the conversation in graduate medical education. J Grad Med Educ 2015;7:162-165. [ Links ]
4. Tetzlaff JE. Assessment of competency in anesthesiology. Anesthesiology 2007;106:812-825. [ Links ]
5. Tetzlaff JE. Assessment of competence in anesthesiology. Curr Opin Anaesthesiol 2009;22:809-813. [ Links ]
6. Tezlaff JE. Evaluation of Anesthesia Residents. En Frost EAM. Comprehensive Guide to Education in Anesthesia. 2014;Springer, New York:129-145. [ Links ]
7. Fraser AB, Stodel EJ, Jee R, et al. Preparing anesthesiology faculty for competency-based medical education. Surv Anesthesiol 2017;61:32-33. [ Links ]
8. Bould MD, Naik VN, Hamstra SJ. Review article: new directions in medical education related to anesthesiology and perioperative medicine. Can J Anesth 2012;59:136-150. [ Links ]
9. Boet S, Pigford AAE, Naik VN. Program director and resident perspectives of a competency-based medical education anesthesia residency program in Canada: a needs assessment. Korean J Med Educ 2016;28:157-168. [ Links ]
10. Jonker G, Manders L, Marty A, et al. Variations in assessment and certification in postgraduate anaesthesia training: a European survey. Br J Anaesth 2017;119:1009-1014. [ Links ]
11. Ross FJ, Metro DG, Beaman ST, et al. A first look at the Accreditation Council for Graduate Medical Education anesthesi-ology milestones: implementation of self-evaluation in a large residency program. J Clin Anesth 2016;32:17-24. [ Links ]
12. Yamamoto S, Tanaka P, Madsen MV, et al. Comparing anesthesiology residency training structure and requirements in seven different countries on three continents. Cureus 2017;9:e1060. [ Links ]
13. Durante E. Algunos métodos de evaluación de las competencias: Escalando la pirámide de Miller. Revista del Hospital Italiano 2006;55-61. [ Links ]
14. Ebert TJ, Fox CA. Competency-based education in anesthesiology: history and challenges. Anesthesiology 2014;120:24-31. [ Links ]
15. Frost E. Comprehensive Guide to Education in Anesthesia. New York: Springer science + business Media; 2014. [ Links ]
16. Baker K. Determining resident clinical performance: getting beyond the noise. Anesthesiology 2011;115:862-878. [ Links ]
17. Boulet JR, Murray D. Review article: assessment in anesthesiology education. J Can Anesth 2012;59:182-192. [ Links ]
18. The Accreditation Council for Graduate Medical Education and The American Board of Anesthesiology. The Anesthesiology Milestone Project. [Internet]. Accreditation Council for Graduate Medical Education. [Cited 2020 May 10]. Available at: https://www.acgme.org/. [ Links ]
19. The Royal College of Physicians and Surgeons of Canada [Internet]. Royal College of Physicians and Surgeons of Canada. [Cited 2020 May 12]. Available at: http://www.royalcollege.ca/rcsite/canmeds-e. [ Links ]
20. The Standing Committee on Education and Professional Development of the Section and Board of Anaesthesiology. European Training Requirement ETR in Anesthesiology [Internet]. Available at: https://www.uems.eu/about-us/medical-specialties. [ Links ]
21. Larsson J, Holmström I. Understanding anesthesia training and trainees. Curr Opin Anaesthesiol 2012;25:681-685. [ Links ]
22. Gessel EV, Mellin-Olsen J, 0stergaard HT, et al. Postgraduate training in anaesthesiology, pain and intensive care. Eur J Anaesthesiol 2012;29:165-168. [ Links ]
23. Chiu M, Crooks S, TarshisJ, et al. Simulation-based assessment of anesthesiology residents’ competence: development and implementation of the Canadian National Anesthesiology Simulation Curriculum (CanNASC). Can J Anesth 2016;63:1357-1363. [ Links ]
24. Carlsson C, Keld D, Van Gessel E, et al. Education and training in anaesthesia - revised guidelines by the European Board of anaesthesiology, reanimation and intensive care: SECTION and BOARD OF ANAESTHESIOLOGY1, European Union of Medical specialists. Eur J Anaesthesiol 2008;25:528-530. [ Links ]
25. Rebel A, Dilorenzo A, Nguyen D, et al. Should objective structured clinical examinations assist the clinical competency committee in assigning anesthesiology milestones competency? Anesth Analg 2019;129:226-234. [ Links ]
26. Cate OT. Entrustability of professional activities and competency-based training. Med Educ 2005;39:1176-1177. [ Links ]
27. Cate OT. Nuts and bolts of entrustable professional activities. J Grad Med Educ 2013;5:157-158. [ Links ]
28. Wisman-Zwarter N, Schaaf MVD, Cate OT, et al. Transforming the learning outcomes of anaesthesiology training into entrustable professional activities. Eur J Anaesthesiol 2016;33:559-567. [ Links ]
29. Jonker G, Hoff RG, Cate OTJT. A case for competency-based anaesthesiology training with entrustable professional activities. Eur J Anaesthesiol 2015;32:71-76. [ Links ]
30. The Anesthesiology Milestone Project. Assessment of procedural skills in anesthesiology trainees: changing trends. J Grad Med Educ 2014;6 (1 suppl 1):15-28. [ Links ]
31. Sivaprakasam J, Purva M. CUSUM analysis to assess competence: what failure rate is acceptable? Clin Teach 2010;7:257-261. [ Links ]
32. Neira VM, Bould MD, Nakajima A, et al. GIOSAT: a tool to assess CanMEDS competencies during simulated crises. Can J Anesth 2013;60:280-289. [ Links ]
33. Jaramillo S, Vargas R. Cañadas R, Vargas R, Rincon R, et al. Cómo aprenden los adultos: una Aproximación desde la enseñanza médica. Currículo nuclear en endoscopia digestiva: fundamentos teóricos y propuesta curricular Bogotá: Panamericana; 2018; 15-25. [ Links ]
34. Sociedad Colombiana de Anestesiología y Reanimación Docu-mento marco del Plan de Estudios y Competencias para un Programa de Anestesiología en Colombia. Bogotá: SCARE; 2017. [ Links ]
35. Van der Vleuten C, Schuwirth L, Driessen E, et al. A model for programmatic assessment fit for purpose. Med Teach 2012;34:205-214. [ Links ]
36. Van Der Vleuten CPM, Schuwirth LWT, Scheele F, et al. The assessment of professional competence: building blocks for theory development. Best Pract Res Clin Obstet Gynaecol 2010; 24:703-719. [ Links ]
37. Bilotta F, Titi L, Lanni F, et al. Training anesthesiology residents in providing anesthesia for awake craniotomy: learning curves and estimate of needed case load. J Clin Anesth 2013;25:359-366. [ Links ]
38. Ramírez LJ, Moreno MA, Gartdner L, et al. Modelo de enseñanza de las habilidades psicomotoras básicas en anestesia para estudiantes de ciencias de la salud: sistematización de una experiencia. Colombian Journal of Anesthesiology 2008;36:85-92. [ Links ]
39. Aguirre Ospina OD, Ríos Medina ÁM, Calderón Marulanda M, et al. Cumulative Sum learning curves (CUSUM) in basic anaesthesia procedures. Colombian Journal of Anesthesiology 2014;42:142-153. [ Links ]
40. Stiegler MP, Tung A. Cognitive processes in anesthesiology decision making. Anesthesiology 2014;120:204-217. [ Links ]
41. Enser M, Moriceau J, Abily J, et al. Background noise lowers the performance of anaesthesiology residents’ clinical reasoning when measured by script concordance. Eur J Anaesthesiol 2017;34:464-470. [ Links ]
42. Echevarría Moreno M, Prieto Vera C, Martin Telleria A, et al. The objective structured clinical evaluation of teaching in anaesthesiology and resuscitation. Rev Esp Anestesiol Reanim 2012;59:134-141. [ Links ]
43. Ben-Menachem E, Ezri T, Ziv A, et al. Objective structured clinical examination-based assessment of regional anesthesia skills: the israeli national board examination in anesthesiology experience. Anesth Analg 2011;112:242-245. [ Links ]
44. Ahmed O, O’Donnell B, Gallagher A, et al. Development of performance and error metrics for ultrasound-guided axillary brachial plexus block. Adv Med Educ Pract 2017;5:257-263. [ Links ]
45. CheungJJH, Chen EW, Darani R, et al. The creation of an objective assessment tool for ultrasound-guided regional anesthesia using the delphi method. Reg Anesth Pain Med 2012;37:329-333. [ Links ]
46. Chin KJ, Tse C, Chan V, et al. Hand motion analysis using the Imperial College surgical assessment device: validation of a novel and objective performance measure in ultrasound-guided peripheral nerve blockade. Reg Anesth Pain Med 2011;36:213-219. [ Links ]
47. Chuan A, Thillainathan S, Graham PL, et al. Reliability of the direct observation of procedural skills assessment tool for ultrasound-guided regional anaesthesia. Anaesth Intensive Care 2016;44:201-209. [ Links ]
48. Watson MJ, Wong DM, Kluger R, et al. Psychometric evaluation of a direct observation of procedural skills assessment tool for ultrasound-guided regional anaesthesia. Anaesthesia 2014;69: 604-612. [ Links ]
49. Laurent DA, Niazi A, Cunningham M, et al. A valid and reliable assessment tool for remote simulation-based ultrasound-guided regional anesthesia. Reg Anesth Pain Med 2014;39:496-501. [ Links ]
50. Corvetto MA, Fuentes C, Araneda A, et al. Validation of the imperial college surgical assessment device for spinal anesthesia. BMC Anesthesiol 2017;17:131. [ Links ]
51. Chuan A, Wan AS, Royse C, et al. Competency-based assessment tools for regional anaesthesia: a narrative review. Br J Anaesth 2017;120:264-273. [ Links ]
52. Chuan A, Graham PL, Wong DM, et al. Design and validation of the Regional Anaesthesia Procedural Skills Assessment Tool. Anaesthesia 2015;70:1401-1411. [ Links ]
53. Hastie MJ, Spellman JL, Pagnano PP, et al. Designing and implementing the objective structured clinical examination in anesthesiology. Anesthesiology 2014;120:196-203. [ Links ]
54. Farnan JM, Petty LA, Georgitis E, et al. A systematic review: the effect of clinical supervision on patient and residency education outcomes. Acad Med 2012;87:428-442. [ Links ]
55. Moore DL, Ding L, Sadhasivam S. Novel real-time feedback and integrated simulation model for teaching and evaluating ultrasound-guided regional anesthesia skills in pediatric anesthesia trainees. Paediatr Anaesth 2012;22:847-853. [ Links ]
56. Riveros R, Kimatian S, Castro P, et al. Multisource feedback in professionalism for anesthesia residents. J Clin Anesth 2016; 34:32-40. [ Links ]
57. Smith SE, Tallentire VR. The right tool for the right job: the importance of CUSUM in self-assessment. Anaesthesia 2011; 66:747. [ Links ]
58. Gaba DM, Howard SK, Flanagan B, et al. Assessment of clinical performance during simulated crises using both technical and behavioral ratings. Anesthesiology 1998;89:8-18. [ Links ]
59. Gaba DM, Howard SK, Gan BF, et al. Assessment of clinical performance during simulated crises using both technical and behavioral ratings. Surv Anesthesiol 1999;43:111-112. [ Links ]
60. Murray DJ, Boulet JR, Avidan M, et al. Performance of residents and anesthesiologists in a simulation-based skill assessment. Anesthesiology 2007;107:705-713. [ Links ]
61. Murray DJ, Boulet JR, Kras JF, et al. A simulation-based acute skills performance assessment for anesthesia training. Anesth Analg 2005;101:1127-1134. [ Links ]
62. Rábago JL, López-Doueil M, Sancho R, et al. Learning outcomes evaluation of a simulation-based introductory course to anaesthesia. Rev Esp Anestesiol Reanim 2017;64:431-440. [ Links ]
63. Fehr JJ, Boulet JR, Waldrop WB, et al. Simulation-based assessment ofpediatric anesthesia skills. Anesthesiology2011;115:1308-1315. [ Links ]
64. Lammers RL, Davenport M, Korley F, et al. Teaching and assessing procedural skills using simulation: metrics and methodology. Acad Emerg Med 2008;15:1079-1087. [ Links ]
65. Rebel A, DiLorenzo A, Fragneto RY, et al. Objective assessment of anesthesiology resident skills using an innovative competition-based simulation approach. A A Case Rep 2015;5:79-87. [ Links ]
66. Schwid HA, Rooke GA, Carline J, et al. Evaluation of anesthesia residents using mannequin-based simulation: a multiinstitutional study. Anesthesiology 2002;97:1434-1444. [ Links ]
67. Byrne AJ, Greaves JD. Assessment instruments used during anaesthetic simulation: review ofpublished studies. Br J Anaesth 2001; 86:445-450. [ Links ]
68. Corvetto MA, Bravo MP, Montaña RA, et al. Bringing clinical simulation into an anesthesia residency training program in a university hospital. Participants’ acceptability assessment. Rev Esp Anestesiol Reanim 2013;60:320-326. [ Links ]
69. Hindman BJ, Dexter F, Smith TC. Anesthesia residents’ global (departmental) evaluation of faculty anesthesiologists’ supervision can be less than their average evaluations of individual anesthesiologists. Anesth Analg 2015;120:204-208. [ Links ]
70. Mitchell JD, Holak EJ, Tran HN, et al. Are we closing the gap in faculty development needs for feedback training? J Clin Anesth 2013;25:560-564. [ Links ]
71. O’Sullivan O, Shorten GD. Formative assessment of ultrasound-guided regional anesthesia. Reg Anest Pain Med 2011;36: 522-523. [ Links ]
72. Hindman BJ, Dexter F, Kreiter CD, et al. Determinants, associations, and psychometric properties of resident assessments of anesthesiologist operating room supervision. Anesth Analg 2013;116:1342-1351. [ Links ]
73. Bindal N, Goodyear H, Bindal T, et al. DOPS assessment: a study to evaluate the experience and opinions of trainees and assessors. Med Teach 2013;35:e1230-e1234. [ Links ]
74. De Oliveira Filho GR, Dal Mago AJ, Garcia JHS, et al. An instrument designed for faculty supervision evaluation by anesthesia residents and its psychometric properties. Anesth Analg 2008;107:1316-1622. [ Links ]
75. Ahmed K, Miskovic D, Darzi A, et al. Observational tools for assessment of procedural skills: a systematic review. Am J Surgery 2011;202:469-80e6. [ Links ]
76. Rebel A, DiLorenzo AN, Fragneto RY, et al. A competitive objective structured clinical examination event to generate an objective assessment of anesthesiology resident skills development. A Case Rep 2016;6:313-319. [ Links ]
77. Norris A, McCahon R. Cumulative sum (CUSUM) assessment and medical education: a square peg in a round hole. Anaesthesia 2011;66:250-254. [ Links ]
78. Khaliq T. Reliability of results produced through objectively structured assessment of technical skills (OSATS) for endotracheal intubation (ETI). J Coll Physicians Surg Pak 2013;23:51-55. [ Links ]
79. Flin R, Patey R, Glavin R, et al. Anaesthetists’ non-technical skills. Br J Anaesth 2010;105:38-44. [ Links ]
80. Flin R, Patey R. Non-technical skills for anaesthetists: developing and applying ANTS. Best Pract Res Clin Anaesthesiol 2011;25:215-227. [ Links ]
81. Graham J, Hocking G, Giles E. Anaesthesia non-technical skills: can anaesthetists be trained to reliably use this behavioural marker system in 1 day? Br J Anaesth 2010;104:440-445. [ Links ]
82. Ahmed A. Assessment of procedural skills in anesthesiology trainees: changing trends. Anaesth, Pain & Intensive Care 2014;18:135-36. [ Links ]
83. Bould MD, Crabtree NA, Naik VN. Assessment of procedural skills in anesthesia. Br J Anaesth 2009;103:472-483. [ Links ]
84. Witt A, Iglesias S, Ashbury T. Evaluation of Canadian family practice anesthesia training programs: can the resident logbook help? Can J Anesth 2012;59:968-973. [ Links ]
85. Weller JM, Castanelli DJ, Chen Y, et al. Making robust assessments of specialist trainees’ workplace performance. Br J Anaesth 2017;118:207-214. [ Links ]
86. Weller JM, Jones A, Merry AF, et al. Investigation of trainee and specialist reactions to the mini-clinical evaluation exercise in anaesthesia: implications for implementation. Br J Anaesth 2009;103:524-530. [ Links ]
87. Kathirgamanathan A, Woods L. Educational tools in the assessment of trainees in anaesthesia. Contin Educ Anaesth Crit Care Pain 2011;11:138-142. [ Links ]
88. Castanelli DJ, Castanelli DJ, Jowsey T, et al. Perceptions of purpose, value, and process of the mini-clinical evaluation exercise in anesthesia training. Can J Anesth 2016;63:1345-1356. [ Links ]
89. Colbert-Getz J, Ryan M, Hennessey E, et al. Measuring assessment quality with an assessment utility rubric for medical education. MedEdPORTAL 2017;13:10588. [ Links ]
90. Van Meeuwen LW, Brand-Gruwel S, Kirschner PA, et al. Fostering self-regulation in training complex cognitive tasks. Educ Tech Res Dev 2018;66:53. [ Links ]
Como citar este artículo: Jaramillo-Rincón SX, Durante E, Ladenheim R, Díaz-Cortés JC. Anesthesia assessment in the era of competences: state of art. Colombian Journal of Anesthesiology. 2020;48:145-154.
Copyright © 2020 Sociedad Colombiana de Anestesiología y Reanimación (S.C.A.R.E.). Published by Wolters Kluwer. This is an open access article under the CC BY-NC-ND license (https://creativecommons.org/licenses/by-nc-nd/4.0/).
This is an open-access article distributed under the terms of the Creative Commons Attribution License
