Sistema de captura de gestos con KINECT para la manipulación de robots quirúrgicos virtuales

Gesture KINECT capture system for virtual surgical robots manipulation

Juan Diego Hurtado-Chaves¹, Alex Aldemar Nástar-Guacales², Oscar Andrés Vivas-Albán³

1 Ing. en Automática Industrial. Universidad del Cauca. Popayán, Colombia. juandihurtado@hotmail.com.
2 Ing. en Automática Industrial. Universidad del Cauca. Popayán, Colombia. alexnastar@gmail.com.
3 Ph. D. en Robótica, Universidad del Cauca. Popayán, Colombia. avivas@unicauca.edu.co.

RESUMEN

Este artículo presenta la aplicación de un sistema de captura de gestos con el fin de manipular dos robots quirúrgicos virtuales. El sistema de captura de gestos se realiza por medio de un dispositivo Kinect, el cual detecta el movimiento de las manos del usuario con el fin de mover los robots quirúrgicos, y de su rodilla derecha, utilizada para cambiar los instrumentos quirúrgicos de cada robot. Este sistema de captura con interfaz natural se prueba en un simulador quirúrgico para operaciones de laparoscopia, el cual consta de un robot porta endoscopio que se manipula con un joystick, y los dos robots quirúrgicos cuyos órganos terminales son guiados a partir de las señales captadas por el dispositivo Kinect, las cuales son transformadas en movimientos articulares de los robots debido al modelo cinemático. El sistema se prueba en una rutina de extracción de vesícula (colecistectomía) robotizada, permitiendo al usuario un mejor manejo gracias al uso de esta interfaz natural.

PALABRAS CLAVE: Dispositivo Kinect, interfaces naturales, robots quirúrgicos, simuladores quirúrgicos.

ABSTRACT

This article presents a gesture capture system for manipulating two virtual surgical robots. Gesture capture uses Kinect device to detect the movement of the user's hand to move the surgical robots, and his right knee to change the needed surgical tools. This natural interface capture system is proved on a surgical simulator for laparoscopic, that has a holder endoscopic robot manipulated by a joystick, and two surgical robots that are guided by the Kinect device. Kinematics model is used to transform Kinect captured signals to articular movements for the robots. System is tested on a robotic cholecystectomy, allowing a more natural manipulation to the user.

KEYWORDS: Kinect device, natural interfaces, surgical robots, surgical simulator.

1. INTRODUCCIÓN

La cirugía laparoscópica ha significado una importante revolución en la práctica quirúrgica. Iniciada hace casi tres décadas, esta permite operar en la zona abdominal sin necesidad de grandes aberturas. El procedimiento consiste en abrir tres o cuatro pequeños orificios en el abdomen del paciente, uno de los cuales lleva un endoscopio o cámara que transmite a los cirujanos el video del interior del abdomen, mientras que por los restantes se introducen los instrumentos quirúrgicos, con el fin de realizar la operación [1], [2]. Las ventajas de la laparoscopia son evidentes: menor trauma para el paciente, menor tiempo de recuperación, menor dolor, menor uso del sistema de salud y menores cicatrices. Sin embargo, aunque el paciente ha ganado muchísimo, para el cirujano ha significado un gran reto. Esto se debe a la difícil posición que él debe asumir durante toda la intervención (codos levantados) que genera fácilmente temblor en sus manos, a la difícil coordinación ojo-mano, ya que los instrumentos deben pasar por un punto fijo (trocar) en el abdomen, a la pérdida de visión en tres dimensiones y, en general, al complejo entrenamiento al que debe someterse un cirujano debutante en este tipo de prácticas.

La tecnología ha venido produciendo soluciones a estos nuevos desafíos, principalmente con los robots asistentes, quienes ayudan al cirujano a realizar su intervención eliminando gran parte de los inconvenientes nombrados anteriormente. Los mayores exponentes de esta tecnología son el robot Zeus [3] (discontinuado desde 2003), y el robot Da Vinci [4]. Para el caso de este último, el cirujano está cómodamente sentado sobre una consola manejando dos dispositivos tipo joystick, por medio de los cuales manipula los tres o cuatro brazos del robot Da Vinci, el cual puede hallarse en la misma habitación o a kilómetros de distancia. A pesar de su costo, que está cerca al millón de dólares, este robot ha alcanzado bastante popularidad, con más de mil quinientas unidades en uso en el mundo entero, entre ellas 13 en Latinoamérica [5].

Poco después de la aparición de los robots asistentes quirúrgicos surgieron los simuladores quirúrgicos, es decir, complejos sistemas software cuyo fin era ayudar a los cirujanos en el entrenamiento de las nuevas técnicas quirúrgicas robotizadas [6]. Existen muchos tipos de simuladores quirúrgicos, que van desde los simuladores físicos (en donde el cirujano se entrena frente a una maqueta real) [7], [8], hasta las complejas versiones comerciales exhibidas en [9], [10]. Los simuladores o entrenadores quirúrgicos se han convertido en un dinámico campo de investigación dada la importancia que han ido adquiriendo en la práctica quirúrgica, no obstante, la compleja tarea que implica programar en ellos procedimientos con gran realismo (deformación de órganos, sangrado, humo producto de cauterizaciones, entre otros) requiere importantes recursos del computador.

La Universidad del Cauca ha incursionado en este campo desde hace algunos años; diseñó un primer robot quirúrgico llamado Lapbot [11] y un primer robot porta endoscopio llamado Hibou [12]. Con base en ellos se construyó en 2013 un simulador quirúrgico con el fin de que los ingenieros interesados en la robótica quirúrgica pudieran comprender y probar estos robots en un procedimiento de colecistectomía (extracción de la vesícula biliar). Este simulador, llamado Robo-Surgery [13] permite manipular estos robots por medio de un dispositivo joystick.

Aun así el manejo de robots o instrumentos quirúrgicos por medio de un joystick no es una tarea sencilla. Es por eso que el uso de interfaces naturales, tecnología reciente que ha venido despertando gran interés en los últimos años, se perfila como una nueva vía de manipulación y, por ende, de entrenamiento de estos robots asistentes. El presente artículo muestra el funcionamiento del software RoboSurgery para manipulación de dos robots quirúrgicos virtuales, pero en este caso comandados por los movimientos de las manos del usuario, captados por medio de un dispositivo Kinect.

2. SOFTWARE DE SIMULACIÓN ROBOSURGERY

El software de simulación quirúrgica Robo-Surgery involucra dos tipos de robots. Primero, el robot porta endoscopio Hibou, diseñado para soportar la cámara o endoscopio en el interior del abdomen del paciente. Este robot posee siete grados de libertad, con todas sus articulaciones rotacionales, de las cuales cinco poseen motor y dos son articulaciones fijas. Las articulaciones fijas permiten mantener un punto fijo sobre la cavidad abdominal, punto por donde pasarán los instrumentos quirúrgicos, el cual es llamado trocar. Una figura de la arquitectura del robot Hibou se muestra a continuación.

El otro robot involucrado es el robot Lapbot, robot quirúrgico propiamente dicho. Este robot posee nueve grados de libertad, con seis articulaciones activas o motorizadas y tres articulaciones pasivas. La Fig. 2 muestra la arquitectura de este robot, en la que se aprecia que la primera articulación es prismática mientras las demás son de tipo rotacional.

RoboSurgery permite realizar dos tipos de intervenciones en el abdomen del paciente. Primero, una laparoscopia diagnóstica, donde solo actúa el robot porta endoscopio Hibou, el cual es manipulado por el usuario utilizando para ello un joystick. El software posee una cámara virtual que muestra en todo momento el interior de la cavidad abdominal, imagen que cambia a medida que el usuario mueve el joystick (Fig. 3). La otra intervención y más completa es la laparoscopia quirúrgica, en la que actúan tres robots: un robot porta endoscopio Hibou, que enfoca el área a ser operada; y dos robots Labpot que portan los instrumentos quirúrgicos necesarios (bisturí, grapadora, pinzas). El software permite realizar paso a paso la extracción de una vesícula enferma (colecistectomía), la cual se verá en la sección siguiente.

3. DISPOSITIVO KINECT Y SU INTERACCIÓN CON ROBOSURGERY

El Kinect es un dispositivo periférico desarrollado en 2010 por Microsoft para la consola de juego Xbox 360, el cual ha dado gran impulso a las interfaces naturales de usuario [14]. El dispositivo Kinect utiliza una cámara capaz de medir distancias, leer cuerpos y reconocer sus gestos, y un chip capaz de procesar datos de profundidad a 30 imágenes por segundo. Su diseño se soporta en un vástago horizontal de 23 centímetros de largo, donde se ubican los sensores, reposando sobre una base rectangular con un eje de rotación (Fig. 4). Es de notar que aunque este dispositivo fue el primero en salir al mercado, actualmente esta tecnología está en plena expansión con varias propuestas comerciales de otros fabricantes cuyos productos compiten con el Kinect.

Desde su lanzamiento el dispositivo Kinect ha generado muchas expectativas en cuanto al uso de una interfaz natural para interactuar con el mundo real o simulado. Los primeros usos de este dispositivo para tareas ajenas a su concepción inicial de instrumento para video juegos, se dieron en sistemas de reconocimiento de gestos de manera general ([15], [16], [17], [18]). Posteriormente se empezó a utilizar el dispositivo en diversas aplicaciones, entre ellas la replicación de movimientos en robots ([19], [20]), la rehabilitación de pacientes [21], [22] y, finalmente, su uso como interfaz natural para el control de dispositivos quirúrgicos, como el caso del uso del Kinect para reconocer un protocolo de gestos en la inserción de guías dentro del paciente [23]; la evaluación del mismo dispositivo como generador de movimientos en un simulador quirúrgico [24], o el uso del Kinect para el reconocimiento de un protocolo de gestos en una biopsia cerebral [25]. El mayor aporte de este proyecto es la utilización del Kinect para mover dos robots quirúrgicos en operaciones de laparoscopia.

En este proyecto se realizó la integración del software de simulación quirúrgica RoboSurgery con el dispositivo Kinect, con el objetivo de que los dos robots quirúrgicos Lapbot fueran manipulados por el movimiento de las manos del usuario. El esquema general del sistema se muestra en la figura (Fig. 5), donde puede verse que el robot porta endoscopio Hibou es manipulado por el joystick para mover y fijar la imagen de la cámara en el interior del paciente, mientras que los dos Lapbot serán movidos por las manos del usuario captadas a través del dispositivo Kinect.

RoboSurgery fue implementado en C++ sobre la plataforma Visual Studio. Utilizó las librerías de código abierto QT para la confección de botones y VTK para el renderizado gráfico, además de otros programas de libre uso como Blender, CMake, Make Human, GIMP y SDL [13]. Sobre este programa se construyó la funcionalidad que debía incluir el uso del Kinect para interactuar con el programa. Aunque existen varias opciones para realizar esto se utilizó el SDK de Windows, versión 1.6, con el fin de enlazar el simulador quirúrgico con el dispositivo, bajo la plataforma Visual Studio 2010.

3.1 Pruebas y calibración del sistema

Para conocer el funcionamiento del Kinect dentro del lenguaje de programación C++, se realizaron una serie de pruebas extrayendo las coordenadas x, y, z de la mano derecha en diferentes movimientos. Estos movimientos realizados en el espacio cartesiano fueron convertidos al espacio articular del robot mediante el modelo geométrico directo de este, y de ahí pasados directamente al movimiento de cada articulación de los robots en la herramienta. Con los datos guardados en un archivo de texto se procedió a graficar y analizar estos movimientos en Matlab. Inicialmente se realizaron líneas rectas de aproximadamente 0.5 metros de largo, utilizando para ello un vidrio marcado como guía (Fig. 6). Luego, se siguió un círculo de 0.2 metros de radio (Fig. 7) sobre los tres planos, y se obtuvo el respectivo error cartesiano. Como ejemplo se muestra la figura obtenida con la consiga circular (Fig. 8) y su respectivo error cartesiano en el plano YZ (Fig. 9). Estas pruebas permitieron configurar el dispositivo y calibrar el sistema, escalando las medidas tomadas de forma real al ambiente más reducido del simulador quirúrgico.

Figura 9

Obsérvese que el error obtenido en la mayor parte del recorrido de la trayectoria circular generada por la mano es un poco más de un centímetro. Este error tiene dos fuentes bien diferenciadas. Primero, la resolución del dispositivo Kinect, la cual depende de la distancia del usuario al dispositivo, además de que el dispositivo toma como base el centro de la palma de la mano, centro que en ocasiones puede tener ligeras variaciones. Y segundo, al hecho de que los seres humanos no somos capaces de realizar un círculo en el espacio tridimensional con absoluta precisión. No obstante, estas dos fuentes de error al cambiar a la escala del programa RoboSurgery, que es claramente más pequeña, se obtienen buenos resultados como se verá en la siguiente sección.

De otra parte, las señales en tres dimensiones captadas por la interfaz natural son convertidas a los movimientos articulares de cada una de las seis articulaciones activas de los robots Lapbot, utilizando para ello el modelo cinemático directo. Detalles del cálculo de cada una de las seis ecuaciones que describen este modelo pueden verse en [11].

4. RESULTADOS

El sistema fue probado por los mismos desarrolladores, quienes no son expertos en las prác ticas quirúrgicas, lo cual muestra la simplicidad de uso desde el punto de vista del usuario. Para inicializar el programa se levanta la mano izquierda con el fin de ingresar al entorno virtual, mientras que los instrumentos utilizados (pinza, bisturí, grapadora) se cambian levantando la rodilla derecha (Fig. 10), la cual debe elevarse más de 0.60 metros para que el dispositivo acepte el movimiento.

Los efectores finales de los dos robots se mueven de acuerdo a como se mueven las manos del usuario. La Fig. 11 muestra como al cruzar los brazos los efectores finales forman una cruz.

4.1 Simulación de una extracción de vesícula utilizando Kinect

La extracción de vesícula (colecistectomía) consta de cinco pasos fundamentales [26], [27]:

1. Exposición del conducto y arteria císticos: procedimiento por medio del cual se tira de la vesícula de manera que quede expuesto el tejido que cubre tanto el conducto como la arteria císticos.
2. Disección del triángulo de Calot: se abre el tejido sobre el triángulo de Calot y se exponen tanto el conducto como la arteria císticos.
3. Sección del conducto y la arteria císticos: se colocan clips con una grapadora al inicio y al final, tanto del conducto como de la arteria císticos, para posteriormente cortar con un bisturí en medio de los clips colocados.
4. Disección de la vesícula del lecho hepático: se separa la vesícula del lecho hepático por medio de un electrocauterio.
5. Extracción de la vesícula biliar: finalmente se extrae la vesícula biliar a través del trocar practicado en la cavidad abdominal.

Dado que RoboSurgery en su primera versión no dispone de la funcionalidad de deformación de órganos, el programa solamente tiene implementados los pasos a), c) y e). Estos pasos serán simulados utilizando el dispositivo Kinect para el movimiento de los robots Lapbot.

4.1.1 Exposición del conducto y arteria císticos

Para exponer tanto el conducto como la arteria císticos, se lleva el robot Lapbot izquierdo cargado con el instrumento "pinzas" (accionando el menú respectivo con la rodilla) y se toma con él la vesícula, órgano en verde, con el fin de dejar expuestos los conductos que van a la vesícula (Fig. 12).

4.1.2 Sección del conducto y arteria císticos

Se carga el instrumento "grapadora" en el robot Lapbot derecho (accionando el menú respectivo con la rodilla), y se lleva a la arteria con el fin de colocar las respectivas grapas, el programa lo hace de forma automática una vez se detecte la colisión entre la grapadora y el conducto (Fig. 13).

4.1.3 Extracción de la vesícula biliar

Finalmente, se carga el instrumento "bisturí" en el robot Lapbot derecho (accionando el menú respectivo con la rodilla), y se corta el conducto, el cual pasa a color rojo una vez se detecte la respectiva colisión. Entonces, con el Lapbot izquierdo, el cual tiene la "pinza", se jala hacia afuera y la vesícula desaparece (se simula la extracción de ella por el orificio abdominal). Esto se muestra en la Fig. 14.

Se observa que el programa RoboSurgery en su primera versión tiene aún muchos aspectos por mejorar (inclusión de los otros dos pasos en la colecistectomía, deformación de órganos, mayor realismo, entre otros), los cuales no eran el objetivo de este trabajo. Sin embargo, dichas mejoras no son incompatibles con la ventaja que ofrece al usuario el uso de esta interfaz natural para mover los robots virtuales en vez de utilizar el joystick.

5. CONCLUSIONES

Este artículo presentó un sistema de captura de gestos utilizando el dispositivo Kinect con el fin de mover dos robots quirúrgicos virtuales en el marco de una operación de extracción de vesícula (colecistectomía). El simulador virtual involucra tres robots: un robot porta endoscopio llamado Hibou, y dos robots quirúrgicos llamados Lapbot. Dicho simulador, al cual se le ha dado el nombre de RoboSurgery, permite seguir los pasos básicos de la colecistectomía, utiliza para ello un joystick con el que se manejan los tres robots y se cambian los instrumentos necesarios (pinzas, bisturí, grapadora).

Sin embargo, un nuevo dispositivo ha sido adicionado con el fin de que el uso del simulador sea más sencillo e intuitivo para el usuario. Se trata del Kinect de Microsoft, con el cual se detecta en tiempo real el movimiento de las palmas de las manos (para mover los dos robots quirúrgicos Lapbot) y una de las rodillas del usuario (para cambiar los instrumentos utilizados). Las pruebas del sistema se realizaron con personal no médico, evidenciándose la simplicidad en su manejo. El robot porta endoscopio Hibou se sigue moviendo con el joystick hasta ubicar el área de intervención, momento en el que se deja fijo el endoscopio. Una vez pasada la fase de adecuación del dispositivo al software RoboSurgery, se pudo constatar el correcto funcionamiento de la herramienta junto con el dispositivo Kinect: las manos del usuario reproducen los movimientos necesarios para mover los dos robots y llevar a cabo la extracción de la vesícula, al tiempo que la pierna derecha se utiliza para cambiar el instrumento que porta cada robot. El error cartesiano del sistema se ubica en poco más de un centímetro, suficiente para una primera versión de un simulador quirúrgico.

Trabajos futuros incluirán los pasos de la colecistectomía que no han sido incluidos en RoboSurgery, así como la adición de algoritmos de deformación, con el fin de otorgar mayor realismo a la simulación. Además, la prueba del mismo directamente con cirujanos con el fin de apreciar su posible utilidad potencial.

REFERENCIAS

[1] D.B. Jones, Laparoscopic Surgery: Principles and Procedures. New York: Marcel Dekker, 2004.         [ Links ]

[2] N. Katkhouda, Advanced Laparoscopic Surgery: Techniques and Tips. New York: Springer, 2010.         [ Links ]

[3] J. Marescaux, and F. Rubino, "The Zeus robotic system: experimental and clinical applications," Surgical Clinics of North America, vol. 83, pp. 1305-1345, 2003.         [ Links ]

[4] G.H. Ballantyne, and F. Molle, "The Da Vinci telerobotic surgical system: the virtual operative field and telepresence surgery," Surgical Clinics of North America, vol. 83, pp. 1293-1304, 2003.         [ Links ]

[5] C. Vaessen, "Location of robotic surgical systems worldwide and in France," Journal of Visceral Surgery, vol. 148, pp. 9-11, 2011.         [ Links ]

[6] A. Liu, F. Tendick, K. Cleary, and C. Kaufmann, "A survey of surgical simulation: applications, Technology, and education," Presence, vol. 12, no. 6, pp. 599-614, 2003.         [ Links ]

[7] H. Delingette and N. Ayache, "Hepatic Surgery Simulation," Communications of the ACM, vol. 48, pp. 31-36, no. 2, 2005.         [ Links ]

[8] J. García, M. Arias y E. Valencia, "Diseño de prototipo de simulador para entrenamiento en cirugía laparoscópica," Revista Ingeniería Biomédica, vol. 5, no. 9, pp. 13-19, 2011.         [ Links ]

[9] R. Valero, Y.H. Ko, S. Chauhan, O. Schatloff, A. Sivaraman, R.F. Coelho, F. Ortega, K.J. Palmer, R. Sanchez-Salas, H. Davila, X. Cathelineau, and V.R. Patel, "Cirugía robótica: Historia e impacto en la enseñanza," Actas Urológicas Españolas, vol. 35, no. 9, pp. 540-545, 2011.         [ Links ]

[10] C. Lallas and J. Davis, "Robotic surgery training with commercially available simulation systems in 2011: a current review and practice pattern survey from the society of urologic robotic surgeons", Journal of Endourology, vol. 26, no. 3, pp. 283-293. 2012.         [ Links ]

[11] S. Salinas y A. Vivas, "Modelado, simulación y control del robot para cirugía laparoscópica Lapbot," Revista Chilena de Ingeniería, vol. 17, pp. 317-328, 2009.         [ Links ]

[12] V. Torres, C. Méndez, A. Vivas y S. Salinas, "Diseño y simulación en 3D de un robot porta endoscopio para operaciones de laparoscopia," en V Seminario Internacional de Ingeniería Electrónica, Bucaramanga, Colombia, 2011.         [ Links ]

[13] D. Guzmán, "Herramienta software para la práctica y experimentación de la robótica quirúrgica," Tesis Ingeniería en Automática Industrial, Universidad del Cauca, Popayán, Colombia, 2013.         [ Links ]

[14] N. Petersen, "Continuous natural user interface: Reducing the gap between real and digital world," presented at 8th IEEE International Symposium of Mixed and Augmented Reality, Orlando, FL, pp. 23-26, 2009.         [ Links ]

[15] Y, Li, "Hand gesture recognition using Kinect," presented at 3rd International Conference on Software Engineering and Software Science, Beijing, China, 2012.         [ Links ]

[16] S. Lang, "Sign language Recognition whit Kinect," Tesis de licenciatura, Freie Univesität Berlin, Berlin, Germany, 2011.         [ Links ]

[17] K. Jahrmann, "3D Reconstruction with the Kinect-Camera," Tesis de licenciatura, Technischen Universität Wien, Wien, Austria, 2013.         [ Links ]

[18] E. Trilles, "Desarrollo de interfaces de usuarios naturales con Kinect," Tesis Ingeniería Informática, Universidad Politécnica de Valencia, Valencia, España, 2012.         [ Links ]

[19] S. Pfeiffer, "Guiado gestual de un robot humanoide mediante un sensor Kinect," Tesis Ingeniería Técnica en Informática de Sistemas, Universidad Politécnica de Cataluña, Barcelona, España, 2011.         [ Links ]

[20] G. Du and P. Zhang, "Markerless human-robot interface for dual robot manipulators using Kinect sensor," Robotics and Computer-Integrated Manufacturing, vol. 30, no. 2, pp. 150-159, 2014.         [ Links ]

[21] Y. Chang, B. Lange, M. Zhang, S. Koenig, P. Requejo, N. Somboon, A. Sawchuk and A. Rizzo, "Towards pervasive physical rehabilitation using Microsoft Kinect," presented at Pervasive Computing Technologies for Healthcare (PervasiveHealth), San Diego, CA, 2012.         [ Links ]

[22] Y. Chang, W. Han and Y. Tsai, "A Kinect-based upper limb rehabilitation system to assist people with cerebral palsy," Research in Developmental Disabilities, vol. 34, no. 11, pp. 3654-3659, 2013.         [ Links ]

[23] R. Wen, W. Tay, B. Nguyen, C. Chng and C. Chui, "Hand gesture guided robot-assisted surgery based on a direct augmented reality interface," Computer Methods and Programs in Biomedicine, vol. 116, no. 2, pp. 68-80, 2014.         [ Links ]

[24] S. Dargar, A. Nunno and G. Sankaranarayanan, "Microsoft Kinect based head tracking for Life Size Collaborative Surgical Simulation Environments (LS-CollaSSLE)," Studies in Health Technology and Informatics, vol. 184, pp. 109-113, 2013.         [ Links ]

[25] M. Jacob and J. Wachs, "Context-based hand gesture recognition for the operating room," Pattern Recognition Letters, vol. 35, pp. 196-203, 2014.         [ Links ]

[26] W. Souba, F. Mitchell, G. Jurkovich, L. Kaiser, W. Pearce, J. Pemberton, and N. Soper, ACS Surgery: Principles and Practice, 6th edition. Hamilton: Decker Publishing, 2007.         [ Links ]

[27] D. Litwin, and M. Cahan, "Laparoscopic cholecystectomy," Surgical Clinics of North America, vol. 88, pp. 1295-1313, 2008.         [ Links ]