SISTEMA TELEDIRIGIDO DE UN BRAZO ROBÓTICO DE 4 GRADOS DE LIBERTAD APLICANDO VISIÓN DE MÁQUINA

REMOTE CONTROL SYSTEM OF A ROBOTIC ARM 4 DEGREES OF FREEDOM USING MACHINE VISION

SISTEMA DE CONTROLE REMOTO DE UM BRAÇO ROBÓTICO 4 GRAUS DE LIBERDADE APLICANDO VISÃO DE MÁQUINA

Germán Darío Buitrago Salazar¹, Olga Lucía Ramos Sandoval²

1 Ingeniero Mecatrónico, Universidad Militar Nueva Granada, Bogotá, Colombia.
2 Ingeniera electrónica, Especialista en Instrumentación Electrónica, Magíster en Teleinformática, Universidad Militar Nueva Granada, Programa de Ingeniería en Mecatrónica. Carrera 11 No. 101-80, Bogotá, Colombia / Tel.: (571) 6500000 ext. 1285. Correo electrónico: olga.ramos@unimilitar.edu.co.

Artículo recibido: 11-XII-2014 / Aprobado: 20-VIII-2015
Disponible online: 30 de octubre de 2015
Discusión abierta hasta noviembre de 2016

RESUMEN

Las aplicaciones robóticas están acompañadas por sistemas de visión de máquina que supervisan las actividades que desarrollan y permiten su control teledirigido. En este trabajo se presentan los resultados del diseño y desarrollo de un sistema de control para el movimiento teledirigido de un brazo robótico de 4 grados de libertad (DOF), aplicando visión de máquina. Los movimientos del manipulador y su efector final dentro del espacio de trabajo se controlan con un dispositivo de tipo joystick, que permite al usuario generar la trayectoria a seguir. Para determinar la posición del brazo robótico se utiliza un sensor Kinect y una figura de referencia situada en la posición final del espacio de trabajo, la cual se reconoce por un sistema de visión de máquina. Esto permite identificar la distancia estimada del manipulador respecto a la figura de referencia, utilizando el mapa de profundidad de la cámara infrarroja (IR). Las pruebas del sistema teledirigido y del sistema de visión de máquina demostraron la exactitud del método para el cálculo de distancias espaciales utilizando el Kinect, con un error bajo, respecto a las distancias medidas reales dentro del entorno de trabajo del manipulador.

PALABRAS CLAVE: brazo robótico; control teledirigido; visión de máquina; Kinect.

ABSTRACT

Today, robotic applications are accompanied by machine vision systems, which monitor their activities and allow remote control of them. In this paper, the design and development of a control system for the remote-control of a robotic arm with 4 degrees of freedom (DOF) motion using machine vision are presented. The movements of the manipulator and end effector within the workspace, are controlled by a joystick type device that allows the user to generate the path to follow. To determine the position of the robotic arm are used a Kinect sensor and reference figure. This figure is placed in the final position in the workspace, which is recognized by a machine vision system. Kinect estimates the distance between the manipulator and reference object, using depth map of infrared camera (IR). Testing with Remote-control system and machine vision system demonstrated the accuracy of the method for calculating spatial distances using the Kinect, with low error regarding actual measurements distances within the working environment of the manipulator.

KEY WORDS: Robotic Arm; Remote Control; Machine Vision; Kinect.

RESUMO

Aplicações robóticas são acompanhados por sistemas de visão de máquina que monitoram suas atividades e permitem o controle remoto. Neste trabalho, são apresentados os resultados do projeto e desenvolvimento de um sistema de controle para o controle remoto de um braço robótico 4 graus de liberdade (DOF) de movimento usando visão de máquina. Os movimentos do manipulador e um efeito final no espaço de trabalho são controladas por um dispositivo do tipo joystick que permite ao utilizador gerar o caminho a seguir. Para determinar a posição do braço robótico e usado um sensor Kinect e uma figura de referência na posição final do espaço de trabalho, o qual é reconhecido por um sistema de visão por máquina. Isto identifica a distância média do manipulador à Figura de referência, utilizando o mapa de profundidade da distância da câmara de infravermelhos (IR). Os testes do Sistema remoto e do sistema de visão de máquina demonstrou a precisão do método para calcular distâncias espaciais utilizando o Kinect, com um baixo erro sobre distâncias medidas reais dentro do ambiente de trabalho do manipulador.

PALAVRAS-CHAVE: Braço robótico; monitoramento remoto; visão de máquina; Kinect.

1. INTRODUCCIÓN

Los dispositivos robóticos se han convertido en un componente fundamental para realizar actividades repetitivas y rigurosas que anteriormente eran desempeñadas por un operario. Para el desarrollo de estas tareas, los manipuladores deben ser controlados de tal forma que, los movimientos que realizan dentro de su entorno permitan que el efector final del manipulador llegue a un objetivo específico, evitando los obstáculos que pueda encontrar dentro de la trayectoria que efectúe. Para controlar estos movimientos se aplican algoritmos de visión de máquina, que supervisan y ubican los obstáculos, mientras que un sistema teleoperado gobierna la posición del robot.

Entre las principales áreas donde se han implementado los manipuladores están los procesos quirúrgicos y automotrices. En el área automotriz, los brazos robóticos son utilizados en las líneas de ensamble dentro de las etapas de estampado, taller de carrocería, pintura y ensamble final, como detalla Michalos et al. (2010). Por ejemplo, en esta última etapa, a los brazos manipuladores se les adecuó un sistema de cámaras para la visualización de los elementos y la detección de anomalías que puedan influir en la calidad y el buen funcionamiento del producto final, como lo explican Bone y Capson (2013).

En el área de la cirugía, los brazos robóticos se han implementado gracias a la alta precisión de los movimientos dentro del proceso y la reducción de tiempos de recuperación y hospitalización del paciente (Lanfranco et al., 2004). Las operaciones quirúrgicas y terapéuticas que se practican con los manipuladores demuestran que los robots pueden ser utilizados como asistentes de cirugía, controlados de forma virtual y a distancia por un médico (Muradore et al., 2011). A su vez, estos robots también se utilizan en el tratamiento y rehabilitación de pacientes (Ballantyne, 2002). Por otro lado, la robótica médica se usa como mecanismo de entrenamiento de personal para cirugías. Adicional a esto, en el ámbito educacional se utiliza para la enseñanza de las etapas del proceso, empleando robots desarrollados para este tipo de aplicaciones como Zeus, AESOP y Da Vinci, como se referencia en Valero et al. (2011) y en Pietrabissa et al. (2013).

Para controlar los movimientos del robot en el espacio de trabajo y, a su vez, detectar los elementos que están dentro del mismo, se han utilizado métodos de visión de máquina con cámaras ubicadas en el entorno del robot. Entre los trabajos realizados con visión de máquina en robótica, se destacan los aportes de Mapanga y Sampath (2012), quienes desarrollaron una plataforma móvil controlada por una FPGA (Field Programmable Gate Array, por su sigla en inglés), para la detección de obstáculos y navegación autónoma del dispositivo robot. Igualmente, en el trabajo de Michalos et al. (2012), se presentan los algoritmos de visión de máquina para la corrección de trayectorias de un brazo robótico usado en el ensamble de partes. Este prototipo utilizó un sistema de visión estereoscópica para obtener la posición del robot, a partir del mapa de disparidad de las imágenes.

Otros trabajos relacionados con los sistemas de visión de máquina en conjunto con la robótica se presentan en Eresen et al. (2012). Ellos simularon el sistema de vuelo de un cuadricóptero en un ambiente virtual, mientras controlaban la trayectoria del dispositivo con la información del sistema de visión. El principal aporte de Eresen et al. (2012) fue la presentación de un nuevo método para la navegación de cuadricópteros en ambientes urbanos. Autores como Weichselbaum et al. (2013), Alenya et al. (2014), Einhorn et al. (2011) y Goh y Ponnambalam (2011) desarrollaron aplicaciones con visión de máquina empleando sistemas de visión estereoscópica sobre manipuladores y robots móviles.

En este trabajo se presentan los resultados del diseño y desarrollo del control teledirigido de un brazo robótico de 4 grados de libertad, basado en el concepto de visión de máquina. El sistema de visión convencional se reemplazó con un Kinect, puesto que la arquitectura que maneja concede mayor precisión en los datos obtenidos, es más robusto a los ruidos de la imagen y su precio es más económico que los sistemas de visión estereoscópica. El algoritmo planteado para la estimación de la posición entre los dos elementos tiene un error no superior al 2 %, en comparación con las posiciones reales de los elementos. El documento está organizado en 4 secciones, en la segunda se describen los métodos y materiales utilizados en la solución de la propuesta, en la tercera se realiza un análisis de resultado y, finalmente, en la última sección se presentan las conclusiones.

2. MÉTODOS Y MATERIALES

En esta investigación se desarrolla un sistema teledirigido de un brazo robótico, compuesto por un joystick para controlar a distancia el movimiento del manipulador, respecto a los tres ejes de un sistema de referencia ubicado en la base del robot. Adicional a esto, para efectuar la rotación de la muñeca del manipulador se utiliza un cuarto movimiento descrito por el eje rotacional del joystick. Para supervisar la posición del robot en el entorno de trabajo se ubica un Kinect dentro de la distancia de operación del dispositivo para capturar la imagen y el mapa de profundidad del espacio de trabajo del robot. Aplicando un algoritmo de visión de máquina, las imágenes son procesadas y la ubicación del robot es discriminada, en relación a un marcador ubicado en el punto final de la trayectoria del robot. La representación esquemática del proceso se aprecia en la Figura 1, referenciando cada una de las etapas.

2.1. Descripción física y cinemática del manipulador

Como se mencionó anteriormente, el sistema tele-operado controla los movimientos de un brazo robótico que tiene tres grados de libertad, para el posicionamiento del robot y un grado adicional, para la rotación de la muñeca. Cada uno de los grados de libertad del manipulador tiene un servomotor, como se detalla en la estructura física presentada en la Figura 2.

Estos servomotores tienen un rango de rotación de 0° a 135° con un torque inferior a 6,91 kg-cm. De acuerdo a estas características, el área de trabajo del manipulador depende de la posición en que fueron situados estos motores y las tolerancias mecánicas como la forma y material. En la Tabla 1, se muestra la relación del rango de giro de cada una de las juntas del robot.

Para la representación del modelo cinemático del manipulador, se aplicó el esquema de Devanit- Hartenberg, el cual relaciona la estructura cinemática de la cadena de eslabones de un brazo robótico, tomando un sistema de referencia por cada una de las articulaciones (Weber y Darmstadt, 2010). Cuando se relaciona el sistema ortogonal anterior (S_i-1) con el sistema actual (S_i), se implementa cuatro transformaciones representadas en una matriz de conversión genérica, que se encuentra en la Ecuación 1. El sistema inicial está localizado en la base del manipulador, como se observa en la Figura 2. Respecto a este punto de partida, los otros sistemas se distribuyen con base a los parámetros de Devanit-Hartenberg, hasta llegar al efector final del manipulador, que en este caso es un gripper. La Ecuación 2 relaciona cada sistema de referencia con la base del brazo robótico, donde n es la cantidad de sistemas ortogonales del manipulador, como detalla Abdel-Malek y Othman (1999). En la Tabla 2 están descritos simbólicamente, los parámetros de cada uno de los eslabones, tomando en cuenta que todos las articulaciones del manipulador son de tipo rotacional.

De acuerdo a la Figura 2, se obtienen los parámetros de Denavit-Hartenberg y se presentan en la Tabla 2. El objetivo de obtener el modelo cinemático directo del robot es hallar la posición actual del manipulador, para luego establecer la nueva posición a la cual debe ir el robot.

Luego de estimar esta posición, se halla la cinemática inversa del manipulador, haciendo uso del método geométrico descrito por (Weber y Darmstadt, 2010). Para esto, las ecuaciones se formulan de acuerdo al esquema de la Figura 3, donde se relacionan las variables de las juntas con la posición actual y la estructura física del manipulador. Para la primera junta, el ángulo de rotación es vinculado a la posición del robot que se presenta en la Ecuación 3. Los valores de las juntas 2 y 3 son dependientes de un desarrollo matemático que se hace con anterioridad, evidenciado en el trabajo, desde la Ecuación 4 hasta la Ecuación 8.

Figura 3

Asumiendo que la posición del robot es codo arriba, puesto que el efector final debe alcanzar desde la parte superior el objeto con el fin de tener un mejor agarre, los valores de la segunda y tercera articulación están dados por la Ecuación 9, donde α, β, γ son los ángulos internos de la estructura del robot.

El cuarto grado de libertad se obtiene por desacople cinemático. La matriz , que relaciona la rotación del efector final, se calcula con la componente rotacional de la matriz posicional del manipulador, aplicado a los primeros grados de libertad y de la matriz de rotación de un robot de 6 grados de libertad . Lo anterior aplica cuando se asumen como constantes dos de los tres ángulos de Euler. En la Ecuación 10, se presenta el método anteriormente descrito, para obtener la matriz . Los valores obtenidos con este método, son enviados al manipulador, de forma tal que efectúe la trayectoria descrita.

2.2. Sistema de seguimiento

Los sistemas de seguimiento se utilizan principalmente, para gobernar sobre los movimientos de un manipulador, sin la necesidad de manipulación directa del operario sobre el robot. En estos casos el manipulador se considera un sistema esclavo, que imita los movimientos realizados por el operario sobre un dispositivo háptico que, a su vez, es el sistema maestro (Van Osch, et al., 2014). En este trabajo se utiliza un joystick, que tiene cuatro ejes de movimiento, para controlar la posición del robot y de esta manera efectuar una trayectoria igual o semejante a la que describe el operario con el dispositivo.

Los primeros tres ejes del joystick mueven el brazo robótico respecto al sistema ortogonal S₀, ubicado en la base del brazo, mientras que el último eje controla la rotación de la muñeca del brazo. El sistema toma la información del joystick y pasa por una función sigmoidea f(x), acotando y parametrizando el rango de los valores en una escala de [-1;1], para limitar los datos recibidos del dispositivo electrónico. En la Figura 4, se ilustra el esquema del proceso de parametrización del joystick, donde f [X_n] es el vector con la información de los ejes del joystick y f(P_n) es el vector con los datos parametrizados.

Los datos parametrizados se multiplican por un factor de conversión que depende de la velocidad de avance del brazo robótico y el periodo de muestreo del joystick. A partir de las pruebas realizadas, la constante de conversión y rapidez kv es de 2,2. La matriz de movimiento del brazo robótico para calcular la nueva posición del manipulador se representa por la Ecuación 11, que demuestra una secuencia punto a punto para el seguimiento de trayectorias por parte del manipulador.

2.3. Visión de máquina

El sistema de visión de máquina está compuesto en su estructura física por dos marcadores, con medidas conocidas por el usuario y un dispositivo Kinect. El sensor, que se programa con el SDK en C#, posee una cámara RGB, para capturar las imágenes y videos y un sensor infrarrojo (IR), que percibe las profundidades del entorno con una nube de puntos. El primer marcador se localiza en la posición final de la trayectoria, mientras que el segundo marcador se sitúa sobre el manipulador. El Kinect se ubicó a 80 cm de distancia del objeto más cercano dentro del rango de trabajo del sensor IR, distancia que se encuentra dentro del área de trabajo del dispositivo. Para evaluar la ubicación del manipulador respecto al objeto de referencia, se extrae de la imagen RGB y del mapa de profundidad, las regiones con la posición de la figura de referencia y del brazo robótico, utilizando un filtro bilateral. Este filtro, establecido con la Ecuación 12, relaciona y combina la información de cada uno de los píxeles de la imagen en el dominio espacial (Gupta y Jing, 2012), separando de dicha imagen la componente de color de los marcadores, de acuerdo al tamaño de vecindad establecido por el radio y las funciones gaussianas de distancia euclidiana que se aprecia en las Ecuaciones 13 y 14.

El problema que se plantea en el trabajo es obtener la distancia real entre el manipulador y un segundo objeto, tomando como base la posición de estos elementos de la imagen capturada por el Kinect y el espacio existente entre la cámara y los marcadores. Para esto, se parte de las expresiones para cálculo de distancia sobre un plano epipolar descrito en (Lim et al., 2013), y la representación geométrica y arquitectónica del sistema de visión de máquina utilizando el Kinect, como se observa en la Figura 5.

Con base en lo anterior, se plantea la Ecuación 15, donde (C_x, C_y) es el centroide de la región extraída de la imagen con la posición de manipulador; (C_xref, C_yref) es el centroide de la región de la imagen con la figura de referencia; las variables r_x y r_y corresponden a la relación entre el tamaño en píxeles de la figura de referencia (x_pix, y_pix) y el tamaño real del objeto (x, y). La distancia entre la cámara y el efector final del manipulador está dada por D_e, mientras que la distancia entre la cámara y el objeto de referencia se representa por d_e. Igualmente, dentro de este tipo de sistemas, hay que considerar las propiedades intrínsecas de la cámara (Sirisantisamrid et al., 2008; Malis, 2001), por lo cual, dentro de la ecuación se adicionan las constantes k_x y k_y.

3. RESULTADOS

Para que el usuario interactúe con el dispositivo robótico se diseñó una interfaz que realiza dos tareas. La primera tarea es el procesamiento de video, el cual detecta en tiempo real, la figura de referencia (cuadrado de color azul celeste en la Figura 6) y el marcador ubicado sobre la herramienta de trabajo del brazo robótico (cuadrado de color verde en la Figura 6). En este proceso, el usuario observa los movimientos del robot, desde un puesto remoto de trabajo, mientras que la distancia entre los dos elementos se muestra en la pantalla. La segunda tarea programada es la supervisión del movimiento del dispositivo robótico, en función del tiempo de espera entre frame y frame del video. Estas tareas se realizan en paralelo, mientras utiliza los sistemas de visión de máquina y de seguimiento de trayectorias descritos con anterioridad.

El resultado de este proceso se observa en la Figura 7, con las gráficas de las posiciones del brazo robótico y del punto final de la trayectoria, donde el error de la trayectoria del manipulador disminuye, a medida que el dispositivo se acerca al punto final, de tal forma que tiende a cero. Al realizar la comparación de los valores de las distancias obtenidas a través del algoritmo de visión de máquina, con las medidas reales entre el manipulador y la posición final, se observa que el error absoluto es inferior al 10 % cuando se acerca el manipulador al final de la trayectoria. Este error se produce por la resolución de la cámara del Kinect y la sensibilidad del sistema de visión para detectar los colores correspondientes.

Figura 7

4. CONCLUSIONES

En el desarrollo del proyecto se planteó un sistema de visión de máquina a partir de la información recolectada con el sensor Kinect, para establecer la distancia del manipulador respecto a un sistema de referencia ubicado en la posición final de la trayectoria. La realimentación de la posición corrige, en tiempo real, la trayectoria descrita con el dispositivo joystick, disminuyendo el error a medida que el manipulador se acercaba a la posición final y validando la eficacia del sistema de visión de máquina.

Igualmente, cuando se comparan los resultados de la distancia real con la distancia estimada en cada una de las pruebas realizadas, los errores fueron bajos, lo que implica que la exactitud del algoritmo de visión de máquina combinado con el dispositivo Kinect tiene un nivel alto y, por consiguiente, el sistema de visión de máquina puede adaptarse a procesos industriales donde sea necesario un control de trayectorias lo más cercano posible al que se describe.

Los errores anteriormente descritos son causados principalmente por la configuración de los parámetros del dispositivo Kinect, el tiempo de procesamiento de las imágenes y la sensibilidad del sistema de visión artificial para el reconocimiento de patrones. El error causado por la configuración de parámetros se debe a que la resolución de la cámara no es la misma respecto a la resolución del sensor IR, por lo cual, se configuró la cámara a una resolución más baja, perdiendo calidad en la imagen. El error debido al tiempo de procesamiento de las imágenes, es ocasionado por la cantidad de recursos de máquina que se necesitan para procesar las mismas, lo que produce un aumento en el tiempo de captura y la perdida de la posición real en la que estaba el manipulador. Por último, el error por reconocimiento de patrones se presenta por la similitud de tonalidades en los colores a reconocer, confundiendo uno con el otro.

Para compensar este error se modificó el radio del filtro euclidiano para los píxeles vecinos, con el fin de que se adaptaran a los cambios de tonalidad, permitiendo que el sistema de visión fuera más robusto.

AGRADECIMIENTOS

Los Autores expresan sus agradecimientos a la Vicerrectoría de Investigaciones de la Universidad Militar Nueva Granada, por la financiación del proyecto IMP-ING-1573, AÑO 2015.

REFERENCIAS

Abdel-Malek, K. y Othman, S. (1999). Multiple Sweeping Using the Denavit-Hartenberg Representation Method. Computer-Aided Design, 31 (9), August, pp. 567-583.         [ Links ]

Alenya, G.; Foix, S. y Torras, C. (2014). ToF Cameras for Active Vision in Robotics. Sensors and Actuators A: Physical, 218, pp. 10-22.         [ Links ]

Ballantyne, G. H. (2002). Robotic Surgery, Telerobotic Surgery, Telepresence, and Telementoring. Surgical Endoscopy and Other Intervetional Techniques, 16 (10), pp. 1389-1402.         [ Links ]

Bone, G. M. y Capson, D. (2013). Vision-Guided Fixtureless Assembly of Automotive Components. Robotic and computer Integrated Manufacturing, 19, pp. 79-87.         [ Links ]

Einhorn, E.; Schröter, C. y Gross, H. M. (2011). Attention- Driven Monocular Scene Reconstruction for Obstacle Detection. Robot Navigation and Map Building. Robotics and Autonomous Systems, May, 59 (5), pp. 269-309.         [ Links ]

Eresen, A.; Imamoglu, N. y Önder, M. (2012). Autonomous Quadrotor Flight with Vision-Based Obstacle Avoidance in Virtual Environment. Expert Systems with Applications, Enero, 39 (1), January, pp. 894-905.         [ Links ]

Goh, S. C. y Ponnambalam, S. G. (2011). Obstacle Avoidance Control of Redundant Robots Using Variants of Particle Swarm Optimization. Robotics and Computer-Integrated Manufacturing, Abril, 28 (2), April, pp. 147-153.         [ Links ]

Gupta, M. D. y Jing, X. (2012). Bi-affinity Filter: Abilateral Type Filter for Color Images. Trends and Topics in Computer Vision, Volumen 6554, pp. 27-40.         [ Links ]

Lanfranco, A., et al. (2004). Robotic Surgery. Annals of Surgery, 239 (1), January, pp. 14-21.         [ Links ]

Lim, K. B.; Keen, W. L. y Wang, D. (2013). Virtual Camera Calibration and Stereo Correspondence of Single-Lens Bi-prism Stereovision System Using Geometrical Approach. Journal Image Communication, Volumen 28 (9), October, pp. 1059-1071.         [ Links ]

Malis, E. (2001). Visual Servoing Invariant to Changes in Camera-Intrisic Parameters. [pdf ] Available at: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.58.9499&rep=rep1&type=pdf.         [ Links ]

Mapanga, K. y Sampath-Kumar, V.R. (2012). Machine Vision for Intelligent Semi-Autonomous Transport (MV-iSAT). Procedia Engineering, 41, pp. 395-404.         [ Links ]

Michalos, G. et al. (2012). Robot Path Correction Using Stereo Vision System. Procedia CIRP, Volumen 3, pp. 352-357.         [ Links ]

Michalos, G. et al. (2010). Automotive Assembly Technologies Review: Challenges and Outlook for a Flexible and Adaptive Approach. CIRP Journal of Manufacturing Science and Technology, 2 (2), January, pp. 81-91.         [ Links ]

Muradore, R. et al, (2011). Robotic Surgery. IEEE Robotics & Automation Magazine, September, pp. 24-32.         [ Links ]

Pietrabissa, A., et al. (2013). Robotic Surgery: Current Controversies and Future Expectations. Cirugia Española, 91(2), February, pp. 67-71.         [ Links ]

Sirisantisamrid, K., et al. (2008). An Influential Principal Point on Camera Parameters. Control, Automation and Systems, 2008. ICCAS 2008. International Conference on., October, p.p. 2797-2800.         [ Links ]

Valero, R. et al. (2011). Robotic Surgery: History and Teaching Impact. Actas Urológicas Españolas, 35 (9), October, p.p. 540-545.         [ Links ]

Van Osch, M. et al. (2014). Tele-Operated Service Robots: ROSE. Automation in Construction, 39 (1), April, p.p. 152-160.         [ Links ]

Weber, W. y Darmstadt, H. (2010). Automatic Generation of the Denavit-Hatenberg Convention. Robotik, p.p. 235-241.         [ Links ]

Weichselbaum, J., et al. (2013). Accurate 3D-Vision-Based Obstacle Detection for an Autonomous Train. Computers in Industry, December, 64 (9), December, p.p. 1209-1220.         [ Links ]