Detection and tracking of human movement based on the motion vectors estimation

Josué Hernández García¹, Hiroshi Morita², Mariko Nakano Miyatake¹, Héctor Pérez Meana¹*

¹ESIME Culhuacan, Instituto Politécnico Nacional, Av. Santa Ana 1000, Col. San Francisco Culhuacan, 04430 México D. F. México.

²Unversidad de Electro-Comunicaciones, 1-5-1, Chofugaoka, Chofu-shi. Tokio. 182-8585. Japón.

Resumen

Este artículo presenta el desarrollo de un algoritmo para la detección y rastreo del movimiento de seres humanos con baja complejidad computacional, basado en la estimación de vectores de movimiento. El sistema propuesto es capaz de diferenciar entre movimientos permitidos y no permitidos, sin la intervención de ningún operador humano. Los resultados experimentales proporcionados muestran un funcionamiento adecuado del sistema propuesto.

Palabras clave: Detección de movimiento, vectores de movimiento, seguimiento de trayectoria, movimiento relevante, estimación de vectores movimiento.

This paper proposes a human and vehicle motion detection and tracking system, based on motion vectors, which is able to discriminate between allowed and not allowed movements without the intervention of any human operator. Evaluation results show the desirable features of proposed method.

Keywords:Motion detection, movement detection, movement tracking, relevant motion, motion vectors estimation.

Introducción

La detección automática de movimiento y el rastreo de objetos ha sido un tópico de activa investigación durante los últimos años, debido a su potencial impacto en el desarrollo de sistemas de seguridad confiables usando la información contenida en secuencias de video; junto con alguna otra información previamente adquirida relacionada con la forma, velocidad, dirección del movimiento y textura, etc. de los objetos bajo análisis contenidos en la secuencia de video. Estos esquemas han sido empleados en el desarrollo de diversos sistemas de monitoreo en exteriores, casetas de cobro, en edificios, estacionamientos, túneles, calles y puentes, así como en el desarrollo de sistemas de seguridad en bancos, edificios de gobierno, centros comerciales, estadios, centros penitenciarios y aeropuertos, etc. [1]. Todas estas aplicaciones requieren el desarrollo de sistemas de vigilancia inteligentes capaces de clasificar la mayoría de los movimientos con la mayor precisión posible. Adicionalmente estos sistemas deben ser robustos contra falsas alarmas, así como ser capaces de sincronizarse y operar junto con otros algoritmos.

Para llevar a cabo adecuadamente las aplicaciones antes mencionadas, cualquier sistema de vigilancia debe satisfacer varios requerimientos como son: confiabilidad, calidad de imagen, un número reducido de falsas alarmas, interoperabilidad con otros sistemas, etc. Existen varios sistemas propuestos previamente que presentan estas características, sin embargo su adquisición, en la mayoría de los casos, es costosa, así como los son sus costos de operación y mantenimiento. Adicionalmente, en algunos casos se requiere una gran capacidad de almacenamiento, ya que se debe efectuar la grabación durante las 24 horas del día, así como la intervención humana para revisar el video grabado. Por lo anterior el desarrollo de sistemas de vigilancia de bajo costo, los cuales no requieran la intervención humana, es un tópico de activa investigación. Como resultado, durante los últimos años varios sistemas que cumplen con estos requerimientos han sido propuestos en la literatura [1, 2]. Algunos de estos esquemas requieren supervisión humana como es el caso del sistema propuesto por Jones [1] el cual es un esquema de video para la detección de movimiento de bajo costo, capaz de monitorear con muchas cámaras de video y con la ayuda de un operador, un espacio determinado las 24 horas del día desde un sitio remoto. Este sistema es capaz de grabar y enviar secuencias de video solamente cuando algún evento relevante está teniendo lugar, situación que es detectada usando la diferencia entre imágenes consecutivas de una secuencia de video. Con esta finalidad el sistema analiza las ventanas de vigilancia para determinar si la diferencia entre cuadros consecutivos es mayor que un umbral determinado de antemano. Para mejorar la detección, se puede usar el histograma de la distribución de luz con el fin de corregir las variaciones de iluminación dentro de la ventana. Zhang [2] propuso el sistema QLS basado en el análisis de consistencia lineal, el cual se enfoca solamente en aquellos elementos que son estrictamente necesarios para el cálculo de la solución. Debido a esto el QLS reduce los cálculos al mínimo, maximizando de esa manera su eficiencia [2]. Adicionalmente el algoritmo QLS no requiere calibración de la cámara y es numéricamente estable. Lorenzo Favalli y col [3] propusieron un sistema construido alrededor de los rasgos del esquema de codificación MPEG2 [4-7] y como consecuencia comparte también las limitaciones conocidas en el esquema de estimación de movimiento tales como el algoritmo de acoplamiento de bloques, movimientos lineales rígidos, oclusiones, fallas locales y aproximaciones de bloque. Este sistema se comporta muy bien cuando es usado para llevar a cabo procesos de inserción y recuperación de video, ya que no requiere el uso de técnicas de segmentación para la extracción y seguimiento de objetos. Dado que este sistema depende exclusivamente de la información que, sobre el movimiento, proporciona el codificador MPEG [4-7], éste produce una carga computacional adicional mínima al decodificador ya que emplea, para el 75% del trabajo de seguimiento de movimiento, la información ya presente en el flujo de bits. Hariharakrishnan y col. [8] proponen un algoritmo de detección de movimiento en el cual el seguimiento se obtiene prediciendo las fronteras de los objetos de interés, usando los vectores de movimiento, seguida por una actualización de bordes por medio de un algoritmo de detección de oclusiones para resolver las mismas [8]. Para mejorar la estimación de movimiento entre tramas una aproximación basada en bloques adaptables es usada, junto con esquemas de modulación eficientes para controlar los huecos existentes entre las tramas empleadas para el seguimiento de un objeto. Las aplicaciones más comunes del algoritmo de seguimiento propuesto en [8] son la compresión de video usando el estándar MPEG4 [5, 6] y la recuperación de contenido basado en estándares tales como H.264L [7]. Yoneyama y col. [9] proponen un algoritmo para detección y clasificación simultanea de movimiento basado en mapas direccionales los cuales capturan la distribución espacio-temporal de las direcciones locales de movimiento a través del video; enfatizando la información tanto local como global del movimiento a través, tanto del tiempo como del espacio. Hernández y col [10, 11] separadamente proponen esquemas para la detección de movimiento basado en imformación obtenida del codificador MPEG. Finalmente en [12-16] se proponen otros eficientes algoritmos para la detección de movimiento. Todos estos sistemas presentan muchas características deseables, sin embargo aún exiten algunas limitaciones que deben ser resueltas.

Este artículo propone un esquema para la detección de movimiento capaz de operar tanto en lugares abiertos como cerrados y bajo diversas condiciones ambientales; siendo además capaz de detectar los movimientos relevantes y eliminar movimientos irrelevantes en el área monitoreada. Con esta finalidad se estiman los vectores de movimiento [4-6] que permitan obtener información confiable acerca de los objetos que están generando movimiento dentro de la escena siendo monitoreada [4]. Para determinar si el movimiento es relevante o no, los vectores de movimiento son divididos en sus componentes vertical y horizontal, los cuales pueden ser positivos o negativos, con el fin de obtener un vector de movimento resultante que indica la dirección del movimento del objeto bajo analisis; a partir del cual se puede determinar si el movimento es relevante o no. Aquí un movimiento relevante es aquel que indica que una o varias personas están ingresando o aproximándose a una zona restringida. Para reducir las falsas alarmas la detección de movimiento se lleva a cabo introduciendo varias restricciones a la información del movimiento disponible en las tramas de video como es la distancia y posición de la camara con respecto al objeto o persona siendo monitoreada.

Algoritmo propuesto

Estimación de los vectores de movimiento

La estimación del vector de movimiento, MV, de un macro-bloque dado consiste en encontrar una región de 16x16 pixeles en el cuadro correspondiente al instante t, que aproxime lo más cercanamente posible al correspondiente macro-bloque en el cuadro de referencia, donde el cuadro de referencia corresponde a la imagen de la secuencia de entrada en el instante t-1. Tomando en cuenta que el intervalo de tiempo entre el cuadro t y el cuadro t-1 es relativamente pequeña, solamente es necesario realizar la búsqueda dentro de un área cercana al macro- bloque a analizar, cuyo tamaño es ligeramente mayor. Aquí la distancia y dirección entre el macro-bloque bajo análisis y la región del cuadro de referencia que minimice un criterio dado de antemano, usualmente en MAE dado por (1), corresponde al vector de movimiento correspondiente a ese macro-bloque [4].

donde, en la mayoría de los casos M=N=16, C(x + k,y +l) es (k,l)-ésimo píxel y (x,y) son las coordenadas del extremo superior derecho del macro-bloque bajo análisis, respectivamente, en la trama actual y R(x + i + k,y + j + l) es el macro-bloque en la posición (x+i,y+j) en la trama de referencia con - p ≤ i, j ≤ p. Así, la región de búsqueda no es la trama de referencia completa, sino una región dentro de la misma que engloba la posición del macro-bloque bajo análisis en la trama de referencia, debido a que en general se puede suponer que un objeto no se mueve excesivamente rápido de una trama a otra en relación al número de tramas/s. Aquí la región de búsqueda se representa como [-p, p] en ambos ejes, tomando (x,y) como centro de la región. Existen diversos mecanismos para la obtención de los MV, siendo el método de Estimación Jerárquica de Movimiento el que presenta la menor complejidad computacional menor [4]

Filtrado de los vectores de movimiento

Varios aspectos deben ser tomados en cuenta para realizar la estimación de un movimiento relevante a partir de los vectores de movimiento estimados anteriormente, siendo un movimiento relevante aquel realizado de afuera hacia adentro de la zona restringida por una persona o vehículo. Esto sugiere la necesidad de filtrar o eliminar los MV producidos ya sea por cambios abruptos en el brillo de la imagen o debidos a pequeñas vibraciones de la cámara; así como los MV producidos por el movimiento de objetos pequeños; lo mismo que MV que indiquen desplazamientos dentro de la zona de seguridad o de adentro hacia afuera de ésta. Así para eliminar los MV que no proporcionan información relativa a un movimiento relevante es importante considerar varios aspectos tales como la distancia entre la cámara y el escenario; ya que esto permite tener una mejor perspectiva del objeto, así como MV con una magnitud similar durante toda la trayectoria [11]. Esto además permite el usar un número constante de MV para representar el movimiento de una persona desplazándose hacia la zona restringida. Resultados obtenidos experimentalmente muestran que el movimiento de una persona se puede representar usando entre 9 y 13 MV como se muestra en la figura 2.

Algunos de los MV estimados podrían presentar distorsión debido a cambios abruptos en el brillo de la imagen o pequeñas vibraciones de la cámara lo que se puede interpretar como la presencia de ruido en los MV, lo que sugiere la necesidad de filtrar estos MV para reducir la distorsión. Así mismo, debido a que la cantidad de MV ruidosos es pequeña en comparación con los no ruidosos, así como al hecho de que los MV ruidosos no son continuos o similares entre sí como sucede con aquellos creados por movimientos reales, los MV ruidosos pueden ser fácilmente distinguidos del resto. Por otro lado, debido a que los MV son calculados uno por uno es necesarios crear un registro temporal de almacenamiento, a partir del cual se llevará a cabo el proceso de filtrado de mediana mostrado en la figura 3 [16].

Una vez que los vectores de movimiento de cada macro-bloque son estimados y filtrados como se describió anteriormente, se procede a estimar la magnitud y dirección del movimiento de aquellas regiones que presenten más de 9 macro-bloques contiguos con vectores de movimiento diferentes de cero. De esta manera se eliminan todos aquellos MV que no proporcionan información útil para la estimación un movimiento real dentro de la escena de interés. Así dados N vectores de movimiento, MV, N ≥ 9, pertenecientes a N macro-bloques continuos, se lleva a cabo la estimación de la magnitud y dirección del movimiento de las regiones de interés las cuales estarán dadas por:

donde MV_x(k) y MV_y(k) son las componentes del vector de movimiento del k-ésimo macro-bloque y θ es el ángulo que índica la dirección del movimiento. Finalmente usando la información proporcionada por θ, se procede a eliminar el vector indicando el movimiento resultante, dado por (2) y (3), si su dirección es opuesta a la zona de acceso restringido como se muestra en la figura 4. Así el método propuesto es capaz de medir el nivel de relevancia de cada movimiento de acuerdo con su posición en la escena.

Estimación de la trayectoria

Una vez estimados los MV se calcula el ángulo del vector resultante, dado por (3), el cual permite determinar la dirección del movimiento con fin de clasificar el evento como un movimiento relevante o irrelevante. Para esto se toma en cuenta que un movimiento relevante será aquel en el cual una persona o vehículo ingresa o trata de ingresar a un lugar restringido, lo que significa que solo las trayectorias cuyos ángulos se encuentren entre los 220 y 340 grados serán consideradas como relevantes. Dicho rango fue calculado tomando en cuenta dos consideraciones importantes: la primera es relativa a la forma de caminar de un ser humano; mientras que la segunda toma en cuenta el hecho que no importa la trayectoria del desplazamiento de la persona si esta se realiza de adentro hacia afuera de la zona restringida, o si el movimiento se realiza dentro de ésta [16].

Otro factor importante es el rastreo del movimiento relevante generado que permita, además de determinar si se produjo éste, seguir la trayectoria de la persona que lo generó hasta que ésta abandone la zona restringida, con la posibilidad de analizar la evolución del movimiento de la misma para determinar el origen de este movimiento [14, 15]. Así es deseable que el sistema propuesto permita calcular, además del número de personas que están generando movimientos relevantes en un momento dado, la dirección y el punto desde el cual se originó dicho movimiento dentro del escenario de interés [15]. Tomando en cuenta los requerimientos de los sistemas de seguridad, este tipo de información puede ser muy importante. El seguimiento de objetos o personas dentro de las secuencias de video podría presentar serías dificultades cuando los objetos se mueven relativamente más rápido que la taza de cuadros/s, sin embargo existen muchas aplicaciones, como es el seguimiento de personas en sistemas de seguridad en las cuales los objetos se muevan a velocidades menores a 60 cuadros/s. En este tipo de aplicaciones se pueden emplear técnicas de compresión de video en las cuales los MV obtenidos de la secuencia de imágenes se pueden usar para estimar la magnitud y dirección del movimiento usando las ecuaciones (2) y (3). Con esta finalidad la imagen de los objetos cuyo movimiento se desea seguir se divide en macro-bloques, donde el movimiento de cada uno de ellos se representa por medio de un MV. Así usando la estimación de los MV cuya magnitud y orientación determina el desplazamiento de los nodos de la malla, mediante el uso de (2) y (3) se puede estimar la posición del objeto en cuadro correspondiente al instante t con relación al cuadro de la imagen en el instante t-1. Así repitiendo el proceso de manera sucesiva se puede estimar la trayectoria del objeto dentro la escena. Tal estimación permite determinar el nivel de importancia del movimiento que cada objeto genera, pudiendo así decidir cuando una trayectoria debe generar una alerta.

Evaluación experimental

El sistema propuesto se evaluó desde el punto de vista de su capacidad para detectar y rastrear movimientos relevantes dentro de una escena donde normalmente no debería de haber movimientos significativos en cierta dirección. El algoritmo fue evaluado en una PowerMac G4 con una velocidad de BUS de 167MHz y una veloci¬dad del CPU de 1,25GHz con 1,25GB en RAM. Las secuencias de video utilizadas para probar el algoritmo fueron previamente grabadas con una cámara de video digital con una resolución de 640x480 pixeles por cuadro, por lo que se conoce con anterioridad el resultado que deber presentar el algoritmo durante la detección. Las escenas muestran tomas al aire libre, debido a que en ellas podemos encontrar una gran cantidad de movimiento tanto relevante como no relevante, esto con la finalidad de probar la eficiencia del algoritmo en ambos aspectos.

La figura 6 muestra una secuencia de 4 imágenes en la cual se presenta un movimiento simple de afuera hacia adentro de la zona restringida, de acuerdo a la posición de la cámara [16]. Aquí la detección del movimiento es simple ya que no se encuentra ningún otro objeto generando movimiento significativo durante la duración de la secuencia. En esta secuencia aparece una persona generando movimiento de afuera hacia adentro de la zona restringida, estando presentes otras personas que generan movimientos desde adentro hacia fuera de la zona restringida, es decir movimientos no significativos. Así mismo la figura 6(b) muestra el resultado desplegado por el programa desarrollado para llevar a cabo la realización del algoritmo propuesto. Así el método propuesto es capaz de contar el número de movimientos que aparecen dentro de la escena, analizando la trayectoria de cada uno para determinar el número de ellos que ingresan al área de seguridad. Seguidamente en la figura 7(a) se observa una secuencia de 6 imágenes las cuales registran 3 accesos ilegales a una zona restringida. Por su parte figura 7(b) muestra el resultado desplegado por el algoritmo desarrollado para llevar a cabo la realización del algoritmo propuesto [16]. Así los resultados experimentales obtenidos muestran que el sistema propuesto es capaz de realizar inicialmente la detección de dos movimientos relevantes en forma simultánea, los cuales representan accesos ilegales a la zona restringida. Posteriormente el sistema detecta un tercer acceso a la zona restringida.

Seguidamente se evalúa la capacidad de seguimiento del sistema propuesto. La figura 10 muestra el funcionamiento del algoritmo propuesto cuando es requerido a seguir la trayectoria de una persona, donde para obtener una trayectoria más suave o menos irregular, la trayectoria estimada mediante los vectores de movimiento es filtrada con un filtro pasa-bajas [16]. Las versiones la trayectoria estimada y su versión filtrada se muestran en las figuras 10(a) y 10(b).

Finalmente la tabla 1 presenta una comparación del algoritmo propuesto con otros previamente reportados en la literatura. Los resultados muestrean que el algoritmo propuesto es competitivo con otros algoritmos similares.

Este artículo propone un sistema automático para la detección de movimiento basado en la estimación de los vectores de movimiento, obtenidos a partir de una secuencia de video. Inicialmente los MV se filtran para reducir ruido presente para mejorar la estimación del movimiento. Adicionalmente, la posición de la cámara, es fundamental ya que si la distancia que separa a la cámara de la frontera entre la zona de seguridad y una zona de alerta es adecuada, el sistema es capaz de determinar si el movimiento es relevante, esto es de afuera hacia adentro de la zona de seguridad; o si éste es no relevante, es decir de dentro hacia fuera de la zona restringida. Finalmente, dividiendo la imagen en bloques no traslapados en forma de malla y estimando el movimiento de los vértices de cada bloque, es posible llevar a cabo el seguimiento de la trayectoria del objeto o persona de interés.

Los resultados obtenidos en la evaluación muestran que el sistema propuesto es capaz de detectar y clasificar el movimiento de cualquier objeto de acuerdo a las características y dirección que presenta el mismo, siendo capaz de trabajar tanto en interiores como es exteriores. El sistema de detección y seguimiento de movimiento propuesto está intentado para usarse como parte de un sistema de vigilancia, donde monitorear y detectar entradas relevantes es el objetivo principal. La técnica propuesta muestra ser confiable con respecto a cambios abruptos en el brillo, medio ambiente y parámetros de movimientos discontinuos, así como la dirección de los objetos. La principal ventaja de esta técnica es que usa solamente la información proporcionada por los vectores de movimiento, para detectar y llevar a cabo el seguimiento de los movimientos relevantes dentro de la es¬cena de interés, teniendo además la habilidad de monitorear mientras lleva a cabo la detección de uno o más objetos dentro de la zona de alerta El sistema propuesto es competitivo con otros previamente reportados en la literatura.

Agradecimientos

Un especial agradecimiento al Consejo Nacional de Ciencia y Tecnología (CONACYT) de México, Al Instituto de Ciencia y Tecnología del Distrito Federal (ICYTDF) de México, a la Universidad de Electro-Comunicaciones de Japón, así como al Instituto Politécnico Nacional por el apoyo proporcionado durante el desarrollo de esta investigación.

Referencias

1. B. T. Jones. "Low-Cost Outdoor Video Motion and Non-Motion Detection". Proceedings of Int. Carnahan Conference on Security Technology. San Jose. CA. 1995. pp. 376-380.         [ Links ]

2. Z. Zhang. "Mining Surveillance Video for Independent Motion Detection". IEEE International Conference on Data Mining. Houston (TX). 2005. pp. 741-744.         [ Links ]

3. L. Favalli, A. Mecocci, F. Moschetti. "Object Tracking For Retrieval in MPEG2". IEEE. Trans. on Circuit and Syst. for Video Technology. Vol. 10. 2000. pp. 427-432.         [ Links ]

4. P. Symes. " Digital video compression". Ed. McGraw Hill. New York. 2001. pp. 137-149         [ Links ]

5. I. E. Richardson. H.264 and MPEG-4 Video Compression, Video Coding for the Next-Generation Multimedia. Ed. Wiley. Londres. 2004. pp. 27-41.         [ Links ]

6. J. Watkinson. The MPEG Handbook: MPEG-1, MPEG-2, MPEG-4. Ed. Focal. Burlington (MA). 2001. pp. 257-254.         [ Links ]

7. P. N. Tudor. "MPEG-2 Video Compression: Tutorial". Journal of Electronics and Communication Engineering. Vol. 7. 1995. pp. 257-264.         [ Links ]

8. K. Hariharakrishnan, D. Schonfeld, P. Raffy, F. Yassa. "Video Tracking Using Block Matching". IEEE. International Conference on Image Processing. Barcelona. 2003. pp. 945-948         [ Links ]

9. A. Yoneyama, Y. Nakajima, H. Yanagihara, M. Sugano. "Moving Object Detection from MPEG Video Stream". Systems and Computers in Japan. Vol. 30. 1999. pp. 1-11.         [ Links ]

10. J. Hernández García, H. Pérez Meana, M. Nakano Miyatake. "Video Motion Detection using the Algorithm of Discrimination and Hamming Distance". Lectures Notes in Computer Science. Vol. 3563. 2005. pp. 321-330.         [ Links ]

11. J. M. Gryn, R. Wlides, J. K Tsotsos. "Detecting Motion Patterns via Directional Maps with Applications to Surveillance". Computer Vision and Image Understanding. Vol. 113. 2009. pp. 291-307.         [ Links ]

12. S. Avidan. "Support Vector Tracking". IEEE Trans. on Image Processing. Vol. 26. 2004. pp. 1064-1071.         [ Links ]

13. H. Nguyen, A. Smeulders. "Fast Occluded Object Tracking by a Robust Appearance Filter". IEEE Trans. on Image Processing. Vol. 26. 2004. pp. 1099-1103         [ Links ]

14. M. Lin, C. Tomasi. "Surfaces with Occlusions from Layered Stereo". IEEE. Vol. 26. 2004. pp. 1073-1098         [ Links ]

15. T. Sebastian, P. Klein, B. Kimia. "Recognition of Shapes by Editing Their Sock Graphs". IEEE. Trans. on Pattern analysis and machine intelligence. Vol. 26. 2004. pp. 550-571.         [ Links ]

16. J. Hernández, H. Morita, M. Nakano-Miyatake, H. Pérez-Meana. "Movement Detection and Tracking Using Video Frames". Lecture Notes in Computer Science. Vol. 5856. 2009. 1054-1061.        [ Links ]

]]>

(Recibido el 4 de Septiembre de 2009. Aceptado el 6 de septiembre de 2010)

^*Autor de correspondencia: teléfono/fax: + 52 + 55 + 565 620 58, correo electrónico: hmperezm@ipn.mx. (H. Pérez)