El seguimiento por vídeo es el proceso de localizar un objeto en movimiento (o varios objetos) a lo largo del tiempo utilizando una cámara. Tiene una variedad de usos, algunos de los cuales son: interacción hombre-computadora, seguridad y vigilancia, comunicación y compresión de vídeo , realidad aumentada , control de tráfico, imágenes médicas [1] y edición de vídeo . [2] [3] El seguimiento por vídeo puede ser un proceso que requiere mucho tiempo debido a la cantidad de datos que contiene el vídeo. Para aumentar aún más la complejidad, existe la posible necesidad de utilizar técnicas de reconocimiento de objetos para el seguimiento, un problema desafiante en sí mismo.
Objetivo
Un ejemplo de servoaccionamiento visual para que la mano robótica atrape una pelota mediante el seguimiento de objetos con retroalimentación visual que es procesada por un sistema de procesamiento de imágenes de alta velocidad. [4] [5]
El objetivo del seguimiento por vídeo es asociar objetos objetivo en fotogramas de vídeo consecutivos. La asociación puede resultar especialmente difícil cuando los objetos se mueven rápidamente en relación con la velocidad de fotogramas . Otra situación que aumenta la complejidad del problema es cuando el objeto rastreado cambia de orientación con el tiempo. Para estas situaciones, los sistemas de seguimiento por vídeo suelen emplear un modelo de movimiento que describe cómo podría cambiar la imagen del objetivo para diferentes posibles movimientos del objeto.
Ejemplos de modelos de movimiento simples son:
Al rastrear objetos planos, el modelo de movimiento es una transformación 2D ( transformación afín u homografía ) de una imagen del objeto (por ejemplo, el fotograma inicial).
Cuando el objetivo es un objeto 3D rígido, el modelo de movimiento define su aspecto dependiendo de su posición y orientación 3D.
Para la compresión de vídeo , los fotogramas clave se dividen en macrobloques . El modelo de movimiento es una disrupción de un fotograma clave, donde cada macrobloque se traduce por un vector de movimiento dado por los parámetros de movimiento.
La imagen de objetos deformables se puede cubrir con una malla, el movimiento del objeto está definido por la posición de los nodos de la malla.
Para realizar el seguimiento de vídeo, un algoritmo analiza fotogramas de vídeo secuenciales y muestra el movimiento de los objetivos entre los fotogramas. Hay una variedad de algoritmos, cada uno con sus puntos fuertes y débiles. Es importante tener en cuenta el uso previsto al elegir qué algoritmo utilizar. Hay dos componentes principales de un sistema de seguimiento visual: la representación y localización de objetivos, así como el filtrado y la asociación de datos.
La representación y localización de objetivos es en su mayoría un proceso ascendente. Estos métodos proporcionan una variedad de herramientas para identificar el objeto en movimiento. La localización y el seguimiento exitosos del objeto objetivo dependen del algoritmo. Por ejemplo, el uso del seguimiento de blobs es útil para identificar el movimiento humano porque el perfil de una persona cambia dinámicamente. [6] Normalmente, la complejidad computacional de estos algoritmos es baja. A continuación, se presentan algunos algoritmos comunes de representación y localización de objetivos :
Seguimiento de contornos : detección de límites de objetos (por ejemplo, contornos activos o algoritmo de condensación ). Los métodos de seguimiento de contornos hacen evolucionar iterativamente un contorno inicial inicializado a partir del fotograma anterior hasta su nueva posición en el fotograma actual. Este enfoque del seguimiento de contornos hace evolucionar directamente el contorno al minimizar la energía del contorno mediante el descenso de gradiente.
El filtrado y la asociación de datos es en su mayoría un proceso descendente que implica la incorporación de información previa sobre la escena o el objeto, el manejo de la dinámica de los objetos y la evaluación de diferentes hipótesis. Estos métodos permiten el seguimiento de objetos complejos junto con la interacción de objetos más complejos, como el seguimiento de objetos que se mueven detrás de obstrucciones. [8] Además, la complejidad aumenta si el rastreador de video (también llamado rastreador de TV o rastreador de objetivos) no está montado sobre una base rígida (en tierra), sino en un barco en movimiento (en alta mar), donde normalmente se utiliza un sistema de medición inercial para preestabilizar el rastreador de video para reducir la dinámica y el ancho de banda requeridos del sistema de cámara. [9]
La complejidad computacional de estos algoritmos suele ser mucho mayor. Los siguientes son algunos algoritmos de filtrado comunes:
Filtro de Kalman : un filtro bayesiano recursivo óptimo para funciones lineales sujetas a ruido gaussiano. Es un algoritmo que utiliza una serie de mediciones observadas a lo largo del tiempo, que contienen ruido (variaciones aleatorias) y otras imprecisiones, y produce estimaciones de variables desconocidas que tienden a ser más precisas que las basadas en una sola medición. [10]
Filtro de partículas : útil para muestrear la distribución del espacio de estados subyacente de procesos no lineales y no gaussianos. [11] [12] [13]
^ Peter Mountney, Danail Stoyanov y Guang-Zhong Yang (2010). "Recuperación y seguimiento de la deformación tisular tridimensional: introducción de técnicas basadas en imágenes laparoscópicas o endoscópicas". Revista IEEE Signal Processing. Julio de 2010. Volumen: 27" (PDF) . Revista IEEE Signal Processing . 27 (4): 14–24. doi :10.1109/MSP.2010.936728. hdl : 10044/1/53740 . S2CID 14009451.
^ Lyudmila Mihaylova, Paul Brasnett, Nishan Canagarajan y David Bull (2007). Seguimiento de objetos mediante técnicas de filtrado de partículas en secuencias de vídeo; en: Avances y desafíos en datos e información de sensores múltiples. Serie Seguridad a través de la ciencia de la OTAN, 8. Países Bajos: IOS Press. págs. 260–268. CiteSeerX 10.1.1.60.8510 . ISBN.978-1-58603-727-7.{{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )
^ Kato, H.; Billinghurst, M. (1999). "Seguimiento de marcadores y calibración de HMD para un sistema de conferencias de realidad aumentada basado en vídeo" (PDF) . Actas del 2º taller internacional IEEE y ACM sobre realidad aumentada (IWAR'99) . págs. 85–94. doi :10.1109/IWAR.1999.803809. ISBN .0-7695-0359-4.S2CID8192877 .
^ "Sistema de captura de alta velocidad (exhibido en el Museo Nacional de Ciencias Emergentes e Innovación desde 2005)". Laboratorio Ishikawa Watanabe, Universidad de Tokio . Consultado el 12 de febrero de 2015 .
^ "Concepto básico y términos técnicos". Laboratorio Ishikawa Watanabe, Universidad de Tokio . Consultado el 12 de febrero de 2015 .
^ S. Kang; J. Paik; A. Koschan; B. Abidi y MA Abidi (2003). Tobin, Jr, Kenneth W y Meriaudeau, Fabrice (eds.). "Seguimiento de vídeo en tiempo real utilizando cámaras PTZ". Proc. SPIE . Sexta Conferencia Internacional sobre Control de Calidad mediante Visión Artificial. 5132 : 103–111. Bibcode :2003SPIE.5132..103K. CiteSeerX 10.1.1.101.4242 . doi :10.1117/12.514945. S2CID 12298526.
^ Comaniciu, D.; Ramesh, V.; Meer, P., "Seguimiento en tiempo real de objetos no rígidos mediante desplazamiento medio", Computer Vision and Pattern Recognition, 2000. Actas. IEEE Conference on, vol. 2, n.º, págs. 142, 149 vol. 2, 2000
^ Black, James, Tim Ellis y Paul Rosin (2003). "Un nuevo método para la evaluación del rendimiento del seguimiento por vídeo". Taller conjunto IEEE Int. sobre vigilancia visual y evaluación del rendimiento del seguimiento y la vigilancia : 125–132. CiteSeerX 10.1.1.10.3365 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
^ Rastreador de objetivos giroscópico estabilizado para instalación en alta mar
^ M. Arulampalam; S. Maskell; N. Gordon y T. Clapp (2002). "Un tutorial sobre filtros de partículas para el seguimiento bayesiano no lineal/no gaussiano en línea". IEEE Transactions on Signal Processing . 50 (2): 174. Bibcode :2002ITSP...50..174A. CiteSeerX 10.1.1.117.1144 . doi :10.1109/78.978374. S2CID 55577025.
^ Emilio Maggio; Andrea Cavallaro (2010). Seguimiento de vídeo: teoría y práctica. Vol. 1. Addison-Wesley Professional. ISBN9780132702348Video Tracking proporciona un tratamiento integral de los aspectos fundamentales del desarrollo de algoritmos y aplicaciones para la tarea de estimación a lo largo del tiempo.
^ Karthik Chandrasekaran (2010). Modelo de sustracción de fondo paramétrico y no paramétrico con seguimiento de objetos para VENUS. Vol. 1. ISBN9780549524892La sustracción de fondo es el proceso mediante el cual segmentamos regiones en movimiento en secuencias de imágenes .
^ J. Martinez-del-Rincon, D. Makris, C. Orrite-Urunuela y J.-C. Nebel (2010). "Seguimiento de la posición humana y de las partes inferiores del cuerpo mediante filtros de Kalman y de partículas restringidos por la biomecánica humana". IEEE Transactions on Systems Man and Cybernetics – Part B', 40(4).
Enlaces externos
– Interesante ejemplo histórico (1980) de la cámara Cromemco Cyclops utilizada para rastrear una pelota que pasaba por un laberinto.
