Seguimiento de vídeo

El seguimiento de vídeo es el proceso de localizar un objeto en movimiento (o varios objetos) a lo largo del tiempo utilizando una cámara. Tiene una variedad de usos, algunos de los cuales son: interacción persona-computadora, seguridad y vigilancia, comunicación y compresión de video , realidad aumentada , control de tráfico, imágenes médicas ^[1] y edición de video . ^{[2] [3]} El seguimiento de vídeo puede ser un proceso que requiere mucho tiempo debido a la cantidad de datos que contiene el vídeo. A la complejidad se suma la posible necesidad de utilizar técnicas de reconocimiento de objetos para el seguimiento, un problema desafiante en sí mismo.

Objetivo

Un ejemplo de servovisual para que la mano del robot atrape una pelota mediante el seguimiento de objetos con retroalimentación visual que se procesa mediante un sistema de procesamiento de imágenes de alta velocidad. ^{[4] [5]}

El objetivo del seguimiento de vídeo es asociar objetos objetivo en fotogramas de vídeo consecutivos. La asociación puede resultar especialmente difícil cuando los objetos se mueven rápidamente en relación con la velocidad de fotogramas . Otra situación que aumenta la complejidad del problema es cuando el objeto rastreado cambia de orientación con el tiempo. Para estas situaciones, los sistemas de seguimiento por vídeo suelen emplear un modelo de movimiento que describe cómo la imagen del objetivo podría cambiar para diferentes movimientos posibles del objeto.

Ejemplos de modelos de movimiento simples son:

• Al rastrear objetos planos, el modelo de movimiento es una transformación 2D ( transformación afín u homografía ) de una imagen del objeto (por ejemplo, el cuadro inicial).
• Cuando el objetivo es un objeto 3D rígido, el modelo de movimiento define su aspecto dependiendo de su posición y orientación 3D.
• Para la compresión de vídeo , los fotogramas clave se dividen en macrobloques . El modelo de movimiento es una interrupción de un fotograma clave, donde cada macrobloque se traduce por un vector de movimiento dado por los parámetros de movimiento.
• La imagen de objetos deformables se puede cubrir con una malla, el movimiento del objeto está definido por la posición de los nodos de la malla.

Algoritmos

Cosegmentación de objetos en fotogramas de vídeo.

Para realizar el seguimiento de vídeo, un algoritmo analiza fotogramas de vídeo secuenciales y genera el movimiento de los objetivos entre los fotogramas. Hay una variedad de algoritmos, cada uno con fortalezas y debilidades. Es importante tener en cuenta el uso previsto a la hora de elegir qué algoritmo utilizar. Hay dos componentes principales de un sistema de seguimiento visual: representación y localización de objetivos, así como filtrado y asociación de datos.

La representación y localización de objetivos es principalmente un proceso ascendente. Estos métodos brindan una variedad de herramientas para identificar el objeto en movimiento. Localizar y rastrear con éxito el objeto objetivo depende del algoritmo. Por ejemplo, el uso del seguimiento de blobs es útil para identificar el movimiento humano porque el perfil de una persona cambia dinámicamente. ^[6] Normalmente, la complejidad computacional de estos algoritmos es baja. Los siguientes son algunos algoritmos comunes de representación y localización de objetivos :

• Seguimiento basado en kernel ( seguimiento de cambio medio ^[7] ): un procedimiento de localización iterativo basado en la maximización de una medida de similitud ( coeficiente de Bhattacharyya ).
• Seguimiento de contornos : detección de límites de objetos (por ejemplo, contornos activos o algoritmo de condensación ). Los métodos de seguimiento de contorno evolucionan iterativamente un contorno inicial inicializado desde el fotograma anterior a su nueva posición en el fotograma actual. Este enfoque para el seguimiento de contornos evoluciona directamente el contorno minimizando la energía del contorno mediante el descenso de gradiente.

El filtrado y la asociación de datos es principalmente un proceso de arriba hacia abajo, que implica incorporar información previa sobre la escena u objeto, lidiar con la dinámica del objeto y evaluar diferentes hipótesis. Estos métodos permiten el seguimiento de objetos complejos junto con la interacción de objetos más complejos, como el seguimiento de objetos que se mueven detrás de obstrucciones. ^[8] Además, la complejidad aumenta si el rastreador de vídeo (también llamado rastreador de TV o rastreador de objetivos) no está montado sobre una base rígida (en tierra) sino en un barco en movimiento (en alta mar), donde normalmente se instala un sistema de medición inercial. se utiliza para preestabilizar el rastreador de video para reducir la dinámica requerida y el ancho de banda del sistema de cámara. ^[9] La complejidad computacional de estos algoritmos suele ser mucho mayor. Los siguientes son algunos algoritmos de filtrado comunes:

• Filtro de Kalman : un filtro bayesiano recursivo óptimo para funciones lineales sometidas a ruido gaussiano. Es un algoritmo que utiliza una serie de mediciones observadas a lo largo del tiempo, que contienen ruido (variaciones aleatorias) y otras imprecisiones, y produce estimaciones de variables desconocidas que tienden a ser más precisas que aquellas basadas en una sola medición. ^[10]
• Filtro de partículas : útil para muestrear la distribución del espacio de estados subyacente de procesos no lineales y no gaussianos. ^{[11] [12] [13]}

Ver también

• Partido en movimiento
• Captura de movimiento
• Estimación de movimiento
• Flujo óptico
• suizo
• Seguimiento de partículas individuales
• Algoritmo Teknomo-Fernández

Referencias

1. Peter Mountney, Danail Stoyanov y Guang-Zhong Yang (2010). "Recuperación y seguimiento de la deformación del tejido tridimensional: introducción de técnicas basadas en imágenes laparoscópicas o endoscópicas". Revista de procesamiento de señales IEEE. Julio de 2010. Volumen: 27 " (PDF) . Revista de procesamiento de señales IEEE . 27 (4): 14–24. doi :10.1109/MSP.2010.936728. hdl : 10044/1/53740 . S2CID  14009451.
2. Lyudmila Mihaylova, Paul Brasnett, Nishan Canagarajan y David Bull (2007). Seguimiento de Objetos mediante Técnicas de Filtrado de Partículas en Secuencias de Vídeo; En: Avances y desafíos en información y datos multisensoriales. Serie Seguridad de la OTAN a través de la ciencia, 8. Países Bajos: IOS Press. págs. 260–268. CiteSeerX 10.1.1.60.8510 . ISBN  978-1-58603-727-7.{{cite book}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace )
3. Kato, H.; Billinghurst, M. (1999). "Seguimiento de marcadores y calibración HMD para un sistema de conferencias de realidad aumentada basado en vídeo" (PDF) . Actas del segundo taller internacional IEEE y ACM sobre realidad aumentada (IWAR'99) . págs. 85–94. doi :10.1109/IWAR.1999.803809. ISBN 0-7695-0359-4. S2CID  8192877.
4. "Sistema de captura de alta velocidad (expuesto en el Museo Nacional de Ciencias Emergentes e Innovación desde 2005)". Laboratorio Ishikawa Watanabe, Universidad de Tokio . Consultado el 12 de febrero de 2015 .
5. "Concepto básico y términos técnicos". Laboratorio Ishikawa Watanabe, Universidad de Tokio . Consultado el 12 de febrero de 2015 .
6. S. Kang; J. Paik; A. Koschan; B. Abidi y MA Abidi (2003). Tobin, Jr, Kenneth W y Meriaudeau, Fabrice (eds.). "Seguimiento de vídeo en tiempo real mediante cámaras PTZ". Proc. ESPÍA . Sexto Congreso Internacional sobre Control de Calidad mediante Visión Artificial. 5132 : 103–111. Código Bib : 2003SPIE.5132..103K. CiteSeerX 10.1.1.101.4242 . doi :10.1117/12.514945. S2CID  12298526. 
7. Comaniciu, D.; Ramesh, V.; Meer, P., "Seguimiento en tiempo real de objetos no rígidos mediante desplazamiento medio", Visión por computadora y reconocimiento de patrones, 2000. Actas. Conferencia IEEE sobre, vol.2, no., págs. 142, 149 vol.2, 2000
8. Negro, James, Tim Ellis y Paul Rosin (2003). "Un método novedoso para la evaluación del rendimiento del seguimiento de vídeos". Conjunto IEEE Int. Taller sobre vigilancia visual y evaluación del desempeño del seguimiento y la vigilancia : 125–132. CiteSeerX 10.1.1.10.3365 . {{cite journal}}: Mantenimiento CS1: varios nombres: lista de autores ( enlace )
9. Rastreador de objetivos giroscópico estabilizado para instalación en alta mar
10. M. Arulampalam; S. Maskell; N. Gordon y T. Clapp (2002). "Un tutorial sobre filtros de partículas para el seguimiento bayesiano no lineal/no gaussiano en línea". Transacciones IEEE sobre procesamiento de señales . 50 (2): 174. Código bibliográfico : 2002ITSP...50..174A. CiteSeerX 10.1.1.117.1144 . doi : 10.1109/78.978374. S2CID  55577025. 
11. Emilio Maggio; Andrea Cavallaro (2010). Seguimiento de vídeo: teoría y práctica. vol. 1. Profesional de Addison-Wesley. ISBN 9780132702348. Video Tracking proporciona un tratamiento integral de los aspectos fundamentales del desarrollo de algoritmos y aplicaciones para la tarea de estimación, en el tiempo.
12. Karthik Chandrasekaran (2010). Modelo de resta de fondo paramétrico y no paramétrico con seguimiento de objetos para VENUS. vol. 1.ISBN​ 9780549524892. La resta de fondo es el proceso mediante el cual segmentamos regiones en movimiento en secuencias de imágenes.
13. J. Martínez-del-Rincón, D. Makris, C. Orrite-Urunuela y J.-C. Nebel (2010). "Seguimiento de la posición humana y las partes inferiores del cuerpo mediante Kalman y filtros de partículas restringidos por la biomecánica humana". Transacciones IEEE sobre sistemas, hombre y cibernética - Parte B ', 40 (4).

enlaces externos

• – Interesante ejemplo histórico (1980) de la cámara Cromemco Cyclops utilizada para seguir una bola atravesando un laberinto.