Flujo óptico

Pattern of motion in a visual scene due to relative motion of the observer

El flujo óptico experimentado por un observador en rotación (en este caso una mosca). La dirección y magnitud del flujo óptico en cada ubicación está representada por la dirección y longitud de cada flecha.

El flujo óptico o flujo óptico es el patrón de movimiento aparente de objetos, superficies y bordes en una escena visual causado por el movimiento relativo entre un observador y una escena. ^{[1] [2]} El flujo óptico también se puede definir como la distribución de velocidades aparentes de movimiento del patrón de brillo en una imagen. ^[3]

El concepto de flujo óptico fue introducido por el psicólogo estadounidense James J. Gibson en la década de 1940 para describir el estímulo visual proporcionado a los animales que se mueven por el mundo. ^[4] Gibson destacó la importancia del flujo óptico para la percepción de posibilidades , la capacidad de discernir posibilidades de acción dentro del entorno. Los seguidores de Gibson y su enfoque ecológico de la psicología han demostrado aún más el papel del estímulo del flujo óptico para la percepción del movimiento por parte del observador en el mundo; percepción de la forma, distancia y movimiento de los objetos en el mundo; y el control de la locomoción . ^[5]

Los robóticos también utilizan el término flujo óptico, que abarca técnicas relacionadas desde el procesamiento de imágenes y el control de la navegación, incluida la detección de movimiento , segmentación de objetos , información de tiempo de contacto, cálculos de enfoque de expansión, luminancia, codificación con compensación de movimiento y medición de disparidad estéreo. ^{[6] [7]}

Estimacion

Las secuencias de imágenes ordenadas permiten estimar el movimiento como velocidades de imagen instantáneas o desplazamientos de imágenes discretos. ^[7] Fleet y Weiss proporcionan un tutorial de introducción al flujo óptico basado en gradientes. ^[8] John L. Barron, David J. Fleet y Steven Beauchemin proporcionan un análisis del rendimiento de varias técnicas de flujo óptico. Destaca la precisión y densidad de las mediciones. ^[9]

Los métodos de flujo óptico intentan calcular el movimiento entre dos cuadros de imágenes que se toman en momentos y en cada posición de vóxel . Estos métodos se denominan diferenciales ya que se basan en aproximaciones locales en series de Taylor de la señal de la imagen; es decir, utilizan derivadas parciales con respecto a las coordenadas espaciales y temporales. ${\displaystyle t}$ ${\displaystyle t+\Delta t}$

Para un caso dimensional (2D +  t ) (los casos 3D o n -D son similares), un vóxel en una ubicación con intensidad se habrá movido por y entre los dos cuadros de imagen, y se puede dar la siguiente restricción de constancia de brillo : ${\displaystyle (x,y,t)}$ ${\displaystyle I(x,y,t)}$ ${\displaystyle \Delta x}$ ${\displaystyle \Delta y}$ ${\displaystyle \Delta t}$

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

Suponiendo que el movimiento sea pequeño, la restricción de la imagen con la serie de Taylor se puede desarrollar para obtener: ${\displaystyle I(x,y,t)}$

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}$términos de orden superior

Al truncar los términos de orden superior (lo que realiza una linealización), se deduce que:

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

o, dividiendo por , ${\displaystyle \Delta t}$

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

lo que resulta en

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

donde son las componentes y de la velocidad o flujo óptico de y , y son las derivadas de la imagen en en las direcciones correspondientes. , y se puede escribir para las derivadas de la siguiente manera. ${\displaystyle V_{x},V_{y}}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle I(x,y,t)}$ ${\displaystyle {\tfrac {\partial I}{\partial x}}}$ ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ ${\displaystyle (x,y,t)}$ ${\displaystyle I_{x}}$ ${\displaystyle I_{y}}$ ${\displaystyle I_{t}}$

De este modo:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

o

${\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}$

Esta es una ecuación con dos incógnitas y no se puede resolver como tal. Esto se conoce como problema de apertura de los algoritmos de flujo óptico. Para encontrar el flujo óptico se necesita otro conjunto de ecuaciones, dado por alguna restricción adicional. Todos los métodos de flujo óptico introducen condiciones adicionales para estimar el flujo real.

Métodos de determinación

• Correlación de fase : inversa del espectro de potencia cruzada normalizado
• Métodos basados ​​en bloques: minimizar la suma de diferencias al cuadrado o la suma de diferencias absolutas , o maximizar la correlación cruzada normalizada
• Métodos diferenciales de estimación del flujo óptico, basados ​​en derivadas parciales de la señal de la imagen y/o del campo de flujo buscado y derivadas parciales de orden superior, tales como:
  • Método de Lucas-Kanade : con respecto a parches de imágenes y un modelo afín para el campo de flujo ^[10]
  • Método de Horn-Schunck : optimización de una función basada en residuos de la restricción de constancia de brillo y un término de regularización particular que expresa la suavidad esperada del campo de flujo ^[10]
  • Método Buxton-Buxton: basado en un modelo del movimiento de bordes en secuencias de imágenes ^[11]
  • Método Black-Jepson: flujo óptico grueso mediante correlación ^[7]
  • Métodos variacionales generales : una variedad de modificaciones/extensiones de Horn-Schunck, utilizando otros términos de datos y otros términos de suavidad.
• Métodos de optimización discretos: el espacio de búsqueda se cuantifica y luego la coincidencia de imágenes se aborda mediante la asignación de etiquetas en cada píxel, de modo que la deformación correspondiente minimice la distancia entre la imagen de origen y la de destino. ^[12] La solución óptima a menudo se recupera mediante algoritmos del teorema de flujo máximo y corte mínimo , programación lineal o métodos de propagación de creencias .

Muchos de estos, además de los algoritmos de última generación actuales, se evalúan en el conjunto de datos de referencia de Middlebury. ^{[13] [14]} Otros conjuntos de datos de referencia populares son KITTI y Sintel .

Usos

La estimación de movimiento y la compresión de video se han desarrollado como un aspecto importante de la investigación del flujo óptico. Mientras que el campo de flujo óptico es superficialmente similar a un campo de movimiento denso derivado de las técnicas de estimación del movimiento, el flujo óptico es el estudio no sólo de la determinación del campo de flujo óptico en sí, sino también de su uso para estimar la naturaleza tridimensional. y estructura de la escena, así como el movimiento 3D de los objetos y del observador en relación con la escena, la mayoría de ellos utilizando la imagen jacobiana. ^[15]

Los investigadores de robótica utilizaron el flujo óptico en muchas áreas, como: detección y seguimiento de objetos, extracción del plano dominante de imágenes, detección de movimiento, navegación de robots y odometría visual . ^[6] Se ha reconocido que la información de flujo óptico es útil para controlar microvehículos aéreos. ^[dieciséis]

La aplicación del flujo óptico incluye el problema de inferir no sólo el movimiento del observador y los objetos en la escena, sino también la estructura de los objetos y el entorno. Dado que la conciencia del movimiento y la generación de mapas mentales de la estructura de nuestro entorno son componentes críticos de la visión animal (y humana) , la conversión de esta capacidad innata en una capacidad informática es igualmente crucial en el campo de la visión artificial . ^[17]

El vector de flujo óptico de un objeto en movimiento en una secuencia de vídeo.

Considere un clip de cinco fotogramas de una pelota que se mueve desde la parte inferior izquierda de un campo de visión hasta la parte superior derecha. Las técnicas de estimación del movimiento pueden determinar que en un plano bidimensional la pelota se mueve hacia arriba y hacia la derecha y los vectores que describen este movimiento se pueden extraer de la secuencia de fotogramas. Para fines de compresión de vídeo (por ejemplo, MPEG ), la secuencia ahora se describe tan bien como es necesario. Sin embargo, en el campo de la visión artificial, la cuestión de si la pelota se mueve hacia la derecha o si el observador se mueve hacia la izquierda es una información incognoscible pero crítica. Ni siquiera si en los cinco fotogramas estuviera presente un fondo estático con un patrón, podríamos afirmar con confianza que la bola se movía hacia la derecha, porque el patrón podría tener una distancia infinita hasta el observador.

Sensor de flujo óptico

Existen varias configuraciones de sensores de flujo ópticos. Una configuración es un chip sensor de imagen conectado a un procesador programado para ejecutar un algoritmo de flujo óptico. Otra configuración utiliza un chip de visión, que es un circuito integrado que tiene tanto el sensor de imagen como el procesador en el mismo chip, lo que permite una implementación compacta. ^{[18] [19]} Un ejemplo de esto es un sensor de mouse óptico genérico utilizado en un mouse óptico . En algunos casos, los circuitos de procesamiento se pueden implementar utilizando circuitos analógicos o de señal mixta para permitir un cálculo rápido del flujo óptico utilizando un consumo de corriente mínimo.

Un área de investigación contemporánea es el uso de técnicas de ingeniería neuromórfica para implementar circuitos que responden al flujo óptico y, por lo tanto, pueden ser apropiados para su uso en un sensor de flujo óptico. ^[20] Dichos circuitos pueden inspirarse en circuitos neuronales biológicos que responden de manera similar al flujo óptico.

Los sensores de flujo óptico se utilizan ampliamente en ratones ópticos de computadora , como componente de detección principal para medir el movimiento del mouse a través de una superficie.

Los sensores de flujo óptico también se utilizan en aplicaciones de robótica , principalmente cuando es necesario medir el movimiento visual o el movimiento relativo entre el robot y otros objetos cercanos al robot. El uso de sensores de flujo óptico en vehículos aéreos no tripulados (UAV) , para la estabilidad y la evitación de obstáculos, también es un área de investigación actual. ^[21]

Ver también

• Conjunto óptico ambiental
• Ratón óptico
• Imágenes de rango
• Unidad de procesamiento de visión
• Ecuación de continuidad
• Campo de movimiento

Referencias

1. Burton, Andrés; Radford, John (1978). Pensar en perspectiva: ensayos críticos en el estudio de los procesos de pensamiento. Rutledge. ISBN 978-0-416-85840-2.
2. Warren, David H.; Strelow, Edward R. (1985). Detección espacial electrónica para ciegos: contribuciones de la percepción. Saltador. ISBN 978-90-247-2689-9.
3. Cuerno, Berthold KP; Schunck, Brian G. (agosto de 1981). "Determinación del flujo óptico" (PDF) . Inteligencia artificial . 17 (1–3): 185–203. doi :10.1016/0004-3702(81)90024-2. hdl :1721.1/6337.
4. Gibson, JJ (1950). La percepción del mundo visual . Houghton Mifflin.
5. Royden, CS; Moore, KD (2012). "Uso de señales de velocidad en la detección de objetos en movimiento por parte de observadores en movimiento". Investigación de la visión . 59 : 17-24. doi : 10.1016/j.visres.2012.02.006 . PMID  22406544. S2CID  52847487.
6. Aires, Kelson RT; Santana, André M.; Medeiros, Adelardo AD (2008). Flujo óptico utilizando información de color (PDF) . ACM Nueva York, Nueva York, Estados Unidos. ISBN 978-1-59593-753-7.
7. Beauchemin, SS; Barrón, JL (1995). "El cálculo del flujo óptico". Encuestas de Computación ACM . ACM Nueva York, Estados Unidos. 27 (3): 433–466. doi : 10.1145/212094.212141 . S2CID  1334552.
8. Flota, David J.; Weiss, Yair (2006). "Estimación del flujo óptico" (PDF) . En Paragios, Nikos; Chen, Yunmei; Faugeras, Olivier D. (eds.). Manual de modelos matemáticos en visión por computadora . Saltador. págs. 237–257. ISBN 978-0-387-26371-7.
9. Barrón, John L.; Flota, David J. y Beauchemin, Steven (1994). «Rendimiento de técnicas de flujo óptico» (PDF) . Revista Internacional de Visión por Computadora . 12 : 43–77. CiteSeerX 10.1.1.173.481 . doi :10.1007/bf01420984. S2CID  1290100. 
10. , G.; Chanson, H. (2018). "Aplicación de métodos de flujo óptico local a flujos de superficie libre de alta velocidad: validación y aplicación a canales escalonados" (PDF) . Ciencia Experimental Térmica y de Fluidos . 90 : 186-199. doi :10.1016/j.expthermflusci.2017.09.010.
11. Glyn W. Humphreys y Vicki Bruce (1989). Cognición visual. Prensa de Psicología. ISBN 978-0-86377-124-8.
12. B. Glocker; N. Komodakis; G. Tziritas; N. Navab; N. Paragios (2008). Registro de imágenes densas mediante MRF y programación lineal eficiente (PDF) . Revista de análisis de imágenes médicas.
13. Panadero, Simón; Scharstein, Daniel; Lewis, JP; Roth, Stefan; Negro, Michael J.; Szeliski, Richard (marzo de 2011). "Una base de datos y una metodología de evaluación para el flujo óptico". Revista Internacional de Visión por Computadora . 92 (1): 1–31. doi : 10.1007/s11263-010-0390-2 . ISSN  0920-5691. S2CID  316800.
14. Panadero, Simón; Scharstein, Daniel; Lewis, JP; Roth, Stefan; Negro, Michael J.; Szeliski, Richard. "Flujo óptico". vision.middlebury.edu . Consultado el 18 de octubre de 2019 .
15. Corke, Peter (8 de mayo de 2017). "La imagen jacobiana". Academia de robots QUT .
16. Carretillas, GL; Chahl, JS; Srinivasan, MV (2003). "Control de vuelo y detección visual de inspiración biológica". Revista Aeronáutica . 107 (1069): 159–268. doi :10.1017/S0001924000011891. S2CID  108782688 - vía Cambridge University Press.
17. Marrón, Christopher M. (1987). Avances en visión por computadora. Asociados de Lawrence Erlbaum. ISBN 978-0-89859-648-9.
18. Moini, Alireza (2000). Chips de visión . Boston, MA: Springer EE. UU. ISBN 9781461552673. OCLC  851803922.
19. Hidromiel, Carver (1989). VLSI analógico y sistemas neuronales . Lectura, Massachusetts: Addison-Wesley. ISBN 0201059924. OCLC  17954003.
20. Stocker, Alan A. (2006). Circuitos analógicos VLSI para la percepción del movimiento visual . Chichester, Inglaterra: John Wiley & Sons. ISBN 0470034882. OCLC  71521689.
21. Floreano, Darío; Zufferey, Jean-Christophe; Srinivasan, Mandyam V.; Ellington, Charlie, eds. (2009). Insectos voladores y robots . Heidelberg: Springer. ISBN 9783540893936. OCLC  495477442.

enlaces externos

• Encontrar el flujo óptico
• Artículo de Art of Optical Flow en fxguide.com (uso del flujo óptico en efectos visuales)
• Evaluación de flujo óptico y secuencias de verdad del terreno.
• Middlebury Evaluación de flujo óptico y secuencias de verdad del terreno.
• mrf-registration.net - Estimación de flujo óptico mediante MRF
• El laboratorio aeroespacial francés: implementación en GPU de un flujo óptico basado en Lucas-Kanade
• Implementación de CUDA por CUVI (Biblioteca de imágenes y visión CUDA)
• Flujo óptico de Horn y Schunck: demostración en línea y código fuente del método de Horn y Schunck
• TV-L1 Optical Flow: demostración en línea y código fuente de Zach et al. método
• Flujo óptico robusto: demostración en línea y código fuente de Brox et al. método