Flujo óptico

Pattern of motion in a visual scene due to relative motion of the observer

El flujo óptico que experimenta un observador giratorio (en este caso, una mosca). La dirección y la magnitud del flujo óptico en cada ubicación se representan mediante la dirección y la longitud de cada flecha.

El flujo óptico o flujo óptico es el patrón de movimiento aparente de objetos, superficies y bordes en una escena visual causado por el movimiento relativo entre un observador y una escena. ^{[1] [2]} El flujo óptico también se puede definir como la distribución de velocidades aparentes de movimiento del patrón de brillo en una imagen. ^[3]

El concepto de flujo óptico fue introducido por el psicólogo estadounidense James J. Gibson en la década de 1940 para describir el estímulo visual proporcionado a los animales que se mueven por el mundo. ^[4] Gibson destacó la importancia del flujo óptico para la percepción de posibilidades de acción dentro del entorno. Los seguidores de Gibson y su enfoque ecológico de la psicología han demostrado además el papel del estímulo del flujo óptico para la percepción del movimiento por parte del observador en el mundo; la percepción de la forma, la distancia y el movimiento de los objetos en el mundo; y el control de la locomoción . ^[5]

El término flujo óptico también es utilizado por los expertos en robótica, abarcando técnicas relacionadas con el procesamiento de imágenes y el control de la navegación, incluyendo la detección de movimiento , la segmentación de objetos , la información de tiempo de contacto, los cálculos de enfoque de expansión, la luminancia, la codificación con compensación de movimiento y la medición de disparidad estéreo. ^{[6] [7]}

Estimación

Las secuencias de imágenes ordenadas permiten estimar el movimiento como velocidades de imagen instantáneas o desplazamientos de imagen discretos. ^[7] Fleet y Weiss ofrecen una introducción didáctica al flujo óptico basado en gradientes. ^[8] John L. Barron, David J. Fleet y Steven Beauchemin ofrecen un análisis del rendimiento de una serie de técnicas de flujo óptico. Se hace hincapié en la precisión y la densidad de las mediciones. ^[9]

Los métodos de flujo óptico intentan calcular el movimiento entre dos fotogramas de imágenes que se toman en momentos y en cada posición de vóxel . Estos métodos se denominan diferenciales porque se basan en aproximaciones locales de la serie de Taylor de la señal de la imagen; es decir, utilizan derivadas parciales con respecto a las coordenadas espaciales y temporales. ${\displaystyle t}$ ${\displaystyle t+\Delta t}$

Para un caso (2D +  t )-dimensional (los casos 3D o n -D son similares), un vóxel en una ubicación con intensidad se habrá movido , y entre los dos cuadros de imagen, y se puede dar la siguiente restricción de constancia de brillo : ${\displaystyle (x,y,t)}$ ${\displaystyle I(x,y,t)}$ ${\displaystyle \Delta x}$ ${\displaystyle \Delta y}$ ${\displaystyle \Delta t}$

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

Suponiendo que el movimiento es pequeño, la restricción de imagen en con series de Taylor se puede desarrollar para obtener: ${\displaystyle I(x,y,t)}$

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}$términos de orden superior

Al truncar los términos de orden superior (lo que realiza una linealización) se deduce que:

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

o, dividiendo por , ${\displaystyle \Delta t}$

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

Lo que resulta en

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

donde son los componentes y de la velocidad o flujo óptico de y , y son las derivadas de la imagen en en las direcciones correspondientes. , y se pueden escribir para las derivadas en lo siguiente. ${\displaystyle V_{x},V_{y}}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle I(x,y,t)}$ ${\displaystyle {\tfrac {\partial I}{\partial x}}}$ ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ ${\displaystyle (x,y,t)}$ ${\displaystyle I_{x}}$ ${\displaystyle I_{y}}$ ${\displaystyle I_{t}}$

De este modo:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

o

${\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}$

Se trata de una ecuación con dos incógnitas y no se puede resolver como tal. Se la conoce como el problema de apertura de los algoritmos de flujo óptico. Para encontrar el flujo óptico se necesita otro conjunto de ecuaciones, determinado por alguna restricción adicional. Todos los métodos de flujo óptico introducen condiciones adicionales para estimar el flujo real.

Métodos de determinación

• Correlación de fase : inversa del espectro de potencia cruzada normalizado
• Métodos basados ​​en bloques: minimización de la suma de las diferencias al cuadrado o la suma de las diferencias absolutas , o maximización de la correlación cruzada normalizada
• Métodos diferenciales de estimación del flujo óptico, basados ​​en derivadas parciales de la señal de imagen y/o del campo de flujo buscado y derivadas parciales de orden superior, tales como:
  • Método de Lucas-Kanade : sobre parches de imagen y un modelo afín para el campo de flujo ^[10]
  • Método de Horn-Schunck : optimización de un funcional basado en los residuos de la restricción de constancia de brillo y un término de regularización particular que expresa la suavidad esperada del campo de flujo ^[10]
  • Método Buxton-Buxton, basado en un modelo del movimiento de los bordes en secuencias de imágenes ^[11]
  • Método de Black-Jepson: flujo óptico grueso mediante correlación ^[7]
  • Métodos variacionales generales : una gama de modificaciones/extensiones de Horn–Schunck, utilizando otros términos de datos y otros términos de suavidad.
• Métodos de optimización discreta: se cuantifica el espacio de búsqueda y luego se aborda la coincidencia de imágenes mediante la asignación de etiquetas en cada píxel, de modo que la deformación correspondiente minimice la distancia entre la imagen de origen y la de destino. ^[12] La solución óptima a menudo se recupera mediante algoritmos de teorema de corte mínimo de flujo máximo , programación lineal o métodos de propagación de creencias .

Muchos de estos, además de los algoritmos de última generación actuales, se evalúan en el conjunto de datos de referencia de Middlebury. ^{[13] [14]} Otros conjuntos de datos de referencia populares son KITTI y Sintel .

Usos

La estimación del movimiento y la compresión de vídeo se han convertido en un aspecto importante de la investigación del flujo óptico. Si bien el campo de flujo óptico es superficialmente similar a un campo de movimiento denso derivado de las técnicas de estimación de movimiento, el flujo óptico es el estudio no solo de la determinación del campo de flujo óptico en sí, sino también de su uso para estimar la naturaleza y la estructura tridimensionales de la escena, así como el movimiento 3D de los objetos y del observador en relación con la escena, la mayoría de ellos utilizando el jacobiano de imagen. ^[15]

Los investigadores en robótica han utilizado el flujo óptico en muchas áreas, como detección y seguimiento de objetos, extracción del plano dominante de la imagen, detección de movimiento, navegación robótica y odometría visual . ^[6] La información del flujo óptico ha sido reconocida como útil para controlar microvehículos aéreos. ^[16]

La aplicación del flujo óptico incluye el problema de inferir no sólo el movimiento del observador y de los objetos en la escena, sino también la estructura de los objetos y del entorno. Dado que la conciencia del movimiento y la generación de mapas mentales de la estructura de nuestro entorno son componentes críticos de la visión animal (y humana) , la conversión de esta capacidad innata en una capacidad informática es igualmente crucial en el campo de la visión artificial . ^[17]

El vector de flujo óptico de un objeto en movimiento en una secuencia de vídeo.

Consideremos un clip de cinco fotogramas de una pelota que se mueve desde la parte inferior izquierda de un campo de visión hasta la parte superior derecha. Las técnicas de estimación de movimiento pueden determinar que en un plano bidimensional la pelota se mueve hacia arriba y hacia la derecha y los vectores que describen este movimiento se pueden extraer de la secuencia de fotogramas. Para los fines de la compresión de vídeo (por ejemplo, MPEG ), la secuencia ahora se describe tan bien como debe ser. Sin embargo, en el campo de la visión artificial, la cuestión de si la pelota se mueve hacia la derecha o si el observador se mueve hacia la izquierda es una información incognoscible pero crítica. Ni siquiera si hubiera un fondo estático y con patrones en los cinco fotogramas, podríamos afirmar con seguridad que la pelota se mueve hacia la derecha, porque el patrón podría tener una distancia infinita hasta el observador.

Sensor de flujo óptico

Existen varias configuraciones de sensores de flujo óptico. Una configuración es un chip sensor de imagen conectado a un procesador programado para ejecutar un algoritmo de flujo óptico. Otra configuración utiliza un chip de visión, que es un circuito integrado que tiene tanto el sensor de imagen como el procesador en el mismo chip, lo que permite una implementación compacta. ^{[18] [19]} Un ejemplo de esto es un sensor de ratón óptico genérico utilizado en un ratón óptico . En algunos casos, el circuito de procesamiento se puede implementar utilizando circuitos analógicos o de señal mixta para permitir un cálculo rápido del flujo óptico utilizando un consumo de corriente mínimo.

Un área de investigación contemporánea es el uso de técnicas de ingeniería neuromórfica para implementar circuitos que responden al flujo óptico y, por lo tanto, pueden ser apropiados para su uso en un sensor de flujo óptico. ^[20] Dichos circuitos pueden inspirarse en circuitos neuronales biológicos que responden de manera similar al flujo óptico.

Los sensores de flujo óptico se utilizan ampliamente en los ratones ópticos de computadora , como el principal componente de detección para medir el movimiento del ratón a través de una superficie.

Los sensores de flujo óptico también se utilizan en aplicaciones robóticas , principalmente cuando es necesario medir el movimiento visual o el movimiento relativo entre el robot y otros objetos en las proximidades del robot. El uso de sensores de flujo óptico en vehículos aéreos no tripulados (UAV) , para estabilidad y evitación de obstáculos, también es un área de investigación actual. ^[21]

Véase también

• Matriz óptica ambiental
• Ratón óptico
• Imágenes de alcance
• Unidad de procesamiento de visión
• Ecuación de continuidad
• Campo de movimiento

Referencias

1. Burton, Andrew; Radford, John (1978). Pensar en perspectiva: ensayos críticos sobre el estudio de los procesos de pensamiento. Routledge. ISBN 978-0-416-85840-2.
2. Warren, David H.; Strelow, Edward R. (1985). Detección espacial electrónica para ciegos: contribuciones desde la percepción. Springer. ISBN 978-90-247-2689-9.
3. Horn, Berthold KP; Schunck, Brian G. (agosto de 1981). "Determinación del flujo óptico" (PDF) . Inteligencia artificial . 17 (1–3): 185–203. doi :10.1016/0004-3702(81)90024-2. hdl :1721.1/6337.
4. Gibson, JJ (1950). La percepción del mundo visual . Houghton Mifflin.
5. Royden, CS; Moore, KD (2012). "Uso de señales de velocidad en la detección de objetos en movimiento por observadores en movimiento". Vision Research . 59 : 17–24. doi : 10.1016/j.visres.2012.02.006 . PMID  22406544. S2CID  52847487.
6. Aires, Kelson RT; Santana, André M.; Medeiros, Adelardo AD (2008). Flujo óptico utilizando información de color (PDF) . ACM Nueva York, Nueva York, Estados Unidos. ISBN 978-1-59593-753-7.
7. Beauchemin, SS; Barron, JL (1995). "El cálculo del flujo óptico". Encuestas de computación de la ACM . 27 (3). ACM Nueva York, EE. UU.: 433–466. doi : 10.1145/212094.212141 . S2CID  : 1334552.
8. Fleet, David J.; Weiss, Yair (2006). "Estimación de flujo óptico" (PDF) . En Paragios, Nikos; Chen, Yunmei; Faugeras, Olivier D. (eds.). Manual de modelos matemáticos en visión artificial . Springer. págs. 237–257. ISBN. 978-0-387-26371-7.
9. Barron, John L.; Fleet, David J. y Beauchemin, Steven (1994). "Rendimiento de las técnicas de flujo óptico" (PDF) . Revista internacional de visión por computadora . 12 : 43–77. CiteSeerX 10.1.1.173.481 . doi :10.1007/bf01420984. S2CID  1290100. 
10. Zhang, G.; Chanson, H. (2018). "Aplicación de métodos de flujo óptico local a flujos de superficie libre de alta velocidad: validación y aplicación a canales escalonados" (PDF) . Experimental Thermal and Fluid Science . 90 : 186–199. Bibcode :2018ETFS...90..186Z. doi :10.1016/j.expthermflusci.2017.09.010.
11. Glyn W. Humphreys y Vicki Bruce (1989). Cognición visual. Psychology Press. ISBN 978-0-86377-124-8.
12. B. Glocker; N. Komodakis; G. Tziritas; N. Navab; N. Paragios (2008). Registro de imágenes densas mediante MRF y programación lineal eficiente (PDF) . Revista de análisis de imágenes médicas.
13. Baker, Simon; Scharstein, Daniel; Lewis, JP; Roth, Stefan; Black, Michael J.; Szeliski, Richard (marzo de 2011). "Una base de datos y una metodología de evaluación para el flujo óptico". Revista internacional de visión artificial . 92 (1): 1–31. doi : 10.1007/s11263-010-0390-2 . ISSN  0920-5691. S2CID  316800.
14. Baker, Simon; Scharstein, Daniel; Lewis, JP; Roth, Stefan; Black, Michael J.; Szeliski, Richard. "Flujo óptico". vision.middlebury.edu . Consultado el 18 de octubre de 2019 .
15. Corke, Peter (8 de mayo de 2017). "La imagen jacobiana". QUT Robot Academy .
16. Barrows, GL; Chahl, JS; Srinivasan, MV (2003). "Detección visual y control de vuelo de inspiración biológica". Revista Aeronáutica . 107 (1069): 159–268. doi :10.1017/S0001924000011891. S2CID  108782688 – vía Cambridge University Press.
17. Brown, Christopher M. (1987). Avances en visión artificial. Lawrence Erlbaum Associates. ISBN 978-0-89859-648-9.
18. Moini, Alireza (2000). Vision Chips . Boston, MA: Springer US. ISBN 9781461552673.OCLC 851803922  .
19. Mead, Carver (1989). VLSI analógico y sistemas neuronales . Reading, Mass.: Addison-Wesley. ISBN 0201059924.OCLC 17954003  .
20. Stocker, Alan A. (2006). Circuitos analógicos VLSI para la percepción del movimiento visual . Chichester, Inglaterra: John Wiley & Sons. ISBN 0470034882.OCLC 71521689  .
21. Floreano, Dario; Zufferey, Jean-Christophe; Srinivasan, Mandyam V.; Ellington, Charlie, eds. (2009). Insectos voladores y robots . Heidelberg: Springer. ISBN 9783540893936.OCLC 495477442  .

Enlaces externos

• Encontrar el flujo óptico
• Artículo sobre el arte del flujo óptico en fxguide.com (utilizando el flujo óptico en efectos visuales)
• Evaluación de flujo óptico y secuencias de verdad fundamental.
• Evaluación del flujo óptico de Middlebury y secuencias de verdad fundamental.
• mrf-registration.net - Estimación del flujo óptico mediante MRF
• Laboratorio Aeroespacial Francés: Implementación en GPU de un flujo óptico basado en Lucas-Kanade
• Implementación de CUDA por CUVI (CUDA Vision & Imaging Library)
• Flujo óptico de Horn y Schunck: demostración en línea y código fuente del método de Horn y Schunck
• Flujo óptico TV-L1: demostración en línea y código fuente del método de Zach et al.
• Flujo óptico robusto: demostración en línea y código fuente del método de Brox et al.