Campo de movimiento

En visión artificial , el campo de movimiento es una representación ideal del movimiento en el espacio tridimensional (3D) tal como se proyecta en una imagen de cámara. Dado un modelo de cámara simplificado , cada punto de la imagen es la proyección de algún punto en la escena 3D, pero la posición de la proyección de un punto fijo en el espacio puede variar con el tiempo. El campo de movimiento se puede definir formalmente como la derivada temporal de la posición de la imagen de todos los puntos de la imagen, dado que corresponden a puntos 3D fijos. Esto significa que el campo de movimiento se puede representar como una función que asigna las coordenadas de la imagen a un vector bidimensional. El campo de movimiento es una descripción ideal del movimiento 3D proyectado en el sentido de que se puede definir formalmente, pero en la práctica normalmente solo es posible determinar una aproximación del campo de movimiento a partir de los datos de la imagen. ${\displaystyle (y_{1},y_{2})}$

Introducción

Ilustración de algunos puntos 3D y sus puntos de imagen correspondientes, tal como se describe en el modelo de cámara estenopeica . A medida que los puntos 3D se mueven en el espacio, los puntos de imagen correspondientes también se mueven. El campo de movimiento consta de los vectores de movimiento de la imagen para todos los puntos de la imagen.

Un modelo de cámara asigna cada punto en el espacio 3D a un punto de imagen 2D de acuerdo con algunas funciones de mapeo : ${\displaystyle (x_{1},x_{2},x_{3})}$ ${\displaystyle (y_{1},y_{2})}$ ${\displaystyle m_{1},m_{2}}$

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\begin{pmatrix}m_{1}(x_{1},x_{2},x_{3})\\m_{2}(x_{1},x_{2},x_{3})\end{pmatrix}}}$

Suponiendo que la escena representada por la cámara es dinámica, es decir, que consta de objetos que se mueven entre sí, objetos que se deforman y, posiblemente, también la cámara se mueve con respecto a la escena, un punto fijo en el espacio 3D se asigna a puntos variables en la imagen. Diferenciando la expresión anterior con respecto al tiempo se obtiene

${\displaystyle {\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}(x_{1},x_{2},x_{3})}{dt}}\\[2mm]{\frac {dm_{2}(x_{1},x_{2},x_{3})}{dt}}\end{pmatrix}}={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}\,{\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}$

Aquí

${\displaystyle \mathbf {u} ={\begin{pmatrix}{\frac {dy_{1}}{dt}}\\[2mm]{\frac {dy_{2}}{dt}}\end{pmatrix}}}$

es el campo de movimiento y el vector u depende tanto de la posición de la imagen como del tiempo t . De manera similar, ${\displaystyle (y_{1},y_{2})}$

${\displaystyle \mathbf {x'} ={\begin{pmatrix}{\frac {dx_{1}}{dt}}\\[2mm]{\frac {dx_{2}}{dt}}\\[2mm]{\frac {dx_{3}}{dt}}\end{pmatrix}}}$

es el movimiento del punto 3D correspondiente y su relación con el campo de movimiento está dada por

${\displaystyle \mathbf {u} =\mathbf {M} \,\mathbf {x} '}$

¿Dónde está la matriz dependiente de la posición de la imagen? ${\displaystyle \mathbf {M} }$ ${\displaystyle 2\times 3}$

${\displaystyle \mathbf {M} ={\begin{pmatrix}{\frac {dm_{1}}{dx_{1}}}&{\frac {dm_{1}}{dx_{2}}}&{\frac {dm_{1}}{dx_{3}}}\\[2mm]{\frac {dm_{2}}{dx_{1}}}&{\frac {dm_{2}}{dx_{2}}}&{\frac {dm_{2}}{dx_{3}}}\end{pmatrix}}}$

Esta relación implica que el campo de movimiento, en un punto específico de la imagen, es invariante a los movimientos 3D que se encuentran en el espacio nulo de . Por ejemplo, en el caso de una cámara estenopeica, todos los componentes de movimiento 3D que se dirigen hacia o desde el punto focal de la cámara no pueden detectarse en el campo de movimiento. ${\displaystyle \mathbf {M} }$

Casos especiales

El campo de movimiento se define como: ${\displaystyle \mathbf {v} }$

${\displaystyle \mathbf {v} =f{\frac {Z\mathbf {V} -V_{z}\mathbf {P} }{Z^{2}}}}$

dónde

${\displaystyle \mathbf {V} =-\mathbf {T} -\mathbf {\omega } \times \mathbf {P} }$.

dónde

• ${\displaystyle \mathbf {P} }$es un punto en la escena donde Z es la distancia a ese punto de la escena.
• ${\displaystyle \mathbf {V} }$es el movimiento relativo entre la cámara y la escena,
• ${\displaystyle \mathbf {T} }$es el componente traslacional del movimiento, y
• ${\displaystyle \mathbf {\omega } }$es la velocidad angular del movimiento.

Relación con el flujo óptico

El campo de movimiento es una construcción ideal, basada en la idea de que es posible determinar el movimiento de cada punto de la imagen, y anteriormente se describe cómo este movimiento 2D se relaciona con el movimiento 3D. En la práctica, sin embargo, el campo de movimiento real solo se puede aproximar basándose en mediciones en datos de imagen. El problema es que en la mayoría de los casos cada punto de la imagen tiene un movimiento individual que, por lo tanto, se debe medir localmente por medio de una operación de vecindad en los datos de imagen. Como consecuencia, no se puede determinar el campo de movimiento correcto para ciertos tipos de vecindad y, en su lugar, se debe utilizar una aproximación, a menudo denominada flujo óptico . Por ejemplo, una vecindad que tiene una intensidad constante puede corresponder a un campo de movimiento distinto de cero, pero el flujo óptico es cero ya que no se puede medir ningún movimiento de imagen local. De manera similar, una vecindad que es intrínsecamente unidimensional (por ejemplo, un borde o una línea) puede corresponder a un campo de movimiento arbitrario, pero el flujo óptico solo puede capturar el componente normal del campo de movimiento. También existen otros efectos, como el ruido de la imagen, la oclusión 3D y el aliasing temporal, que son inherentes a cualquier método de medición del flujo óptico y provocan que el flujo óptico resultante se desvíe del campo de movimiento real.

En resumen, el campo de movimiento no se puede medir correctamente para todos los puntos de la imagen, y el flujo óptico es una aproximación del campo de movimiento. Existen varias formas diferentes de calcular el flujo óptico en función de diferentes criterios sobre cómo se debe realizar una estimación óptica.

Referencias

• Bernd Jähne y Horst Haußecker (2000). Visión artificial y aplicaciones: una guía para estudiantes y profesionales . Academic Press. ISBN 0-13-085198-1.

• Linda G. Shapiro y George C. Stockman (2001). Visión artificial . Prentice Hall. ISBN 0-13-030796-3.

• Milan Sonka, Vaclav Hlavac y Roger Boyle (1999). Procesamiento de imágenes, análisis y visión artificial . PWS Publishing. ISBN 0-534-95393-X.