Matriz fundamental (visión por computadora)

Matriz en versión para computadora

En visión artificial , la matriz fundamental es una matriz 3×3 que relaciona puntos correspondientes en imágenes estereoscópicas . En geometría epipolar , con coordenadas de imagen homogéneas , x y x ′, de puntos correspondientes en un par de imágenes estereoscópicas, Fx describe una línea (una línea epipolar ) en la que debe estar el punto correspondiente x ′ en la otra imagen. Esto significa que, para todos los pares de puntos correspondientes, se cumple ${\displaystyle \mathbf {F} }$

${\displaystyle \mathbf {x} '^{\top }\mathbf {Fx} =0.}$

La matriz fundamental, que es de rango dos y se determina solo a escala, se puede estimar a partir de al menos siete correspondencias puntuales. Sus siete parámetros representan la única información geométrica sobre las cámaras que se puede obtener únicamente a través de correspondencias puntuales.

El término "matriz fundamental" fue acuñado por QT Luong en su influyente tesis doctoral. A veces también se lo denomina " tensor bifocal ". Como tensor, es un tensor de dos puntos , ya que es una forma bilineal que relaciona puntos en sistemas de coordenadas distintos.

La relación anterior que define la matriz fundamental fue publicada en 1992 por Olivier Faugeras y Richard Hartley . Aunque la matriz esencial de H. Christopher Longuet-Higgins satisface una relación similar, la matriz esencial es un objeto métrico perteneciente a las cámaras calibradas, mientras que la matriz fundamental describe la correspondencia en términos más generales y fundamentales de la geometría proyectiva. Esto se captura matemáticamente mediante la relación entre una matriz fundamental y su matriz esencial correspondiente , que es ${\displaystyle \mathbf {F} }$ ${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} }$

${\displaystyle \mathbf {K} }$y siendo las matrices de calibración intrínsecas de las dos imágenes involucradas. ${\displaystyle \mathbf {K} '}$

Introducción

La matriz fundamental es una relación entre dos imágenes cualesquiera de la misma escena que restringe dónde puede ocurrir la proyección de puntos de la escena en ambas imágenes. Dada la proyección de un punto de la escena en una de las imágenes, el punto correspondiente en la otra imagen se restringe a una línea, lo que facilita la búsqueda y permite la detección de correspondencias erróneas. La relación entre puntos correspondientes , que representa la matriz fundamental, se conoce como restricción epipolar , restricción de coincidencia , restricción de coincidencia discreta o relación de incidencia .

Teorema de reconstrucción proyectiva

La matriz fundamental se puede determinar mediante un conjunto de correspondencias de puntos . Además, estos puntos de imagen correspondientes se pueden triangular con puntos del mundo con la ayuda de matrices de cámara derivadas directamente de esta matriz fundamental. La escena compuesta por estos puntos del mundo se encuentra dentro de una transformación proyectiva de la escena real. ^[1]

Prueba

Digamos que la correspondencia del punto de imagen se deriva del punto mundial bajo las matrices de la cámara como ${\displaystyle \mathbf {x} \leftrightarrow \mathbf {x'} }$ ${\displaystyle {\textbf {X}}}$ ${\displaystyle \left({\textbf {P}},{\textbf {P}}'\right)}$

${\displaystyle {\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}}$

Digamos que transformamos el espacio mediante una matriz de homografía general tal que . ${\displaystyle {\textbf {H}}_{4\times 4}}$ ${\displaystyle {\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}}$

Las cámaras luego se transforman como

${\displaystyle {\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}}$

${\displaystyle {\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x} }$y de la misma manera conseguimos seguir obteniendo los mismos puntos de imagen. ${\displaystyle {\textbf {P}}_{0}'}$

Derivación de la matriz fundamental utilizando la condición de coplanaridad

La matriz fundamental también se puede derivar utilizando la condición de coplanaridad. ^[2]

Para imágenes de satélite

La matriz fundamental expresa la geometría epipolar en imágenes estereoscópicas. La geometría epipolar en imágenes tomadas con cámaras en perspectiva aparece como líneas rectas. Sin embargo, en imágenes satelitales , la imagen se forma durante el movimiento del sensor a lo largo de su órbita ( sensor pushbroom ). Por lo tanto, existen múltiples centros de proyección para una escena de imagen y la línea epipolar se forma como una curva epipolar. Sin embargo, en condiciones especiales, como mosaicos de imágenes pequeños, las imágenes satelitales podrían rectificarse utilizando la matriz fundamental.

Propiedades

La matriz fundamental es de rango 2. Su núcleo define el epípolo .

Véase también

• Geometría epipolar
• Matriz esencial
• Tensor trifocal
• Algoritmo de ocho puntos

Notas

1. Richard Hartley y Andrew Zisserman "Geometría de vista múltiple en visión por computadora" 2003, págs. 266-267
2. Jaehong Oh. "Nuevo enfoque para el remuestreo epipolar de HRSI y georreferenciación basada en imágenes estereoscópicas satelitales de imágenes aéreas" Archivado el 31 de marzo de 2012 en Wayback Machine , 2011, pp. 22–29, consultado el 5 de agosto de 2011.

Referencias

• Olivier D. Faugeras (1992). "¿Qué se puede ver en tres dimensiones con un equipo estéreo no calibrado?". Actas de la Conferencia Europea sobre Visión por Computador . CiteSeerX  10.1.1.462.4708 .

• Olivier D. Faugeras; QT Luong; Steven Maybank (1992). "Autocalibración de cámaras: teoría y experimentos". Actas de la Conferencia Europea sobre Visión por Computador . doi : 10.1007/3-540-55426-2_37 .

• QT Luong y Olivier D. Faugeras (1996). "La matriz fundamental: teoría, algoritmos y análisis de estabilidad". Revista internacional de visión artificial . 17 (1): 43–75. doi :10.1007/BF00127818. S2CID  2582003.

• Olivier Faugeras y QT Luong (2001). La geometría de imágenes múltiples . MIT Press. ISBN 978-0-262-06220-6.

• Richard I. Hartley (1992). "Estimación de posiciones relativas de cámara para cámaras no calibradas" (PDF) . Actas de la Conferencia Europea sobre Visión por Computador .

• Richard Hartley y Andrew Zisserman (2003). Geometría de vista múltiple en visión artificial . Cambridge University Press. ISBN 978-0-521-54051-3.

• Richard I. Hartley (1997). "En defensa del algoritmo de ocho puntos". IEEE Transactions on Pattern Analysis and Machine Intelligence . 19 (6): 580–593. doi :10.1109/34.601246.
• Nurollah Tatar (2019). "Rectificación estéreo de imágenes satelitales de barrido continuo mediante estimación robusta de la matriz fundamental". Revista Internacional de Teledetección . 40 (20): 1–19. doi :10.1080/01431161.2019.1624862.

• QT Luong (1992). Matrice fondamentale et auto-calibration en vision par ordinateur. Tesis doctoral, Universidad de París, Orsay.

• Yi Ma; Stefano Soatto ; Jana Košecká ; S. Shankar Sastry (2004). Una invitación a la visión en 3D . Springer. ISBN 978-0-387-00893-6.

• Marc Pollefeys , Reinhard Koch y Luc van Gool (1999). "Autocalibración y reconstrucción métrica a pesar de parámetros intrínsecos de la cámara variables y desconocidos". Revista internacional de visión por computadora . 32 (1): 7–25. doi :10.1023/A:1008109111715. S2CID  306722.

• Philip HS Torr (1997). "El desarrollo y comparación de métodos robustos para estimar la matriz fundamental". Revista internacional de visión por computadora . 24 (3): 271–300. doi :10.1023/A:1007927408552. S2CID  12031059.

• Philip HS Torr y A. Zisserman (2000). "MLESAC: Un nuevo estimador robusto con aplicación para estimar la geometría de imágenes". Visión artificial y comprensión de imágenes . 78 (1): 138–156. CiteSeerX  10.1.1.110.5740 . doi :10.1006/cviu.1999.0832.

• Gang Xu y Zhengyou Zhang (1996). Geometría epipolar en reconocimiento de objetos, movimiento y estéreo . Kluwer Academic Publishers. ISBN 978-0-7923-4199-4.

• Zhengyou Zhang (1998). "Determinación de la geometría epipolar y su incertidumbre: una revisión". Revista Internacional de Visión por Computador . 27 (2): 161–195. doi :10.1023/A:1007941100561. S2CID  3190498.

Cajas de herramientas

• fundest es una biblioteca GPL C / C++ para la estimación de matrices fundamentales robustas y no lineales (basadas en el algoritmo Levenberg–Marquardt ) a partir de pares de puntos coincidentes y varias funciones objetivo (Manolis Lourakis).
• Kit de herramientas de estructura y movimiento en MATLAB (Philip HS Torr)
• Caja de herramientas para la estimación de matrices fundamentales (Joaquim Salvi)
• La caja de herramientas de geometría epipolar (EGT)

Enlaces externos

• Geometría epipolar y la matriz fundamental (capítulo de Hartley y Zisserman)
• Determinación de la geometría epipolar y su incertidumbre: una revisión (Zhengyou Zhang)
• Visualización de la geometría epipolar (originalmente de Sylvain Bougnoux de INRIA Robotvis, requiere Java )
• Vídeo de la canción La Matriz Fundamental que demuestra las leyes de la geometría epipolar.