Matriz fundamental (visión por computadora)

Matriz en versión computadora

En visión por computadora , la matriz fundamental es una matriz de 3×3 que relaciona puntos correspondientes en imágenes estéreo . En geometría epipolar , con coordenadas de imagen homogéneas , x y x ′, de puntos correspondientes en un par de imágenes estéreo, Fx describe una línea (una línea epipolar ) en la que debe estar el punto correspondiente x ′ en la otra imagen. Eso significa que para todos los pares de puntos correspondientes se cumple ${\displaystyle \mathbf {F} }$

${\displaystyle \mathbf {x} '^{\top }\mathbf {Fx} =0.}$

Al ser de rango dos y determinada sólo a escala, la matriz fundamental puede estimarse dadas al menos siete correspondencias de puntos. Sus siete parámetros representan la única información geométrica sobre las cámaras que se puede obtener únicamente mediante correspondencias de puntos.

El término "matriz fundamental" fue acuñado por QT Luong en su influyente tesis doctoral. A veces también se le conoce como " tensor bifocal ". Como tensor, es un tensor de dos puntos en el sentido de que es una forma bilineal que relaciona puntos en distintos sistemas de coordenadas.

La relación anterior que define la matriz fundamental fue publicada en 1992 por Olivier Faugeras y Richard Hartley . Aunque la matriz esencial de H. Christopher Longuet-Higgins satisface una relación similar, la matriz esencial es un objeto métrico perteneciente a cámaras calibradas, mientras que la matriz fundamental describe la correspondencia en términos más generales y fundamentales de geometría proyectiva. Esto se captura matemáticamente por la relación entre una matriz fundamental y su correspondiente matriz esencial , que es ${\displaystyle \mathbf {F} }$ ${\displaystyle \mathbf {E} }$

${\displaystyle \mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K} }$

${\displaystyle \mathbf {K} }$y siendo las matrices de calibración intrínsecas de las dos imágenes involucradas. ${\displaystyle \mathbf {K} '}$

Introducción

La matriz fundamental es una relación entre dos imágenes cualesquiera de la misma escena que limita dónde puede ocurrir la proyección de puntos de la escena en ambas imágenes. Dada la proyección de un punto de escena en una de las imágenes, el punto correspondiente en la otra imagen se limita a una línea, lo que ayuda a la búsqueda y permite la detección de correspondencias erróneas. La relación entre puntos correspondientes , que representa la matriz fundamental, se denomina restricción epipolar , restricción de coincidencia , restricción de coincidencia discreta o relación de incidencia .

Teorema de reconstrucción proyectiva

La matriz fundamental puede determinarse mediante un conjunto de correspondencias de puntos . Además, estos puntos de imagen correspondientes se pueden triangular con puntos mundiales con la ayuda de matrices de cámara derivadas directamente de esta matriz fundamental. La escena compuesta por estos puntos del mundo se encuentra dentro de una transformación proyectiva de la escena verdadera. ^[1]

Prueba

Digamos que la correspondencia del punto de la imagen se deriva del punto mundial debajo de las matrices de la cámara como ${\displaystyle \mathbf {x} \leftrightarrow \mathbf {x'} }$ ${\displaystyle {\textbf {X}}}$ ${\displaystyle \left({\textbf {P}},{\textbf {P}}'\right)}$

${\displaystyle {\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}}$

Digamos que transformamos el espacio mediante una matriz de homografía general tal que . ${\displaystyle {\textbf {H}}_{4\times 4}}$ ${\displaystyle {\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}}$

Las cámaras luego se transforman como

${\displaystyle {\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}}$

${\displaystyle {\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x} }$y de la misma manera todavía nos da los mismos puntos de imagen. ${\displaystyle {\textbf {P}}_{0}'}$

Derivación de la matriz fundamental utilizando la condición de coplanaridad.

La matriz fundamental también se puede derivar utilizando la condición de coplanaridad. ^[2]

Para imágenes de satélite

La matriz fundamental expresa la geometría epipolar en imágenes estéreo. La geometría epipolar en imágenes tomadas con cámaras de perspectiva aparece como líneas rectas. Sin embargo, en las imágenes de satélite , la imagen se forma durante el movimiento del sensor a lo largo de su órbita ( sensor de barrido ). Por lo tanto, existen múltiples centros de proyección para una escena de imagen y la línea epipolar se forma como una curva epipolar. Sin embargo, en condiciones especiales, como mosaicos de imágenes pequeños, las imágenes de satélite podrían rectificarse utilizando la matriz fundamental.

Propiedades

La matriz fundamental es de rango 2. Su núcleo define el epipolo .

Ver también

• Geometría epipolar
• Matriz esencial
• tensor trifocal
• Algoritmo de ocho puntos

Notas

1. Richard Hartley y Andrew Zisserman "Geometría de vista múltiple en visión por computadora" 2003, págs. 266-267
2. Jaehong Oh. "Nuevo enfoque para el remuestreo epipolar de HRSI y georreferenciación de imágenes aéreas basada en imágenes estéreo satelitales" Archivado el 31 de marzo de 2012 en Wayback Machine , 2011, págs. 22 a 29, consultado el 5 de agosto de 2011.

Referencias

• Olivier D. Faugeras (1992). "¿Qué se puede ver en tres dimensiones con un equipo estéreo no calibrado?". Actas de la Conferencia europea sobre visión por computadora . CiteSeerX  10.1.1.462.4708 .

• Olivier D. Faugeras; QT Luong; Steven Maybank (1992). "Autocalibración de la cámara: teoría y experimentos". Actas de la Conferencia europea sobre visión por computadora . doi : 10.1007/3-540-55426-2_37 .

• QT Luong y Olivier D. Faugeras (1996). "La matriz fundamental: teoría, algoritmos y análisis de estabilidad". Revista Internacional de Visión por Computadora . 17 (1): 43–75. doi :10.1007/BF00127818. S2CID  2582003.

• Olivier Faugeras y QT Luong (2001). La geometría de múltiples imágenes . Prensa del MIT. ISBN 978-0-262-06220-6.

• Richard I. Hartley (1992). "Estimación de posiciones relativas de cámara para cámaras no calibradas" (PDF) . Actas de la Conferencia europea sobre visión por computadora .

• Richard Hartley y Andrew Zisserman (2003). Geometría de vista múltiple en visión por computadora . Prensa de la Universidad de Cambridge. ISBN 978-0-521-54051-3.

• Richard I. Hartley (1997). "En defensa del algoritmo de ocho puntos". Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 19 (6): 580–593. doi : 10.1109/34.601246.
• Nurollah tártaro (2019). "Rectificación estéreo de imágenes de satélite de barrido mediante una estimación robusta de la matriz fundamental". Revista Internacional de Percepción Remota . 40 (20): 1–19. doi :10.1080/01431161.2019.1624862.

• QT Luong (1992). Matrice fondamentale et auto-calibration en vision par ordinateur. Tesis doctoral, Universidad de París, Orsay.

• Yi Ma; Stefano Soatto ; Jana Košecká ; S. Shankar Sastry (2004). Una invitación a la visión tridimensional . Saltador. ISBN 978-0-387-00893-6.

• Marc Pollefeys , Reinhard Koch y Luc van Gool (1999). "Autocalibración y reconstrucción métrica a pesar de parámetros intrínsecos de la cámara variables y desconocidos". Revista Internacional de Visión por Computadora . 32 (1): 7–25. doi :10.1023/A:1008109111715. S2CID  306722.

• Philip HS Torr (1997). "El desarrollo y comparación de métodos robustos para estimar la matriz fundamental". Revista Internacional de Visión por Computadora . 24 (3): 271–300. doi :10.1023/A:1007927408552. S2CID  12031059.

• Philip HS Torr y A. Zisserman (2000). "MLESAC: un nuevo estimador robusto con aplicación a la estimación de la geometría de la imagen". Visión por computadora y comprensión de imágenes . 78 (1): 138-156. CiteSeerX  10.1.1.110.5740 . doi :10.1006/cviu.1999.0832.

• Gang Xu y Zhengyou Zhang (1996). Geometría epipolar en estéreo, movimiento y reconocimiento de objetos . Editores académicos de Kluwer. ISBN 978-0-7923-4199-4.

• Zhengyou Zhang (1998). "Determinación de la geometría epipolar y su incertidumbre: una revisión". Revista Internacional de Visión por Computadora . 27 (2): 161–195. doi :10.1023/A:1007941100561. S2CID  3190498.

Cajas de herramientas

• fundest es una biblioteca GPL C / C++ para una estimación de matriz fundamental robusta y no lineal (basada en el algoritmo de Levenberg-Marquardt ) a partir de pares de puntos coincidentes y varias funciones objetivo (Manolis Lourakis).
• Kit de herramientas de estructura y movimiento en MATLAB (Philip HS Torr)
• Caja de herramientas de estimación de matrices fundamentales (Joaquim Salvi)
• La caja de herramientas de geometría epipolar (EGT)

enlaces externos

• Geometría epipolar y la matriz fundamental (capítulo de Hartley y Zisserman)
• Determinación de la geometría epipolar y su incertidumbre: una revisión (Zhengyou Zhang)
• Visualización de geometría epipolar (originalmente por Sylvain Bougnoux de INRIA Robotvis, requiere Java )
• El vídeo de la canción Fundamental Matrix que demuestra las leyes de la geometría epipolar.