El problema de correspondencia se refiere al problema de determinar qué partes de una imagen corresponden a qué partes de otra imagen, [1] donde las diferencias se deben al movimiento de la cámara, el paso del tiempo y/o el movimiento de los objetos en las fotografías.
La correspondencia es un problema fundamental en la visión por computadora : el influyente investigador de visión por computadora Takeo Kanade dijo una vez que los tres problemas fundamentales de la visión por computadora son: "¡Correspondencia, correspondencia y correspondencia!". [2] De hecho, se puede decir que la correspondencia es el componente clave en muchas aplicaciones relacionadas: flujo óptico (en el que las dos imágenes son posteriores en el tiempo), visión estéreo densa (en la que dos imágenes provienen de un par de cámaras estéreo), estructura a partir del movimiento. (SfM) y SLAM visual (en el que las imágenes provienen de vistas diferentes pero parcialmente superpuestas de una escena), y correspondencia entre escenas (en la que las imágenes provienen de escenas completamente diferentes).
Dadas dos o más imágenes de la misma escena 3D, tomadas desde diferentes puntos de vista, el problema de correspondencia se refiere a la tarea de encontrar un conjunto de puntos en una imagen que puedan identificarse como los mismos puntos en otra imagen. Para ello, los puntos o características de una imagen se relacionan con los puntos o características de otra imagen, estableciendo así puntos o características correspondientes , también conocidos como puntos homólogos o características homólogas . Las imágenes se pueden tomar desde un punto de vista diferente, en diferentes momentos, o con objetos en la escena en movimiento general en relación con las cámaras.
El problema de correspondencia puede ocurrir en una situación estéreo cuando se usan dos imágenes de la misma escena, o puede generalizarse al problema de correspondencia de N vistas. En el último caso, las imágenes pueden provenir de N cámaras diferentes que fotografían al mismo tiempo o de una cámara que se mueve con respecto a la escena. El problema se complica cuando los objetos de la escena están en movimiento en relación con las cámaras.
Una aplicación típica del problema de correspondencia ocurre en la creación de panoramas o en la unión de imágenes , cuando dos o más imágenes que solo tienen una pequeña superposición se van a unir en una imagen compuesta más grande. En este caso es necesario poder identificar un conjunto de puntos correspondientes en un par de imágenes para poder calcular la transformación de una imagen para unirla a la otra.
Hay dos formas básicas de encontrar las correspondencias entre dos imágenes.
Basado en correlación: comprobar si una ubicación en una imagen se parece a otra en otra imagen.
Basado en características: encontrar características en la imagen y ver si el diseño de un subconjunto de características es similar en las dos imágenes. Para evitar el problema de la apertura, una buena característica debería tener una variación local en dos direcciones.
En visión por computadora, el problema de correspondencia se estudia para el caso en que una computadora debería resolverlo automáticamente con solo imágenes como entrada. Una vez resuelto el problema de correspondencia, dando como resultado un conjunto de puntos de imagen que están en correspondencia, se pueden aplicar otros métodos a este conjunto para reconstruir la posición, movimiento y/o rotación de los puntos 3D correspondientes en la escena.
El problema de correspondencia es también la base de la técnica de medición de velocimetría de imágenes de partículas , que hoy en día se utiliza ampliamente en el campo de la mecánica de fluidos para medir cuantitativamente el movimiento de los fluidos.
Para encontrar la correspondencia entre el conjunto A [1,2,3,4,5] y el conjunto B [3,4,5,6,7], encuentre dónde se superponen y qué tan lejos está un conjunto del otro. Aquí vemos que los últimos tres números del conjunto A se corresponden con los primeros tres números del conjunto B. Esto muestra que B está desplazado 2 a la izquierda de A.
Un método sencillo consiste en comparar pequeños parches entre imágenes rectificadas . Esto funciona mejor con imágenes tomadas aproximadamente desde el mismo punto de vista y al mismo tiempo o con poco o ningún movimiento de la escena entre capturas de imágenes, como imágenes estéreo.
Se pasa una pequeña ventana por varias posiciones en una imagen. Se verifica cada posición para ver qué tan bien se compara con la misma ubicación en la otra imagen. Se comparan varias ubicaciones cercanas para objetos en una imagen que pueden no estar exactamente en la misma ubicación en la otra imagen. Es posible que no haya ningún ajuste que sea lo suficientemente bueno. Esto puede significar que la característica no está presente en ambas imágenes, se ha movido más allá de lo que su búsqueda tuvo en cuenta, ha cambiado demasiado o está oculta en otras partes de la imagen.