El problema de correspondencia se refiere al problema de determinar qué partes de una imagen corresponden a qué partes de otra imagen, [1] donde las diferencias se deben al movimiento de la cámara, el transcurso del tiempo y/o el movimiento de los objetos en las fotografías.
La correspondencia es un problema fundamental en la visión por computadora . El influyente investigador en visión por computadora Takeo Kanade dijo una vez que los tres problemas fundamentales de la visión por computadora son: “¡Correspondencia, correspondencia y correspondencia!” [2] De hecho, la correspondencia es posiblemente el componente clave en muchas aplicaciones relacionadas: flujo óptico (en el que las dos imágenes son posteriores en el tiempo), visión estéreo densa (en la que dos imágenes son de un par de cámaras estéreo), estructura a partir del movimiento (SfM) y SLAM visual (en el que las imágenes son de vistas diferentes pero parcialmente superpuestas de una escena), y correspondencia entre escenas (en la que las imágenes son de escenas completamente diferentes).
Dadas dos o más imágenes de la misma escena 3D, tomadas desde diferentes puntos de vista, el problema de correspondencia se refiere a la tarea de encontrar un conjunto de puntos en una imagen que puedan identificarse como los mismos puntos en otra imagen. Para ello, los puntos o características de una imagen se emparejan con los puntos o características de otra imagen, estableciendo así puntos correspondientes o características correspondientes , también conocidos como puntos homólogos o características homólogas . Las imágenes pueden tomarse desde un punto de vista diferente, en diferentes momentos o con objetos en la escena en movimiento general en relación con la(s) cámara(s).
El problema de correspondencia puede ocurrir en una situación estereoscópica cuando se utilizan dos imágenes de la misma escena, o puede generalizarse al problema de correspondencia de N vistas. En este último caso, las imágenes pueden provenir de N cámaras diferentes que toman fotografías al mismo tiempo o de una cámara que se mueve con respecto a la escena. El problema se vuelve más difícil cuando los objetos de la escena están en movimiento con respecto a la(s) cámara(s).
Una aplicación típica del problema de correspondencia se da en la creación de panoramas o la unión de imágenes , cuando se deben unir dos o más imágenes que solo tienen una pequeña superposición para formar una imagen compuesta más grande. En este caso, es necesario poder identificar un conjunto de puntos correspondientes en un par de imágenes para calcular la transformación de una imagen para unirla a la otra.
Hay dos formas básicas de encontrar las correspondencias entre dos imágenes.
Basado en correlación: comprobar si una ubicación en una imagen se parece a otra en otra imagen.
Basado en características: buscar características en la imagen y ver si la disposición de un subconjunto de características es similar en las dos imágenes. Para evitar el problema de la apertura, una buena característica debe tener variación local en dos direcciones.
En visión artificial, el problema de correspondencia se estudia para el caso en que un ordenador deba resolverlo automáticamente con solo imágenes como entrada. Una vez resuelto el problema de correspondencia, obteniendo un conjunto de puntos de imagen que se corresponden, se pueden aplicar otros métodos a este conjunto para reconstruir la posición, el movimiento y/o la rotación de los puntos 3D correspondientes en la escena.
El problema de correspondencia es también la base de la técnica de medición de velocimetría de imágenes de partículas , que hoy en día se utiliza ampliamente en el campo de la mecánica de fluidos para medir cuantitativamente el movimiento de fluidos.
Para encontrar la correspondencia entre el conjunto A [1,2,3,4,5] y el conjunto B [3,4,5,6,7], hay que encontrar dónde se superponen y a qué distancia se encuentra un conjunto del otro. Aquí vemos que los últimos tres números del conjunto A corresponden a los primeros tres números del conjunto B. Esto demuestra que B está desplazado 2 números a la izquierda de A.
Un método sencillo consiste en comparar pequeños parches entre imágenes rectificadas . Esto funciona mejor con imágenes tomadas con aproximadamente el mismo punto de vista y al mismo tiempo o con poco o ningún movimiento de la escena entre capturas de imágenes, como imágenes estereoscópicas.
Se pasa una pequeña ventana sobre varias posiciones en una imagen. Se comprueba cada posición para ver qué tan bien se compara con la misma ubicación en la otra imagen. Se comparan varias ubicaciones cercanas para objetos en una imagen que pueden no estar exactamente en la misma ubicación de la imagen en la otra imagen. Es posible que no haya un ajuste lo suficientemente bueno. Esto puede significar que la característica no está presente en ambas imágenes, se ha movido más de lo que su búsqueda tenía en cuenta, ha cambiado demasiado o está siendo ocultada por otras partes de la imagen.