El estéreo fotométrico analiza múltiples imágenes de un objeto bajo diferentes condiciones de iluminación para estimar una dirección normal en cada píxel.
El estéreo fotométrico es una técnica de visión por computadora para estimar las normales de la superficie de objetos observándolos en diferentes condiciones de iluminación ( fotometría ). Se basa en el hecho de que la cantidad de luz reflejada por una superficie depende de la orientación de la superficie en relación con la fuente de luz y el observador. [1] Al medir la cantidad de luz reflejada en una cámara, el espacio de posibles orientaciones de la superficie es limitado. Dadas suficientes fuentes de luz desde diferentes ángulos, la orientación de la superficie puede verse limitada a una única orientación o incluso excesivamente restringida.
La técnica fue introducida originalmente por Woodham en 1980. [2] El caso especial en el que los datos son una sola imagen se conoce como forma a partir de sombreado y fue analizado por BKP Horn en 1989. [3] Desde entonces, el estéreo fotométrico se ha generalizado a muchos otras situaciones, incluidas fuentes de luz extendidas y acabados de superficies no lambertianos . La investigación actual tiene como objetivo hacer que el método funcione en presencia de sombras proyectadas, luces e iluminación no uniforme.
Método básico
Según los supuestos originales de Woodham ( reflectancia lambertiana , fuentes de luz distantes puntuales conocidas y albedo uniforme ), el problema se puede resolver invirtiendo la ecuación lineal , donde es un vector (conocido) de intensidades observadas, es la normal a la superficie (desconocida), y es una matriz (conocida) de direcciones de luz normalizadas.
Este modelo se puede extender fácilmente a superficies con albedo no uniforme, manteniendo el problema lineal. [4] Tomando una reflectividad del albedo de , la fórmula para la intensidad de la luz reflejada se convierte en:
Si es cuadrado (hay exactamente 3 luces) y no singular, se puede invertir, dando:
Dado que se sabe que el vector normal tiene longitud 1, debe ser la longitud del vector y es la dirección normalizada de ese vector. Si no es cuadrado (hay más de 3 luces), se puede obtener una generalización de la inversa usando la pseudoinversa de Moore-Penrose , [5] simplemente multiplicando ambos lados dando:
Después de lo cual el vector normal y el albedo se pueden resolver como se describe anteriormente.
Superficies no lambertianas
El problema estéreo fotométrico clásico se refiere únicamente a las superficies lambertianas , con reflexión perfectamente difusa. Esto no es realista para muchos tipos de materiales, especialmente metales, vidrio y plásticos lisos, y provocará aberraciones en los vectores normales resultantes.
Se han desarrollado muchos métodos para eliminar esta suposición. En esta sección se enumeran algunos de ellos.
Reflexiones especulares
Históricamente, en gráficos por computadora , el modelo comúnmente utilizado para representar superficies comenzó con superficies lambertianas y avanzó primero hasta incluir reflejos especulares simples . La visión por computadora siguió un camino similar con el estéreo fotométrico. Las reflexiones especulares estuvieron entre las primeras desviaciones del modelo lambertiano. Estas son algunas adaptaciones que se han desarrollado.
En última instancia, muchas técnicas se basan en modelar la función de reflectancia de la superficie, es decir, cuánta luz se refleja en cada dirección. [6] Esta función de reflectancia tiene que ser invertible . Se miden las intensidades de la luz reflejada hacia la cámara y la función de reflectancia inversa se ajusta a las intensidades medidas, lo que da como resultado una solución única para el vector normal.
BRDF generales y más allá
Según el modelo de función de distribución de reflectancia bidireccional (BRDF), una superficie puede distribuir la cantidad de luz que recibe en cualquier dirección hacia afuera. Este es el modelo más conocido para superficies opacas . Se han desarrollado algunas técnicas para modelar BRDF (casi) generales. En la práctica, todos estos requieren muchas fuentes de luz para obtener datos confiables. Estos son métodos en los que se pueden medir superficies con BRDF generales.
Determine el BRDF explícito antes del escaneo. [7] Para hacer esto, se requiere una superficie diferente que tenga el mismo o muy similar BRDF, cuya geometría real (o al menos los vectores normales para muchos puntos de la superficie) ya se conozca. [8] Luego, las luces se enfocan individualmente sobre la superficie conocida y se mide la cantidad de reflejo en la cámara. Usando esta información, se puede crear una tabla de búsqueda que asigne las intensidades reflejadas para cada fuente de luz a una lista de posibles vectores normales. Esto impone restricciones a los posibles vectores normales que puede tener la superficie y reduce el problema del estéreo fotométrico a una interpolación entre mediciones. Las superficies típicas conocidas para calibrar la tabla de consulta son esferas por su amplia variedad de orientaciones de superficie.
Restringir el BRDF para que sea simétrico. [9] Si el BRDF es simétrico, la dirección de la luz se puede restringir a un cono alrededor de la dirección hacia la cámara. El cono que sea depende del propio BRDF, del vector normal de la superficie y de la intensidad medida. Con suficientes intensidades medidas y las direcciones de la luz resultantes, estos conos pueden aproximarse y, por tanto, los vectores normales de la superficie.
^ Ying Wu. «Radiometría, BRDF y Estereofotométrico» (PDF) . Northwestern University . Consultado el 25 de marzo de 2015 .
^ Woodham, RJ 1980. Método fotométrico para determinar la orientación de la superficie a partir de múltiples imágenes. Ingenierías Ópticas 19, I, 139-144.
^ BKP Horn, 1989. Obtención de forma a partir de información de sombreado. En BKP Horn y MJ Brooks, eds., Shape from Shading, páginas 121–171. Prensa del MIT.
^ S. Barsky y Maria Petrou, 2003. La técnica estéreo fotométrica de 4 fuentes para superficies tridimensionales en presencia de luces y sombras. En IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, número 10, páginas 1239-1252. IEEE.
^ Chaman Singh Verma y Mon-Ju Wu. "Estéreo fotométrico". Universidad de Wisconsin-Madison . Consultado el 24 de marzo de 2015 .
^ Hemant D. Tagare y Rui JP de Figueiredo, 1991. Una teoría del estéreo fotométrico para una clase de superficies difusas no lambertianas. En IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, núm. 2. IEEE.
^ Katsushi Ikeuchi, 1981. Determinación de las orientaciones superficiales de superficies especulares mediante el método estéreo fotométrico. En IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-3, número 6, páginas 661-669. IEEE.
^ Aaron Hertzmann y Steven M. Seitz, 2005. Estéreo fotométrico basado en ejemplos: reconstrucción de formas con BRDF generales de Verying. En IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, núm. 8. IEEE.
^ Michael Holroyd, Jason Lawrence, Greg Humphreys y Todd Zickler, 2008. Un enfoque fotométrico para estimar normales y tangentes. En artículos de ACM SIGGRAPH Asia 2008, páginas 133:1-133:9. ACM.
^ Shree K. Nayar, Katsushi Ikeuchi y Takeo Kanade, 1991. Forma a partir de interreflexiones. En Revista Internacional de Visión por Computadora, vol. 6, número 3, páginas 173-195.
^ Miao Liao, Xinyu Huang y Ruigang Yang, 2011. Eliminación de interreflexión para estéreo fotométrico mediante el uso de Albedo dependiente del espectro. En la Conferencia IEEE de 2011 sobre visión por computadora y reconocimiento de patrones, páginas 689-696. IEEE.
^ Tongbo Chen, Hendrik Lensch, Christian Fuchs y HP Seidel, 2007. Polarización y cambio de fase para escaneo 3D de objetos translúcidos. En Conferencia IEEE sobre visión por computadora y reconocimiento de patrones, 2007, páginas 1-8. IEEE.
