La estereometría fotométrica analiza múltiples imágenes de un objeto bajo diferentes condiciones de iluminación para estimar una dirección normal en cada píxel.
La estereometría fotométrica es una técnica de visión artificial que permite estimar las normales de la superficie de los objetos mediante la observación de dichos objetos en diferentes condiciones de iluminación ( fotometría ). Se basa en el hecho de que la cantidad de luz reflejada por una superficie depende de la orientación de la superficie en relación con la fuente de luz y el observador. [1] Al medir la cantidad de luz reflejada en una cámara, el espacio de posibles orientaciones de la superficie es limitado. Si se cuenta con suficientes fuentes de luz desde diferentes ángulos, la orientación de la superficie puede limitarse a una única orientación o incluso sobrelimitarse.
La técnica fue introducida originalmente por Woodham en 1980. [2] El caso especial donde los datos son una sola imagen se conoce como forma a partir del sombreado , y fue analizado por BKP Horn en 1989. [3] Desde entonces, la estereometría fotométrica se ha generalizado a muchas otras situaciones, incluidas fuentes de luz extendidas y acabados de superficie no lambertianos . La investigación actual tiene como objetivo hacer que el método funcione en presencia de sombras proyectadas, reflejos e iluminación no uniforme.
Método básico
Según los supuestos originales de Woodham ( reflectancia lambertiana , fuentes de luz distantes puntuales conocidas y albedo uniforme ), el problema se puede resolver invirtiendo la ecuación lineal , donde es un vector (conocido) de intensidades observadas, es la normal de la superficie (desconocida) y es una matriz (conocida) de direcciones de luz normalizadas.
Este modelo se puede extender fácilmente a superficies con albedo no uniforme, manteniendo al mismo tiempo el problema lineal. [4] Tomando una reflectividad del albedo de , la fórmula para la intensidad de la luz reflejada se convierte en:
Si es cuadrado (hay exactamente 3 luces) y no singular, se puede invertir, dando:
Como se sabe que el vector normal tiene una longitud de 1, debe ser la longitud del vector y es la dirección normalizada de ese vector. Si no es cuadrado (hay más de 3 luces), se puede obtener una generalización de la inversa utilizando la pseudoinversa de Moore-Penrose [5] , simplemente multiplicando ambos lados por obteniendo:
Después de lo cual el vector normal y el albedo se pueden resolver como se describió anteriormente.
Superficies no lambertianas
El problema estereoscópico fotométrico clásico se refiere únicamente a superficies lambertianas con reflexión perfectamente difusa. Esto es poco realista para muchos tipos de materiales, especialmente metales, vidrio y plásticos lisos, y dará lugar a aberraciones en los vectores normales resultantes.
Se han desarrollado muchos métodos para contrarrestar esta suposición. En esta sección se enumeran algunos de ellos.
Reflexiones especulares
Históricamente, en gráficos por computadora , el modelo comúnmente utilizado para representar superficies comenzó con superficies lambertianas y progresó primero para incluir reflexiones especulares simples . La visión por computadora siguió un curso similar con la estereometría fotométrica. Las reflexiones especulares estuvieron entre las primeras desviaciones del modelo lambertiano. Estas son algunas adaptaciones que se han desarrollado.
Muchas técnicas se basan en última instancia en modelar la función de reflectancia de la superficie, es decir, cuánta luz se refleja en cada dirección. [6] Esta función de reflectancia tiene que ser invertible . Se miden las intensidades de la luz reflejada hacia la cámara y la función de reflectancia inversa se ajusta a las intensidades medidas, lo que da como resultado una solución única para el vector normal.
BRDF generales y más allá
Según el modelo de función de distribución de reflectancia bidireccional (BRDF), una superficie puede distribuir la cantidad de luz que recibe en cualquier dirección hacia el exterior. Este es el modelo más general conocido para superficies opacas . Se han desarrollado algunas técnicas para modelar BRDF (casi) generales. En la práctica, todas ellas requieren muchas fuentes de luz para obtener datos fiables. Estos son métodos con los que se pueden medir superficies con BRDF generales.
Determinar la BRDF explícita antes de escanear. [7] Para ello, se requiere una superficie diferente que tenga la misma BRDF o una muy similar, de la que ya se conoce la geometría real (o al menos los vectores normales para muchos puntos de la superficie). [8] A continuación, las luces se proyectan individualmente sobre la superficie conocida y se mide la cantidad de reflexión en la cámara. Con esta información, se puede crear una tabla de consulta que asigna las intensidades reflejadas para cada fuente de luz a una lista de posibles vectores normales. Esto impone restricciones a los posibles vectores normales que puede tener la superficie y reduce el problema estereoscópico fotométrico a una interpolación entre mediciones. Las superficies conocidas típicas con las que se calibra la tabla de consulta son las esferas por su amplia variedad de orientaciones de superficie.
Restringir la BRDF para que sea simétrica. [9] Si la BRDF es simétrica, la dirección de la luz se puede restringir a un cono en torno a la dirección de la cámara. El tipo de cono que se utilice depende de la propia BRDF, del vector normal de la superficie y de la intensidad medida. Si se miden suficientes intensidades y se obtienen las direcciones de la luz resultantes, se pueden aproximar estos conos y, por lo tanto, los vectores normales de la superficie.
^ Ying Wu. "Radiometría, BRDF y estereometría fotométrica" (PDF) . Northwestern University . Consultado el 25 de marzo de 2015 .
^ Woodham, RJ 1980. Método fotométrico para determinar la orientación de la superficie a partir de múltiples imágenes. Ingenierías ópticas 19, I, 139-144.
^ BKP Horn, 1989. Obtención de la forma a partir de la información de sombreado. En BKP Horn y MJ Brooks, eds., Shape from Shading, páginas 121–171. MIT Press.
^ S. Barsky y Maria Petrou, 2003. La técnica estereoscópica fotométrica de 4 fuentes para superficies tridimensionales en presencia de luces y sombras. En IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, número 10, páginas 1239-1252. IEEE.
^ Chaman Singh Verma y Mon-Ju Wu. "Photometric Stereo". Universidad de Wisconsin-Madison . Consultado el 24 de marzo de 2015 .
^ Hemant D. Tagare y Rui JP de Figueiredo, 1991. Una teoría de la estereometría fotométrica para una clase de superficies difusas no lambertianas. En IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, núm. 2. IEEE.
^ Katsushi Ikeuchi, 1981. Determinación de las orientaciones superficiales de superficies especulares mediante el método estereoscópico fotométrico. En IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-3, número 6, páginas 661-669. IEEE.
^ Aaron Hertzmann y Steven M. Seitz, 2005. Estereofotometría basada en ejemplos: reconstrucción de formas con BRDF generales y de gran precisión. En IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, n.º 8. IEEE.
^ Michael Holroyd, Jason Lawrence, Greg Humphreys y Todd Zickler, 2008. Un enfoque fotométrico para estimar normales y tangentes. En ACM SIGGRAPH Asia 2008 Papers, páginas 133:1-133:9. ACM.
^ Shree K. Nayar, Katsushi Ikeuchi y Takeo Kanade, 1991. Forma a partir de interreflexiones. En International Journal of Computer Vision, vol. 6, número 3, páginas 173-195.
^ Miao Liao, Xinyu Huang y Ruigang Yang, 2011. Eliminación de interreflexión para estéreo fotométrico mediante el uso de albedo dependiente del espectro. En la Conferencia IEEE de 2011 sobre visión artificial y reconocimiento de patrones, páginas 689-696. IEEE.
^ Tongbo Chen, Hendrik Lensch, Christian Fuchs y HP Seidel, 2007. Polarización y desplazamiento de fase para el escaneo 3D de objetos translúcidos. En la Conferencia IEEE sobre visión artificial y reconocimiento de patrones, 2007, páginas 1-8. IEEE.
