stringtranslate.com

Campo de luz

Un campo de luz , o lightfield , es una función vectorial que describe la cantidad de luz que fluye en cada dirección a través de cada punto en un espacio. El espacio de todos los rayos de luz posibles está dado por la función plenóptica de cinco dimensiones , y la magnitud de cada rayo está dada por su radiancia . Michael Faraday fue el primero en proponer que la luz debería interpretarse como un campo, de forma muy similar a los campos magnéticos en los que había estado trabajando. [1] El término campo de luz fue acuñado por Andrey Gershun en un artículo clásico de 1936 sobre las propiedades radiométricas de la luz en el espacio tridimensional.

El término "campo de radiancia" también puede utilizarse para referirse a conceptos similares o idénticos [2] . El término se utiliza en la investigación moderna, como los campos de radiancia neuronal.

La función plenóptica

La radiancia L a lo largo de un rayo puede considerarse como la cantidad de luz que viaja a lo largo de todas las líneas rectas posibles a través de un tubo cuyo tamaño está determinado por su ángulo sólido y área de sección transversal.

Para la óptica geométrica (es decir, para la luz incoherente y para objetos más grandes que la longitud de onda de la luz), el portador fundamental de luz es un rayo . La medida de la cantidad de luz que viaja a lo largo de un rayo es la radiancia , denotada por L y medida en W·sr −1 ·m −2 ; es decir, vatios (W) por estereorradián (sr) por metro cuadrado (m 2 ). El estereorradián es una medida de ángulo sólido y los metros al cuadrado se utilizan como medida de área de sección transversal, como se muestra a la derecha.

Parametrizar un rayo en el espacio 3D por posición ( x , y , z ) y dirección ( θ , ϕ ).

La radiancia a lo largo de todos esos rayos en una región del espacio tridimensional iluminada por una disposición inmutable de luces se llama función plenóptica. [3] La función de iluminación plenóptica es una función idealizada utilizada en visión por computadora y gráficos por computadora para expresar la imagen de una escena desde cualquier posición de visualización posible en cualquier ángulo de visualización en cualquier punto en el tiempo. No se utiliza en la práctica computacionalmente, pero es conceptualmente útil para comprender otros conceptos en visión y gráficos. [4] Dado que los rayos en el espacio pueden parametrizarse por tres coordenadas, x , y y z y dos ángulos θ y ϕ , como se muestra a la izquierda, es una función de cinco dimensiones, es decir, una función sobre una variedad de cinco dimensiones equivalente al producto del espacio euclidiano 3D y la 2-esfera .

La suma de los vectores de irradiancia D 1 y D 2 que surgen de dos fuentes de luz I 1 e I 2 produce un vector resultante D que tiene la magnitud y dirección mostradas. [5]

El campo de luz en cada punto del espacio puede tratarse como una colección infinita de vectores, uno por dirección que incide en el punto, con longitudes proporcionales a sus radiancias.

La integración de estos vectores sobre cualquier conjunto de luces, o sobre toda la esfera de direcciones, produce un único valor escalar: la irradiancia total en ese punto, y una dirección resultante. La figura muestra este cálculo para el caso de dos fuentes de luz. En gráficos de computadora, esta función de valor vectorial del espacio 3D se denomina campo de irradiancia vectorial. [6] La dirección vectorial en cada punto del campo se puede interpretar como la orientación de una superficie plana colocada en ese punto para iluminarla con mayor intensidad.

Mayor dimensionalidad

El tiempo, la longitud de onda y el ángulo de polarización pueden tratarse como dimensiones adicionales, generando funciones de dimensiones superiores, en consecuencia.

El campo de luz 4D

La radiancia a lo largo de un rayo permanece constante si no hay bloqueadores.

En una función plenóptica, si la región de interés contiene un objeto cóncavo (por ejemplo, una mano ahuecada), entonces la luz que sale de un punto del objeto puede viajar solo una corta distancia antes de que otro punto del objeto la bloquee. Ningún dispositivo práctico podría medir la función en una región de ese tipo.

Sin embargo, para las ubicaciones fuera de la envoltura convexa del objeto (por ejemplo, envoltura retráctil), la función plenóptica se puede medir capturando múltiples imágenes. En este caso, la función contiene información redundante, porque la radiancia a lo largo de un rayo permanece constante a lo largo de su longitud. La información redundante es exactamente unidimensional, lo que deja una función de cuatro dimensiones denominada de diversas formas: campo fótico, campo de luz 4D [7] o lumigrafo [8] . Formalmente, el campo se define como la radiancia a lo largo de los rayos en el espacio vacío.

El conjunto de rayos de un campo de luz se puede parametrizar de diversas maneras. La más común es la parametrización de dos planos. Si bien esta parametrización no puede representar todos los rayos, por ejemplo, los rayos paralelos a los dos planos si los planos son paralelos entre sí, se relaciona estrechamente con la geometría analítica de las imágenes en perspectiva. Una forma sencilla de pensar en un campo de luz de dos planos es como una colección de imágenes en perspectiva del plano st (y cualquier objeto que pueda estar a horcajadas sobre él o más allá de él), cada una tomada desde una posición de observador en el plano uv . Un campo de luz parametrizado de esta manera a veces se denomina placa de luz.

Algunas parametrizaciones alternativas del campo de luz 4D, que representa el flujo de luz a través de una región vacía del espacio tridimensional. Izquierda: puntos en un plano o superficie curva y direcciones que parten de cada punto. Centro: pares de puntos en la superficie de una esfera. Derecha: pares de puntos en dos planos en posición general (es decir, cualquier posición).

Sonido analógico

El análogo del campo de luz 4D para el sonido es el campo sonoro o campo ondulatorio , como en la síntesis de campos ondulatorios , y la parametrización correspondiente es la integral de Kirchhoff-Helmholtz , que establece que, en ausencia de obstáculos, un campo sonoro a lo largo del tiempo viene dado por la presión sobre un plano. Por lo tanto, se trata de dos dimensiones de información en cualquier punto del tiempo y, a lo largo del tiempo, de un campo 3D.

Esta bidimensionalidad, comparada con la aparente cuatridimensionalidad de la luz, se debe a que la luz viaja en rayos (0D en un punto en el tiempo, 1D a lo largo del tiempo), mientras que por el principio de Huygens-Fresnel , un frente de onda de sonido puede modelarse como ondas esféricas (2D en un punto en el tiempo, 3D a lo largo del tiempo): la luz se mueve en una sola dirección (2D de información), mientras que el sonido se expande en todas las direcciones. Sin embargo, la luz que viaja en medios no vacíos puede dispersarse de manera similar, y la irreversibilidad o la información perdida en la dispersión es discernible en la aparente pérdida de una dimensión del sistema.

Reenfoque de imagen

Debido a que el campo de luz proporciona información espacial y angular, podemos alterar la posición de los planos focales después de la exposición, lo que a menudo se denomina reenfoque . El principio del reenfoque es obtener fotografías 2-D convencionales a partir de un campo de luz a través de la transformación integral. La transformación toma un campo de luz como entrada y genera una fotografía enfocada en un plano específico.

Suponiendo que representa un campo de luz 4-D que registra rayos de luz que viajan desde una posición en el primer plano a una posición en el segundo plano, donde es la distancia entre dos planos, se puede obtener una fotografía 2-D a cualquier profundidad a partir de la siguiente transformada integral: [9]

,

o más concisamente,

,

donde , , y es el operador de fotografía.

En la práctica, esta fórmula no se puede utilizar directamente porque una cámara plenóptica normalmente captura muestras discretas del campo de luz y, por lo tanto, se necesita un remuestreo (o interpolación) para calcular . Otro problema es la alta complejidad de cálculo. Para calcular una fotografía 2-D a partir de un campo de luz 4-D, la complejidad de la fórmula es . [9]

Fotografía de cortes de Fourier

Una forma de reducir la complejidad del cálculo es adoptar el concepto del teorema de corte de Fourier : [9] El operador de fotografía puede verse como un corte seguido de una proyección. El resultado debe ser proporcional a un corte 2-D dilatado de la transformada de Fourier 4-D de un campo de luz. Más precisamente, se puede generar una imagen reenfocada a partir del espectro de Fourier 4-D de un campo de luz extrayendo un corte 2-D, aplicando una transformada 2-D inversa y escalando. La complejidad asintótica del algoritmo es .

Transformación de pila focal discreta

Otra forma de calcular de manera eficiente fotografías 2-D es adoptar la transformada de pila focal discreta (DFST). [10] La DFST está diseñada para generar una colección de fotografías 2-D reenfocadas, o la llamada pila focal . Este método se puede implementar mediante la transformada de Fourier fraccional rápida (FrFT).

El operador de fotografía discreta se define de la siguiente manera para un campo de luz muestreado en una cuadrícula 4-D :

Dado que normalmente no está en la cuadrícula 4-D, DFST adopta la interpolación trigonométrica para calcular los valores que no están en la cuadrícula.

El algoritmo consta de estos pasos:

Métodos para crear campos de luz.

En los gráficos por ordenador, los campos de luz se producen normalmente mediante la representación de un modelo 3D o fotografiando una escena real. En cualquier caso, para producir un campo de luz, se deben obtener vistas de una gran colección de puntos de vista. Según la parametrización, esta colección suele abarcar una parte de una línea, un círculo, un plano, una esfera u otra forma, aunque también es posible que existan colecciones no estructuradas. [11]

Los dispositivos para capturar campos de luz fotográficamente pueden incluir una cámara portátil en movimiento o una cámara controlada robóticamente, [12] un arco de cámaras (como en el efecto de tiempo bala utilizado en Matrix ), una matriz densa de cámaras, [13] cámaras portátiles , [14] [15] microscopios, [16] u otro sistema óptico. [17]

La cantidad de imágenes en un campo de luz depende de la aplicación. Una captura de campo de luz de la estatua de la Noche de Miguel Ángel [18] contiene 24 000 imágenes de 1,3 megapíxeles, lo que se considera grande a partir de 2022. Para que la representación del campo de luz capture por completo un objeto opaco, se deben tomar imágenes de al menos la parte delantera y trasera. De manera menos obvia, para un objeto que se encuentra a horcajadas sobre el plano st , se deben tomar imágenes finamente espaciadas en el plano uv (en la parametrización de dos planos que se muestra arriba).

El número y la disposición de las imágenes en un campo de luz, y la resolución de cada imagen, se denominan en conjunto "muestreo" del campo de luz 4D. [19] También son de interés los efectos de la oclusión, [20] la iluminación y la reflexión. [21]

Aplicaciones

Una fuente de luz orientada hacia abajo (FF') induce un campo de luz cuyos vectores de irradiancia se curvan hacia afuera. Mediante el cálculo, Gershun pudo calcular la irradiancia que cae sobre los puntos (P 1 , P 2 ) de una superficie. [22] )

Ingeniería de iluminación

La razón de Gershun para estudiar el campo de luz era derivar (en forma cerrada) patrones de iluminación que se observarían en superficies debido a fuentes de luz de varias formas posicionadas sobre estas superficies. [23] La rama de la óptica dedicada a la ingeniería de iluminación es la óptica sin imágenes . [24] Utiliza ampliamente el concepto de líneas de flujo (líneas de flujo de Gershun) y flujo vectorial (vector de luz de Gershun). Sin embargo, el campo de luz (en este caso las posiciones y direcciones que definen los rayos de luz) se describe comúnmente en términos de espacio de fase y óptica hamiltoniana .

Representación del campo de luz

La extracción de cortes 2D apropiados del campo de luz 4D de una escena permite vistas novedosas de la escena. [25] Dependiendo de la parametrización del campo de luz y los cortes, estas vistas pueden ser en perspectiva , ortográficas , de rendija cruzada, [26] de cámaras lineales generales, [27] de perspectiva múltiple, [28] u otro tipo de proyección. La representación del campo de luz es una forma de representación basada en imágenes .

Fotografía con apertura sintética

La integración de un subconjunto 4D apropiado de las muestras en un campo de luz puede aproximarse a la vista que sería capturada por una cámara que tuviera una apertura finita (es decir, no estenopeica ). Dicha vista tiene una profundidad de campo finita . Cortar o deformar el campo de luz antes de realizar esta integración puede enfocar diferentes planos frontoparalelos [29] u oblicuos [30] . Las imágenes capturadas por cámaras digitales que capturan el campo de luz [14] se pueden reenfocar.

Pantalla 3D

La presentación de un campo de luz mediante tecnología que asigna cada muestra al rayo apropiado en el espacio físico produce un efecto visual autoestereoscópico similar a ver la escena original. Las tecnologías no digitales para hacer esto incluyen la fotografía integral , los panoramagramas de paralaje y la holografía ; las tecnologías digitales incluyen la colocación de una matriz de lentes sobre una pantalla de visualización de alta resolución o la proyección de las imágenes en una matriz de lentes utilizando una matriz de proyectores de video. Una matriz de cámaras de video puede capturar y mostrar un campo de luz que varía en el tiempo. Esto constituye esencialmente un sistema de televisión 3D . [31] Los enfoques modernos para la visualización del campo de luz exploran codiseños de elementos ópticos y computación compresiva para lograr resoluciones más altas, mayor contraste, campos de visión más amplios y otros beneficios. [32]

Imágenes cerebrales

La actividad neuronal se puede registrar ópticamente codificando genéticamente las neuronas con marcadores fluorescentes reversibles como GCaMP que indican la presencia de iones de calcio en tiempo real. Dado que la microscopía de campo óptico captura información de volumen completo en un solo cuadro, es posible monitorear la actividad neuronal en neuronas individuales distribuidas aleatoriamente en un gran volumen a una velocidad de cuadros de video. [33] La medición cuantitativa de la actividad neuronal se puede realizar a pesar de las aberraciones ópticas en el tejido cerebral y sin reconstruir una imagen de volumen, [34] y se puede utilizar para monitorear la actividad en miles de neuronas. [35]

Reconstrucción generalizada de la escena (GSR)

Este es un método de reconstrucción 3D a partir de múltiples imágenes que crea un modelo de escena que comprende un campo de luz generalizado y un campo de materia que se puede iluminar nuevamente. [36] El campo de luz generalizado representa la luz que fluye en todas las direcciones a través de cada punto del campo. El campo de materia que se puede iluminar nuevamente representa las propiedades de interacción de la luz y la emisividad de la materia que ocupa cada punto del campo. Las estructuras de datos de la escena se pueden implementar utilizando redes neuronales, [37] [38] [39] y estructuras basadas en la física, [40] [41] entre otras. [36] Los campos de luz y materia se desenredan al menos parcialmente. [36] [42]

Estereogramas holográficos

La generación de imágenes y predistorsión de imágenes sintéticas para estereogramas holográficos es uno de los primeros ejemplos de campos de luz calculados. [43]

Reducción del deslumbramiento

El deslumbramiento surge debido a la dispersión múltiple de la luz dentro del cuerpo de la cámara y la óptica de la lente que reduce el contraste de la imagen. Si bien el deslumbramiento se ha analizado en el espacio de imagen 2D, [44] es útil identificarlo como un fenómeno del espacio de rayos 4D. [45] El análisis estadístico del espacio de rayos dentro de una cámara permite la clasificación y eliminación de artefactos de deslumbramiento. En el espacio de rayos, el deslumbramiento se comporta como ruido de alta frecuencia y se puede reducir mediante el rechazo de valores atípicos. Dicho análisis se puede realizar capturando el campo de luz dentro de la cámara, pero da como resultado la pérdida de resolución espacial. El muestreo de rayos uniforme y no uniforme se puede utilizar para reducir el deslumbramiento sin comprometer significativamente la resolución de la imagen. [45]

Véase también

Notas

  1. ^ Faraday, Michael (30 de abril de 2009). «LIV. Pensamientos sobre las vibraciones de los rayos». Philosophical Magazine . Serie 3. 28 (188): 345–350. doi :10.1080/14786444608645431. Archivado desde el original el 18 de febrero de 2013.
  2. ^ https://arxiv.org/pdf/2003.08934.pdf [ URL básica PDF ]
  3. ^ Adelson 1991
  4. ^ Wong 2002
  5. ^ Gershun, figura 17
  6. ^ Arvo, 1994
  7. ^ Levoy 1996
  8. ^ Görtler 1996
  9. ^ abc Ng, Ren (2005). "Fotografía de cortes de Fourier". Documentos de ACM SIGGRAPH 2005. Nueva York, Nueva York, EE. UU.: ACM Press. págs. 735–744. doi :10.1145/1186822.1073256. ISBN 9781450378253.S2CID 1806641  .
  10. ^ Nava, F. Pérez; Marichal-Hernández, JG; Rodríguez-Ramos, JM (agosto de 2008). "La transformación de pila focal discreta". 2008 16ª Conferencia europea sobre procesamiento de señales : 1–5.
  11. ^ Buehler 2001
  12. ^ Levoy 2002
  13. ^ Kanada 1998; Yang 2002; Wilburn 2005
  14. ^ desde 2005
  15. ^ Georgiev 2006; Marwah 2013
  16. ^ Levoy 2006
  17. ^ Bolles 1987
  18. ^ "Un campo de luz de la estatua de La Noche de Miguel Ángel". accademia.stanford.edu . Consultado el 8 de febrero de 2022 .
  19. ^ Chai (2000)
  20. ^ Durand (2005)
  21. ^ Ramamoorthi (2006)
  22. ^ Gershun, figura 24
  23. ^ Ashdown 1993
  24. ^ Chaves 2015; Winston 2005
  25. ^ Levoy 1996; Gortler 1996
  26. ^ Zomet 2003
  27. ^ Yu y McMillan 2004
  28. ^ Rademacher 1998
  29. ^ Isaksen 2000
  30. ^ Vaish 2005
  31. ^ Javidi 2002; Matusik 2004
  32. ^ Wetzstein 2012, 2011; Lanman 2011, 2010
  33. ^ Grosenick, 2009, 2017; Pérez, 2015
  34. ^ Pegard, 2016
  35. ^ Grosnick, 2017
  36. ^ abcLeffingwell, 2018
  37. ^ Mildenhall, 2020
  38. ^ Rudnev, Viktor; Elgharib, Mohamed; Smith, William; Liu, Lingjie; Golyanik, Vladislav; Theobalt, Christian (21 de julio de 2022). "NeRF para la reiluminación de escenas al aire libre". Conferencia Europea sobre Visión Artificial (ECCV) 2022 : 1–22. arXiv : 2112.05140 .
  39. ^ Srinivasan, Pratual; Deng, Boyang; Zhang, Xiuming; Tancik, Matthew; Mildenhall, Ben; Barron, Jonathan (7 de diciembre de 2020). "NeRV: campos de reflectancia y visibilidad neuronales para reiluminación y síntesis de vistas". CVPR : 1–12. arXiv : 2012.03927 .
  40. ^ Yu y Fridovich-Keil, 2021
  41. ^ Kerbl, Bernhard; Kopanas, Georgios; Leimkühler, Thomas; Drettakis, George (8 de agosto de 2023). "Salpicaduras gaussianas 3D para renderizado de campos de radiancia en tiempo real". arXiv : 2308.04079 [cs.GR].
  42. ^ Zhang, Jingyang; Yao, Yao; Li, Shiwei; Liu, Jingbo; Fang, Tian; McKinnon, David; Tsin, Yanghai; Quan, Long (30 de marzo de 2023). "NeILF++: campos de luz interreflectables para estimación de geometría y materiales". págs. 1–5. arXiv : 2303.17147 [cs.CV].
  43. ^ Halle 1991, 1994
  44. ^ Talvala 2007
  45. ^ por Raskar 2008

Referencias

Teoría

Análisis

Cámaras

Muestra

Archivo

Aplicaciones