El splatting gaussiano es una técnica de renderizado de volumen que se ocupa de la representación directa de datos de volumen sin convertir los datos en primitivas de superficie o línea . [1] La técnica fue introducida originalmente como splatting por Lee Westover a principios de la década de 1990. [2] Con los avances en gráficos de computadora, se han desarrollado métodos más nuevos como el splatting gaussiano temporal 3D y 3D para ofrecer renderizado de campo de radiancia en tiempo real y renderizado de escena dinámica respectivamente. [3] [4]
La representación volumétrica se centra en la generación de imágenes a partir de muestras discretas de datos volumétricos que, por lo general, se toman en tres dimensiones. Estos datos pueden provenir de diversas fuentes, como tomografías computarizadas o lecturas de densidad de ozono. Los métodos tradicionales transformaban estos datos volumétricos en líneas y primitivas de superficie para mostrarlas en pantallas de gráficos de computadora. Sin embargo, este enfoque a veces introducía artefactos y dificultaba la visualización interactiva. [1]
Para abordar estos problemas, se desarrollaron técnicas de renderizado directo, que operan sobre los datos de volumen originales. Estos métodos se clasifican en dos categorías principales: métodos de retroalimentación y métodos de retroalimentación. El algoritmo de salpicadura, al ser un método de retroalimentación, se ocupa directamente de la renderización de mallas de volumen rectilíneas . La salpicadura se puede personalizar para renderizar volúmenes como nubes o superficies modificando las funciones de sombreado, lo que proporciona flexibilidad en el proceso de renderizado. [1]
Desde sus inicios, el splatting ha experimentado varias mejoras. Algunos desarrollos significativos incluyen splats texturizados, anti-aliasing , splatting basado en hojas alineadas con imágenes, splatting postclasificado y la introducción de un primitivo de splats conocido como FastSplats. [2]
Los avances recientes en la síntesis de nuevas vistas han demostrado la utilidad de los métodos de campo de resplandor . Para mejorar la calidad visual y garantizar al mismo tiempo las tasas de visualización en tiempo real, se introdujo un nuevo método que utiliza gaussianas 3D. Este método integra puntos dispersos producidos durante la calibración de la cámara, lo que representa escenas con gaussianas 3D que conservan las propiedades de los campos de resplandor volumétricos continuos. Además, se introdujo una optimización intercalada /control de densidad de las gaussianas 3D junto con un algoritmo de renderizado rápido que tiene en cuenta la visibilidad y que admite salpicaduras anisotrópicas. [3] Esta técnica ha demostrado potencial para sintetizar escenas 3D de alta calidad a partir de imágenes 2D en tiempo real. [5]
Extendiendo el concepto de salpicadura gaussiana 3D, la salpicadura gaussiana temporal 3D incorpora un componente de tiempo, lo que permite la representación dinámica de la escena. Representa y renderiza escenas dinámicas, con un enfoque en el modelado de movimientos complejos mientras se mantiene la eficiencia. [4] El método utiliza un HexPlane para conectar diferentes gaussianas adyacentes, proporcionando una representación precisa de la posición y las deformaciones de la forma. Al utilizar solo un único conjunto de gaussianas 3D canónicas y análisis predictivos , el método de salpicadura gaussiana temporal 3D modela cómo se mueven en diferentes marcas de tiempo. [6] Vale la pena señalar que a estos métodos a veces se los denomina incorrectamente salpicadura gaussiana 4D; sin embargo, esta convención de nomenclatura implica el uso de primitivas gaussianas 4D (parametrizadas por una media 4x4 y una matriz de covarianza 4x4). La mayor parte del trabajo en esta área todavía emplea primitivas gaussianas 3D, aplicando restricciones temporales como un parámetro adicional de optimización.
Los logros de esta técnica incluyen la representación en tiempo real de escenas dinámicas con altas resoluciones, manteniendo al mismo tiempo la calidad. Muestra posibles aplicaciones para futuros desarrollos en cine y otros medios, aunque existen limitaciones actuales en cuanto a la duración del movimiento capturado. [6]