La síntesis de texturas es el proceso de construcción algorítmica de una imagen digital de gran tamaño a partir de una pequeña muestra digital aprovechando su contenido estructural. Es un objeto de investigación en el campo de los gráficos por ordenador y se utiliza en muchos campos, entre otros, en la edición de imágenes digitales , los gráficos por ordenador en 3D y la posproducción de películas .
La síntesis de texturas se puede utilizar para rellenar huecos en imágenes (como en el retoque ), crear imágenes de fondo grandes y no repetitivas y ampliar imágenes pequeñas. [1]
Las texturas procedimentales son una técnica relacionada que permite sintetizar texturas desde cero sin material de origen. Por el contrario, la síntesis de texturas se refiere a técnicas en las que se combina o amplía una imagen de origen.
" Textura " es una palabra ambigua y en el contexto de la síntesis de textura puede tener uno de los siguientes significados:
La textura se puede organizar a lo largo de un espectro que va de regular a estocástico, conectado por una transición suave: [2]
Los algoritmos de síntesis de textura están destinados a crear una imagen de salida que cumpla los siguientes requisitos:
Como la mayoría de los algoritmos, la síntesis de textura debe ser eficiente en tiempo de cálculo y en uso de memoria.
Se han investigado o desarrollado los siguientes métodos y algoritmos para la síntesis de texturas:
La forma más sencilla de generar una imagen grande a partir de una imagen de muestra es colocarla en mosaico . Esto significa que simplemente se copian y pegan varias copias de la muestra una al lado de la otra. El resultado rara vez es satisfactorio. Excepto en casos excepcionales, habrá uniones entre los mosaicos y la imagen será muy repetitiva.
Los métodos de síntesis de texturas estocásticas generan una imagen eligiendo aleatoriamente valores de color para cada píxel, influidos únicamente por parámetros básicos como el brillo mínimo, el color promedio o el contraste máximo. Estos algoritmos funcionan bien únicamente con texturas estocásticas; de lo contrario, producen resultados completamente insatisfactorios, ya que ignoran cualquier tipo de estructura dentro de la imagen de muestra.
Los algoritmos de esa familia utilizan un procedimiento fijo para crear una imagen de salida, es decir, están limitados a un único tipo de textura estructurada. Por lo tanto, estos algoritmos solo se pueden aplicar a texturas estructuradas y solo a texturas con una estructura muy similar. Por ejemplo, un algoritmo de un solo propósito podría producir imágenes de textura de alta calidad de muros de piedra; sin embargo, es muy poco probable que el algoritmo produzca un resultado viable si se le da una imagen de muestra que muestre guijarros.
Este método, propuesto por el grupo Microsoft para gráficos de Internet, es una versión refinada del mosaico y realiza los tres pasos siguientes:
El resultado es una imagen con una textura aceptable, que no es demasiado repetitiva ni contiene demasiados artefactos. Sin embargo, este método no es satisfactorio porque el suavizado del paso 3 hace que la imagen resultante se vea borrosa.
Estos métodos, que utilizan campos de Markov, [3] muestreo no paramétrico, [4] cuantificación vectorial estructurada en árbol [5] y analogías de imágenes [6] son algunos de los algoritmos de síntesis de texturas generales más simples y exitosos. Por lo general, sintetizan una textura en orden de línea de escaneo al encontrar y copiar píxeles con el vecindario local más similar a la textura sintética. Estos métodos son muy útiles para completar imágenes. Se pueden restringir, como en las analogías de imágenes , para realizar muchas tareas interesantes. Por lo general, se aceleran con alguna forma de método de vecino más cercano aproximado, ya que la búsqueda exhaustiva del mejor píxel es algo lenta. La síntesis también se puede realizar en múltiples resoluciones, como mediante el uso de un campo aleatorio de Markov multiescala no causal y no paramétrico. [7]
La síntesis de texturas basada en parches crea una nueva textura copiando y uniendo texturas en distintos desplazamientos, de forma similar al uso de la herramienta de clonación para sintetizar manualmente una textura. El acolchado de imágenes [8] y las texturas Graphcut [9] son los algoritmos de síntesis de texturas basados en parches más conocidos. Estos algoritmos tienden a ser más efectivos y rápidos que los métodos de síntesis de texturas basados en píxeles.
Más recientemente, se ha demostrado que los métodos de aprendizaje profundo son un método paramétrico potente, rápido y basado en datos para la síntesis de texturas. El trabajo de Leon Gatys [10] es un hito: él y sus coautores demostraron que los filtros de una red neuronal profunda entrenada de forma discriminativa se pueden utilizar como descriptores de imágenes paramétricos eficaces, lo que dio lugar a un nuevo método de síntesis de texturas.
Otro desarrollo reciente es el uso de modelos generativos para la síntesis de texturas. El método Spatial GAN [11] mostró por primera vez el uso de GAN totalmente no supervisadas para la síntesis de texturas. En un trabajo posterior, [12] el método se amplió aún más: PSGAN puede aprender imágenes periódicas y no periódicas de forma no supervisada a partir de imágenes individuales o grandes conjuntos de datos de imágenes. Además, el muestreo flexible en el espacio de ruido permite crear nuevas texturas de tamaño de salida potencialmente infinito y realizar transiciones suaves entre ellas. Esto hace que PSGAN sea único con respecto a los tipos de imágenes que un método de síntesis de texturas puede crear.
Existen algunas implementaciones de síntesis de texturas como complementos para el editor de imágenes gratuito Gimp :
Una implementación de síntesis de textura basada en píxeles:
Síntesis de texturas basada en parches:
Síntesis de texturas generativas profundas con PSGAN, implementada en Python con Lasagne + Theano:
Algunos de los primeros artículos más citados en este campo son:
Aunque también hubo trabajos anteriores sobre el tema, como
(El último algoritmo tiene algunas similitudes con el enfoque del Mosaico del Caos).
El método de muestreo no paramétrico de Efros-Leung es el primero que permite sintetizar fácilmente la mayoría de los tipos de texturas y ha inspirado literalmente cientos de artículos posteriores sobre gráficos por ordenador. Desde entonces, el campo de la síntesis de texturas se ha expandido rápidamente con la introducción de tarjetas aceleradoras de gráficos 3D para ordenadores personales. Sin embargo, resulta que Scott Draves fue el primero en publicar la versión basada en parches de esta técnica junto con el código GPL en 1993, según Efros.