La composición digital es el proceso de ensamblar digitalmente múltiples imágenes para crear una imagen final, generalmente para impresión, películas o visualización en pantalla. Es el análogo digital de la composición de películas ópticas . Es parte del procesamiento VFX .
La operación básica utilizada en la composición digital se conoce como combinación alfa , donde se utiliza un valor de opacidad , 'α', para controlar las proporciones de dos valores de píxeles de entrada que terminan en un único píxel de salida.
Como ejemplo simple, supongamos que hay dos imágenes del mismo tamaño disponibles y se van a componer. Las imágenes de entrada se denominan imagen de primer plano e imagen de fondo. Cada imagen consta del mismo número de píxeles. La composición se realiza combinando matemáticamente información de los píxeles correspondientes de las dos imágenes de entrada y registrando el resultado en una tercera imagen, que se denomina imagen compuesta.
Considere tres píxeles;
y
Luego, considerando los tres canales de color , y suponiendo que los canales de color se expresan en un espacio de color γ=1 (es decir, los valores medidos son proporcionales a la intensidad de la luz), tenemos:
Tenga en cuenta que si las operaciones se realizan en un espacio de color donde γ no es igual a 1, entonces la operación generará efectos no lineales que potencialmente pueden verse como artefactos de aliasing (o " dentados ") a lo largo de los bordes afilados del mate. De manera más general, la composición no lineal puede tener efectos como "halos" alrededor de los objetos compuestos, porque la influencia del canal alfa no es lineal. Es posible que un artista compositor compense los efectos de la composición en un espacio no lineal.
Realizar una combinación alfa es una operación costosa si se realiza en una imagen completa o una escena 3D. Si esta operación se debe realizar en videojuegos en tiempo real, existe un truco sencillo para aumentar el rendimiento.
Simplemente reescribiendo la expresión matemática, se puede ahorrar el 50% de las multiplicaciones necesarias.
Cuando es necesario componer muchas capas parcialmente transparentes, vale la pena considerar las propiedades algebraicas de los operadores de composición utilizados. Específicamente, la asociatividad y la conmutatividad determinan cuándo se pueden o no evitar los cálculos repetidos.
Considere el caso en el que tenemos cuatro capas que combinar para producir la imagen final: F=A*(B*(C*D)) donde A, B, C, D son capas de imagen parcialmente transparentes y "*" denota un operador de composición. (con la capa izquierda encima de la capa derecha). Si solo cambia la capa C, deberíamos encontrar una manera de evitar volver a mezclar todas las capas al calcular F. Sin ninguna consideración especial, serían necesarios cuatro fusiones de imagen completa. Para operadores de composición que son conmutativos , como la mezcla de aditivos , es seguro reordenar las operaciones de mezcla. En este caso, podríamos calcular T=A*(B*D) solo una vez y simplemente combinar T*C para producir F, una sola operación. Desafortunadamente, la mayoría de los operadores no son conmutativos. Sin embargo, muchas son asociativas , lo que sugiere que es seguro reagrupar operaciones en F=(A*B)*(C*D), es decir, sin cambiar su orden. En este caso, podemos calcular S:=A*B una vez y guardar este resultado. Para formar F con un operador asociativo, solo necesitamos hacer dos operaciones de composición adicionales para integrar la nueva capa S, calculando F:=S*(C*D). Esta expresión indica componer C con todas las capas debajo de él en un paso y luego combinar todas las capas encima con el resultado anterior para producir la imagen final en el segundo paso.
Si todas las capas de una imagen cambian regularmente pero aún es necesario componer muchas capas (como en el renderizado distribuido ), la conmutatividad de un operador de composición aún se puede explotar para acelerar el cálculo a través del paralelismo incluso cuando no se obtiene ningún beneficio del cálculo previo. . Nuevamente, considere la imagen F=A*(B*(C*D)). Cada operación de composición en esta expresión depende de la siguiente, lo que lleva al cálculo en serie. Sin embargo, la asociatividad puede permitirnos reescribir F=(A*B)*(C*D) donde claramente hay dos operaciones que no dependen entre sí y que pueden ejecutarse en paralelo. En general, podemos construir un árbol de operaciones de composición por pares con una altura logarítmica en el número de capas.
El sistema de composición no lineal de mayor importancia histórica fue el Cineon , que operaba en un espacio de color logarítmico, que imita más fielmente la respuesta a la luz natural de las emulsiones cinematográficas (el sistema Cineon, fabricado por Kodak , ya no está en producción). Debido a las limitaciones de la velocidad de procesamiento y la memoria, los artistas compositores generalmente no podían darse el lujo de que el sistema realizara conversiones intermedias al espacio lineal para los pasos de composición. Con el tiempo, las limitaciones se han vuelto mucho menos significativas y ahora la mayor parte de la composición se realiza en un espacio de color lineal, incluso en los casos en que las imágenes de origen están en un espacio de color logarítmico.
La composición a menudo también incluye escalado , retoque y corrección de color de imágenes.
Hay dos flujos de trabajo de composición digital radicalmente diferentes: composición basada en nodos y composición basada en capas.
La composición basada en nodos representa un compuesto completo como un gráfico acíclico dirigido , que vincula objetos y efectos multimedia en un mapa de procedimientos, presenta intuitivamente la progresión desde la entrada de origen hasta la salida final y, de hecho, es la forma en que todas las aplicaciones de composición manejan internamente los compuestos. Este tipo de interfaz de composición permite una gran flexibilidad, incluida la capacidad de modificar los parámetros de un paso anterior de procesamiento de imágenes "en contexto" (mientras se visualiza la composición final ). Los paquetes de composición basados en nodos a menudo manejan mal los fotogramas clave y los efectos de tiempo, ya que su flujo de trabajo no surge directamente de una línea de tiempo, como lo hacen los paquetes de composición basados en capas. El software que incorpora una interfaz basada en nodos incluye Natron , Shake , Blender , Blackmagic Fusion y Nuke . Los nodos son una excelente manera de organizar los efectos en una toma compleja mientras se controlan los detalles más pequeños.
La composición basada en capas representa cada objeto multimedia en una composición como una capa separada dentro de una línea de tiempo, cada una con sus propios límites de tiempo, efectos y fotogramas clave. Todas las capas se apilan, una encima de la siguiente, en el orden deseado; y la capa inferior generalmente se representa como base en la imagen resultante, y cada capa superior se representa progresivamente sobre la composición de capas previamente, moviéndose hacia arriba hasta que todas las capas se hayan representado en el compuesto final. La composición basada en capas es muy adecuada para efectos 2D rápidos y 3D limitados , como en gráficos en movimiento, pero resulta incómoda para composiciones más complejas que implican numerosas capas. Una solución parcial a esto es la capacidad de algunos programas para ver el orden compuesto de elementos (como imágenes, efectos u otros atributos) con un diagrama visual llamado diagrama de flujo para anidar composiciones o "composiciones" directamente en otras composiciones. agregando así complejidad al orden de renderizado componiendo primero capas en la composición inicial, luego combinando esa imagen resultante con las imágenes en capas de la composición anterior, y así sucesivamente.