Acolchado de vídeo

El enmascaramiento de video es una técnica que permite separar el video en dos o más capas, generalmente primer plano y fondo, y generar enmascaramientos alfa que determinan la combinación de las capas. La técnica es muy popular en la edición de video porque permite sustituir el fondo o procesar las capas individualmente.

Métodos de enmascaramiento de video

Definición del problema

Al combinar dos imágenes se utiliza el matte alfa , también conocido como mapa de transparencia. En el caso del vídeo digital, el matte alfa es una secuencia de imágenes. El matte puede servir como una máscara binaria, definiendo qué partes de la imagen son visibles. En un caso más complicado, permite una fusión suave de las imágenes; el matte alfa se utiliza como mapa de transparencia de la imagen superior. La producción cinematográfica conoce el matte alfa desde la creación misma del cine. Los mattes se dibujaban a mano. Hoy en día, el proceso se puede automatizar con algoritmos informáticos.

De izquierda a derecha: imagen de entrada, fondo, primer plano y máscara alfa.

El problema básico de matizado se define de la siguiente manera: dada una imagen , calcule el primer plano , el fondo y el matizado alfa , de modo que la ecuación sea verdadera. Esta ecuación tiene una solución trivial , es cualquier imagen. Por lo tanto, generalmente se debe proporcionar un mapa de recorte adicional como entrada. El mapa de recorte especifica el fondo, el primer plano y los píxeles inciertos, que se descompondrán en primer plano y fondo mediante el método de matizado. ${\displaystyle I}$ ${\displaystyle F}$ ${\displaystyle B}$ ${\displaystyle A}$ ${\displaystyle I=AF+(1-A)B}$ ${\displaystyle A=1}$ ${\displaystyle F=I}$ ${\displaystyle B}$

Los criterios principales para los métodos de enmascaramiento de vídeo desde la perspectiva del usuario son los siguientes:

• Procesamiento de bordes preciso
• Estabilidad temporal
• Mínima intervención del usuario

El mapa de recorte (abajo) se utiliza como guía para calcular el mate alfa. Los píxeles blancos son el primer plano, los píxeles negros son el fondo y los píxeles grises aún deben calcularse. Los algoritmos de mateado toman el marco completo (arriba) y el mapa de recorte como entrada para producir el mate alfa (centro).

Descripción de los métodos

El primer método de enmascaramiento de video conocido ^[1] se desarrolló en 2001. El método utiliza flujo óptico para la propagación trimap y una técnica de enmascaramiento de imágenes bayesiana que se aplica a cada imagen por separado.

Video SnapCut, ^[2] que luego se incorporó a Adobe After Effects como herramienta Roto Brush, se desarrolló en 2009. El método utiliza clasificadores locales para la segmentación binaria de imágenes cerca del límite del objeto de destino. Los resultados de la segmentación se propagan al siguiente fotograma mediante flujo óptico y se aplica un algoritmo de enmascaramiento de imágenes ^{[3] .}

En Adobe After Effects también se incluyó un método ^[4] de 2011 como herramienta Refinar bordes. La propagación del mapa de recorte con flujo óptico se mejoró con puntos de control a lo largo del borde del objeto. El método utiliza un enmarañado por imagen, pero la coherencia temporal se mejoró con un filtro temporal.

Finalmente, en 2017 se desarrolló un método de aprendizaje profundo ^{[5] para el enmascaramiento de imágenes, que supera a la mayoría de los métodos tradicionales. [6]}

Evaluación comparativa

El enmascaramiento por video es un campo en rápida evolución con muchas aplicaciones prácticas. Sin embargo, para comparar la calidad de los métodos, deben probarse en un punto de referencia. El punto de referencia consiste en un conjunto de datos con secuencias de prueba y una metodología de comparación de resultados. Actualmente existe un importante punto de referencia en línea de enmascaramiento por video ^[6] , que utiliza incrustación cromática y stop motion para la estimación de la verdad fundamental . Después de enviar el método, la calificación de cada método se deriva de métricas objetivas. Como las métricas objetivas no representan la percepción humana de la calidad, es necesaria una encuesta subjetiva para proporcionar una comparación adecuada.

Uso práctico

Recorte de objeto

Los métodos de enmascaramiento de video son necesarios en el software de edición de video. La aplicación más común es recortar y transferir un objeto a otra escena. La herramienta permite a los usuarios recortar un objeto en movimiento pintando de manera interactiva áreas que deben o no pertenecer al objeto, o especificando mapas de recorte completos como entrada. Existen varias implementaciones de software:

• Un sistema de recorte de vídeo interactivo ^[10]
• Herramienta Pincel rotoscopia de Adobe After Effects ^[2]
• Herramienta Refinar bordes de Adobe After Effects ^[4]
• Complemento YUVSoft Matting para Adobe After Effects ^[11]

Para mejorar la velocidad y la calidad del apareamiento, algunos métodos utilizan datos adicionales. Por ejemplo, se han estudiado las cámaras de tiempo de vuelo en sistemas de apareamiento en tiempo real. ^[12]

Reemplazo de fondo

Otra aplicación del enmascaramiento de video es el enmascaramiento de fondo, que es muy popular en las videollamadas en línea. Se desarrolló un complemento de Zoom [ ^13] y Skype anunció Background Replace en junio de 2020 ^[14]. Los métodos de enmascaramiento de video también permiten aplicar efectos de video solo al fondo o al primer plano.

Edición de vídeo 3D

El enmascaramiento de video es crucial en la conversión de 2D a 3D , donde el enmascaramiento alfa se utiliza para procesar correctamente los objetos transparentes. También se emplea en la conversión de estéreo a multivista.

Finalización del vídeo

Estrechamente relacionado con el enmarañamiento está el completado de video ^[15] después de eliminar un objeto en el video. Mientras que el enmarañamiento se utiliza para separar el video en varias capas, el completado permite llenar espacios vacíos con contenido plausible del video después de eliminar una de las capas.

Véase también

• Detección del primer plano  : concepto en visión artificial
• Flujo óptico  : patrón de movimiento en una escena visual debido al movimiento relativo del observador
• Procesamiento de video  : un caso particular de procesamiento de imágenes, donde las señales de entrada y salida son archivos de video o secuencias de video.Páginas que muestran descripciones de wikidata como alternativa
• Composición alfa  : funcionamiento en gráficos por ordenador

Referencias

1. Chuang, Yung-Yu; Agarwala, Aseem; Curless, Brian; Salesin, David H.; Szeliski, Richard (2002). "Video-matting de escenas complejas". ACM Transactions on Graphics . 21 (3): 243–248. doi :10.1145/566654.566572. ISSN  0730-0301.
2. Bai, Xue; Wang, Jue; Simons, David; Sapiro, Guillermo (2009). "Video SnapCut". ACM Transactions on Graphics . 28 (3): 1–11. doi :10.1145/1531326.1531376. ISSN  0730-0301.
3. Levin, A.; Lischinski, D.; Weiss, Y. (2008). "Una solución de forma cerrada para el enmarañado de imágenes naturales". IEEE Transactions on Pattern Analysis and Machine Intelligence . 30 (2): 228–242. doi :10.1109/TPAMI.2007.1177. ISSN  0162-8828. PMID  18084055.
4. Bai, Xue; Wang, Jue; Simons, David (2011). "Hacia un enmascaramiento de vídeo con coherencia temporal". Técnicas de colaboración entre visión artificial y gráficos por ordenador . Notas de clase en informática. Vol. 6930. págs. 63–74. doi :10.1007/978-3-642-24136-9_6. ISBN 978-3-642-24135-2. ISSN  0302-9743.
5. Xu, Ning; Price, Brian; Cohen, Scott; Huang, Thomas (2017). "Matificación de imágenes profundas". Conferencia IEEE sobre visión artificial y reconocimiento de patrones (CVPR) de 2017. págs. 311–320. doi :10.1109/CVPR.2017.41. ISBN 978-1-5386-0457-1.S2CID 14061786  .
6. Erofeev, Mikhail; Gitman, Yury; Vatolin, Dmitriy; Fedorov, Alexey; Wang, Jue (2015). "Punto de referencia motivado perceptualmente para enmascaramiento de video". Actas de la Conferencia Británica de Visión Artificial 2015. págs. 99.1–99.12. doi :10.5244/C.29.99. ISBN 978-1-901725-53-7.
7. Cao, Guangying; Li, Jianwei; Chen, Xiaowu; He, Zhiqiang (2017). "Mateado autoadaptativo basado en parches para imágenes y vídeos de alta resolución". The Visual Computer . 35 (1): 133–147. doi :10.1007/s00371-017-1424-3. ISSN  0178-2789. S2CID  24625947.
8. Kambhamettu, Chandra (2009). "Aprendizaje basado en el enmascaramiento digital". 2009 IEEE 12th International Conference on Computer Vision . IEEE. págs. 889–896. doi :10.1109/iccv.2009.5459326. ISBN 978-1-4244-4420-5.
9. Karacan, Levent; Erdem, Aykut; Erdem, Erkut (2015). "Matificación de imágenes con muestreo disperso basado en divergencia KL". Conferencia internacional IEEE sobre visión artificial (ICCV) de 2015. págs. 424–432. doi :10.1109/ICCV.2015.56. ISBN 978-1-4673-8391-2. Número de identificación del sujeto  2174306.
10. Wang, Jue; Bhat, Pravin; Colburn, R. Alex; Agrawala, Maneesh; Cohen, Michael F. (2005). "Recorte de vídeo interactivo". ACM Transactions on Graphics . 24 (3): 585–594. doi :10.1145/1073204.1073233. ISSN  0730-0301.
11. "Plugin de matizado para Adobe After Effects" . Consultado el 2 de marzo de 2021 .
12. Wang, Liang; Gong, Minglun; Zhang, Chenxi; Yang, Ruigang; Zhang, Cha; Yang, Yee-Hong (15 de junio de 2011). "Matificación automática de vídeo en tiempo real mediante cámara de tiempo de vuelo y ecuaciones de Poisson multicanal". Revista internacional de visión artificial . 97 (1). Springer Science and Business Media LLC: 104–121. doi :10.1007/s11263-011-0471-x. ISSN  0920-5691. S2CID  255108880.
13. "Fondo de pantalla de alta resolución en tiempo real" . Consultado el 2 de marzo de 2021 .
14. "Presentación de la función Reemplazo de fondo en Skype" . Consultado el 2 de marzo de 2021 .
15. "Punto de referencia de finalización de video" . Consultado el 10 de marzo de 2021 .

Enlaces externos

• Comparación de videos de esteras
• Punto de referencia de enmarañamiento de imágenes