En efectos visuales , el match moving es una técnica que permite la inserción de elementos 2D, otros elementos de acción en vivo o gráficos de computadora CG en secuencias de acción en vivo con la posición, escala, orientación y movimiento correctos en relación con los objetos fotografiados en la toma . También permite la eliminación de elementos de acción en vivo de la toma de acción en vivo. El término se usa libremente para describir varios métodos diferentes de extracción de información de movimiento de la cámara de una película . También conocido como seguimiento de movimiento o resolución de cámara , el match moving está relacionado con la rotoscopia y la fotogrametría . El match moving a veces se confunde con la captura de movimiento , que registra el movimiento de objetos, a menudo actores humanos, en lugar de la cámara. Por lo general, la captura de movimiento requiere cámaras y sensores especiales y un entorno controlado (aunque desarrollos recientes como la cámara Kinect y Face ID de Apple han comenzado a cambiar esto). El match moving también es distinto de la fotografía de control de movimiento , que utiliza hardware mecánico para ejecutar múltiples movimientos de cámara idénticos. El match moving, por el contrario, es típicamente una tecnología basada en software , aplicada después del hecho a secuencias normales grabadas en entornos no controlados con una cámara común.
El movimiento de coincidencia se utiliza principalmente para seguir el movimiento de una cámara a lo largo de una toma, de modo que se pueda reproducir un movimiento idéntico de la cámara virtual en un programa de animación 3D . Cuando se vuelven a incorporar elementos animados nuevos a la toma de acción en vivo original , aparecerán en una perspectiva perfectamente coincidente y, por lo tanto, parecerán uniformes.
Como se basa principalmente en software, el movimiento de partidos se ha vuelto cada vez más asequible a medida que el costo de la potencia informática ha disminuido; ahora es una herramienta de efectos visuales establecida e incluso se utiliza en transmisiones de televisión en vivo como parte de la provisión de efectos como la línea descendente virtual amarilla en el fútbol americano .
El proceso de cambio de partido se puede dividir en dos pasos.
El primer paso es identificar y rastrear las características. Una característica es un punto específico en la imagen que un algoritmo de rastreo puede fijar y seguir a través de múltiples fotogramas (SynthEyes los llama blips ). A menudo, las características se seleccionan porque son puntos brillantes u oscuros, bordes o esquinas según el algoritmo de rastreo en particular. Los programas populares utilizan la coincidencia de plantillas en función de la puntuación NCC y el error RMS . Lo importante es que cada característica representa un punto específico en la superficie de un objeto real. A medida que se rastrea una característica, se convierte en una serie de coordenadas bidimensionales que representan la posición de la característica a lo largo de una serie de fotogramas. Esta serie se conoce como "pista". Una vez que se han creado las pistas, se pueden utilizar inmediatamente para el seguimiento del movimiento en 2D o, luego, se pueden utilizar para calcular información en 3D.
El segundo paso implica calcular el movimiento en 3D. Este proceso intenta derivar el movimiento de la cámara calculando la proyección inversa de las trayectorias en 2D para la posición de la cámara. Este proceso se denomina calibración .
Cuando se fotografía un punto de la superficie de un objeto tridimensional, su posición en el marco 2D se puede calcular mediante una función de proyección 3D . Podemos considerar una cámara como una abstracción que contiene todos los parámetros necesarios para modelar una cámara en un mundo real o virtual. Por lo tanto, una cámara es un vector que incluye como elementos la posición de la cámara, su orientación, la distancia focal y otros posibles parámetros que definen cómo la cámara enfoca la luz sobre el plano de la película . La forma exacta en que se construye este vector no es importante siempre que exista una función de proyección compatible P .
La función de proyección P toma como entrada un vector de cámara (denotado como camera ) y otro vector que representa la posición de un punto 3D en el espacio (denotado como xyz ) y devuelve un punto 2D que se ha proyectado sobre un plano frente a la cámara (denotado como XY ). Podemos expresarlo así:
La función de proyección transforma el punto 3D y elimina el componente de profundidad. Sin conocer la profundidad del componente, una función de proyección inversa solo puede devolver un conjunto de posibles puntos 3D que forman una línea que emana del punto nodal de la lente de la cámara y pasa por el punto 2D proyectado. Podemos expresar la proyección inversa como:
o
Digamos que estamos en una situación en la que las características que estamos rastreando están en la superficie de un objeto rígido, como un edificio. Como sabemos que el punto real xyz permanecerá en el mismo lugar en el espacio real de un fotograma de la imagen al siguiente, podemos hacer que el punto sea una constante aunque no sepamos dónde está. Por lo tanto:
donde los subíndices i y j se refieren a fotogramas arbitrarios de la toma que estamos analizando. Como esto siempre es cierto, entonces sabemos que:
Como el valor de XY i se ha determinado para todos los fotogramas a través de los cuales el programa de seguimiento realiza el seguimiento de la característica, podemos resolver la función de proyección inversa entre dos fotogramas cualesquiera siempre que P'( cámara i , XY i ) ∩ P'( cámara j , XY j ) sea un conjunto pequeño. Conjunto de posibles vectores de cámara que resuelven la ecuación en i y j (denominados C ij ).
Por lo tanto, existe un conjunto de pares de vectores de cámara C ij para los cuales la intersección de las proyecciones inversas de dos puntos XY i y XY j es un conjunto no vacío, ojalá pequeño, centrado en un punto estacionario teórico xyz .
En otras palabras, imaginemos un punto negro flotando en un vacío blanco y una cámara. Para cualquier posición en el espacio en la que coloquemos la cámara, existe un conjunto de parámetros correspondientes (orientación, distancia focal, etc.) que fotografiarán ese punto negro exactamente de la misma manera. Como C tiene un número infinito de miembros, un punto nunca es suficiente para determinar la posición real de la cámara.
A medida que comenzamos a agregar puntos de seguimiento, podemos limitar las posibles posiciones de la cámara. Por ejemplo, si tenemos un conjunto de puntos { xyz i,0 ,..., xyz i,n } y { xyz j,0 ,..., xyz j,n } donde i y j todavía se refieren a fotogramas y n es un índice de uno de los muchos puntos de seguimiento que estamos siguiendo, podemos derivar un conjunto de pares de vectores de cámara {C i,j,0 ,...,C i,j,n }.
De esta manera, las pistas múltiples nos permiten limitar los posibles parámetros de la cámara. El conjunto de posibles parámetros de la cámara que se ajustan, F, es la intersección de todos los conjuntos:
Cuantos menos elementos haya en este conjunto, más cerca estaremos de extraer los parámetros reales de la cámara. En realidad, los errores introducidos en el proceso de seguimiento requieren un enfoque más estadístico para determinar un buen vector de cámara para cada fotograma; a menudo se utilizan algoritmos de optimización y ajustes de bloques de paquetes . Desafortunadamente, hay tantos elementos en un vector de cámara que, cuando todos los parámetros son libres, es posible que no podamos reducir F a una única posibilidad, sin importar cuántas características rastreemos. Cuanto más podamos restringir los distintos parámetros, especialmente la distancia focal, más fácil será identificar la solución.
En general, el proceso de resolución 3D es el proceso de reducir las posibles soluciones al movimiento de la cámara hasta llegar a una que se adapte a las necesidades de la composición que estamos tratando de crear.
Una vez que se ha determinado la posición de la cámara para cada fotograma, es posible estimar la posición de cada elemento en el espacio real mediante proyección inversa. El conjunto de puntos resultante suele denominarse nube de puntos debido a su apariencia bruta, similar a una nebulosa . Dado que las nubes de puntos suelen revelar parte de la forma de la escena 3D, se pueden utilizar como referencia para colocar objetos sintéticos o mediante un programa de reconstrucción para crear una versión 3D de la escena real.
La cámara y la nube de puntos deben estar orientadas en algún tipo de espacio. Por lo tanto, una vez que se completa la calibración, es necesario definir un plano de base. Normalmente, se trata de un plano unitario que determina la escala, la orientación y el origen del espacio proyectado. Algunos programas intentan hacer esto automáticamente, aunque lo más frecuente es que el usuario defina este plano. Dado que el cambio de planos de base realiza una transformación simple de todos los puntos, la posición real del plano es realmente una cuestión de conveniencia.
La reconstrucción 3D es el proceso interactivo de recrear un objeto fotografiado utilizando datos de seguimiento. Esta técnica está relacionada con la fotogrametría . En este caso particular, nos referimos al uso de software de seguimiento de movimientos para reconstruir una escena a partir de imágenes incidentales.
Un programa de reconstrucción puede crear objetos tridimensionales que imiten los objetos reales de la escena fotografiada. Utilizando los datos de la nube de puntos y la estimación del usuario, el programa puede crear un objeto virtual y luego extraer una textura de la filmación que se puede proyectar sobre el objeto virtual como una textura de superficie.
El movimiento de coincidencia tiene dos formas. Algunos programas de composición, como Shake , Adobe Substance, Adobe After Effects y Discreet Combustion, incluyen capacidades de seguimiento de movimiento bidimensional . El movimiento de coincidencia bidimensional solo rastrea las características en el espacio bidimensional, sin preocuparse por el movimiento o la distorsión de la cámara. Se puede utilizar para agregar efectos de desenfoque de movimiento o estabilización de imagen al metraje. Esta técnica es suficiente para crear efectos realistas cuando el metraje original no incluye cambios importantes en la perspectiva de la cámara. Por ejemplo, un cartel publicitario en el fondo de una toma a menudo se puede reemplazar utilizando el seguimiento bidimensional.
Las herramientas de movimiento de coincidencia tridimensional permiten extrapolar información tridimensional a partir de fotografías bidimensionales. Estas herramientas permiten a los usuarios derivar el movimiento de la cámara y otros movimientos relativos a partir de imágenes arbitrarias. La información de seguimiento se puede transferir a un software de gráficos por computadora y se puede utilizar para animar cámaras virtuales y objetos simulados. Entre los programas capaces de realizar movimientos de coincidencia tridimensional se incluyen:
Existen dos métodos para extraer información de movimiento de una imagen. El seguimiento interactivo, a veces denominado "seguimiento supervisado", se basa en que el usuario siga las características a lo largo de una escena. El seguimiento automático se basa en algoritmos informáticos para identificar y seguir las características a lo largo de una toma. Los movimientos de los puntos seguidos se utilizan para calcular una "solución". Esta solución se compone de toda la información de la cámara, como el movimiento, la distancia focal y la distorsión de la lente .
La ventaja del seguimiento automático es que el ordenador puede crear muchos puntos más rápido que un humano. Se puede analizar una gran cantidad de puntos con estadísticas para determinar los datos más fiables. La desventaja del seguimiento automático es que, según el algoritmo, el ordenador puede confundirse fácilmente mientras sigue objetos por la escena. Los métodos de seguimiento automático son especialmente ineficaces en tomas que implican un movimiento rápido de la cámara, como el que se ve con la cámara en mano, y en tomas con un tema repetitivo, como pequeños mosaicos o cualquier tipo de patrón regular en el que un área no está muy definida. Este método de seguimiento también sufre cuando una toma contiene una gran cantidad de desenfoque de movimiento, lo que hace que los pequeños detalles que necesita sean más difíciles de distinguir.
La ventaja del seguimiento interactivo es que un usuario humano puede seguir los elementos a lo largo de toda una escena y no se confundirá con elementos que no sean rígidos. Un usuario humano también puede determinar dónde se encuentran los elementos en una toma que presenta desenfoque de movimiento; es extremadamente difícil para un rastreador automático encontrar correctamente elementos con grandes cantidades de desenfoque de movimiento. La desventaja del seguimiento interactivo es que el usuario inevitablemente introducirá pequeños errores a medida que sigue los objetos a través de la escena, lo que puede provocar lo que se denomina "desplazamiento".
El seguimiento de movimiento a nivel profesional se logra generalmente mediante una combinación de técnicas interactivas y automáticas. Un artista puede eliminar puntos que sean claramente anómalos y utilizar "máscaras de seguimiento" para bloquear la información confusa y evitar que el proceso de seguimiento automático la utilice. Las máscaras de seguimiento también se emplean para cubrir áreas de la toma que contienen elementos en movimiento, como un actor o un ventilador de techo giratorio.
Un matte de seguimiento es similar en concepto a un matte de basura utilizado en la composición de mattes móviles . Sin embargo, el propósito de un matte de seguimiento es evitar que los algoritmos de seguimiento utilicen puntos de seguimiento poco fiables, irrelevantes o no rígidos. Por ejemplo, en una escena en la que un actor camina delante de un fondo, el artista de seguimiento querrá utilizar solo el fondo para seguir la cámara a través de la escena, sabiendo que el movimiento del actor alterará los cálculos. En este caso, el artista construirá un matte de seguimiento para seguir al actor a través de la escena, bloqueando esa información del proceso de seguimiento.
Dado que a menudo existen múltiples soluciones posibles para el proceso de calibración y se puede acumular una cantidad significativa de errores, el paso final para igualar el movimiento suele implicar refinar la solución a mano. Esto podría significar alterar el movimiento de la cámara en sí o dar pistas al mecanismo de calibración. Esta calibración interactiva se conoce como "refinamiento".
La mayoría de las aplicaciones de seguimiento y calibración de movimientos se basan en algoritmos similares. A menudo, los resultados iniciales obtenidos son similares. Sin embargo, cada programa tiene diferentes capacidades de refinamiento.
El seguimiento de cámara en tiempo real en el set se está utilizando cada vez más en la producción de largometrajes para permitir que los elementos que se insertarán en la posproducción se visualicen en vivo en el set. Esto tiene el beneficio de ayudar al director y a los actores a mejorar las actuaciones al ver realmente extensiones del set o personajes generados por computadora mientras (o poco después) hacen una toma. Ya no necesitan actuar frente a pantallas verdes o azules y no recibir comentarios sobre el resultado. Las referencias de la línea de visión, el posicionamiento de los actores y la interacción con CGI ahora se pueden hacer en vivo en el set, lo que brinda a todos la confianza de que la toma es correcta y funcionará en la composición final.
Para lograrlo, es necesario combinar una serie de componentes, desde hardware hasta software. El software recopila todos los 360 grados de libertad de movimiento de la cámara, así como metadatos como zoom, enfoque, iris y elementos de obturador de muchos tipos diferentes de dispositivos de hardware, que van desde sistemas de captura de movimiento como el sistema basado en marcadores LED activos de PhaseSpace, sistemas pasivos como Motion Analysis o Vicon, hasta codificadores rotatorios instalados en grúas y plataformas móviles para cámaras como Technocranes y Fisher Dollies, o sensores de inercia y giroscópicos montados directamente en la cámara. También hay sistemas de seguimiento basados en láser que se pueden conectar a cualquier cosa, incluidas las Steadicams, para rastrear cámaras en el exterior bajo la lluvia a distancias de hasta 30 metros.
Las cámaras de control de movimiento también se pueden utilizar como fuente o destino de los datos de la cámara 3D. Los movimientos de la cámara se pueden previsualizar con antelación y luego convertirse en datos de control de movimiento que impulsan una grúa de cámara por exactamente el mismo camino que la cámara 3D. Los codificadores de la grúa también se pueden utilizar en tiempo real en el set para invertir este proceso y generar cámaras 3D en vivo. Los datos se pueden enviar a cualquier cantidad de aplicaciones 3D diferentes, lo que permite a los artistas 3D modificar sus elementos CGI en vivo también en el set. La principal ventaja es que los problemas de diseño de escenarios que serían costosos y llevarían mucho tiempo más adelante se pueden resolver durante el proceso de rodaje, lo que garantiza que los actores "encajen" en cada entorno para cada toma mientras realizan sus actuaciones.
Los sistemas de captura de movimiento en tiempo real también se pueden combinar con el flujo de datos de la cámara, lo que permite insertar personajes virtuales en tomas en vivo en el set. Esto mejora drásticamente la interacción entre personajes reales y no reales controlados por captura de movimiento, ya que tanto las actuaciones de la placa como las de CGI se pueden coreografiar juntas.