La captura de movimiento facial es el proceso de convertir electrónicamente los movimientos del rostro de una persona en una base de datos digital mediante cámaras o escáneres láser . Esta base de datos se puede utilizar para producir gráficos por computadora (CG), animaciones por computadora para películas, juegos o avatares en tiempo real. Debido a que el movimiento de los personajes generados por computadora se deriva de los movimientos de personas reales, da como resultado una animación de personajes por computadora más realista y matizada que si la animación se creara manualmente.
Una base de datos de captura de movimiento facial describe las coordenadas o posiciones relativas de puntos de referencia en la cara del actor. La captura puede ser en dos dimensiones, en cuyo caso el proceso de captura a veces se denomina " seguimiento de expresión ", o en tres dimensiones. La captura bidimensional se puede lograr utilizando una sola cámara y un software de captura. Esto produce un seguimiento menos sofisticado y no puede capturar completamente movimientos tridimensionales como la rotación de la cabeza. La captura tridimensional se logra mediante plataformas multicámara o un sistema de marcador láser. Estos sistemas suelen ser mucho más caros, complicados y requieren más tiempo de uso. Existen dos tecnologías predominantes: sistemas de seguimiento con marcadores y sin marcadores.
La captura de movimiento facial está relacionada con la captura de movimiento corporal, pero es más desafiante debido a los requisitos de mayor resolución para detectar y rastrear expresiones sutiles posibles a partir de pequeños movimientos de los ojos y los labios. Estos movimientos suelen ser de menos de unos pocos milímetros, lo que requiere una resolución y fidelidad aún mayores y técnicas de filtrado diferentes a las que se utilizan habitualmente en la captura de cuerpo completo. Las limitaciones adicionales del rostro también permiten más oportunidades para utilizar modelos y reglas.
La captura de expresiones faciales es similar a la captura de movimientos faciales. Es un proceso de uso de medios visuales o mecánicos para manipular personajes generados por computadora con información de rostros humanos , o para reconocer emociones de un usuario.
Uno de los primeros artículos sobre animación basada en performance fue publicado por Lance Williams en 1990. Allí describe "un medio para adquirir expresiones de rostros reales y aplicarlas a rostros generados por computadora". [1]
Los sistemas tradicionales basados en marcadores aplican hasta 350 marcadores a la cara de los actores y rastrean el movimiento del marcador con cámaras de alta resolución . Esto se ha utilizado en películas como The Polar Express y Beowulf para permitir que un actor como Tom Hanks impulse las expresiones faciales de varios personajes diferentes. Desafortunadamente, esto es relativamente engorroso y hace que las expresiones de los actores estén demasiado impulsadas una vez que se han realizado el suavizado y el filtrado. Los sistemas de próxima generación, como CaptiveMotion, utilizan versiones del sistema tradicional basado en marcadores con mayores niveles de detalle.
Actualmente se utiliza la tecnología Active LED Marker para impulsar la animación facial en tiempo real y proporcionar comentarios al usuario.
Las tecnologías sin marcadores utilizan las características del rostro como las fosas nasales , las comisuras de los labios y los ojos y las arrugas y luego las rastrean. Esta tecnología se analiza y demuestra en CMU , [2] IBM , [3] Universidad de Manchester (donde gran parte de esto comenzó con Tim Cootes, [4] Gareth Edwards y Chris Taylor) y otras ubicaciones, utilizando modelos de apariencia activa , componente principal. análisis , seguimiento propio , modelos de superficies deformables y otras técnicas para rastrear los rasgos faciales deseados de cuadro a cuadro. Esta tecnología es mucho menos engorrosa y permite una mayor expresión del actor.
Estos enfoques basados en la visión también tienen la capacidad de rastrear el movimiento de la pupila, los párpados y la oclusión de los dientes por los labios y la lengua, que son problemas obvios en la mayoría de las funciones animadas por computadora. Las limitaciones típicas de los enfoques basados en la visión son la resolución y la velocidad de fotogramas, las cuales están disminuyendo a medida que las cámaras CMOS de alta velocidad y alta resolución están disponibles en múltiples fuentes.
La tecnología para el seguimiento facial sin marcadores está relacionada con la de un sistema de reconocimiento facial , ya que un sistema de reconocimiento facial se puede aplicar potencialmente de forma secuencial a cada fotograma de vídeo, lo que da como resultado el seguimiento facial. Por ejemplo, el sistema Neven Vision [5] (anteriormente Eyematics, ahora adquirido por Google) permitía el seguimiento facial en 2D en tiempo real sin formación específica de la persona; su sistema también estuvo entre los sistemas de reconocimiento facial de mejor rendimiento en la Prueba de proveedores de reconocimiento facial (FRVT) de 2002 del gobierno de EE. UU. Por otro lado, algunos sistemas de reconocimiento no rastrean explícitamente las expresiones o incluso fallan en expresiones no neutrales, por lo que no son adecuados para el seguimiento. Por el contrario, sistemas como los modelos de superficies deformables combinan información temporal para eliminar la ambigüedad y obtener resultados más sólidos y, por lo tanto, no se pueden aplicar a partir de una sola fotografía.
El seguimiento de rostros sin marcadores ha progresado hasta sistemas comerciales como Image Metrics , que se ha aplicado en películas como las secuelas de Matrix [6] y El curioso caso de Benjamin Button . Este último utilizó el sistema Mova para capturar un modelo facial deformable, que luego fue animado con una combinación de seguimiento manual y visual. [7] Avatar fue otra película destacada de captura de actuaciones, sin embargo, utilizó marcadores pintados en lugar de carecer de marcadores. Dynamixyz [ enlace muerto permanente ] es otro sistema comercial actualmente en uso.
Los sistemas sin marcadores se pueden clasificar según varios criterios distintivos:
Hasta la fecha, ningún sistema es ideal con respecto a todos estos criterios. Por ejemplo, el sistema Neven Vision era completamente automático y no requería patrones ocultos ni entrenamiento por persona, sino que era 2D. El sistema Face/Off [8] es 3D, automático y en tiempo real, pero requiere patrones proyectados.
Los métodos basados en vídeo digital son cada vez más preferidos, ya que los sistemas mecánicos tienden a ser engorrosos y difíciles de usar.
Utilizando cámaras digitales , las expresiones del usuario ingresadas se procesan para proporcionar la pose de la cabeza , lo que permite al software encontrar los ojos, la nariz y la boca. Inicialmente, el rostro se calibra utilizando una expresión neutra. Luego, dependiendo de la arquitectura, las cejas, los párpados, las mejillas y la boca se pueden procesar como diferencias con respecto a la expresión neutra. Esto se hace buscando, por ejemplo, los bordes de los labios y reconociéndolos como un objeto único. A menudo se usa maquillaje o marcadores que realzan el contraste, o algún otro método para acelerar el procesamiento. Al igual que el reconocimiento de voz, las mejores técnicas sólo son buenas el 90 por ciento de las veces y requieren muchos ajustes manuales o tolerancia a los errores.
Dado que los personajes generados por computadora en realidad no tienen músculos , se utilizan diferentes técnicas para lograr los mismos resultados. Algunos animadores crean huesos u objetos que son controlados por el software de captura y los mueven en consecuencia, lo que cuando el personaje está configurado correctamente da una buena aproximación. Dado que los rostros son muy elásticos, esta técnica a menudo se mezcla con otras, ajustando los pesos de manera diferente a la elasticidad de la piel y otros factores dependiendo de las expresiones deseadas.
Varias empresas comerciales están desarrollando productos que ya se utilizan, pero que son bastante caros.
Se espera que se convierta en un importante dispositivo de entrada para juegos de computadora una vez que el software esté disponible en un formato asequible, pero el hardware y el software aún no existen, a pesar de que las investigaciones de los últimos 15 años han producido resultados que son casi utilizables.