En el campo del reconocimiento de gestos y el procesamiento de imágenes , el seguimiento de dedos es una técnica de alta resolución desarrollada en 1969 que se emplea para conocer la posición consecutiva de los dedos del usuario y así representar objetos en 3D . Además de eso, la técnica del seguimiento del dedo se utiliza como herramienta del ordenador, actuando como un dispositivo externo en nuestro ordenador, similar a un teclado y un ratón .
El sistema de seguimiento de dedos está enfocado a la interacción usuario-datos, donde el usuario interactúa con datos virtuales, manejando a través de los dedos la volumétrica de un objeto 3D que queremos representar. Este sistema nació a partir del problema de interacción persona-computadora . El objetivo es permitir que la comunicación entre ellos y el uso de gestos y movimientos de las manos sea más intuitivo, se han creado sistemas de seguimiento de dedos. Estos sistemas rastrean en tiempo real la posición en 3D y 2D de la orientación de los dedos de cada marcador y utilizan los movimientos y gestos intuitivos de la mano para interactuar.
Existen muchas opciones para la implementación del seguimiento dactilar, principalmente aquellas que se utilizan con o sin interfaz .
Este sistema utiliza principalmente sistemas de captura de movimiento ópticos e inerciales .
Los sistemas de captura de movimiento inercial pueden capturar el movimiento de los dedos leyendo la rotación de cada segmento de dedo en un espacio 3D. Aplicando estas rotaciones a la cadena cinemática , se puede rastrear toda la mano humana en tiempo real, sin oclusión y de forma inalámbrica.
Los sistemas de captura de movimiento inercial de las manos, como por ejemplo los guantes Synertial mocap, utilizan pequeños sensores basados en IMU , ubicados en cada segmento de los dedos. La captura precisa requiere el uso de al menos 16 sensores. También existen modelos de guantes mocap con menos sensores (13 / 7 sensores) para los que el resto de segmentos de los dedos se interpola (segmentos proximales) o se extrapola (segmentos distales). Los sensores normalmente se insertan en guantes textiles, lo que hace que su uso sea más cómodo.
Los sensores inerciales pueden capturar el movimiento en las 3 direcciones, lo que significa que se pueden detectar la flexión, extensión y abducción de los dedos y el pulgar.
Dado que los sensores inerciales solo rastrean las rotaciones, las rotaciones deben aplicarse a algún esqueleto de la mano para obtener una salida adecuada. Para obtener resultados precisos (por ejemplo, para poder tocar las yemas de los dedos), el esqueleto de la mano debe escalarse adecuadamente para que coincida con la mano real. Para ello se puede utilizar la medición manual de la mano o la extracción automática de la medición.
Además del seguimiento de los dedos, muchos usuarios requieren un seguimiento posicional de toda la mano en el espacio. Se pueden utilizar varios métodos para este propósito:
Los sensores inerciales tienen dos desventajas principales relacionadas con el seguimiento dactilar:
Se realiza un seguimiento de la ubicación de los marcadores y patrones en 3D, el sistema los identifica y etiqueta cada marcador según la posición de los dedos del usuario. Las coordenadas en 3D de las etiquetas de estos marcadores se producen en tiempo real con otras aplicaciones.
Algunos de los sistemas ópticos , como Vicon o ART, pueden capturar el movimiento de la mano a través de marcadores. En cada mano tenemos un marcador por cada dedo “operativo”. Tres cámaras de alta resolución se encargan de capturar cada marcador y medir sus posiciones. Esto sólo se producirá cuando la cámara pueda verlos. Los marcadores visuales, habitualmente conocidos como anillos o pulseras, se utilizan para reconocer los gestos del usuario en 3D . Además, como indica la clasificación, estos anillos actúan como interfaz en 2D .
La oclusión visual es un método muy intuitivo para proporcionar un punto de vista más realista de la información virtual en tres dimensiones. Las interfaces proporcionan técnicas de interacción 3D más naturales que la base 6.
Los marcadores operan a través de puntos de interacción , que generalmente ya están establecidos y tenemos conocimiento sobre las regiones. Por eso, no es necesario seguir cada marcador todo el tiempo; los multipunteros se pueden tratar de la misma manera cuando solo hay un puntero operativo. Para detectar dichos punteros a través de una interacción, habilitamos sensores infrarrojos de ultrasonido . El hecho de que muchos punteros puedan manejarse como uno solo resolvería los problemas. En el caso de que estemos expuestos a operar en condiciones difíciles como mala iluminación , desenfoque de movimiento , malformación del marcador u oclusión. El sistema permite seguir el objeto, aunque algunos marcadores no sean visibles. Debido a que se conocen las relaciones espaciales de todos los marcadores, las posiciones de los marcadores que no son visibles se pueden calcular utilizando los marcadores que sí se conocen. Existen varios métodos para la detección de marcadores, como los métodos de marcador de borde y marcador estimado.
Debido a la oclusión del marcador durante la captura, el seguimiento de los dedos es la parte más desafiante para los sistemas ópticos de captura de movimiento (como Vicon, Optitrack, ART,...). Los usuarios de sistemas ópticos de mocap afirman que la mayor parte del trabajo posterior al proceso suele deberse a la captura de dedos. Como los sistemas de mocap inerciales (si están calibrados correctamente) en su mayoría no necesitan posprocesamiento, el uso típico para los usuarios de mocap de alto nivel es fusionar datos de sistemas de mocap inerciales (dedos) con sistemas de mocap ópticos (cuerpo + posición en el espacio). .
El proceso de fusión de datos de mocap se basa en hacer coincidir los códigos de tiempo de cada cuadro para la fuente de datos del sistema de mocap óptico e inercial. De esta manera, cualquier software de terceros (por ejemplo MotionBuilder, Blender) puede aplicar movimientos de dos fuentes, independientemente del método mocap utilizado.
Los sistemas de captura de movimiento habilitados con sensores de estiramiento utilizan capacitores de placas paralelas flexibles para detectar diferencias en la capacitancia cuando los sensores se estiran, doblan, cortan o se someten a presión. Los sensores de estiramiento suelen estar basados en silicona, lo que significa que no se ven afectados por interferencias magnéticas, oclusión o deriva posicional (común en sistemas inerciales). Las cualidades robustas y flexibles de estos sensores conducen a un seguimiento de los dedos de alta fidelidad y se incluyen en los guantes mocap producidos por StretchSense. [2]
El seguimiento manual articulado es más sencillo y menos costoso que muchos métodos porque sólo necesita una cámara . Esta simplicidad da como resultado una menor precisión. Proporciona una nueva base para nuevas interacciones en el modelado, el control de la animación y el realismo añadido. Se utiliza un guante compuesto por un conjunto de colores que se asignan según la posición de los dedos. Esta prueba de color se limita al sistema de visión de los ordenadores y en base a la función de captura y la posición del color se conoce la posición de la mano.
En términos de percepción visual , las piernas y las manos pueden modelarse como mecanismos articulados, sistemas de cuerpos rígidos que se conectan entre sí mediante articulaciones con uno o más grados de libertad. Este modelo se puede aplicar a una escala más reducida para describir el movimiento de la mano y basarse en una escala amplia para describir un movimiento corporal completo. Un determinado movimiento de un dedo, por ejemplo, se puede reconocer desde sus ángulos habituales y no depende de la posición de la mano con respecto a la cámara.
Muchos sistemas de seguimiento se basan en un modelo enfocado a un problema de estimación de secuencia, donde se da una secuencia de imágenes y un modelo, cambiando, estimamos la configuración 3D para cada foto. Todas las configuraciones posibles de la mano están representadas por vectores en un espacio de estados , que codifica la posición de la mano y los ángulos de la articulación del dedo. Cada configuración de mano genera un conjunto de imágenes mediante la detección de los bordes de la oclusión de la articulación del dedo. La estimación de cada imagen se calcula encontrando el vector de estado que mejor se ajuste a las características medidas. Las articulaciones de los dedos tienen 21 estados más que el movimiento rígido del cuerpo de las palmas; esto significa que se incrementa el coste computacional de la estimación. La técnica consiste en etiquetar cada enlace de la articulación del dedo y modelarlo como un cilindro. Hacemos los ejes en cada articulación y la bisectriz de este eje es la proyección de la articulación. Por eso usamos 3 DOF, porque solo hay 3 grados de movimiento.
En este caso ocurre lo mismo que en la tipología anterior ya que existe una gran variedad de tesis de despliegue sobre este tema. Por lo tanto, los pasos y la técnica de tratamiento son diferentes dependiendo del propósito y necesidades de la persona que utilizará esta técnica. De todos modos, podemos decir que de forma muy general y en la mayoría de sistemas se deben realizar los siguientes pasos:
También es posible realizar un seguimiento activo de los dedos. El escáner láser inteligente es un sistema de seguimiento de dedos sin marcadores que utiliza un escáner/proyector láser modificado desarrollado en la Universidad de Tokio en 2003-2004. Es capaz de adquirir coordenadas tridimensionales en tiempo real sin necesidad de ningún procesamiento de imagen (esencialmente, es un escáner telémetro que en lugar de escanear continuamente todo el campo de visión, restringe su área de escaneo a una ventana muy estrecha). precisamente el tamaño del objetivo). El reconocimiento de gestos ha quedado demostrado con este sistema. La frecuencia de muestreo puede ser muy alta (500 Hz), lo que permite adquirir trayectorias suaves sin necesidad de filtrado (como el de Kalman).
En definitiva, los sistemas de seguimiento dactilar se utilizan para representar una realidad virtual . Sin embargo su aplicación ha pasado a nivel profesional del modelado 3D , empresas y proyectos directamente en este caso anulados. Por lo tanto, estos sistemas rara vez se han utilizado en aplicaciones de consumo debido a su alto precio y complejidad. En cualquier caso, el objetivo principal es facilitar la tarea de ejecutar comandos al ordenador mediante lenguaje natural o gesto de interacción.
El objetivo se centra en la siguiente idea: las computadoras deberían ser más fáciles de usar si existe la posibilidad de operar a través del lenguaje natural o la interacción de gestos. La principal aplicación de esta técnica es resaltar el diseño y la animación 3D, donde software como Maya y 3D StudioMax emplean este tipo de herramientas. El motivo es permitir un control más preciso y sencillo de las instrucciones que queremos ejecutar. Esta tecnología ofrece muchas posibilidades, donde la más importante es la escultura, construcción y modelado en 3D en tiempo real mediante el uso de un ordenador.