En el campo del reconocimiento de gestos y el procesamiento de imágenes , el seguimiento de dedos es una técnica de alta resolución desarrollada en 1969 que se emplea para conocer la posición consecutiva de los dedos del usuario y así representar objetos en 3D . Además de eso, la técnica de seguimiento de dedos se utiliza como una herramienta del ordenador, actuando como un dispositivo externo en nuestro ordenador, similar a un teclado y un ratón .
El sistema de seguimiento de dedos está enfocado a la interacción usuario-datos, donde el usuario interactúa con datos virtuales, manipulando a través de los dedos la volumetría de un objeto 3D que queremos representar. Este sistema nace basado en el problema de interacción persona-ordenador . El objetivo es permitir que la comunicación entre ellos y el uso de gestos y movimientos de la mano sea más intuitivo, se han creado sistemas de seguimiento de dedos. Estos sistemas rastrean en tiempo real la posición en 3D y 2D de la orientación de los dedos de cada marcador y utilizan los movimientos y gestos intuitivos de la mano para interactuar.
Existen muchas opciones para la implementación del seguimiento de dedos, principalmente aquellas utilizadas con o sin interfaz .
Este sistema utiliza principalmente sistemas de captura de movimiento inercial y óptico .
Los sistemas de captura de movimiento inercial son capaces de capturar el movimiento de los dedos leyendo la rotación de cada segmento de dedo en el espacio 3D. Aplicando estas rotaciones a la cadena cinemática , se puede rastrear toda la mano humana en tiempo real, sin oclusión y de forma inalámbrica.
Los sistemas de captura de movimiento inercial de la mano, como por ejemplo los guantes de captura de movimiento Synertial, utilizan pequeños sensores basados en IMU , ubicados en cada segmento de dedo. La captura precisa requiere el uso de al menos 16 sensores. También hay modelos de guantes de captura de movimiento con menos sensores (13/7 sensores) para los que el resto de los segmentos de los dedos se interpola (segmentos proximales) o se extrapola (segmentos distales). Los sensores normalmente se insertan en guantes textiles, lo que hace que su uso sea más cómodo.
Los sensores inerciales pueden capturar el movimiento en las 3 direcciones, lo que significa que se puede detectar la flexión, extensión y abducción de los dedos y el pulgar.
Dado que los sensores inerciales solo registran las rotaciones, las rotaciones deben aplicarse a algún esqueleto de la mano para obtener un resultado adecuado. Para obtener un resultado preciso (por ejemplo, para poder tocar las yemas de los dedos), el esqueleto de la mano debe tener la escala adecuada para que coincida con la mano real. Para este propósito, se puede utilizar la medición manual de la mano o la extracción automática de la medición.
Además del seguimiento de los dedos, muchos usuarios requieren un seguimiento de la posición de toda la mano en el espacio. Se pueden utilizar varios métodos para este fin:
Los sensores inerciales tienen dos desventajas principales relacionadas con el seguimiento de los dedos:
Se realiza un seguimiento de la ubicación de los marcadores y patrones en 3D, el sistema los identifica y etiqueta cada marcador según la posición de los dedos del usuario. Las coordenadas en 3D de las etiquetas de estos marcadores se producen en tiempo real con otras aplicaciones.
Algunos de los sistemas ópticos , como Vicon o ART, son capaces de capturar el movimiento de la mano a través de marcadores. En cada mano tenemos un marcador por cada dedo “operativo”. Tres cámaras de alta resolución se encargan de capturar cada marcador y medir sus posiciones. Esto sólo se producirá cuando la cámara sea capaz de verlos. Los marcadores visuales, habitualmente conocidos como anillos o pulseras, se utilizan para reconocer el gesto del usuario en 3D . Además, como indica la clasificación, estos anillos actúan como interfaz en 2D .
La oclusión visual es un método muy intuitivo para proporcionar un punto de vista más realista de la información virtual en tres dimensiones. Las interfaces proporcionan técnicas de interacción 3D más naturales que las de base 6.
Los marcadores funcionan a través de puntos de interacción , que normalmente ya están configurados y tenemos conocimiento sobre las regiones. Debido a eso, no es necesario seguir cada marcador todo el tiempo; los multipunteros pueden tratarse de la misma manera cuando solo hay un puntero operativo. Para detectar dichos punteros a través de una interacción, habilitamos sensores infrarrojos de ultrasonidos . El hecho de que muchos punteros puedan manejarse como uno solo, resolvería los problemas. En el caso de que estemos expuestos a operar en condiciones difíciles como mala iluminación , desenfoques de movimiento , malformación del marcador u oclusión. El sistema permite seguir el objeto, incluso si algunos marcadores no son visibles. Debido a que se conocen las relaciones espaciales de todos los marcadores, las posiciones de los marcadores que no son visibles se pueden calcular utilizando los marcadores que se conocen. Existen varios métodos para la detección de marcadores, como el marcador de borde y los métodos de marcador estimado.
Debido a la oclusión de marcadores durante la captura, el seguimiento de los dedos es la parte más desafiante para los sistemas de captura de movimiento óptico (como Vicon, Optitrack, ART, ..). Los usuarios de sistemas de captura de movimiento ópticos afirman que la mayor parte del trabajo de posprocesamiento generalmente se debe a la captura de dedos. Como los sistemas de captura de movimiento inercial (si están calibrados correctamente) en su mayoría no necesitan posprocesamiento, el uso típico para los usuarios de captura de movimiento de alta gama es fusionar datos de sistemas de captura de movimiento inercial (dedos) con sistemas de captura de movimiento ópticos (cuerpo + posición en el espacio).
El proceso de fusión de datos de captura de movimiento se basa en hacer coincidir los códigos de tiempo de cada cuadro para la fuente de datos del sistema de captura de movimiento inercial y óptico. De esta manera, cualquier software de terceros (por ejemplo, MotionBuilder, Blender) puede aplicar movimientos de dos fuentes, independientemente del método de captura de movimiento utilizado.
Los sistemas de captura de movimiento con sensores de estiramiento utilizan condensadores de placas paralelas flexibles para detectar diferencias en la capacitancia cuando los sensores se estiran, doblan, cortan o se someten a presión. Los sensores de estiramiento suelen estar basados en silicona, lo que significa que no se ven afectados por la interferencia magnética, la oclusión o la desviación posicional (común en los sistemas inerciales). Las cualidades robustas y flexibles de estos sensores permiten un seguimiento de los dedos de alta fidelidad y son una característica de los guantes de captura de movimiento producidos por StretchSense. [2]
El seguimiento de la mano articulada es más sencillo y menos costoso que muchos métodos porque sólo necesita una cámara . Esta simplicidad se traduce en una menor precisión. Proporciona una nueva base para nuevas interacciones en el modelado, el control de la animación y el realismo añadido. Utiliza un guante compuesto por un conjunto de colores que se asignan según la posición de los dedos. Esta prueba de color está limitada al sistema de visión de los ordenadores y en función de la función de captura y la posición del color, se conoce la posición de la mano.
En términos de percepción visual , las piernas y las manos pueden ser modeladas como mecanismos articulados, sistemas de cuerpos rígidos que están conectados entre sí mediante articulaciones con uno o más grados de libertad. Este modelo puede aplicarse a una escala más reducida para describir el movimiento de la mano y, en base a una escala más amplia, para describir un movimiento corporal completo. Un determinado movimiento de un dedo, por ejemplo, puede reconocerse a partir de sus ángulos habituales y no depende de la posición de la mano en relación con la cámara.
Muchos sistemas de seguimiento se basan en un modelo enfocado a un problema de estimación de secuencia, donde se da una secuencia de imágenes y un modelo de cambio, estimamos la configuración 3D para cada foto. Todas las posibles configuraciones de la mano se representan mediante vectores en un espacio de estados , que codifica la posición de la mano y los ángulos de la articulación del dedo. Cada configuración de la mano genera un conjunto de imágenes a través de la detección de los bordes de la oclusión de la articulación del dedo. La estimación de cada imagen se calcula encontrando el vector de estados que mejor se ajusta a las características medidas. Las articulaciones de los dedos tienen el agregado de 21 estados más que el movimiento del cuerpo rígido de las palmas; esto significa que el costo computacional de la estimación se incrementa. La técnica consiste en etiquetar cada enlace de la articulación del dedo que se modela como un cilindro. Hacemos los ejes en cada articulación y la bisectriz de este eje es la proyección de la articulación. De ahí que usemos 3 grados de libertad, porque solo hay 3 grados de movimiento.
En este caso, ocurre lo mismo que en la tipología anterior, ya que existe una gran variedad de tesis de implementación sobre este tema. Por lo tanto, los pasos y la técnica de tratamiento son diferentes en función de la finalidad y las necesidades de la persona que vaya a utilizar esta técnica. De todos modos, podemos decir que de forma muy general y en la mayoría de los sistemas, se deben llevar a cabo los siguientes pasos:
También es posible realizar un seguimiento activo de los dedos. El Smart Laser Scanner es un sistema de seguimiento de dedos sin marcadores que utiliza un escáner/proyector láser modificado desarrollado en la Universidad de Tokio en 2003-2004. Es capaz de adquirir coordenadas tridimensionales en tiempo real sin necesidad de ningún procesamiento de imágenes (esencialmente, es un escáner telémetro que en lugar de escanear continuamente sobre todo el campo de visión, restringe su área de escaneo a una ventana muy estrecha exactamente del tamaño del objetivo). El reconocimiento de gestos se ha demostrado con este sistema. La frecuencia de muestreo puede ser muy alta (500 Hz), lo que permite adquirir trayectorias suaves sin necesidad de filtrado (como Kalman).
En definitiva, los sistemas de seguimiento de dedos se utilizan para representar una realidad virtual . Sin embargo su aplicación ha pasado a nivel profesional del modelado 3D , empresas y proyectos directamente volcados en este caso. Por ello este tipo de sistemas rara vez se han utilizado en aplicaciones de consumo debido a su elevado precio y complejidad. En cualquier caso, el objetivo principal es facilitar la tarea de ejecutar comandos al ordenador a través del lenguaje natural o interactuando mediante gestos.
El objetivo se centra en la siguiente idea: los ordenadores deberían ser más fáciles de utilizar si existe la posibilidad de operar mediante lenguaje natural o interacción gestual. La principal aplicación de esta técnica es a destacar el diseño y animación 3D, donde software como Maya y 3D StudioMax emplean este tipo de herramientas. La razón es permitir un control más preciso y sencillo de las instrucciones que queremos ejecutar. Esta tecnología ofrece muchas posibilidades, donde la escultura, construcción y modelado en 3D en tiempo real mediante el uso de un ordenador es la más importante.