En la realidad virtual (RV) y la realidad aumentada (RA), un sistema de seguimiento de poses detecta la pose precisa de los visores montados en la cabeza , los controladores, otros objetos o partes del cuerpo dentro del espacio euclidiano . El seguimiento de poses a menudo se conoce como seguimiento 6DOF, por los seis grados de libertad en los que a menudo se rastrea la pose. [1]
El seguimiento de poses a veces se denomina seguimiento posicional, pero ambos son independientes. El seguimiento de poses es diferente del seguimiento posicional porque el seguimiento de poses incluye orientación, mientras que el seguimiento posicional no. En algunos sistemas GPS para consumidores, los datos de orientación se agregan adicionalmente mediante magnetómetros , que brindan información de orientación parcial, pero no la orientación completa que proporciona el seguimiento de poses.
En la realidad virtual, es fundamental que el seguimiento de la postura sea preciso y exacto para no romper la ilusión de estar en un mundo virtual. Para lograrlo, se han desarrollado varios métodos de seguimiento de la posición y la orientación (cabeceo, guiñada y balanceo) de la pantalla y de cualquier objeto o dispositivo asociado. Muchos métodos utilizan sensores que registran repetidamente señales de transmisores en o cerca de los objetos rastreados y luego envían esos datos a la computadora para mantener una aproximación de sus ubicaciones físicas. Un método de seguimiento popular es el seguimiento Lighthouse . En general, estas ubicaciones físicas se identifican y definen utilizando uno o más de tres sistemas de coordenadas: el sistema rectilíneo cartesiano, el sistema polar esférico y el sistema cilíndrico. También se han diseñado muchas interfaces para monitorear y controlar el movimiento de uno dentro y la interacción con el espacio virtual 3D; dichas interfaces deben funcionar en estrecha colaboración con los sistemas de seguimiento posicional para brindar una experiencia de usuario perfecta. [2]
Otro tipo de seguimiento de pose que se utiliza con más frecuencia en los sistemas más nuevos se conoce como seguimiento de adentro hacia afuera, que incluye la localización y el mapeo simultáneos (SLAM) o la odometría visual-inercial (VIO). Un ejemplo de un dispositivo que utiliza el seguimiento de pose de adentro hacia afuera es Oculus Quest 2 .
El rastreo inalámbrico utiliza un conjunto de anclajes que se colocan alrededor del perímetro del espacio de rastreo y una o más etiquetas que se rastrean. Este sistema es similar en concepto al GPS, pero funciona tanto en interiores como en exteriores. A veces se lo denomina GPS para interiores. Las etiquetas triangulan su posición 3D utilizando los anclajes colocados alrededor del perímetro. Una tecnología inalámbrica llamada Ultra Wideband ha permitido que el rastreo de posición alcance una precisión de menos de 100 mm. Al utilizar la fusión de sensores y algoritmos de alta velocidad, la precisión de rastreo puede alcanzar el nivel de 5 mm con velocidades de actualización de 200 Hz o una latencia de 5 ms .
Ventajas :
Contras :
El seguimiento óptico utiliza cámaras colocadas sobre o alrededor de los auriculares para determinar la posición y la orientación basándose en algoritmos de visión artificial . Este método se basa en el mismo principio que la visión humana estereoscópica . Cuando una persona mira un objeto mediante visión binocular, es capaz de definir aproximadamente a qué distancia se encuentra el objeto debido a la diferencia de perspectiva entre los dos ojos. En el seguimiento óptico, las cámaras se calibran para determinar la distancia al objeto y su posición en el espacio. Los sistemas ópticos son fiables y relativamente económicos, pero pueden ser difíciles de calibrar. Además, el sistema requiere una línea de luz directa sin oclusiones, de lo contrario recibirá datos erróneos.
El seguimiento óptico se puede realizar con o sin marcadores. El seguimiento con marcadores implica objetivos con patrones conocidos que sirven como puntos de referencia, y las cámaras buscan constantemente estos marcadores y luego usan varios algoritmos (por ejemplo, el algoritmo POSIT ) para extraer la posición del objeto. Los marcadores pueden ser visibles, como códigos QR impresos , pero muchos usan luz infrarroja (IR) que solo pueden captar las cámaras. Las implementaciones activas cuentan con marcadores con luces LED IR incorporadas que pueden encenderse y apagarse para sincronizarse con la cámara, lo que facilita el bloqueo de otras luces IR en el área de seguimiento. [5] Las implementaciones pasivas son retrorreflectores que reflejan la luz IR hacia la fuente con poca dispersión. El seguimiento sin marcadores no requiere ningún objetivo colocado previamente, sino que utiliza las características naturales del entorno circundante para determinar la posición y la orientación. [6]
En este método, las cámaras se colocan en lugares fijos del entorno para rastrear la posición de los marcadores en el dispositivo rastreado, como un visor montado en la cabeza o controladores. Tener varias cámaras permite diferentes vistas de los mismos marcadores, y esta superposición permite lecturas precisas de la posición del dispositivo. [5] El Oculus Rift original utiliza esta técnica, colocando una constelación de LED IR en sus auriculares y controladores para permitir que las cámaras externas en el entorno lean sus posiciones. [7] Este método es el más maduro, y tiene aplicaciones no solo en VR sino también en tecnología de captura de movimiento para películas. [8] Sin embargo, esta solución tiene limitaciones de espacio y necesita sensores externos a la vista constante del dispositivo.
Ventajas:
Contras:
En este método, la cámara se coloca en el dispositivo rastreado y mira hacia afuera para determinar su ubicación en el entorno. Los auriculares que utilizan esta tecnología tienen varias cámaras orientadas en diferentes direcciones para obtener vistas de todo su entorno. Este método puede funcionar con o sin marcadores. El sistema Lighthouse utilizado por HTC Vive es un ejemplo de marcadores activos. Cada módulo Lighthouse externo contiene LED IR, así como una matriz láser que barre en direcciones horizontales y verticales, y los sensores en los auriculares y los controladores pueden detectar estos barridos y usar los tiempos para determinar la posición. [10] [11] El seguimiento sin marcadores, como en Oculus Quest , no requiere nada montado en el entorno exterior. Utiliza cámaras en los auriculares para un proceso llamado SLAM , o localización y mapeo simultáneos, donde se genera un mapa 3D del entorno en tiempo real. [6] Luego, los algoritmos de aprendizaje automático determinan dónde se coloca el auricular dentro de ese mapa 3D, utilizando la detección de características para reconstruir y analizar su entorno. [12] [13] Esta tecnología permite que los auriculares de alta gama como los Microsoft HoloLens sean autónomos, pero también abre la puerta a auriculares móviles más económicos sin necesidad de conectarse a ordenadores o sensores externos. [14]
Ventajas:
Contras:
El seguimiento inercial utiliza datos de acelerómetros y giroscopios , y a veces magnetómetros . Los acelerómetros miden la aceleración lineal. Dado que la derivada de la posición con respecto al tiempo es la velocidad y la derivada de la velocidad es la aceleración, la salida del acelerómetro podría integrarse para encontrar la velocidad y luego integrarse nuevamente para encontrar la posición relativa a algún punto inicial. Los giroscopios miden la velocidad angular . La velocidad angular también se puede integrar para determinar la posición angular relativa al punto inicial. Los magnetómetros miden los campos magnéticos y los momentos dipolares magnéticos. La dirección del campo magnético de la Tierra se puede integrar para tener una referencia de orientación absoluta y para compensar las derivas giroscópicas. [15] Los sistemas de unidades de medición inercial (IMU) modernos se basan en la tecnología MEMS que permite rastrear la orientación (balanceo, cabeceo, guiñada) en el espacio con altas tasas de actualización y una latencia mínima. Los giroscopios siempre se utilizan para el seguimiento rotacional, pero se utilizan diferentes técnicas para el seguimiento posicional en función de factores como el costo, la facilidad de configuración y el volumen de seguimiento. [16]
La estimación de posición se utiliza para rastrear datos posicionales, que alteran el entorno virtual al actualizar los cambios de movimiento del usuario. [17] La tasa de actualización de la estimación de posición y el algoritmo de predicción utilizados en un sistema de realidad virtual afectan la experiencia del usuario, pero no hay consenso sobre las mejores prácticas ya que se han utilizado muchas técnicas diferentes. [17] Es difícil confiar solo en el seguimiento inercial para determinar la posición precisa porque la estimación de posición conduce a la deriva, por lo que este tipo de seguimiento no se utiliza de forma aislada en la realidad virtual. [18] Se ha descubierto que un desfase entre el movimiento del usuario y la pantalla de realidad virtual de más de 100 ms causa náuseas. [19]
Los sensores inerciales no solo son capaces de rastrear el movimiento rotacional (balanceo, cabeceo, guiñada), sino también el movimiento traslacional. Estos dos tipos de movimiento juntos se conocen como los seis grados de libertad . Muchas aplicaciones de realidad virtual necesitan no solo rastrear las rotaciones de la cabeza de los usuarios, sino también cómo se mueven sus cuerpos con ellas (izquierda/derecha, adelante/atrás, arriba/abajo). [20] La capacidad de seis grados de libertad no es necesaria para todas las experiencias de realidad virtual, pero es útil cuando el usuario necesita mover cosas que no sean su cabeza.
Ventajas :
Contras :
La fusión de sensores combina datos de varios algoritmos de seguimiento y puede producir mejores resultados que una sola tecnología. Una de las variantes de la fusión de sensores es fusionar el seguimiento inercial y óptico. Estas dos técnicas se utilizan a menudo juntas porque, si bien los sensores inerciales son óptimos para rastrear movimientos rápidos, también acumulan errores rápidamente y los sensores ópticos ofrecen referencias absolutas para compensar las debilidades inerciales. [16] Además, el seguimiento inercial puede compensar algunas deficiencias del seguimiento óptico. Por ejemplo, el seguimiento óptico puede ser el método de seguimiento principal, pero cuando se produce una oclusión, el seguimiento inercial estima la posición hasta que los objetos vuelvan a ser visibles para la cámara óptica. El seguimiento inercial también podría generar datos de posición entre los datos de posición del seguimiento óptico porque el seguimiento inercial tiene una mayor tasa de actualización . El seguimiento óptico también ayuda a hacer frente a una desviación del seguimiento inercial. Se ha demostrado que la combinación del seguimiento óptico e inercial reduce los errores de desalineación que suelen producirse cuando un usuario mueve la cabeza demasiado rápido. [21] Los avances en los sistemas magnéticos microeléctricos han hecho que el seguimiento magnético/eléctrico sea más común debido a su pequeño tamaño y bajo coste. [22]
Los sistemas de seguimiento acústico utilizan técnicas para identificar la posición de un objeto o dispositivo similares a las que se encuentran de forma natural en los animales que utilizan la ecolocalización . De forma análoga a los murciélagos que localizan objetos utilizando diferencias en los tiempos de retorno de las ondas sonoras a sus dos oídos, los sistemas de seguimiento acústico en VR pueden utilizar conjuntos de al menos tres sensores ultrasónicos y al menos tres transmisores ultrasónicos en dispositivos para calcular la posición y orientación de un objeto (por ejemplo, un controlador portátil). [23] Hay dos formas de determinar la posición del objeto: medir el tiempo de vuelo de la onda sonora desde el transmisor hasta los receptores o la coherencia de fase de la onda sonora sinusoidal mediante la recepción de la transferencia.
Dado un conjunto de tres sensores (o receptores) no colineales con distancias entre ellos d 1 y d 2 , así como los tiempos de viaje de una onda sonora ultrasónica (una onda con una frecuencia mayor a 20 kHz) desde un transmisor a esos tres receptores, la posición cartesiana relativa del transmisor se puede calcular de la siguiente manera:
Aquí, cada l i representa la distancia desde el transmisor hasta cada uno de los tres receptores, calculada en base al tiempo de viaje de la onda ultrasónica utilizando la ecuación l = ct us . La constante c denota la velocidad del sonido, que es igual a 343,2 m/s en aire seco a una temperatura de 20 °C. Debido a que se requieren al menos tres receptores, estos cálculos se conocen comúnmente como triangulación .
Además de su posición, determinar la orientación de un dispositivo (es decir, su grado de rotación en todas las direcciones) requiere que se conozcan al menos tres puntos no colineales en el objeto rastreado, lo que obliga a que el número de transmisores ultrasónicos sea al menos tres por dispositivo rastreado además de los tres receptores mencionados anteriormente. Los transmisores emiten ondas ultrasónicas en secuencia hacia los tres receptores, que luego se pueden usar para derivar datos espaciales sobre los tres transmisores utilizando los métodos descritos anteriormente. La orientación del dispositivo se puede derivar entonces en función de la posición conocida de los transmisores sobre el dispositivo y sus ubicaciones espaciales relativas entre sí. [24]
A diferencia de los métodos TOF, los métodos de seguimiento de coherencia de fase (PC) también se han utilizado para localizar objetos acústicamente. El seguimiento de PC implica comparar la fase de la onda de sonido actual recibida por los sensores con la de una señal de referencia anterior, de modo que se pueda determinar el cambio relativo en la posición de los transmisores a partir de la última medición. Debido a que este método opera solo sobre cambios observados en los valores de posición, y no sobre mediciones absolutas, cualquier error en la medición tiende a acumularse a lo largo de más observaciones. En consecuencia, este método ha perdido popularidad entre los desarrolladores con el tiempo.
Ventajas :
Contras :
En resumen, la implementación del seguimiento acústico es óptima en los casos en los que uno tiene control total sobre el entorno ambiental en el que reside el sistema VR o AR, como un simulador de vuelo. [2] [25] [26]
El seguimiento magnético se basa en la medición de la intensidad de campos magnéticos no homogéneos con sensores electromagnéticos. Una estación base , a menudo denominada transmisor o generador de campo del sistema, genera un campo electromagnético alterno o estático , según la arquitectura del sistema.
Para cubrir todas las direcciones en el espacio tridimensional, se generan tres campos magnéticos de forma secuencial. Los campos magnéticos son generados por tres bobinas electromagnéticas perpendiculares entre sí. Estas bobinas deben colocarse en una pequeña carcasa montada sobre un objetivo móvil cuya posición es necesario rastrear. La corriente, que pasa secuencialmente a través de las bobinas, las convierte en electroimanes, lo que les permite determinar su posición y orientación en el espacio.
Debido a que el seguimiento magnético no requiere una pantalla montada en la cabeza, que se usa con frecuencia en la realidad virtual, a menudo es el sistema de seguimiento utilizado en pantallas de realidad virtual completamente inmersivas. [21] Los equipos convencionales como las pantallas montadas en la cabeza son intrusivos para el usuario en experiencias de realidad virtual completamente cerradas, por lo que se favorecen los equipos alternativos como los que se usan en el seguimiento magnético. El seguimiento magnético ha sido implementado por Polhemus y en Razer Hydra por Sixense . El sistema funciona mal cerca de cualquier material conductor de electricidad, como objetos y dispositivos metálicos, que puedan afectar un campo electromagnético. El seguimiento magnético empeora a medida que el usuario se aleja del emisor base, [21] y el área escalable es limitada y no puede ser mayor a 5 metros.
Ventajas :
Contras :
{{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace ){{cite book}}: CS1 maint: varios nombres: lista de autores ( enlace )