Partido virtual

Superposición de información sensorial aumentada sobre la percepción del usuario de un entorno real.

Un dispositivo virtual es una superposición de información sensorial aumentada sobre la percepción de un usuario de un entorno real con el fin de mejorar el rendimiento humano tanto en tareas directas como manipuladas de forma remota . ^[1] Desarrollado a principios de la década de 1990 por Louis Rosenberg en el Laboratorio de Investigación de la Fuerza Aérea de EE. UU. (AFRL) , Virtual Accessorys fue una plataforma pionera en tecnologías de realidad virtual y realidad aumentada .

Historia

Virtual Fixies fue desarrollado por primera vez por Louis Rosenberg en 1992 en los Laboratorios Armstrong de la USAF , lo que dio como resultado el primer sistema de realidad aumentada inmersiva jamás construido. ^{[2] [3] [4] [5] [6]} Debido a que los gráficos 3D eran demasiado lentos a principios de la década de 1990 para presentar una realidad aumentada fotorrealista y registrada espacialmente, Virtual Fixies utilizó dos robots físicos reales, controlados por un exoesqueleto de cuerpo completo que usaba el usuario. Para crear la experiencia inmersiva para el usuario, se empleó una configuración óptica única que involucraba un par de lupas binoculares alineadas de modo que la vista del usuario de los brazos del robot se adelantara para que pareciera registrada en la ubicación exacta de los brazos físicos reales del usuario. ^{[2] [7] [5]} El resultado fue una experiencia inmersiva registrada espacialmente en la que el usuario movía sus brazos, mientras veía los brazos del robot en el lugar donde deberían estar sus brazos. El sistema también empleó superposiciones virtuales generadas por computadora en forma de barreras físicas simuladas, campos y guías, diseñadas para ayudar al usuario mientras realiza tareas físicas reales. ^{[8] [9] [3] [10] [11] [12]}

Se realizaron pruebas de rendimiento de la Ley de Fitts en baterías de sujetos de prueba humanos, demostrando por primera vez que se podía lograr una mejora significativa en el desempeño humano de tareas diestras del mundo real al proporcionar superposiciones de realidad aumentada inmersivas a los usuarios. ^{[5] [13]}

Concepto

Accesorios virtuales: se utilizan para mejorar el rendimiento del operador en el control telerrobótico de la tarea del tablero perforado de la Ley de Fitt.

El concepto de dispositivos virtuales se introdujo por primera vez ^[2] como una superposición de información sensorial virtual en un espacio de trabajo para mejorar el desempeño humano en tareas manipuladas directa y remotamente. Las superposiciones sensoriales virtuales se pueden presentar como estructuras físicamente realistas, registradas en el espacio de tal manera que el usuario las percibe como completamente presentes en el entorno del espacio de trabajo real. Las superposiciones sensoriales virtuales también pueden ser abstracciones que tienen propiedades que no son posibles en las estructuras físicas reales. El concepto de superposiciones sensoriales es difícil de visualizar y de explicar, por lo que se introdujo la metáfora del dispositivo virtual. Para entender qué es un dispositivo virtual, a menudo se utiliza una analogía con un dispositivo físico real, como una regla. Una tarea sencilla, como dibujar una línea recta en una hoja de papel a mano alzada, es una tarea que la mayoría de los humanos no pueden realizar con buena precisión y alta velocidad. Sin embargo, el uso de un dispositivo simple, como una regla, permite realizar la tarea rápidamente y con buena precisión. El uso de una regla ayuda al usuario a guiar el lápiz a lo largo de la regla reduciendo el temblor y la carga mental del usuario, aumentando así la calidad de los resultados.

Los accesorios virtuales utilizados para cirugías de realidad aumentada permiten una mejor destreza quirúrgica.

Cuando se propuso el concepto de dispositivo virtual a la Fuerza Aérea de los EE. UU. en 1991, la cirugía aumentada fue un ejemplo de uso, ampliando la idea de una regla virtual que guiaba un lápiz real a un dispositivo médico virtual que guiaba un bisturí físico real manipulado por un cirujano real. ^[2] El objetivo era superponer contenido virtual sobre la percepción directa del cirujano del espacio de trabajo real con suficiente realismo para que se percibiera como adiciones auténticas al entorno quirúrgico y, por lo tanto, mejorar la habilidad, la destreza y el rendimiento quirúrgicos. Un beneficio propuesto de los dispositivos médicos virtuales en comparación con el hardware real era que, debido a que eran adiciones virtuales a la realidad ambiental, podían sumergirse parcialmente dentro de pacientes reales, proporcionando orientación y/o barreras dentro de los tejidos no expuestos. ^{[14] [2] [15]}

La definición de dispositivos virtuales ^{[2] [7] [9]} es mucho más amplia que simplemente proporcionar orientación al efector final. Por ejemplo, los dispositivos virtuales auditivos se utilizan para aumentar la conciencia del usuario al proporcionar pistas de audio que ayudan al usuario al proporcionarle pistas multimodales para la localización del efector final. Sin embargo, en el contexto de los sistemas de colaboración hombre-máquina, el término dispositivos virtuales se utiliza a menudo para referirse a una ayuda virtual dependiente de la tarea que se superpone a un entorno real y guía el movimiento del usuario a lo largo de las direcciones deseadas al tiempo que evita el movimiento en direcciones o regiones no deseadas del espacio de trabajo.

Los dispositivos virtuales pueden ser dispositivos virtuales de guía o dispositivos virtuales de regiones prohibidas . Un dispositivo virtual de regiones prohibidas podría usarse, por ejemplo, en un entorno teleoperado donde el operador tiene que conducir un vehículo en un sitio remoto para lograr un objetivo. Si hay hoyos en el sitio remoto que serían perjudiciales para el vehículo si cayera en ellos, las regiones prohibidas podrían definirse en las distintas ubicaciones de los hoyos, evitando así que el operador emita comandos que harían que el vehículo terminara en dicho hoyo. ^{[16] [17] [18]}

Ejemplo de un dispositivo virtual de regiones prohibidas

Un operador podría enviar fácilmente comandos ilegales debido, por ejemplo, a retrasos en el circuito de teleoperación , mala telepresencia o una serie de otras razones.

Un ejemplo de un dispositivo virtual de guía podría ser cuando el vehículo debe seguir una trayectoria determinada,

Ejemplo de un dispositivo virtual de guía

El operador puede entonces controlar el progreso a lo largo de la dirección preferida mientras que el movimiento a lo largo de la dirección no preferida está restringido.

Tanto con las regiones prohibidas como con los dispositivos virtuales de guía, se puede ajustar la rigidez o su inverso, la flexibilidad , del dispositivo. Si la flexibilidad es alta (baja rigidez), el dispositivo es blando . Por otro lado, cuando la flexibilidad es cero (máxima rigidez), el dispositivo es duro .

La rigidez de un dispositivo virtual puede ser blanda o dura. Un dispositivo duro limita por completo el movimiento del dispositivo, mientras que un dispositivo más blando permite algunas desviaciones.

Ley de control de dispositivos virtuales

Esta sección describe cómo se puede derivar una ley de control que implemente accesorios virtuales. Se supone que el robot es un dispositivo puramente cinemático con la posición y la orientación del efector final expresadas en el marco base del robot . Se supone que la señal de control de entrada al robot es una velocidad deseada del efector final . En un sistema teleoperado, a menudo es útil escalar la velocidad de entrada del operador, antes de pasarla al controlador del robot. Si la entrada del usuario es de otra forma, como una fuerza o una posición, primero se debe transformar en una velocidad de entrada, por ejemplo, mediante escala o diferenciación. ${\displaystyle \mathbf {p} =\left[x,y,z\right]}$ ${\displaystyle \mathbf {r} =\left[r_{\textrm {x}},r_{\textrm {y}},r_{\textrm {z}}\right]}$ ${\displaystyle F_{\textrm {r}}}$ ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {v} ={\dot {\mathbf {x} }}=\left[{\dot {\mathbf {p} }},{\dot {\mathbf {r} }}\right]}$ ${\displaystyle \mathbf {v} _{\textrm {op}}}$

De esta forma, la señal de control se calcularía a partir de la velocidad de entrada del operador como: ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {v} _{\textrm {op}}}$

 ${\displaystyle \mathbf {u} =c\cdot \mathbf {v} _{\textrm {op}}}$

Si existe un mapeo uno a uno entre el operador y el robot esclavo. ${\displaystyle c=1}$

Si la constante se reemplaza por una matriz diagonal, es posible ajustar la flexibilidad de forma independiente para diferentes dimensiones de . Por ejemplo, establecer los primeros tres elementos en la diagonal de a y todos los demás elementos en cero daría como resultado un sistema que solo permite el movimiento de traslación y no la rotación. Este sería un ejemplo de un dispositivo virtual rígido que restringe el movimiento de a . Si el resto de los elementos en la diagonal se establecieran en un valor pequeño, en lugar de cero, el dispositivo sería flexible, lo que permitiría cierto movimiento en las direcciones de rotación. ${\displaystyle c}$ ${\displaystyle \mathbf {C} }$ ${\displaystyle {\dot {\mathbf {x} }}}$ ${\displaystyle \mathbf {C} }$ ${\displaystyle c}$ ${\displaystyle \mathbf {x} \in \mathbb {R} ^{6}}$ ${\displaystyle \mathbf {p} \in \mathbb {R} ^{3}}$

Para expresar restricciones más generales, supongamos una matriz variable en el tiempo que representa la dirección preferida en el tiempo . Por lo tanto, si la dirección preferida es a lo largo de una curva en . Asimismo, daría direcciones preferidas que abarcan una superficie. A partir de dos operadores de proyección se pueden definir, ^[19] el espacio de la columna y el núcleo: ${\displaystyle \mathbf {D} (t)\in \mathbb {R} ^{6\times n},~n\in [1..6]}$ ${\displaystyle t}$ ${\displaystyle n=1}$ ${\displaystyle \mathbb {R} ^{6}}$ ${\displaystyle n=2}$ ${\displaystyle \mathbf {D} }$

 ${\displaystyle {\begin{aligned}{\textrm {Span}}(\mathbf {D} )&\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{-1}\mathbf {D} ^{T}\\{\textrm {Kernel}}(\mathbf {D} )&\equiv \langle \mathbf {D} \rangle =\mathbf {I} -\left[\mathbf {D} \right]\end{aligned}}}$

Si no tiene rango de columna completo, no se puede calcular el lapso, por lo tanto, es mejor calcular el lapso utilizando el pseudo-inverso, ^[19] por lo tanto, en la práctica, el lapso se calcula como: ${\displaystyle \mathbf {D} }$

 ${\displaystyle {\textrm {Span}}(\mathbf {D} )\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{\dagger }\mathbf {D} ^{T}}$

donde denota la pseudo-inversa de . ${\displaystyle \mathbf {D} ^{\dagger }}$ ${\displaystyle \mathbf {D} }$

Si la velocidad de entrada se divide en dos componentes como:

 ${\displaystyle \mathbf {v} _{\textrm {D}}\equiv \left[\mathbf {D} \right]\mathbf {v} _{\textrm {op}}{\textrm {~and~}}\mathbf {v} _{\tau }\equiv \mathbf {v} _{\textrm {op}}-\mathbf {v} _{\textrm {D}}=\langle \mathbf {D} \rangle \mathbf {v} _{\textrm {op}}}$

Es posible reescribir la ley de control como:

 ${\displaystyle \mathbf {v} =c\cdot \mathbf {v} _{\textrm {op}}=c\left(\mathbf {v} _{\textrm {D}}+\mathbf {v} _{\tau }\right)}$

A continuación, introduzca un nuevo cumplimiento que afecte solo al componente no preferido de la entrada de velocidad y escriba la ley de control final como:

 ${\displaystyle \mathbf {v} =c\left(\mathbf {v} _{\textrm {D}}+c_{\tau }\cdot \mathbf {v} _{\tau }\right)=c\left(\left[\mathbf {D} \right]+c_{\tau }\langle \mathbf {D} \rangle \right)\mathbf {v} _{\textrm {op}}}$

Referencias

1. Rosenberg, Louis B. (2022). "Realidad aumentada: reflexiones a los treinta años". En Arai, Kohei (ed.). Actas de la Future Technologies Conference (FTC) 2021, volumen 1. Notas de clase en redes y sistemas. Vol. 358. Cham: Springer International Publishing. págs. 1–11. doi :10.1007/978-3-030-89906-6_1. ISBN 978-3-030-89906-6.
2. LB Rosenberg (1992). "El uso de dispositivos virtuales como superposiciones perceptivas para mejorar el rendimiento del operador en entornos remotos" (PDF) . Informe técnico AL-TR-0089 . Base de la Fuerza Aérea Wright-Patterson, Ohio: Laboratorio Armstrong de la Fuerza Aérea de los Estados Unidos. Archivado (PDF) del original el 10 de julio de 2019.
3. Rosenberg, LB (1993). "Dispositivos virtuales: herramientas perceptivas para la manipulación telerrobótica". Actas del Simposio Internacional Anual sobre Realidad Virtual del IEEE . IEEE. págs. 76–82. doi :10.1109/vrais.1993.380795. ISBN. 0-7803-1363-1.
4. Rosenberg, Louis (1993). "El uso de dispositivos virtuales para mejorar la telemanipulación con retardo de tiempo". Actas de la Reunión anual de invierno de la ASME sobre avances en robótica, mecatrónica e interfaces hápticas . 49. Nueva Orleans, LA: 29–36.
5. Rosenberg, Louis (1993). "El uso de dispositivos virtuales para mejorar el rendimiento del operador en la teleoperación con retraso temporal" (PDF) . J. Dyn. Syst. Control . 49 : 29–36. Archivado (PDF) desde el original el 10 de julio de 2019.
6. Noer, Michael (21 de septiembre de 1998). «Huellas digitales en el escritorio». Forbes . Consultado el 22 de abril de 2014 .
7. Rosenberg, L. (1993). Kim, Won S. (ed.). "Dispositivos virtuales como herramientas para mejorar el rendimiento del operador en entornos de telepresencia". Tecnología de manipuladores SPIE . Tecnología de telemanipuladores y telerrobótica espacial. 2057 : 10. Bibcode :1993SPIE.2057...10R. doi :10.1117/12.164901. S2CID  111277519.
8. Abbott, Jake J.; Marayong, Panadda; Okamura, Allison M. (2007). "Accesorios virtuales hápticos para manipulación asistida por robot". En Thrun, Sebastian; Brooks, Rodney; Durrant-Whyte, Hugh (eds.). Investigación en robótica . Springer Tracts in Advanced Robotics. Vol. 28. Berlín, Heidelberg: Springer. págs. 49–64. doi :10.1007/978-3-540-48113-3_5. ISBN. 978-3-540-48113-3.
9. Rosenberg (1994). Das, Hari (ed.). "Las superposiciones hápticas virtuales mejoran el rendimiento en tareas de telepresencia". Telemanipulador y tecnologías de telepresencia . 2351 : 99–108. doi :10.1117/12.197302. S2CID  110971407.
10. Makhataeva, Zhanat; Varol, Huseyin Atakan (2020). "Realidad aumentada para robótica: una revisión". Robótica . 9 (2): 21. doi : 10.3390/robotics9020021 . ISSN  2218-6581.
11. Leonard, Simon (2015). "Registro de luminarias virtuales planas mediante el uso de realidad aumentada con texturas dinámicas". Conferencia internacional IEEE sobre robótica y automatización (ICRA) de 2015. Seattle, WA, EE. UU.: IEEE. págs. 4418–4423. doi :10.1109/ICRA.2015.7139810. ISBN . 978-1-4799-6923-4. Número de identificación del sujeto  16744811.
12. Xia, Tian; Léonard, Simon; Deguet, Anton; Whitcomb, Louis; Kazanzides, Peter (2012). "Entorno de realidad aumentada con dispositivos virtuales para telemanipulación robótica en el espacio". Conferencia internacional IEEE/RSJ de 2012 sobre robots y sistemas inteligentes. págs. 5059–5064. doi :10.1109/IROS.2012.6386169. ISBN 978-1-4673-1736-8. Número de identificación del sujeto  2708501.
13. Rosenberg, Louis B. (1993). Kim, Won S. (ed.). "Dispositivos virtuales como herramientas para mejorar el rendimiento del operador en entornos de telepresencia". Tecnología de telemanipuladores y telerrobótica espacial . 2057 : 10–21. Bibcode :1993SPIE.2057...10R. doi :10.1117/12.164901. S2CID  111277519.
14. Rosenberg, LB (1992). "El uso de dispositivos virtuales como superposiciones perceptivas para mejorar el rendimiento del operador" Universidad de Stanford, Stanford CA, Centro de Investigación de Diseño (CDR)
15. Yamamoto, Tomonori; Abolhassani, Niki; Jung, Sung; Okamura, Allison M .; Judkins, Timothy N. (8 de noviembre de 2011). "Realidad aumentada e interfaces hápticas para cirugía asistida por robot". Revista internacional de robótica médica y cirugía asistida por computadora . 8 (1): 45–56. doi :10.1002/rcs.421. ISSN  1478-5951. PMID  22069247. S2CID  1603125.
16. Abbott, JJ; Okamura, AM (2003). "Arquitecturas de dispositivos virtuales para telemanipulación". Conferencia internacional IEEE sobre robótica y automatización de 2003 (n.º de cat. 03CH37422) . Vol. 2. Taipei, Taiwán: IEEE. págs. 2798–2805. doi :10.1109/ROBOT.2003.1242016. ISBN . 978-0-7803-7736-3.S2CID8678829  .​
17. Marayong, Panadda; Hager, Gregory D.; Okamura, Allison M. (2008). "Métodos de control para dispositivos virtuales de guía en interfaces hombre-máquina compatibles". Conferencia internacional IEEE/RSJ de 2008 sobre robots y sistemas inteligentes . págs. 1166–1172. doi :10.1109/IROS.2008.4650838. ISBN . 978-1-4244-2057-5.S2CID6828466  .​
18. Marayong, P.; Hager, GD; Okamura, AM (2006). "Efecto de la dinámica de la mano en dispositivos virtuales para interfaces hombre-máquina compatibles". 2006 14.° simposio sobre interfaces hápticas para entornos virtuales y sistemas de teleoperadores . Alexandria, VA, EE. UU.: IEEE. págs. 109–115. doi :10.1109/HAPTIC.2006.1627075. ISBN . 978-1-4244-0226-7.
19. Marayong, P.; Okamura, AM ; Hager, GD (2003). "Restricciones de movimiento espacial: teoría y demostraciones para la guía de robots utilizando dispositivos virtuales". Conferencia internacional IEEE sobre robótica y automatización de 2003 (n.º de cat. 03CH37422) . IEEE. págs. 1270–1275. doi :10.1109/robot.2003.1241880. ISBN . 0-7803-7736-2.