Accesorio virtual

Superposición de información sensorial aumentada sobre la percepción del usuario de un entorno real.

Un dispositivo virtual es una superposición de información sensorial aumentada sobre la percepción de un usuario de un entorno real para mejorar el desempeño humano en tareas tanto directas como manipuladas de forma remota . ^[1] Desarrollado a principios de la década de 1990 por Louis Rosenberg en el Laboratorio de Investigación de la Fuerza Aérea de EE. UU. (AFRL) , Virtual Fixtures fue una plataforma pionera en tecnologías de realidad virtual y realidad aumentada .

Historia

Virtual Fixtures fue desarrollado por primera vez por Louis Rosenberg en 1992 en los Laboratorios Armstrong de la USAF , lo que dio como resultado el primer sistema inmersivo de realidad aumentada jamás construido. ^{[2] [3] [4] [5] [6]} Debido a que los gráficos 3D eran demasiado lentos a principios de la década de 1990 para presentar una realidad aumentada fotorrealista y registrada espacialmente, Virtual Fixtures utilizó dos robots físicos reales, controlados por una parte superior completa. exoesqueleto corporal usado por el usuario. Para crear una experiencia inmersiva para el usuario, se empleó una configuración óptica única que involucraba un par de lupas binoculares alineadas de modo que la vista del usuario de los brazos del robot se adelantara para aparecer registrada en la ubicación exacta de los brazos físicos reales del usuario. . ^{[2] [7] [5]} El resultado fue una experiencia inmersiva registrada espacialmente en la que el usuario movía sus brazos, mientras veía brazos robóticos en el lugar donde deberían estar sus brazos. El sistema también empleó superposiciones virtuales generadas por computadora en forma de barreras físicas simuladas, campos y guías, diseñadas para ayudar al usuario mientras realiza tareas físicas reales. ^{[8] [9] [3] [10] [11] [12]}

Las pruebas de rendimiento de la Ley de Fitts se llevaron a cabo en baterías de sujetos de prueba humanos, demostrando por primera vez que se podría lograr una mejora significativa en el desempeño humano de tareas diestras del mundo real proporcionando superposiciones inmersivas de realidad aumentada a los usuarios. ^{[5] [13]}

Concepto

Accesorios virtuales: se utilizan para mejorar el rendimiento del operador en el control telerobótico de la tarea del tablero perforado de la Ley de Fitt.

El concepto de accesorios virtuales se introdujo por primera vez ^[2] como una superposición de información sensorial virtual en un espacio de trabajo para mejorar el desempeño humano en tareas manipuladas directas y remotamente. Las superposiciones sensoriales virtuales se pueden presentar como estructuras físicamente realistas, registradas en el espacio de manera que el usuario las perciba como completamente presentes en el entorno del espacio de trabajo real. Las superposiciones sensoriales virtuales también pueden ser abstracciones que tienen propiedades que no son posibles en estructuras físicas reales. El concepto de superposiciones sensoriales es difícil de visualizar y hablar del mismo, como consecuencia se introdujo la metáfora del accesorio virtual. Para comprender qué es un dispositivo virtual, a menudo se utiliza una analogía con un dispositivo físico real, como una regla. Una tarea simple como dibujar una línea recta en una hoja de papel a mano alzada es una tarea que la mayoría de los humanos no pueden realizar con buena precisión y alta velocidad. Sin embargo, el uso de un dispositivo simple como una regla permite realizar la tarea rápidamente y con buena precisión. El uso de una regla ayuda al usuario guiando el bolígrafo a lo largo de la regla reduciendo el temblor y la carga mental del usuario, aumentando así la calidad de los resultados.

Los accesorios virtuales utilizados para la cirugía de realidad aumentada permiten mejorar la destreza quirúrgica.

Cuando se propuso el concepto de Dispositivo Virtual a la Fuerza Aérea de EE. UU. en 1991, la cirugía aumentada fue un caso de uso de ejemplo, ampliando la idea de una regla virtual que guiaba un lápiz real a un dispositivo médico virtual que guiaba un bisturí físico real manipulado por un cirujano real. . ^[2] El objetivo era superponer contenido virtual a la percepción directa del cirujano del espacio de trabajo real con suficiente realismo para que se percibiera como adiciones auténticas al entorno quirúrgico y, por lo tanto, mejorara la habilidad, la destreza y el rendimiento quirúrgico. Un beneficio propuesto de los dispositivos médicos virtuales en comparación con el hardware real fue que, debido a que eran adiciones virtuales a la realidad ambiental, podían sumergirse parcialmente en pacientes reales, proporcionando orientación y/o barreras dentro de tejidos no expuestos. ^{[14] [2] [15]}

La definición de dispositivos virtuales ^{[2] [7] [9]} es mucho más amplia que simplemente proporcionar orientación sobre el efector final. Por ejemplo, los dispositivos virtuales auditivos se utilizan para aumentar la conciencia del usuario proporcionando pistas de audio que ayudan al usuario proporcionando señales multimodales para la localización del efector final. Sin embargo, en el contexto de los sistemas colaborativos hombre-máquina, el término dispositivos virtuales se utiliza a menudo para referirse a una ayuda virtual dependiente de la tarea que se superpone a un entorno real y guía el movimiento del usuario en las direcciones deseadas al tiempo que evita el movimiento en direcciones o regiones no deseadas. del espacio de trabajo.

Los dispositivos virtuales pueden ser dispositivos virtuales de guía o dispositivos virtuales de regiones prohibidas . Un dispositivo virtual de regiones prohibidas podría usarse, por ejemplo, en un entorno teleoperado donde el operador tiene que conducir un vehículo en un sitio remoto para lograr un objetivo. Si hay fosos en el sitio remoto que serían perjudiciales para el vehículo, se podrían definir zonas prohibidas en las distintas ubicaciones de los fosos, evitando así que el operador emita comandos que provocarían que el vehículo terminara en dicho foso. ^{[16] [17] [18]}

Ejemplo de un partido virtual de regiones prohibidas

Un operador podría enviar fácilmente estos comandos ilegales debido, por ejemplo, a retrasos en el circuito de teleoperación , una telepresencia deficiente o una serie de otras razones.

Un ejemplo de dispositivo virtual de guía podría ser cuando el vehículo debe seguir una determinada trayectoria,

Ejemplo de dispositivo virtual guía

Entonces, el operador puede controlar el progreso a lo largo de la dirección preferida mientras que se limita el movimiento a lo largo de la dirección no preferida .

Tanto con regiones prohibidas como con dispositivos virtuales guía se puede ajustar la rigidez , o su inversa, la elasticidad del dispositivo. Si la adaptabilidad es alta (baja rigidez), el dispositivo es blando . Por otro lado, cuando la adaptabilidad es cero (rigidez máxima), el accesorio es duro .

La rigidez de un dispositivo virtual puede ser blanda o dura. Un dispositivo rígido limita completamente el movimiento del dispositivo, mientras que un dispositivo más blando permite algunas desviaciones del dispositivo.

Ley de control de dispositivos virtuales

Esta sección describe cómo se puede derivar una ley de control que implementa dispositivos virtuales. Se supone que el robot es un dispositivo puramente cinemático con la posición del efector final y la orientación del efector final expresadas en el marco base del robot . Se supone que la señal de control de entrada al robot es una velocidad de efector final deseada . En un sistema teleoperado suele ser útil escalar la velocidad de entrada del operador, antes de alimentarla al controlador del robot. Si la entrada del usuario es de otra forma, como una fuerza o posición, primero debe transformarse en una velocidad de entrada, por ejemplo escalando o diferenciando. ${\displaystyle \mathbf {p} =\left[x,y,z\right]}$ ${\displaystyle \mathbf {r} =\left[r_{\textrm {x}},r_{\textrm {y}},r_{\textrm {z}}\right]}$ ${\displaystyle F_{\textrm {r}}}$ ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {v} ={\dot {\mathbf {x} }}=\left[{\dot {\mathbf {p} }},{\dot {\mathbf {r} }}\right]}$ ${\displaystyle \mathbf {v} _{\textrm {op}}}$

Por tanto, la señal de control se calcularía a partir de la velocidad de entrada del operador como: ${\displaystyle \mathbf {u} }$ ${\displaystyle \mathbf {v} _{\textrm {op}}}$

 ${\displaystyle \mathbf {u} =c\cdot \mathbf {v} _{\textrm {op}}}$

Si existe un mapeo uno a uno entre el operador y el robot esclavo. ${\displaystyle c=1}$

Si la constante se reemplaza por una matriz diagonal, es posible ajustar el cumplimiento de forma independiente para diferentes dimensiones de . Por ejemplo, establecer los primeros tres elementos en la diagonal de a y todos los demás elementos en cero daría como resultado un sistema que solo permite el movimiento de traslación y no la rotación. Este sería un ejemplo de un dispositivo virtual duro que restringe el movimiento de a . Si el resto de los elementos de la diagonal se establecieran en un valor pequeño, en lugar de cero, el dispositivo sería suave, permitiendo algo de movimiento en las direcciones de rotación. ${\displaystyle c}$ ${\displaystyle \mathbf {C} }$ ${\displaystyle {\dot {\mathbf {x} }}}$ ${\displaystyle \mathbf {C} }$ ${\displaystyle c}$ ${\displaystyle \mathbf {x} \in \mathbb {R} ^{6}}$ ${\displaystyle \mathbf {p} \in \mathbb {R} ^{3}}$

Para expresar restricciones más generales, supongamos una matriz variable en el tiempo que representa la dirección preferida en el tiempo . Por tanto, si la dirección preferida es a lo largo de una curva en . Asimismo, daría direcciones preferentes que abarquen una superficie. A partir de dos operadores de proyección se pueden definir, ^[19] el tramo y el núcleo del espacio columna: ${\displaystyle \mathbf {D} (t)\in \mathbb {R} ^{6\times n},~n\in [1..6]}$ ${\displaystyle t}$ ${\displaystyle n=1}$ ${\displaystyle \mathbb {R} ^{6}}$ ${\displaystyle n=2}$ ${\displaystyle \mathbf {D} }$

 ${\displaystyle {\begin{aligned}{\textrm {Span}}(\mathbf {D} )&\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{-1}\mathbf {D} ^{T}\\{\textrm {Kernel}}(\mathbf {D} )&\equiv \langle \mathbf {D} \rangle =\mathbf {I} -\left[\mathbf {D} \right]\end{aligned}}}$

Si no tiene un rango de columna completo, el intervalo no se puede calcular; en consecuencia, es mejor calcular el intervalo utilizando el pseudoinverso, ^[19] por lo que, en la práctica, el intervalo se calcula como: ${\displaystyle \mathbf {D} }$

 ${\displaystyle {\textrm {Span}}(\mathbf {D} )\equiv \left[\mathbf {D} \right]=\mathbf {D} (\mathbf {D} ^{T}\mathbf {D} )^{\dagger }\mathbf {D} ^{T}}$

donde denota la pseudoinversa de . ${\displaystyle \mathbf {D} ^{\dagger }}$ ${\displaystyle \mathbf {D} }$

Si la velocidad de entrada se divide en dos componentes como:

 ${\displaystyle \mathbf {v} _{\textrm {D}}\equiv \left[\mathbf {D} \right]\mathbf {v} _{\textrm {op}}{\textrm {~and~}}\mathbf {v} _{\tau }\equiv \mathbf {v} _{\textrm {op}}-\mathbf {v} _{\textrm {D}}=\langle \mathbf {D} \rangle \mathbf {v} _{\textrm {op}}}$

es posible reescribir la ley de control como:

 ${\displaystyle \mathbf {v} =c\cdot \mathbf {v} _{\textrm {op}}=c\left(\mathbf {v} _{\textrm {D}}+\mathbf {v} _{\tau }\right)}$

Luego introduzca una nueva conformidad que afecte sólo al componente no preferido de la entrada de velocidad y escriba la ley de control final como:

 ${\displaystyle \mathbf {v} =c\left(\mathbf {v} _{\textrm {D}}+c_{\tau }\cdot \mathbf {v} _{\tau }\right)=c\left(\left[\mathbf {D} \right]+c_{\tau }\langle \mathbf {D} \rangle \right)\mathbf {v} _{\textrm {op}}}$

Referencias

1. Rosenberg, Louis B. (2022). Arai, Kohei (ed.). "Realidad aumentada: reflexiones a los treinta años". Actas de la Conferencia de Tecnologías Futuras (FTC) 2021, Volumen 1 . Apuntes de conferencias sobre redes y sistemas. Cham: Springer International Publishing: 1–11. doi :10.1007/978-3-030-89906-6_1. ISBN 978-3-030-89906-6.
2. LB Rosenberg (1992). "El uso de dispositivos virtuales como superposiciones de percepción para mejorar el rendimiento del operador en entornos remotos" (PDF) . Informe Técnico AL-TR-0089 . Wright-Patterson AFB OH: Laboratorio Armstrong de la USAF. Archivado (PDF) desde el original el 10 de julio de 2019.
3. Rosenberg, LB (1993). "Accesorios virtuales: herramientas de percepción para manipulación telerobótica". Actas del Simposio Internacional Anual de Realidad Virtual IEEE . IEEE. págs. 76–82. doi :10.1109/vrais.1993.380795. ISBN 0-7803-1363-1.
4. Rosenberg, Luis (1993). "El uso de dispositivos virtuales para mejorar la telemanipulación con retardo de tiempo". Actas de la reunión anual de invierno de ASME sobre avances en robótica, mecatrónica e interfaces hápticas . 49 . Nueva Orleans, Luisiana: 29–36.
5. Rosenberg, Louis (1993). "El uso de dispositivos virtuales para mejorar el rendimiento del operador en teleoperación diferida" (PDF) . J.Dyn. Sistema. Control . 49 : 29–36. Archivado (PDF) desde el original el 10 de julio de 2019.
6. Noer, Michael (21 de septiembre de 1998). "Huellas dactilares de escritorio". Forbes . Consultado el 22 de abril de 2014 .
7. Rosenberg, L. (1993). Kim, Won S. (ed.). "Los dispositivos virtuales como herramientas para mejorar el desempeño del operador en entornos de telepresencia". Tecnología de manipulador SPIE . Tecnología de telemanipuladores y telerobótica espacial. 2057 : 10. Código bibliográfico : 1993SPIE.2057...10R. doi :10.1117/12.164901. S2CID  111277519.
8. Abbott, Jake J.; Marayong, Panadda; Okamura, Allison M. (2007). "Accesorios virtuales hápticos para manipulación asistida por robot". En Thrun, Sebastián; Brooks, Rodney; Durrant-Whyte, Hugh (eds.). Investigación en Robótica . Springer Tracts en Robótica Avanzada. vol. 28. Berlín, Heidelberg: Springer. págs. 49–64. doi :10.1007/978-3-540-48113-3_5. ISBN 978-3-540-48113-3.
9. Rosenberg (1994). Das, Hari (ed.). "Las superposiciones hápticas virtuales mejoran el rendimiento en tareas de telepresencia". Tecnologías de Telemanipulador y Telepresencia . 2351 : 99-108. doi :10.1117/12.197302. S2CID  110971407.
10. Makhataeva, Zhanat; Varol, Huseyin Atakan (2020). "Realidad aumentada para robótica: una revisión". Robótica . 9 (2): 21. doi : 10.3390/robotics9020021 . ISSN  2218-6581.
11. Leonard, Simón (2015). "Registro de aparatos virtuales planos mediante realidad aumentada con texturas dinámicas". Conferencia Internacional IEEE 2015 sobre Robótica y Automatización (ICRA) . Seattle, WA, EE.UU.: IEEE. págs. 4418–4423. doi :10.1109/ICRA.2015.7139810. ISBN 978-1-4799-6923-4. S2CID  16744811.
12. Xia, Tian; Leonardo, Simón; Deguet, Antón; Whitcomb, Luis; Kazanzides, Peter (2012). "Entorno de realidad aumentada con dispositivos virtuales para telemanipulación robótica en el espacio". Conferencia internacional IEEE/RSJ 2012 sobre robots y sistemas inteligentes. págs. 5059–5064. doi :10.1109/IROS.2012.6386169. ISBN 978-1-4673-1736-8. S2CID  2708501.
13. Rosenberg, Louis B. (1993). Kim, Won S. (ed.). "Los dispositivos virtuales como herramientas para mejorar el desempeño del operador en entornos de telepresencia". Tecnología de telemanipuladores y telerobótica espacial . 2057 : 10–21. Código Bib : 1993SPIE.2057...10R. doi :10.1117/12.164901. S2CID  111277519.
14. Rosenberg, LB (1992). "El uso de accesorios virtuales como superposiciones perceptivas para mejorar el rendimiento del operador" Universidad de Stanford, Stanford CA, Centro de Investigación de Diseño (CDR)
15. Yamamoto, Tomonori; Abolhassani, Niki; Jung, Sung; Okamura, Allison M .; Judkins, Timothy N. (8 de noviembre de 2011). "Realidad aumentada e interfaces hápticas para cirugía asistida por robot". La Revista Internacional de Robótica Médica y Cirugía Asistida por Computadora . 8 (1): 45–56. doi :10.1002/rcs.421. ISSN  1478-5951. PMID  22069247. S2CID  1603125.
16. Abbott, JJ; Okamura, AM (2003). "Arquitecturas de dispositivos virtuales para telemanipulación". 2003 Conferencia internacional IEEE sobre robótica y automatización (n.º de catálogo 03CH37422) . vol. 2. Taipei, Taiwán: IEEE. págs. 2798–2805. doi :10.1109/ROBOT.2003.1242016. ISBN 978-0-7803-7736-3. S2CID  8678829.
17. Marayong, Panadda; Hager, Gregorio D.; Okamura, Allison M. (2008). "Métodos de control para la orientación de dispositivos virtuales en interfaces hombre-máquina compatibles". Conferencia internacional IEEE/RSJ 2008 sobre robots y sistemas inteligentes . págs. 1166-1172. doi :10.1109/IROS.2008.4650838. ISBN 978-1-4244-2057-5. S2CID  6828466.
18. Marayong, P.; Hager, GD; Okamura, AM (2006). "Efecto de la dinámica manual en dispositivos virtuales para interfaces hombre-máquina compatibles". 2006 14º Simposio sobre Interfaces Hápticas para Entorno Virtual y Sistemas de Teleoperador . Alejandría, VA, EE.UU.: IEEE. págs. 109-115. doi :10.1109/HAPTIC.2006.1627075. ISBN 978-1-4244-0226-7.
19. Marayong, P.; Okamura, AM ; Hager, GD (2003). "Restricciones de movimiento espacial: teoría y demostraciones para la guía de robots mediante dispositivos virtuales". 2003 Conferencia internacional IEEE sobre robótica y automatización (n.º de catálogo 03CH37422) . IEEE. págs. 1270-1275. doi :10.1109/robot.2003.1241880. ISBN 0-7803-7736-2.