La realidad mixta ( MR ) es un término utilizado para describir la fusión de un entorno del mundo real y uno generado por computadora. Los objetos físicos y virtuales pueden coexistir en entornos de realidad mixta e interactuar en tiempo real.
La realidad mixta que incorpora hápticos a veces se denomina realidad mixta viso-háptica. [1] [2]
En el contexto de la física, el término "sistema de interrealidad" se refiere a un sistema de realidad virtual junto con su contraparte del mundo real. [3] Un artículo de 2007 describe un sistema de interrealidad que comprende un péndulo físico real acoplado a un péndulo que sólo existe en la realidad virtual. [4] Este sistema tiene dos estados estables de movimiento: un estado de "realidad dual" en el que el movimiento de los dos péndulos no está correlacionado, y un estado de "realidad mixta" en el que el péndulo exhibe un movimiento estable de fase bloqueada, que es altamente correlacionado. El uso de los términos "realidad mixta" e "interrealidad" está claramente definido en el contexto de la física y puede ser ligeramente diferente en otros campos; sin embargo, generalmente se considera como "unir el mundo físico y el virtual". [5]
La realidad mixta se ha utilizado en aplicaciones en todos los campos, incluido el diseño, la educación, el entretenimiento, el entrenamiento militar, la atención médica, la gestión de contenido de productos y la operación de robots con intervención humana.
El aprendizaje basado en simulación incluye capacitación basada en realidad virtual y realidad aumentada y aprendizaje experiencial interactivo. Existen muchos casos de uso potenciales para la realidad mixta tanto en entornos educativos como en entornos de formación profesional. En educación, la RA se ha utilizado para simular batallas históricas, proporcionando una experiencia de inmersión incomparable para los estudiantes y experiencias de aprendizaje potencialmente mejoradas. [6] Además, la RA ha demostrado eficacia en la educación universitaria para estudiantes de ciencias de la salud y medicina dentro de disciplinas que se benefician de representaciones 3D de modelos, como fisiología y anatomía. [7] [8]
Desde programas de televisión hasta consolas de juegos, la realidad mixta tiene muchas aplicaciones en el campo del entretenimiento.
El programa de juegos británico de 2004, Bamzooki, pidió a los niños concursantes que crearan "Zooks" virtuales y los vieran competir en una variedad de desafíos. [9] El programa utilizó realidad mixta para darle vida a los Zooks. El programa de televisión duró cuatro temporadas y finalizó en 2010. [9]
El programa de juegos de 2003 FightBox también pidió a los concursantes que crearan personajes competitivos y utilizó la realidad mixta para permitirles interactuar. [10] A diferencia de los desafíos generalmente no violentos de Bamzoomi, el objetivo de FightBox era que los nuevos concursantes crearan al luchador más fuerte para ganar la competencia. [10]
En 2009, investigadores presentaron en el Simposio Internacional de Realidad Mixta y Aumentada ( ISMAR ) su producto social denominado "BlogWall", que consistía en una pantalla proyectada en una pared. [11] Los usuarios pueden publicar breves clips de texto o imágenes en la pared y jugar juegos sencillos como Pong . [11] BlogWall también presentaba un modo de poesía en el que reorganizaba los mensajes que recibía para formar un poema y un modo de encuesta en el que los usuarios podían pedir a otros que respondieran sus encuestas. [11]
Mario Kart Live: Home Circuit es un juego de carreras de realidad mixta para Nintendo Switch que se lanzó en octubre de 2020. [16a-Nuevo] El juego permite a los jugadores usar su casa como pista de carreras [12] Durante la primera semana de lanzamiento, Se vendieron 73.918 copias en Japón, lo que lo convierte en el juego más vendido de la semana en el país. [13]
Otras investigaciones han examinado el potencial de la realidad mixta para aplicarse al teatro, el cine y los parques temáticos. [14]
El primer sistema de realidad mixta totalmente inmersivo fue la plataforma Virtual Fixturas , que fue desarrollada en 1992 por Louis Rosenberg en los Laboratorios Armstrong de la Fuerza Aérea de los Estados Unidos . [15] Permitió a los usuarios humanos controlar robots en entornos del mundo real que incluían objetos físicos reales y superposiciones virtuales 3D ("accesorios") que se agregaron para mejorar el desempeño humano de las tareas de manipulación. Los estudios publicados demostraron que al introducir objetos virtuales en el mundo real, los operadores humanos podrían lograr aumentos significativos del rendimiento. [15] [16] [17]
La realidad del combate se puede simular y representar utilizando datos complejos en capas y ayudas visuales, la mayoría de las cuales son pantallas montadas en la cabeza (HMD), que abarcan cualquier tecnología de visualización que se pueda usar en la cabeza del usuario. [18] Las soluciones de entrenamiento militar a menudo se basan en tecnologías comerciales listas para usar (COTS), como la plataforma de entorno sintético de Improbable , Virtual Battlespace 3 y VirTra, siendo las dos últimas plataformas utilizadas por el ejército de los Estados Unidos . A partir de 2018 [actualizar], VirTra está siendo utilizado por las fuerzas del orden civiles y militares para capacitar al personal en una variedad de escenarios, incluidos tiradores activos, violencia doméstica y detenciones de tráfico militares. [19] [20] Las tecnologías de realidad mixta han sido utilizadas por el Laboratorio de Investigación del Ejército de los Estados Unidos para estudiar cómo este estrés afecta la toma de decisiones . Con realidad mixta, los investigadores pueden estudiar con seguridad al personal militar en escenarios donde los soldados probablemente no sobrevivirían. [21]
En 2017, el ejército de EE. UU. estaba desarrollando el entorno de entrenamiento sintético (STE), una colección de tecnologías con fines de entrenamiento que se esperaba que incluyera realidad mixta. En 2018 [actualizar], STE todavía estaba en desarrollo sin una fecha de finalización prevista. Algunos objetivos registrados de STE incluyeron mejorar el realismo y aumentar las capacidades de entrenamiento de simulación y la disponibilidad de STE para otros sistemas. [22]
Se afirmó que los entornos de realidad mixta como STE podrían reducir los costos de entrenamiento, [23] [24], como reducir la cantidad de municiones gastadas durante el entrenamiento. [25] En 2018, se informó que STE incluiría representación de cualquier parte del terreno del mundo con fines de entrenamiento. [26] STE ofrecería una variedad de oportunidades de entrenamiento para brigadas y equipos de combate, incluidos Stryker , armería y equipos de infantería. [27]
Un espacio combinado es un espacio en el que un entorno físico y un entorno virtual se integran deliberadamente de forma muy unida. El objetivo del diseño de espacios combinados es brindar a las personas la experiencia de sentir una sensación de presencia en el espacio combinado, actuando directamente sobre el contenido del espacio combinado. [28] [29] Ejemplos de espacios combinados incluyen dispositivos de realidad aumentada como Microsoft HoloLens y juegos como Pokémon Go, además de muchas aplicaciones de turismo para teléfonos inteligentes, salas de reuniones inteligentes y aplicaciones como sistemas de seguimiento de autobuses.
La idea de blending proviene de las ideas de integración conceptual, o blending conceptual introducidas por Gilles Fauconnier y Mark Turner .
Manuel Imaz y David Benyon introdujeron la teoría de la combinación para analizar conceptos de ingeniería de software y la interacción persona-computadora. [30]
La implementación más simple de un espacio combinado requiere dos características. La primera característica requerida es la entrada. La entrada puede variar desde táctil hasta cambios en el entorno. La siguiente característica requerida son las notificaciones recibidas de los espacios digitales. Las correspondencias entre el espacio físico y digital deben ser abstraídas y explotadas por el diseño del espacio combinado. La integración perfecta de ambos espacios es rara. Los espacios combinados necesitan puntos de anclaje o tecnologías para vincular los espacios. [29]
Un espacio combinado bien diseñado anuncia y transmite el contenido digital de una manera sutil y discreta. La presencia se puede medir utilizando medidas fisiológicas, conductuales y subjetivas derivadas del espacio. [30]
Hay dos componentes principales en cualquier espacio. Ellos son:
Para estar presente en un espacio mixto, debe haber un espacio físico y un espacio digital. En el contexto del espacio combinado, cuanto mayor sea la comunicación entre los espacios físicos y digitales, más rica será la experiencia. [28] Esta comunicación se produce a través de corresponsales que transmiten el estado y la naturaleza de los objetos.
Con el fin de observar espacios combinados, la naturaleza y las características de cualquier espacio pueden representarse mediante estos factores:# Ontología: diferentes tipos de objetos presentes en el espacio, el número total de objetos y las relaciones entre los objetos y el espacio.
Espacio físico : los espacios físicos son espacios que permiten la interacción espacial. [31] Este tipo de interacción espacial tiene un gran impacto en el modelo cognitivo del usuario. [32]
Espacio digital – El espacio digital (también llamado espacio de información) consta de todo el contenido de la información. Este contenido puede tener cualquier forma. [33]
La realidad mixta permite que una fuerza laboral global de equipos remotos trabaje en conjunto y aborde los desafíos comerciales de una organización. No importa dónde se encuentre físicamente, un empleado puede usar auriculares y audífonos con cancelación de ruido y ingresar a un entorno virtual colaborativo e inmersivo. Como estas aplicaciones pueden traducir con precisión en tiempo real, las barreras del idioma se vuelven irrelevantes. Este proceso también aumenta la flexibilidad. Si bien muchos empleadores todavía utilizan modelos inflexibles de horarios y lugares de trabajo fijos, hay evidencia de que los empleados son más productivos si tienen mayor autonomía sobre dónde, cuándo y cómo trabajan. Algunos empleados prefieren ambientes de trabajo ruidosos, mientras que otros necesitan silencio. Algunos funcionan mejor por la mañana; otros funcionan mejor por la noche. Los empleados también se benefician de la autonomía en su forma de trabajar debido a las diferentes formas de procesar la información. El modelo clásico de estilos de aprendizaje diferencia entre estudiantes visuales, auditivos y cinestésicos . [34]
El mantenimiento de la máquina también se puede ejecutar con la ayuda de realidad mixta. Las empresas más grandes con múltiples ubicaciones de fabricación y mucha maquinaria pueden utilizar la realidad mixta para educar e instruir a sus empleados. Las máquinas necesitan revisiones periódicas y ajustes de vez en cuando. Estos ajustes los realizan principalmente humanos, por lo que los empleados deben estar informados sobre los ajustes necesarios. Al utilizar la realidad mixta, los empleados de múltiples ubicaciones pueden usar auriculares y recibir instrucciones en vivo sobre los cambios. Los instructores pueden operar la representación que ve cada empleado y pueden deslizarse por el área de producción, acercándose a los detalles técnicos y explicando cada cambio necesario. Se ha demostrado que los empleados que completan una sesión de capacitación de cinco minutos con un programa de realidad mixta de este tipo obtienen los mismos resultados de aprendizaje que leyendo un manual de capacitación de 50 páginas. [35] Una extensión de este entorno es la incorporación de datos en vivo de la maquinaria operativa en el espacio virtual colaborativo y luego asociados con modelos virtuales tridimensionales del equipo. Esto permite la capacitación y ejecución de procesos de trabajo de mantenimiento, operativos y de seguridad, que de otro modo serían difíciles en un entorno real, al mismo tiempo que se utiliza la experiencia, sin importar su ubicación física. [36]
La realidad mixta se puede utilizar para crear maquetas que combinen elementos físicos y digitales. Con el uso de localización y mapeo simultáneos (SLAM), las maquetas pueden interactuar con el mundo físico para obtener control de experiencias sensoriales más realistas [37] como la permanencia de objetos , que normalmente sería inviable o extremadamente difícil de rastrear y analizar sin el uso de Asistentes tanto digitales como físicos. [38] [39]
Se pueden incorporar gafas inteligentes al quirófano para ayudar en los procedimientos quirúrgicos; posiblemente mostrando los datos del paciente de manera conveniente mientras se superponen guías visuales precisas para el cirujano. [40] [41] Se ha teorizado que los cascos de realidad mixta como Microsoft HoloLens permiten compartir información de manera eficiente entre médicos, además de proporcionar una plataforma para una capacitación mejorada. [42] [41] Esto puede, en algunas situaciones (es decir, pacientes infectados con una enfermedad contagiosa), mejorar la seguridad del médico y reducir el uso de EPP . [43] Si bien la realidad mixta tiene un gran potencial para mejorar la atención médica, también tiene algunos inconvenientes. [41] Es posible que la tecnología nunca se integre completamente en escenarios en los que un paciente está presente, ya que existen preocupaciones éticas en torno a que el médico no pueda ver al paciente. [41] [39] La realidad mixta también es útil para la educación sanitaria. Por ejemplo, según un informe de 2022 del Foro Económico Mundial, el 85 % de los estudiantes de medicina de primer año de la Universidad Case Western Reserve informaron que la realidad mixta para enseñar anatomía era "equivalente" o "mejor" que la clase presencial. [44]
La gestión del contenido del producto antes de la llegada de la realidad mixta consistía en gran medida en folletos y poca interacción entre el cliente y el producto fuera de este ámbito bidimensional. [45] Con las mejoras en la tecnología de realidad mixta, han surgido nuevas formas de gestión de contenido de productos interactivos. En particular, las representaciones digitales tridimensionales de productos normalmente bidimensionales han aumentado la accesibilidad y la eficacia de la interacción entre el consumidor y el producto. [46]
Los avances recientes en tecnologías de realidad mixta han renovado el interés en modos alternativos de comunicación para la interacción entre humanos y robots. [47] Los operadores humanos que usan gafas de realidad mixta como HoloLens pueden interactuar (controlar y monitorear), por ejemplo, robots y máquinas elevadoras [48] en el sitio en una configuración de fábrica digital. Este caso de uso generalmente requiere comunicación de datos en tiempo real entre una interfaz de realidad mixta con la máquina/proceso/sistema, lo que podría habilitarse incorporando tecnología de gemelo digital. [48]
La realidad mixta permite a los vendedores mostrar a los clientes cómo un determinado producto se adaptará a sus demandas. Un vendedor puede demostrar cómo encajará un determinado producto en los hogares del comprador. El comprador, con la ayuda de la realidad virtual, puede recoger virtualmente el artículo, girarlo y colocarlo en los puntos deseados. Esto mejora la confianza del comprador al realizar una compra y reduce el número de devoluciones. [49]
Las empresas de arquitectura pueden permitir a los clientes visitar virtualmente las casas que desean.
Si bien la realidad mixta se refiere al entrelazamiento del mundo virtual y el mundo físico en un alto nivel, existe una variedad de medios digitales que se utilizan para lograr un entorno de realidad mixta. Pueden variar desde dispositivos portátiles hasta salas enteras, y cada uno tiene usos prácticos en diferentes disciplinas. [50] [51]
El entorno virtual automático de cueva (CAVE) es un entorno, normalmente una pequeña habitación ubicada en una habitación exterior más grande, en la que un usuario está rodeado de pantallas proyectadas a su alrededor, encima y debajo de él. [50] Las gafas 3D y el sonido envolvente complementan las proyecciones para proporcionar al usuario una sensación de perspectiva que pretende simular el mundo físico. [50] Desde su desarrollo, los sistemas CAVE han sido adoptados por ingenieros que desarrollan y prueban productos prototipo. [52] Permiten a los diseñadores de productos probar sus prototipos antes de gastar recursos para producir un prototipo físico, al tiempo que abren las puertas a pruebas "prácticas" en objetos no tangibles, como entornos microscópicos o plantas enteras de fábrica. [52] Después de desarrollar el CAVE, los mismos investigadores finalmente lanzaron el CAVE2, que se basa en las deficiencias del CAVE original. [53] Las proyecciones originales fueron sustituidas por paneles LCD 3D de 37 megapíxeles, los cables de red integran el CAVE2 con Internet y un sistema de cámara más preciso permite que el entorno cambie a medida que el usuario se mueve por él. [53]
Head-up display (HUD) es una pantalla que proyecta imágenes directamente frente al espectador sin ofuscar demasiado su entorno. Un HUD estándar se compone de tres elementos: un proyector, que se encarga de superponer los gráficos del HUD, el combinador, que es la superficie sobre la que se proyectan los gráficos, y la computadora, que integra los otros dos componentes y calcula cualquier valor real. -cálculos o ajustes de tiempo. [54] Los prototipos de HUD se utilizaron por primera vez en aplicaciones militares para ayudar a los pilotos de combate en combate, pero eventualmente evolucionaron para ayudar en todos los aspectos del vuelo, no solo en el combate. [55] Los HUD también se estandarizaron en la aviación comercial y finalmente se introdujeron en la industria automotriz. Una de las primeras aplicaciones de HUD en el transporte automotor llegó con el sistema Heads-up de Pioneer, que reemplaza el parasol del lado del conductor con una pantalla que proyecta instrucciones de navegación en la carretera frente al conductor. [56] Desde entonces, los principales fabricantes como General Motors, Toyota, Audi y BMW han incluido algún tipo de head-up display en ciertos modelos.
Una pantalla montada en la cabeza (HMD), que se coloca sobre toda la cabeza o se coloca delante de los ojos, es un dispositivo que utiliza una o dos ópticas para proyectar una imagen directamente delante de los ojos del usuario. Sus aplicaciones abarcan la medicina, el entretenimiento, la aviación y la ingeniería, proporcionando una capa de inmersión visual que las pantallas tradicionales no pueden lograr. [57] Las pantallas montadas en la cabeza son más populares entre los consumidores del mercado del entretenimiento, y las principales empresas de tecnología desarrollan HMD para complementar sus productos existentes. [58] [59] Sin embargo, estas pantallas montadas en la cabeza son pantallas de realidad virtual y no integran el mundo físico. Sin embargo, los populares HMD de realidad aumentada son más favorables en entornos empresariales. HoloLens de Microsoft es un HMD de realidad aumentada que tiene aplicaciones en medicina, brindando a los médicos una visión más profunda en tiempo real, así como en ingeniería, superponiendo información importante sobre el mundo físico. [60] Otro HMD de realidad aumentada notable ha sido desarrollado por Magic Leap, una startup que desarrolla un producto similar con aplicaciones tanto en el sector privado como en el mercado de consumo. [61]
Los dispositivos móviles, incluidos los teléfonos inteligentes y las tabletas, han seguido aumentando en potencia informática y portabilidad. Muchos dispositivos móviles modernos vienen equipados con kits de herramientas para desarrollar aplicaciones de realidad aumentada. [51] Estas aplicaciones permiten a los desarrolladores superponer gráficos de computadora sobre videos del mundo físico. El primer juego móvil de realidad aumentada con gran éxito fue Pokémon GO, que se lanzó en 2016 y acumuló 800 millones de descargas. [62] Si bien las aplicaciones de entretenimiento que utilizan AR han demostrado ser exitosas, las aplicaciones de productividad y utilidad también han comenzado a integrar funciones de AR. Google ha lanzado actualizaciones para su aplicación Google Maps que incluye direcciones de navegación AR superpuestas en las calles frente al usuario, además de expandir su aplicación de traducción para superponer texto traducido en escritura física en más de 20 idiomas extranjeros. [63] Los dispositivos móviles son tecnologías de visualización únicas debido al hecho de que están comúnmente equipados en todo momento.
Medios relacionados con la realidad mixta en Wikimedia Commons