La realidad mixta ( MR ) es un término que se utiliza para describir la fusión de un entorno del mundo real y uno generado por computadora. Los objetos físicos y virtuales pueden coexistir en entornos de realidad mixta e interactuar en tiempo real.
A la realidad mixta que incorpora háptica a veces se la ha denominado realidad mixta viso-háptica. [1] [2]
En un contexto de física, el término "sistema de interrealidad" se refiere a un sistema de realidad virtual acoplado a su contraparte del mundo real. [3] Un artículo de 2007 describe un sistema de interrealidad que comprende un péndulo físico real acoplado a un péndulo que solo existe en la realidad virtual. [4] Este sistema tiene dos estados estables de movimiento: un estado de "realidad dual" en el que el movimiento de los dos péndulos no está correlacionado, y un estado de "realidad mixta" en el que los péndulos exhiben un movimiento estable de sincronización de fase, que está altamente correlacionado. El uso de los términos "realidad mixta" e "interrealidad" está claramente definido en el contexto de la física y puede ser ligeramente diferente en otros campos, sin embargo, generalmente se lo considera como "un puente entre el mundo físico y el virtual". [5]
La realidad mixta se ha utilizado en aplicaciones que abarcan diversos campos, incluidos el diseño, la educación, el entretenimiento, el entrenamiento militar, la atención médica, la gestión de contenido de productos y la operación de robots con participación humana.
El aprendizaje basado en simulación incluye la formación basada en realidad virtual y realidad aumentada y el aprendizaje interactivo y experiencial. Existen muchos casos de uso potenciales para la realidad mixta tanto en entornos educativos como de formación profesional. En educación, la realidad aumentada se ha utilizado para simular batallas históricas, lo que proporciona una experiencia de inmersión incomparable para los estudiantes y experiencias de aprendizaje potencialmente mejoradas. [6] Además, la realidad aumentada ha demostrado su eficacia en la educación universitaria para estudiantes de ciencias de la salud y medicina en disciplinas que se benefician de las representaciones 3D de modelos, como la fisiología y la anatomía. [7] [8]
Desde programas de televisión hasta consolas de juegos, la realidad mixta tiene muchas aplicaciones en el campo del entretenimiento.
El concurso británico de 2004 Bamzooki convocó a los niños participantes a crear "Zooks" virtuales y verlos competir en una variedad de desafíos. [9] El programa utilizó realidad mixta para dar vida a los Zooks. El programa de televisión duró cuatro temporadas y finalizó en 2010. [9]
El programa de juegos de 2003 FightBox también pidió a los concursantes que crearan personajes competitivos y utilizó realidad mixta para permitirles interactuar. [10] A diferencia de los desafíos generalmente no violentos de Bamzoomi , el objetivo de FightBox era que los nuevos concursantes crearan al luchador más fuerte para ganar la competencia. [10]
En 2009, los investigadores presentaron en el Simposio Internacional de Realidad Mixta y Aumentada ( ISMAR ) su producto social llamado "BlogWall", que consistía en una pantalla proyectada en una pared. [11] Los usuarios podían publicar clips de texto cortos o imágenes en la pared y jugar juegos simples como Pong . [11] El BlogWall también presentaba un modo de poesía donde reorganizaba los mensajes que recibía para formar un poema y un modo de encuesta donde los usuarios podían pedir a otros que respondieran a sus encuestas. [11]
Mario Kart Live: Home Circuit es un juego de carreras de realidad mixta para Nintendo Switch que se lanzó en octubre de 2020.[16a-Nuevo] El juego permite a los jugadores usar su casa como pista de carreras. [ 12] Durante la primera semana de lanzamiento, se vendieron 73,918 copias en Japón, lo que lo convirtió en el juego más vendido de la semana en el país. [13]
Otras investigaciones han examinado el potencial de la realidad mixta para aplicarse al teatro, al cine y a los parques temáticos. [14]
El primer sistema de realidad mixta totalmente inmersivo fue la plataforma Virtual Accessorys , que fue desarrollada en 1992 por Louis Rosenberg en los Laboratorios Armstrong de la Fuerza Aérea de los Estados Unidos . [15] Permitió a los usuarios humanos controlar robots en entornos del mundo real que incluían objetos físicos reales y superposiciones virtuales 3D ("accesorios") que se añadían para mejorar el rendimiento humano en las tareas de manipulación. Los estudios publicados mostraron que al introducir objetos virtuales en el mundo real, los operadores humanos podían lograr aumentos significativos en el rendimiento. [15] [16] [17]
La realidad de combate se puede simular y representar utilizando datos complejos en capas y ayudas visuales, la mayoría de las cuales son pantallas montadas en la cabeza (HMD), que abarcan cualquier tecnología de pantalla que se pueda usar en la cabeza del usuario. [18] Las soluciones de entrenamiento militar a menudo se basan en tecnologías comerciales listas para usar (COTS), como la plataforma de entorno sintético de Improbable , Virtual Battlespace 3 y VirTra, siendo las dos últimas plataformas utilizadas por el Ejército de los Estados Unidos . A partir de 2018 [actualizar], VirTra está siendo utilizado tanto por las fuerzas del orden civiles como militares para entrenar al personal en una variedad de escenarios, incluidos tiradores activos, violencia doméstica y paradas de tráfico militares. [19] [20] El Laboratorio de Investigación del Ejército de los Estados Unidos ha utilizado tecnologías de realidad mixta para estudiar cómo este estrés afecta la toma de decisiones . Con la realidad mixta, los investigadores pueden estudiar de forma segura al personal militar en escenarios en los que los soldados probablemente no sobrevivirían. [21]
En 2017, el ejército de los EE. UU. estaba desarrollando el entorno de entrenamiento sintético (STE), una colección de tecnologías para fines de entrenamiento que se esperaba que incluyera realidad mixta. En 2018 [actualizar], STE todavía estaba en desarrollo sin una fecha de finalización proyectada. Algunos objetivos registrados de STE incluían mejorar el realismo y aumentar las capacidades de entrenamiento de simulación y la disponibilidad de STE para otros sistemas. [22]
Se afirmó que los entornos de realidad mixta como STE podrían reducir los costos de entrenamiento, [23] [24] como reducir la cantidad de munición gastada durante el entrenamiento. [25] En 2018, se informó que STE incluiría la representación de cualquier parte del terreno del mundo para fines de entrenamiento. [26] STE ofrecería una variedad de oportunidades de entrenamiento para equipos de escuadrón, brigada y combate, incluidos equipos Stryker , de armería e infantería. [27]
Un espacio combinado es un espacio en el que un entorno físico y un entorno virtual se integran deliberadamente de forma muy unida. El objetivo del diseño de espacios combinados es proporcionar a las personas la experiencia de sentir una sensación de presencia en el espacio combinado, actuando directamente sobre el contenido del espacio combinado. [28] [29] Entre los ejemplos de espacios combinados se incluyen dispositivos de realidad aumentada como Microsoft HoloLens y juegos como Pokémon Go , además de muchas aplicaciones de turismo para teléfonos inteligentes, salas de reuniones inteligentes y aplicaciones como sistemas de seguimiento de autobuses.
La idea de mezcla proviene de las ideas de integración conceptual, o mezcla conceptual, introducidas por Gilles Fauconnier y Mark Turner .
Manuel Imaz y David Benyon introdujeron la teoría de la combinación para analizar conceptos en ingeniería de software y la interacción hombre-computadora. [30]
La implementación más simple de un espacio combinado requiere dos características. La primera característica requerida es la entrada, que puede ser táctil o de cambios en el entorno. La siguiente característica requerida son las notificaciones recibidas de los espacios digitales. Las correspondencias entre el espacio físico y el digital deben abstraerse y explotarse mediante el diseño del espacio combinado. La integración perfecta de ambos espacios es poco común. Los espacios combinados necesitan puntos de anclaje o tecnologías para vincularlos. [29]
Un espacio combinado bien diseñado publicita y transmite el contenido digital de una manera sutil y discreta. La presencia se puede medir mediante medidas fisiológicas, conductuales y subjetivas derivadas del espacio. [30]
Hay dos componentes principales en cualquier espacio:
Para que haya presencia en un espacio combinado, debe haber un espacio físico y un espacio digital. En el contexto del espacio combinado, cuanto mayor sea la comunicación entre los espacios físicos y digitales, más rica será la experiencia. [28] Esta comunicación se produce a través de corresponsales que transmiten el estado y la naturaleza de los objetos.
A los efectos de analizar los espacios combinados, la naturaleza y las características de cualquier espacio se pueden representar mediante estos factores: # Ontología: diferentes tipos de objetos presentes en el espacio; el número total de objetos y las relaciones entre los objetos y el espacio.
Espacio físico : los espacios físicos son espacios que permiten la interacción espacial. [31] Este tipo de interacción espacial tiene un gran impacto en el modelo cognitivo del usuario. [32]
Espacio digital : el espacio digital (también llamado espacio de información) consta de todo el contenido de información. Este contenido puede tener cualquier forma. [33]
La realidad mixta permite que una fuerza laboral global de equipos remotos trabaje en conjunto y aborde los desafíos comerciales de una organización. Sin importar dónde se encuentre físicamente, un empleado puede usar un auricular y auriculares con cancelación de ruido e ingresar a un entorno virtual colaborativo e inmersivo. Como estas aplicaciones pueden traducir con precisión en tiempo real, las barreras del idioma se vuelven irrelevantes. Este proceso también aumenta la flexibilidad. Si bien muchos empleadores aún utilizan modelos inflexibles de horario y ubicación de trabajo fijos, existe evidencia de que los empleados son más productivos si tienen mayor autonomía sobre dónde, cuándo y cómo trabajan. Algunos empleados prefieren entornos de trabajo ruidosos, mientras que otros necesitan silencio. Algunos trabajan mejor por la mañana; otros trabajan mejor por la noche. Los empleados también se benefician de la autonomía en la forma en que trabajan debido a las diferentes formas de procesar la información. El modelo clásico de estilos de aprendizaje diferencia entre aprendices visuales, auditivos y kinestésicos . [34]
El mantenimiento de las máquinas también se puede realizar con la ayuda de la realidad mixta. Las empresas más grandes con múltiples ubicaciones de fabricación y una gran cantidad de maquinaria pueden utilizar la realidad mixta para educar e instruir a sus empleados. Las máquinas necesitan revisiones periódicas y deben ajustarse de vez en cuando. Estos ajustes los realizan principalmente humanos, por lo que los empleados deben estar informados sobre los ajustes necesarios. Al utilizar la realidad mixta, los empleados de varias ubicaciones pueden usar auriculares y recibir instrucciones en vivo sobre los cambios. Los instructores pueden operar la representación que ve cada empleado y pueden deslizarse por el área de producción, haciendo zoom en los detalles técnicos y explicando cada cambio necesario. Se ha demostrado que los empleados que completan una sesión de capacitación de cinco minutos con un programa de realidad mixta obtienen los mismos resultados de aprendizaje que leyendo un manual de capacitación de 50 páginas. [35] Una extensión de este entorno es la incorporación de datos en vivo de la maquinaria operativa en el espacio colaborativo virtual y luego se asocian con modelos virtuales tridimensionales del equipo. Esto permite la capacitación y la ejecución de procesos de trabajo de mantenimiento, operación y seguridad, que de otro modo serían difíciles en un entorno real, al mismo tiempo que se hace uso de la experiencia, sin importar su ubicación física. [36]
La realidad mixta se puede utilizar para construir maquetas que combinen elementos físicos y digitales. Con el uso de localización y mapeo simultáneos (SLAM), las maquetas pueden interactuar con el mundo físico para obtener el control de experiencias sensoriales más realistas [37] como la permanencia de los objetos , que normalmente sería inviable o extremadamente difícil de rastrear y analizar sin el uso de ayudas digitales y físicas. [38] [39]
Las gafas inteligentes se pueden incorporar al quirófano para ayudar en los procedimientos quirúrgicos; posiblemente mostrando los datos del paciente de manera conveniente mientras se superponen guías visuales precisas para el cirujano. [40] [41] Se ha teorizado que los auriculares de realidad mixta como Microsoft HoloLens permiten compartir información de manera eficiente entre médicos, además de proporcionar una plataforma para una mejor capacitación. [42] [41] Esto puede, en algunas situaciones (por ejemplo, paciente infectado con una enfermedad contagiosa), mejorar la seguridad del médico y reducir el uso de EPP . [43] Si bien la realidad mixta tiene mucho potencial para mejorar la atención médica, también tiene algunos inconvenientes. [41] Es posible que la tecnología nunca se integre por completo en escenarios en los que un paciente está presente, ya que existen preocupaciones éticas en torno a que el médico no pueda ver al paciente. [41] [39] La realidad mixta también es útil para la educación sanitaria. Por ejemplo, según un informe de 2022 del Foro Económico Mundial, el 85% de los estudiantes de medicina de primer año de la Universidad Case Western Reserve informaron que la realidad mixta para enseñar anatomía era "equivalente" o "mejor" que la clase presencial. [44]
Antes de la llegada de la realidad mixta, la gestión de contenidos de productos consistía principalmente en folletos y poco contacto entre el cliente y el producto fuera de este ámbito bidimensional. [45] Con las mejoras en la tecnología de realidad mixta, han surgido nuevas formas de gestión interactiva de contenidos de productos. En particular, las representaciones digitales tridimensionales de productos normalmente bidimensionales han aumentado la accesibilidad y la eficacia de la interacción entre el consumidor y el producto. [46]
Los recientes avances en tecnologías de realidad mixta han renovado el interés en modos alternativos de comunicación para la interacción entre humanos y robots. [47] Los operadores humanos que usan gafas de realidad mixta como HoloLens pueden interactuar con (controlar y monitorear) por ejemplo robots y máquinas elevadoras [48] en el sitio en una configuración de fábrica digital. Este caso de uso generalmente requiere comunicación de datos en tiempo real entre una interfaz de realidad mixta con la máquina/proceso/sistema, lo que podría habilitarse incorporando tecnología de gemelos digitales. [48]
La realidad mixta permite a los vendedores mostrar a los clientes cómo un determinado producto se adapta a sus necesidades. Un vendedor puede demostrar cómo un determinado producto encajará en los hogares del comprador. El comprador, con la ayuda de la realidad virtual, puede elegir virtualmente el artículo, girarlo y colocarlo en el punto deseado. Esto mejora la confianza del comprador a la hora de realizar una compra y reduce la cantidad de devoluciones. [49]
Los estudios de arquitectura pueden permitir a los clientes visitar virtualmente sus casas deseadas.
Si bien la realidad mixta se refiere a la interrelación del mundo virtual y el mundo físico a un alto nivel, existe una variedad de medios digitales que se utilizan para lograr un entorno de realidad mixta. Pueden ir desde dispositivos portátiles hasta salas enteras, cada uno con usos prácticos en diferentes disciplinas. [50] [51]
El entorno virtual automático de cueva (CAVE) es un entorno, típicamente una pequeña habitación ubicada en una habitación exterior más grande, en la que un usuario está rodeado de pantallas proyectadas a su alrededor, por encima y por debajo de él. [50] Las gafas 3D y el sonido envolvente complementan las proyecciones para proporcionar al usuario una sensación de perspectiva que pretende simular el mundo físico. [50] Desde su desarrollo, los ingenieros han adoptado los sistemas CAVE para desarrollar y probar productos prototipo. [52] Permiten a los diseñadores de productos probar sus prototipos antes de gastar recursos para producir un prototipo físico, al mismo tiempo que abren las puertas para pruebas "prácticas" en objetos no tangibles como entornos microscópicos o plantas de fábrica completas. [52] Después de desarrollar el CAVE, los mismos investigadores finalmente lanzaron el CAVE2, que se basa en las deficiencias del CAVE original. [53] Las proyecciones originales fueron sustituidas por paneles LCD 3D de 37 megapíxeles, los cables de red integran el CAVE2 con Internet y un sistema de cámara más preciso permite que el entorno cambie a medida que el usuario se mueve por él. [53]
El HUD (Head-up display) es una pantalla que proyecta imágenes directamente frente al espectador sin oscurecer demasiado su entorno. Un HUD estándar se compone de tres elementos: un proyector, que es responsable de superponer los gráficos del HUD, el combinador, que es la superficie sobre la que se proyectan los gráficos, y la computadora, que integra los otros dos componentes y calcula cualquier cálculo o ajuste en tiempo real. [54] Los prototipos de HUD se utilizaron primero en aplicaciones militares para ayudar a los pilotos de combate en combate, pero con el tiempo evolucionaron para ayudar en todos los aspectos del vuelo, no solo en el combate. [55] Luego, los HUD también se estandarizaron en la aviación comercial y finalmente se introdujeron en la industria automotriz. Una de las primeras aplicaciones de HUD en el transporte automotriz llegó con el sistema Heads-up de Pioneer, que reemplaza el parasol del lado del conductor con una pantalla que proyecta instrucciones de navegación en la carretera frente al conductor. [56] Los principales fabricantes como General Motors, Toyota, Audi y BMW desde entonces han incluido alguna forma de pantalla de visualización frontal en ciertos modelos.
Un visor montado en la cabeza (HMD), que se usa sobre toda la cabeza o delante de los ojos, es un dispositivo que utiliza una o dos ópticas para proyectar una imagen directamente delante de los ojos del usuario. Sus aplicaciones abarcan la medicina, el entretenimiento, la aviación y la ingeniería, proporcionando una capa de inmersión visual que las pantallas tradicionales no pueden lograr. [57] Los visores montados en la cabeza son los más populares entre los consumidores en el mercado del entretenimiento, y las principales empresas de tecnología desarrollan HMD para complementar sus productos existentes. [58] [59] Sin embargo, estos visores montados en la cabeza son pantallas de realidad virtual y no integran el mundo físico. Sin embargo, los populares HMD de realidad aumentada son más favorables en entornos empresariales. HoloLens de Microsoft es un HMD de realidad aumentada que tiene aplicaciones en medicina, brindando a los médicos una visión más profunda en tiempo real, así como en ingeniería, superponiendo información importante sobre el mundo físico. [60] Otro HMD de realidad aumentada notable ha sido desarrollado por Magic Leap, una empresa emergente que desarrolla un producto similar con aplicaciones tanto en el sector privado como en el mercado de consumo. [61]
Los dispositivos móviles, incluidos los teléfonos inteligentes y las tabletas, han seguido aumentando su potencia informática y portabilidad. Muchos dispositivos móviles modernos vienen equipados con kits de herramientas para desarrollar aplicaciones de realidad aumentada. [51] Estas aplicaciones permiten a los desarrolladores superponer gráficos de computadora sobre videos del mundo físico. El primer juego móvil de realidad aumentada con un éxito generalizado fue Pokémon GO, que se lanzó en 2016 y acumuló 800 millones de descargas. [62] Si bien las aplicaciones de entretenimiento que utilizan RA han demostrado ser exitosas, las aplicaciones de productividad y utilidad también han comenzado a integrar funciones de RA. Google ha lanzado actualizaciones para su aplicación Google Maps que incluye direcciones de navegación de RA superpuestas en las calles frente al usuario, así como también expandió su aplicación de traducción para superponer texto traducido en escritura física en más de 20 idiomas extranjeros. [63] Los dispositivos móviles son tecnologías de visualización únicas debido al hecho de que comúnmente están equipados en todo momento.
Medios relacionados con Realidad mixta en Wikimedia Commons