En informática , la interacción 3D es una forma de interacción entre humanos y máquinas en la que los usuarios pueden moverse y realizar interacciones en un espacio 3D . Tanto los humanos como las máquinas procesan información en la que la posición física de los elementos en el espacio 3D es relevante.
El espacio 3D utilizado para la interacción puede ser el espacio físico real , una representación del espacio virtual simulado en la computadora o una combinación de ambos. Cuando se utiliza el espacio físico real para la entrada de datos, el humano interactúa con la máquina realizando acciones utilizando un dispositivo de entrada que detecta la posición 3D de la interacción humana, entre otras cosas. Cuando se utiliza para la salida de datos, la escena virtual 3D simulada se proyecta sobre el entorno real a través de un dispositivo de salida .
Los principios de la interacción 3D se aplican en una variedad de dominios, como el turismo , el arte , los juegos , la simulación , la educación , la visualización de información o la visualización científica . [1]
La investigación en interacción 3D y visualización 3D comenzó en la década de 1960, con investigadores como Ivan Sutherland, Fred Brooks, Bob Sproull, Andrew Ortony y Richard Feldman como pioneros. Pero no fue hasta 1962 cuando Morton Heilig inventó el simulador Sensorama . [2] Proporcionaba retroalimentación de video 3D, así como movimiento, audio y retroalimentación para producir un entorno virtual. La siguiente etapa de desarrollo fue la finalización del trabajo pionero del Dr. Ivan Sutherland en 1968, la Espada de Damocles. [3] Creó un visor montado en la cabeza que producía un entorno virtual 3D al presentar una imagen fija izquierda y derecha de ese entorno.
La disponibilidad de tecnología, así como los costos poco prácticos, frenaron el desarrollo y la aplicación de entornos virtuales hasta la década de 1980. Las aplicaciones se limitaron a las empresas militares en los Estados Unidos. Desde entonces, la investigación y los avances tecnológicos posteriores han permitido abrir nuevas puertas a la aplicación en diversas áreas, como la educación, el entretenimiento y la fabricación.
En la interacción 3D, los usuarios llevan a cabo sus tareas y realizan funciones intercambiando información con sistemas informáticos en un espacio 3D. Es un tipo de interacción intuitiva porque los humanos interactúan en tres dimensiones en el mundo real. Las tareas que realizan los usuarios se han clasificado como selección y manipulación de objetos en el espacio virtual, navegación y control del sistema. Las tareas se pueden realizar en el espacio virtual a través de técnicas de interacción y utilizando dispositivos de interacción. Las técnicas de interacción 3D se clasificaron según el grupo de tareas que respalda. Las técnicas que respaldan las tareas de navegación se clasifican como técnicas de navegación . Las técnicas que respaldan la selección y manipulación de objetos se etiquetan como técnicas de selección y manipulación . Por último, las técnicas de control del sistema respaldan las tareas que tienen que ver con el control de la propia aplicación. Se debe realizar un mapeo consistente y eficiente entre las técnicas y los dispositivos de interacción para que el sistema sea utilizable y efectivo. Las interfaces asociadas con la interacción 3D se denominan interfaces 3D . Al igual que otros tipos de interfaces de usuario, implica una comunicación bidireccional entre los usuarios y el sistema, pero permite a los usuarios realizar acciones en el espacio 3D. Los dispositivos de entrada permiten a los usuarios dar instrucciones y comandos al sistema, mientras que los dispositivos de salida permiten a la máquina presentarles información.
Las interfaces 3D se han utilizado en aplicaciones que incluyen entornos virtuales y realidades aumentadas y mixtas . En los entornos virtuales, los usuarios pueden interactuar directamente con el entorno o utilizar herramientas con funcionalidades específicas para hacerlo. La interacción 3D se produce cuando se controlan herramientas físicas en un contexto espacial 3D para controlar una herramienta virtual correspondiente.
Los usuarios experimentan una sensación de presencia cuando se encuentran en un mundo virtual inmersivo . Permitirles interactuar con este mundo en 3D les permite hacer uso del conocimiento natural e intrínseco de cómo se produce el intercambio de información con objetos físicos en el mundo real. La textura, el sonido y el habla se pueden utilizar para aumentar la interacción en 3D. Actualmente, los usuarios aún tienen dificultades para interpretar las imágenes espaciales en 3D y comprender cómo se produce la interacción. Aunque es una forma natural para los humanos moverse en un mundo tridimensional, la dificultad existe porque muchas de las señales presentes en los entornos reales no están presentes en los entornos virtuales. La percepción y la oclusión son las principales señales perceptivas que utilizan los humanos. Además, aunque las escenas en el espacio virtual parecen tridimensionales, aún se muestran en una superficie 2D, por lo que seguirán existiendo algunas inconsistencias en la percepción de profundidad.
Las interfaces de usuario son los medios de comunicación entre los usuarios y los sistemas. Las interfaces 3D incluyen medios para la representación en 3D del estado del sistema y medios para la entrada o manipulación de datos por parte del usuario en 3D. El uso de representaciones en 3D no es suficiente para crear una interacción en 3D. Los usuarios también deben tener una forma de realizar acciones en 3D. Para ello, se han desarrollado dispositivos de entrada y salida especiales que admiten este tipo de interacción. Algunos, como el ratón 3D, se desarrollaron basándose en dispositivos existentes para la interacción en 2D.
Las interfaces de usuario 3D, son interfaces de usuario donde se lleva a cabo la interacción en 3D, esto significa que las tareas del usuario ocurren directamente dentro de un espacio tridimensional. El usuario debe comunicarse con comandos, solicitudes, preguntas, intenciones y objetivos al sistema, y este a su vez debe proporcionar retroalimentación, solicitudes de entrada, información sobre su estado, etc.
Tanto el usuario como el sistema no tienen el mismo tipo de lenguaje, por lo tanto para hacer posible el proceso de comunicación, las interfaces deben servir como intermediarios o traductores entre ellos.
La forma en que el usuario transforma las percepciones en acciones se llama función de transferencia humana, y la forma en que el sistema transforma las señales en información de visualización se llama función de transferencia del sistema. Las interfaces de usuario 3D son en realidad dispositivos físicos que comunican al usuario y al sistema con el mínimo retraso, en este caso hay dos tipos: Hardware de salida de interfaz de usuario 3D y Hardware de entrada de interfaz de usuario 3D.
Los dispositivos de salida, también llamados dispositivos de visualización, permiten que la máquina proporcione información o retroalimentación a uno o más usuarios a través del sistema perceptivo humano. La mayoría de ellos están enfocados a estimular los sentidos visual, auditivo o háptico. Sin embargo, en algunos casos inusuales también pueden estimular el sistema olfativo del usuario.
Este tipo de dispositivos son los más populares y su objetivo es presentar la información producida por el sistema a través del sistema visual humano de forma tridimensional. Las principales características que distinguen a estos dispositivos son: campo de mirada y campo de visión , resolución espacial , geometría de la pantalla, mecanismo de transferencia de luz, frecuencia de refresco y ergonomía .
Otra forma de caracterizar estos dispositivos es según las diferentes categorías de señales de percepción de profundidad que se utilizan para lograr que el usuario pueda comprender la información tridimensional. Los principales tipos de pantallas que se utilizan en las interfaces de usuario 3D son: monitores, pantallas envolventes, bancos de trabajo, pantallas hemisféricas, pantallas montadas en la cabeza, pantallas montadas en el brazo y pantallas autoestereoscópicas. Los cascos de realidad virtual y los CAVE ( Cave Automatic Virtual Environment ) son ejemplos de una pantalla visual totalmente inmersiva, donde el usuario puede ver solo el mundo virtual y no el mundo real. Las pantallas semiinmersivas permiten a los usuarios ver ambos. Los monitores y los bancos de trabajo son ejemplos de pantallas semiinmersivas.
Las pantallas de audio 3D son dispositivos que presentan información (en este caso sonido) a través del sistema auditivo humano, lo que resulta especialmente útil a la hora de proporcionar información de ubicación y espacial a los usuarios. Su objetivo es generar y mostrar un sonido 3D espacializado para que el usuario pueda utilizar sus habilidades psicoacústicas y determinar la ubicación y dirección del sonido. Existen diferentes señales de localización: señales binaurales, señales espectrales y dinámicas, funciones de transferencia relacionadas con la cabeza , reverberación , intensidad del sonido y familiaridad con la visión y el entorno. Añadir un componente de audio de fondo a una pantalla también aumenta la sensación de realismo.
Estos dispositivos utilizan el sentido del tacto para simular la interacción física entre el usuario y un objeto virtual. Existen tres tipos diferentes de pantallas hápticas 3D: las que proporcionan al usuario una sensación de fuerza, las que simulan el sentido del tacto y las que utilizan ambos. Las principales características que distinguen a estos dispositivos son: capacidad de presentación háptica, resolución y ergonomía . El sistema háptico humano tiene 2 tipos fundamentales de señales, táctiles y kinestésicas. Las señales táctiles son un tipo de señales táctiles humanas que tienen una amplia variedad de receptores cutáneos ubicados debajo de la superficie de la piel que brindan información sobre la textura, temperatura, presión y daño. Las señales kinestésicas son un tipo de señales táctiles humanas que tienen muchos receptores en los músculos, articulaciones y tendones que brindan información sobre el ángulo de las articulaciones y la tensión y longitud de los músculos.
Estos dispositivos de hardware se denominan dispositivos de entrada y su objetivo es capturar e interpretar las acciones realizadas por el usuario. Los grados de libertad (DOF) son una de las principales características de estos sistemas. Los componentes de interfaz clásicos (como el ratón y los teclados y, posiblemente, la pantalla táctil) a menudo son inadecuados para las necesidades de interacción no 2D. [1] Estos sistemas también se diferencian según la cantidad de interacción física que se necesita para usar el dispositivo, los puramente activos necesitan ser manipulados para producir información, los puramente pasivos no necesitan hacerlo. Las principales categorías de estos dispositivos son los dispositivos de entrada estándar (de escritorio), los dispositivos de seguimiento, los dispositivos de control, los equipos de navegación, las interfaces de gestos , los ratones 3D y las interfaces cerebro-computadora .
Este tipo de dispositivos están pensados para una interacción 3D sobre un escritorio, muchos de ellos tienen un diseño inicial pensado en una interacción tradicional en dos dimensiones, pero con un mapeo adecuado entre el sistema y el dispositivo, este puede funcionar perfectamente de forma tridimensional. Existen distintos tipos de ellos: teclados , ratones y trackballs 2D , tabletas basadas en lápiz y stylus, y joysticks . No obstante, muchos estudios han cuestionado la idoneidad de los componentes de interfaz de escritorio para la interacción 3D [1] [4] [5] aunque esto todavía es motivo de debate. [6] [7]
Los sistemas de interacción de usuario 3D se basan principalmente en tecnologías de seguimiento de movimiento , para obtener toda la información necesaria del usuario a través del análisis de sus movimientos o gestos , estas tecnologías se denominan, tecnologías de seguimiento.
Los rastreadores detectan o monitorean los movimientos de la cabeza, las manos o el cuerpo y envían esa información a la computadora. Luego, la computadora la traduce y garantiza que la posición y la orientación se reflejen con precisión en el mundo virtual. El seguimiento es importante para presentar el punto de vista correcto, coordinar la información espacial y sonora presentada a los usuarios, así como las tareas o funciones que podrían realizar. Los rastreadores 3D se han identificado como mecánicos, magnéticos, ultrasónicos, ópticos e inerciales híbridos. Los ejemplos de rastreadores incluyen rastreadores de movimiento , rastreadores oculares y guantes de datos. Un simple mouse 2D puede considerarse un dispositivo de navegación si permite al usuario moverse a una ubicación diferente en un espacio 3D virtual. Los dispositivos de navegación como la cinta de correr y la bicicleta utilizan las formas naturales en que los humanos se desplazan en el mundo real. Las cintas de correr simulan caminar o correr y las bicicletas o equipos similares simulan el desplazamiento en vehículos. En el caso de los dispositivos de navegación, la información que se transmite a la máquina es la ubicación y los movimientos del usuario en el espacio virtual. Los guantes y trajes con cables permiten que se produzca la interacción gestual. Estos envían información sobre la posición y el movimiento de la mano o el cuerpo a la computadora mediante sensores.
Para el desarrollo completo de un sistema de Interacción con el Usuario 3D, se requiere tener acceso a unos parámetros básicos, que todo sistema basado en esta tecnología debe conocer, o al menos parcialmente, como la posición relativa del usuario, la posición absoluta, la velocidad angular, datos de rotación, orientación o altura. La recolección de estos datos se logra mediante sistemas de seguimiento espacial y sensores en múltiples formas, así como el uso de diferentes técnicas para su obtención. El sistema ideal para este tipo de interacción es un sistema basado en el seguimiento de la posición, utilizando seis grados de libertad (6-DOF), estos sistemas se caracterizan por la capacidad de obtener la posición 3D absoluta del usuario, de esta manera se obtendrá información de todos los ángulos de campo tridimensionales posibles.
La implementación de estos sistemas se puede lograr mediante el uso de diversas tecnologías, como campos electromagnéticos, seguimiento óptico, o ultrasónico, pero todos comparten la principal limitación, que deben tener una referencia externa fija, ya sea una base, un arreglo de cámaras, o un conjunto de marcadores visibles, por lo que este solo sistema puede llevarse a cabo en áreas preparadas. Los sistemas de seguimiento inercial no requieren de referencia externa como los basados en el movimiento, se basan en la recolección de datos mediante acelerómetros , giroscopios , o cámaras de video, sin una referencia fija obligatoria, en la mayoría de los casos, el principal problema de este sistema, se basa en no obtener la posición absoluta, ya que no parte de ningún punto de referencia externo preestablecido por lo que siempre obtiene la posición relativa del usuario, aspecto que provoca errores acumulativos en el proceso de muestreo de datos. El objetivo a conseguir en un sistema de seguimiento 3D se basaría en obtener un sistema de 6-DOF capaz de conseguir posicionamiento absoluto y precisión de movimiento y orientación, con una precisión y un espacio sin cortes muy elevados, un buen ejemplo de situación aproximada sería un teléfono móvil, ya que dispone de todos los sensores de captura de movimiento y también seguimiento GPS de latitud, pero actualmente estos sistemas no son tan precisos para capturar datos con una precisión de centímetros y por tanto serían inválidos.
Sin embargo, existen diversos sistemas que se adaptan estrechamente a los objetivos que se persiguen, siendo el factor determinante para ellos que los sistemas sean autocontenidos, es decir, todo en uno y no requieran de una referencia previa fija, estos sistemas son los siguientes:
El dispositivo Wii Remote no ofrece una tecnología basada en 6-DOF ya que de nuevo, no puede proporcionar posición absoluta, al contrario, está equipado con multitud de sensores, que convierten un dispositivo 2D en una gran herramienta de interacción en entornos 3D.
Este dispositivo cuenta con giroscopios para detectar la rotación del usuario, acelerómetros ADXL3000, para obtener la velocidad y el movimiento de las manos, sensores ópticos para determinar la orientación y brújulas electrónicas y dispositivos infrarrojos para captar la posición.
Este tipo de dispositivos pueden verse afectados por referencias externas de bombillas infrarrojas o velas, provocando errores en la precisión de la posición.
.jpg/1280px-Google_ATAP's_Project_Tango_tablet_(15387052663).jpg)
La Plataforma Tango es una plataforma informática de realidad aumentada, desarrollada y creada por Advanced Technology and Projects (ATAP), una división de Google. Utiliza visión artificial y sensores internos (como giroscopios) para permitir que los dispositivos móviles, como teléfonos inteligentes y tabletas, detecten su posición relativa al mundo que los rodea sin usar GPS u otras señales externas. Por lo tanto, se puede utilizar para proporcionar una entrada de 6 grados de libertad que también se puede combinar con su pantalla multitáctil. [8] Los dispositivos Google Tango pueden considerarse soluciones más integradas que los primeros prototipos que combinan dispositivos con seguimiento espacial con pantallas táctiles para entornos 3D. [9] [10] [11]
El dispositivo Microsoft Kinect nos ofrece una tecnología de captura de movimiento diferente para el seguimiento.
En lugar de basar su funcionamiento en sensores, este se basa en un escáner de luz estructurada , ubicado en una barra, que permite el seguimiento de todo el cuerpo a través de la detección de unos 20 puntos espaciales, de los cuales se miden 3 grados de libertad diferentes para obtener posición, velocidad y rotación de cada punto.
Su principal ventaja es la facilidad de uso, y la no necesidad de un dispositivo externo conectado por parte del usuario, y su principal desventaja radica en la imposibilidad de detectar la orientación del usuario, limitando así ciertas funciones de espacio y guiado.
Leap Motion es un nuevo sistema de seguimiento de manos, diseñado para espacios pequeños, permitiendo una nueva interacción en entornos 3D para aplicaciones de escritorio, por lo que ofrece una gran fluidez a la hora de navegar por entornos tridimensionales de forma realista.
Es un pequeño dispositivo que se conecta vía USB a una computadora, y utiliza dos cámaras con luz LED infrarroja, permitiendo analizar un área hemisférica de aproximadamente 1 metro en su superficie, registrando así respuestas de 300 cuadros por segundo, información que es enviada a la computadora para ser procesada por el software específico de la empresa.
Las técnicas de interacción 3D son las distintas formas en que el usuario puede interactuar con el entorno virtual 3D para ejecutar distintos tipos de tareas. La calidad de estas técnicas tiene un profundo efecto en la calidad de toda la interfaz de usuario 3D. Se pueden clasificar en tres grupos diferentes: navegación, selección y manipulación y control del sistema.
El ordenador debe proporcionar al usuario información sobre la ubicación y el movimiento. La navegación es la más utilizada por el usuario en grandes entornos 3D y presenta diferentes desafíos, como el apoyo a la conciencia espacial, la realización de movimientos eficientes entre lugares distantes y la realización de una navegación llevadera para que el usuario pueda centrarse en tareas más importantes. Estas técnicas, las tareas de navegación, se pueden dividir en dos componentes: viaje y orientación. El viaje implica moverse desde la ubicación actual hasta el punto deseado. La orientación se refiere a la búsqueda y el establecimiento de rutas para llegar a un destino de viaje dentro del entorno virtual.
El viaje es una técnica conceptual que consiste en el movimiento del punto de vista (ojo virtual, cámara virtual) de un lugar a otro. Esta orientación se suele gestionar en entornos virtuales inmersivos mediante el seguimiento de la cabeza . Existen cinco tipos de técnicas de interacción de viaje:
La orientación es el proceso cognitivo de definir una ruta para el entorno circundante, utilizando y adquiriendo conocimiento espacial para construir un mapa cognitivo del entorno. En el espacio virtual es diferente y más difícil de hacer que en el mundo real porque los entornos sintéticos a menudo carecen de señales perceptivas y restricciones de movimiento. Puede apoyarse mediante técnicas centradas en el usuario, como el uso de un campo de visión más amplio y el suministro de señales de movimiento, o técnicas centradas en el entorno, como la organización estructural y los principios de orientación.
Para una buena orientación, los usuarios deben recibir apoyo durante el viaje en el entorno virtual para facilitarla debido a las limitaciones del mundo virtual.
Estos soportes pueden ser soportes centrados en el usuario, como un gran campo de visión, o incluso soportes no visuales, como el audio, o soportes centrados en el entorno, señales artificiales y organización estructural para definir claramente las distintas partes del entorno. Algunas de las señales artificiales más utilizadas son los mapas, las brújulas y las cuadrículas, o incluso señales arquitectónicas, como la iluminación, el color y la textura.
Las técnicas de selección y manipulación para entornos 3D deben realizar al menos una de tres tareas básicas: selección de objetos, posicionamiento de objetos y rotación de objetos.
Los usuarios deben poder manipular objetos virtuales. Las tareas de manipulación implican seleccionar y mover un objeto. A veces, también es necesaria la rotación del objeto. La manipulación directa con la mano es la técnica más natural, ya que manipular objetos físicos con la mano es intuitivo para los humanos. Sin embargo, esto no siempre es posible. Una mano virtual que pueda seleccionar y reubicar objetos virtuales también funcionará.
Los widgets 3D se pueden utilizar para colocar controles en objetos: normalmente se los llama artilugios 3D o manipuladores (un buen ejemplo son los de Blender ). Los usuarios pueden utilizarlos para reubicar, cambiar la escala o reorientar un objeto (Traducir, Escalar, Rotar).
Otras técnicas incluyen la técnica Go-Go y la proyección de rayos, donde se utiliza un rayo virtual para señalar y seleccionar un objeto.
La tarea de seleccionar objetos o volúmenes 3D en entornos 3D requiere primero poder encontrar el objetivo deseado y luego poder seleccionarlo. La mayoría de los conjuntos de datos/entornos 3D se ven afectados por problemas de oclusión, [12] por lo que el primer paso para encontrar el objetivo se basa en la manipulación del punto de vista o de los datos 3D en sí para identificar correctamente el objeto o volumen de interés. Este paso inicial está, por supuesto, estrechamente vinculado con las manipulaciones en 3D. Una vez que se identifica visualmente el objetivo, los usuarios tienen acceso a una variedad de técnicas para seleccionarlo.
Por lo general, el sistema proporciona al usuario un cursor 3D representado por una mano humana cuyos movimientos corresponden al movimiento del rastreador de mano. Esta técnica de mano virtual [13] es bastante intuitiva porque simula una interacción del mundo real con objetos pero con el límite de objetos que podemos alcanzar dentro de un área de alcance.
Para evitar este límite, se han sugerido muchas técnicas, como la técnica Go-Go. [14] Esta técnica permite al usuario ampliar el área de alcance utilizando un mapeo no lineal de la mano: cuando el usuario extiende la mano más allá de una distancia umbral fija, el mapeo se vuelve no lineal y la mano crece.
Otra técnica para seleccionar y manipular objetos en espacios virtuales 3D consiste en apuntar a los objetos utilizando un rayo virtual que emana de la mano virtual. [15] Cuando el rayo intersecta los objetos, estos pueden ser manipulados. Se han realizado varias variaciones de esta técnica, como la técnica de apertura, que utiliza un puntero cónico dirigido a los ojos del usuario, estimado a partir de la posición de la cabeza, para seleccionar objetos distantes. Esta técnica también utiliza un sensor de mano para ajustar el tamaño del puntero cónico.
También se han desarrollado muchas otras técnicas que se basan en diferentes estrategias de entrada. [16] [17]
Las manipulaciones 3D ocurren antes de una tarea de selección (para identificar visualmente un objetivo de selección 3D) y después de que se haya producido una selección, para manipular el objeto seleccionado. Las manipulaciones 3D requieren 3 grados de libertad para rotaciones (1 grado de libertad por eje, es decir, x, y, z) y 3 grados de libertad para traslaciones (1 grado de libertad por eje) y al menos 1 grado de libertad adicional para zoom uniforme (o alternativamente 3 grados de libertad adicionales para operaciones de zoom no uniformes).
Las manipulaciones 3D, como la navegación, son una de las tareas esenciales con datos, objetos o entornos 3D. Es la base de muchos programas 3D (como Blender, Autodesk, VTK) que se utilizan ampliamente. Estos programas, disponibles principalmente en computadoras, casi siempre se combinan con un mouse y un teclado. Para proporcionar suficientes grados de libertad (el mouse solo ofrece 2), estos programas se basan en la modificación con una tecla para controlar por separado todos los grados de libertad involucrados en las manipulaciones 3D. Con la reciente aparición de teléfonos inteligentes y tabletas con capacidad multitáctil, las asignaciones de interacción de estos programas se han adaptado a la función multitáctil (que ofrece más manipulaciones simultáneas de grados de libertad que un mouse y un teclado). Sin embargo, una encuesta realizada en 2017 a 36 aplicaciones móviles comerciales y académicas en Android e iOS sugirió que la mayoría de las aplicaciones no proporcionaban una forma de controlar los 6 grados de libertad mínimos requeridos, [7] pero que entre las que sí lo hacían, la mayoría utilizaba una versión 3D del mapeo RST (Rotation Scale Translation): se usa 1 dedo para la rotación alrededor de x e y, mientras que la interacción con dos dedos controla la rotación alrededor de z y la traslación a lo largo de x, y y z.
Las técnicas de control de sistemas permiten al usuario enviar comandos a una aplicación, activar alguna funcionalidad, cambiar el modo de interacción (o del sistema) o modificar un parámetro. El remitente del comando siempre incluye la selección de un elemento de un conjunto. Las técnicas de control de sistemas, como técnicas que respaldan las tareas de control de sistemas en tres dimensiones, se pueden clasificar en cuatro grupos:
También existen diferentes técnicas híbridas que combinan algunos de los tipos.
Esta tarea permite al usuario ingresar y/o editar, por ejemplo, texto, lo que permite anotar escenas 3D u objetos 3D.
{{cite book}}: |website=ignorado ( ayuda )