La búsqueda multimodal es un tipo de búsqueda que utiliza diferentes métodos para obtener resultados relevantes. Se puede utilizar cualquier tipo de búsqueda, búsqueda por palabra clave , búsqueda por concepto , búsqueda por ejemplo , etc.
Un motor de búsqueda multimodal está diseñado para imitar la flexibilidad y agilidad de cómo funciona la mente humana para crear, procesar y rechazar ideas irrelevantes. Así, cuantos más elementos tenga en la entrada del motor de búsqueda para comparar, más precisos podrán ser los resultados. Los motores de búsqueda multimodales utilizan diferentes entradas de distinta naturaleza y métodos de búsqueda al mismo tiempo con la posibilidad de combinar los resultados fusionando todos los elementos de entrada de la búsqueda. También hay motores que pueden utilizar una retroalimentación de los resultados con la evaluación del usuario para realizar una búsqueda más adecuada y relevante.
En la actualidad, los dispositivos móviles han evolucionado hasta el punto de poder realizar infinitas funciones desde cualquier lugar y en cualquier momento gracias a la conexión a Internet y al GPS . Las pantallas táctiles, los sensores de movimiento y el reconocimiento de voz son ahora habituales en los dispositivos móviles llamados smartphones . Todas estas características y funciones permiten realizar búsquedas multimodales desde cualquier lugar del mundo y en cualquier momento.
El uso de texto es una opción, así como la búsqueda multimedia , de imágenes , de vídeo , de audio y de voz . Incluso la ubicación del usuario puede ayudar al buscador a realizar una búsqueda más efectiva y adaptable a cada situación. Hoy en día se están descubriendo diferentes formas de interactuar con un buscador, tanto en cuanto a los elementos de entrada de la búsqueda como en la variedad de resultados obtenidos.
Muchas consultas desde móviles son de localización (LBS), que utilizan la ubicación del usuario para interactuar con las aplicaciones. Si está disponible, el navegador utiliza el GPS del dispositivo, o calcula una ubicación aproximada basada en la triangulación de la antena de telefonía móvil, con el permiso del usuario, que debe estar de acuerdo en compartir su ubicación con la aplicación en la descarga. Por tanto, las búsquedas multimodales utilizan no sólo el contenido audiovisual que el usuario proporciona directamente, sino también el contexto en el que se encuentra el usuario, como su ubicación, idioma, hora del momento, sitio web o documento en el que está navegando, u otros elementos que pueden ayudar a mejorar una búsqueda en cada situación.
El buscador multimodal trabaja en paralelo y, al mismo tiempo, realiza una búsqueda de mayor o menor relevancia de cada elemento introducido directa o indirectamente (contexto personal). Posteriormente, ofrece una combinación de todos los resultados, fusionando cada elemento con su peso asociado para cada descriptor.
El motor analiza cada elemento y lo etiqueta, de forma que se puede realizar una comparación de las etiquetas con la información indexada existente en bases de datos. Se procede a una clasificación de los resultados, para mostrarlos de mayor a menor relevancia.
Es necesario definir la importancia de cada elemento de entrada. Hay buscadores que lo hacen de forma automática, pero también hay buscadores en los que el usuario puede hacerlo de forma manual, dando más o menos peso a cada elemento de la búsqueda. También es importante que el usuario proporcione la información adecuada y esencial para la búsqueda; demasiada información puede confundir al sistema y proporcionar resultados insatisfactorios. Con las búsquedas multimodales los usuarios pueden obtener mejores resultados que con una búsqueda simple, pero las búsquedas multimodales deben procesar más información de entrada. También puede llevar más tiempo procesarla y requerir más espacio de memoria.
Un motor de búsqueda eficiente interpreta la consulta de los usuarios, capta su intención y aplica una estrategia para realizar una búsqueda adecuada, es decir, el motor se adapta a cada consulta de entrada y también a la combinación de elementos y métodos.
En la actualidad, los buscadores multimodales existentes no son muy complejos y algunos de ellos se encuentran en fase experimental. Algunos de los buscadores más sencillos son Google Images [1] o Bing [2], interfaces web que utilizan texto e imágenes como entradas para encontrar imágenes en la salida.
MMRetrieval [3] es un motor de búsqueda experimental multimodal que utiliza información multilingüe y multimedia a través de una interfaz web. El motor busca en las diferentes entradas en paralelo y fusiona todos los resultados mediante diferentes métodos seleccionados. El motor también proporciona diferentes recuperaciones en varias etapas, así como una única línea base de índice de texto para poder comparar todas las diferentes fases de la búsqueda.
Existen multitud de aplicaciones para dispositivos móviles, que utilizan el contexto del usuario, como servicios basados en localización, y que también utilizan texto, imágenes, audios o vídeos que el propio usuario proporciona en el momento o con archivos guardados, o incluso interactuando con la voz.