La búsqueda inversa de imágenes es una técnica de consulta de recuperación de imágenes basada en contenido (CBIR) que implica proporcionar al sistema CBIR una imagen de muestra en la que luego basará su búsqueda; en términos de recuperación de información , la imagen de muestra es muy útil. En particular, la búsqueda inversa de imágenes se caracteriza por la falta de términos de búsqueda. Esto elimina de manera efectiva la necesidad de que un usuario adivine palabras clave o términos que pueden o no devolver un resultado correcto. La búsqueda inversa de imágenes también permite a los usuarios descubrir contenido relacionado con una imagen de muestra específica [1] o la popularidad de una imagen, y descubrir versiones manipuladas y trabajos derivados. [2]
Un motor de búsqueda visual es un motor de búsqueda diseñado para buscar información en la World Wide Web a través de una búsqueda inversa de imágenes. La información puede consistir en páginas web , ubicaciones, otras imágenes y otros tipos de documentos. Este tipo de motores de búsqueda se utilizan principalmente para buscar en Internet móvil a través de una imagen de un objeto desconocido (consulta de búsqueda desconocida). Algunos ejemplos son los edificios de una ciudad extranjera. Estos motores de búsqueda suelen utilizar técnicas de recuperación de imágenes basada en contenido .
Un motor de búsqueda visual busca imágenes, patrones basados en un algoritmo que puede reconocer y brinda información relativa basada en la técnica de coincidencia de patrones selectiva o aplicada.
La búsqueda inversa de imágenes se puede utilizar para: [3]
Los algoritmos de búsqueda inversa de imágenes más utilizados incluyen: [4]
Un motor de búsqueda de imágenes es un motor de búsqueda diseñado para encontrar una imagen. La búsqueda puede basarse en palabras clave, una imagen o un enlace web a una imagen. Los resultados dependen del criterio de búsqueda, como metadatos , distribución de color, forma, etc., y de la técnica de búsqueda que utilice el navegador.
Dos técnicas utilizadas actualmente en la búsqueda de imágenes:
Búsqueda por metadatos: La búsqueda de imágenes se basa en la comparación de metadatos asociados a la imagen como palabras clave, texto, etc. y se obtiene empleando un conjunto de imágenes ordenadas por relevancia. Los metadatos asociados a cada imagen pueden hacer referencia al título de la imagen, formato, color, etc. y pueden generarse de forma manual o automática. Este proceso de generación de metadatos se denomina indexación audiovisual.
Búsqueda por ejemplo: En esta técnica, también llamada búsqueda inversa de imágenes, los resultados de la búsqueda se obtienen a través de la comparación entre imágenes utilizando técnicas de visión artificial de recuperación de imágenes basadas en contenido . Durante la búsqueda se examina el contenido de la imagen, como el color, la forma, la textura o cualquier información visual que se pueda extraer de la imagen. Este sistema requiere una mayor complejidad computacional , pero es más eficiente y confiable que la búsqueda por metadatos.
Existen buscadores de imágenes que combinan ambas técnicas de búsqueda. Por ejemplo, la primera búsqueda se realiza introduciendo un texto. A continuación, se utilizan las imágenes obtenidas para afinar la búsqueda.
Un buscador de vídeos es un motor de búsqueda diseñado para buscar vídeos en la red. Algunos buscadores de vídeos procesan la búsqueda directamente en Internet, mientras que otros almacenan los vídeos a partir de los cuales se realiza la búsqueda. Algunos buscadores también permiten utilizar como parámetros de búsqueda el formato o la duración del vídeo. Normalmente los resultados vienen acompañados de una captura en miniatura del vídeo.
Actualmente, casi todos los buscadores de vídeos se basan en palabras clave (búsqueda por metadatos) para realizar las búsquedas. Estas palabras clave pueden encontrarse en el título del vídeo, texto que acompaña al vídeo o pueden estar definidas por el autor. Un ejemplo de este tipo de búsqueda es YouTube .
Un buscador de modelos 3D tiene como objetivo encontrar el archivo de un objeto de modelado 3D desde una base de datos o red. A primera vista la implementación de este tipo de buscadores puede parecer innecesaria, pero debido a la continua inflación documental de Internet, cada día se hace más necesaria la indexación de información.
Estos se han utilizado con buscadores tradicionales basados en texto (palabras clave/etiquetas), donde los autores del material indexado , o los usuarios de Internet, han aportado estas etiquetas o palabras clave. Debido a que no siempre es eficaz, recientemente se ha investigado en la implementación de buscadores que combinan la búsqueda mediante texto con la búsqueda comparada de dibujos 2D, dibujos 3D y modelos 3D.
La Universidad de Princeton ha desarrollado un motor de búsqueda que combina todos estos parámetros para realizar la búsqueda, aumentando así la eficiencia de la búsqueda. [6] Además, el portal 3DfindIT.com ofrece un motor de búsqueda de modelos 3D basado en bocetos, dibujos, texto, etc. https://www.3dfindit.com/
Un buscador de imágenes móvil es un tipo de buscador diseñado exclusivamente para teléfonos móviles, a través del cual se puede encontrar cualquier información en Internet , a través de una imagen realizada con el propio teléfono móvil o utilizando determinadas palabras clave ( keywords ). Las soluciones de Mobile Visual Search permiten integrar capacidades de software de reconocimiento de imágenes en las aplicaciones móviles de marca propia. Mobile Visual Search (MVS) cierra la brecha entre los medios online y offline , permitiéndole vincular a sus clientes con el contenido digital .
Los teléfonos móviles han evolucionado hasta convertirse en potentes dispositivos de procesamiento de imágenes y vídeo equipados con cámaras de alta resolución, pantallas a color y gráficos acelerados por hardware. También están cada vez más equipados con un sistema de posicionamiento global y conectados a redes inalámbricas de banda ancha. Todo esto permite una nueva clase de aplicaciones que utilizan la cámara del teléfono para iniciar consultas de búsqueda sobre objetos que se encuentran en proximidad visual al usuario (Figura 1). Dichas aplicaciones se pueden utilizar, por ejemplo, para identificar productos, comparar precios, encontrar información sobre películas, discos compactos (CD), bienes raíces, medios impresos u obras de arte.
Normalmente, este tipo de buscadores utilizan técnicas de consulta por ejemplo o consulta de imagen por ejemplo , que utilizan el contenido, la forma, la textura y el color de la imagen para compararlos en una base de datos y luego entregar los resultados aproximados de la consulta.
El proceso utilizado en estas búsquedas en los teléfonos móviles es el siguiente:
En primer lugar, la imagen se envía a la aplicación servidor. Ya en el servidor, la imagen será analizada por diferentes equipos analíticos, ya que cada uno está especializado en diferentes campos que componen una imagen. Luego, cada equipo decidirá si la imagen enviada contiene los campos de su especialidad o no.
Una vez realizado todo este procedimiento, un ordenador central analizará los datos y creará una página con los resultados ordenados según la eficiencia de cada equipo, para finalmente ser enviada al teléfono móvil .
Yandex Images ofrece una búsqueda global inversa de imágenes y fotografías. El sitio utiliza la tecnología estándar de recuperación de imágenes basada en contenido (CBIR) que utilizan muchos otros sitios, pero además utiliza tecnología basada en inteligencia artificial para localizar más resultados en función de la consulta. [7] Los usuarios pueden arrastrar y soltar imágenes en la barra de herramientas del sitio para completar una búsqueda en Internet de imágenes similares. Yandex Images busca en algunos sitios de redes sociales poco conocidos, además de en otros más comunes, lo que ofrece a los propietarios de contenido medios para rastrear el plagio de la propiedad intelectual de imágenes o fotografías.
La función de búsqueda por imagen de Google utiliza la búsqueda inversa de imágenes y permite a los usuarios buscar imágenes relacionadas subiendo una imagen o copiando la URL de la misma. Google logra esto analizando la imagen enviada y construyendo un modelo matemático de la misma. Luego, se compara con otras imágenes en las bases de datos de Google antes de devolver resultados coincidentes y similares. Cuando están disponibles, Google también utiliza metadatos sobre la imagen, como la descripción. En 2022, la función fue reemplazada por Google Lens como el método de búsqueda visual predeterminado en Google, y la antigua función de búsqueda por imagen sigue estando disponible en Google Lens. [8]
TinEye es un motor de búsqueda especializado en búsquedas inversas de imágenes. Al enviar una imagen, TinEye crea una "firma o huella digital única y compacta" de dicha imagen y la compara con otras imágenes indexadas. [9] Este procedimiento puede comparar incluso versiones muy editadas de la imagen enviada, pero por lo general no arrojará imágenes similares en los resultados. [10]
La tecnología de búsqueda inversa de imágenes de Pixsy detecta coincidencias de imágenes [11] en la red pública de Internet para las imágenes cargadas en la plataforma Pixsy. [12] Las nuevas coincidencias se detectan automáticamente y se envían alertas al usuario. En caso de uso no autorizado, Pixsy ofrece un servicio de recuperación de compensación [13] [14] por el uso comercial del trabajo de los propietarios de las imágenes. Pixsy colabora con más de 25 bufetes de abogados y abogados de todo el mundo para resolver las infracciones de derechos de autor. Pixsy es el servicio de monitoreo estratégico de imágenes para la plataforma Flickr y sus usuarios. [15]
eBay ShopBot utiliza la búsqueda inversa de imágenes para encontrar productos a partir de una foto cargada por el usuario. eBay utiliza una red ResNet-50 para el reconocimiento de categorías, los hashes de imágenes se almacenan en Google Bigtable ; los trabajos de Apache Spark son operados por Google Cloud Dataproc para la extracción de hashes de imágenes; y el servicio de clasificación de imágenes es implementado por Kubernetes . [16]
SK Planet utiliza la búsqueda inversa de imágenes para encontrar artículos de moda relacionados en su sitio web de comercio electrónico. Desarrolló la red de codificador de visión basada en TensorFlow inception-v3 , con velocidad de convergencia y generalización para uso en producción. Se utiliza una red neuronal recurrente para la clasificación de múltiples clases, y la detección de la región de interés de los productos de moda se basa en Faster R-CNN . El sistema de búsqueda inversa de imágenes de SK Planet se construye en menos de 100 meses-hombre. [17]
Alibaba lanzó la aplicación Pailitao en 2014. Pailitao ( en chino :拍立淘, que literalmente significa comprar a través de una cámara) permite a los usuarios buscar artículos en la plataforma de comercio electrónico de Alibaba tomando una foto del objeto de consulta. La aplicación Pailitao utiliza un modelo CNN profundo con ramas para la detección conjunta y el aprendizaje de características para descubrir la máscara de detección y la característica discriminatoria exacta sin perturbaciones de fondo. GoogLeNet V1 se utiliza como modelo base para la predicción de categorías y el aprendizaje de características. [18] [19]
Pinterest adquirió la empresa emergente VisualGraph en 2014 e introdujo la búsqueda visual en su plataforma. [20] En 2015, Pinterest publicó un artículo en la conferencia ACM Conference on Knowledge Discovery and Data Mining y reveló la arquitectura del sistema. El pipeline utiliza Apache Hadoop , el marco de red neuronal convolucional de código abierto Caffe , Cascading para procesamiento por lotes, PinLater para mensajería y Apache HBase para almacenamiento. Las características de la imagen, incluidas las características locales, las características profundas, las firmas de color salientes y los píxeles salientes se extraen de las cargas de los usuarios. El sistema es operado por Amazon EC2 y solo requiere un clúster de 5 instancias de GPU para manejar las cargas diarias de imágenes en Pinterest. Al utilizar la búsqueda inversa de imágenes, Pinterest puede extraer características visuales de objetos de moda (por ejemplo, zapatos, vestido, anteojos, bolso, reloj, pantalones, pantalones cortos, bikini, aretes) y ofrecer recomendaciones de productos que se ven similares. [21] [22]
JD.com reveló el diseño y la implementación de su sistema de búsqueda visual en tiempo real en la conferencia Middleware '18 . El artículo revisado por pares se centra en los algoritmos utilizados por el sistema distribuido de extracción, indexación y recuperación de características de imágenes jerárquicas de JD, que tiene 300 millones de usuarios activos diarios. El sistema pudo soportar 80 millones de actualizaciones de su base de datos por hora cuando se implementó en producción en 2018. [23]
Microsoft Bing publicó la arquitectura de su sistema de búsqueda inversa de imágenes en la conferencia KDD'18. El documento afirma que se utilizan diversas características de una imagen consultada enviada por un usuario para describir su contenido, incluido el uso de codificadores de redes neuronales profundas , funciones de reconocimiento de categorías, funciones de reconocimiento facial , funciones de color y funciones de detección de duplicados. [24]
Amazon.com reveló la arquitectura de un motor de búsqueda visual para productos de moda y hogar llamado Amazon Shop the Look en un artículo publicado en la conferencia KDD'22. El artículo describe las lecciones aprendidas por Amazon cuando se implementó en un entorno de producción, incluido el aumento de datos basado en síntesis de imágenes para optimizar el rendimiento de la recuperación y mejorar la precisión. [25]
El laboratorio de Beijing de Microsoft Research Asia publicó un artículo en las Actas del IEEE sobre los sistemas Arista-SS (Búsqueda similar) y Arista-DS (Búsqueda de duplicados). Arista-DS solo realiza algoritmos de búsqueda de duplicados, como el análisis de componentes principales sobre características de imágenes globales, para reducir los costos computacionales y de memoria. Arista-DS puede realizar búsquedas de duplicados en 2 mil millones de imágenes con 10 servidores, pero con la desventaja de no detectar duplicados cercanos. [26]
En 2007, se lanza la biblioteca Puzzle bajo la licencia ISC . Puzzle está diseñada para ofrecer búsqueda inversa de imágenes visualmente similares, incluso después de que las imágenes hayan sido redimensionadas, recomprimidas, recoloreadas y/o ligeramente modificadas. [27]
El proyecto de código abierto image-match se lanzó en 2016. El proyecto, licenciado bajo la Licencia Apache , implementa un motor de búsqueda de imágenes inversa escrito en Python . [28]
Tanto la biblioteca Puzzle como los proyectos de coincidencia de imágenes utilizan algoritmos publicados en una conferencia IEEE ICIP. [29]
En 2019, O'Reilly publicó un libro que documenta cómo se puede construir un sistema simple de búsqueda inversa de imágenes en unas pocas horas. El libro cubre la extracción de características de imágenes y la búsqueda de similitudes, junto con temas más avanzados que incluyen la escalabilidad mediante GPU y el ajuste de la mejora de la precisión de la búsqueda. [30] El código del sistema se puso a disposición de forma gratuita en GitHub . [31]
Las demandas de procesamiento para realizar una búsqueda inversa de video serían asombrosamente altas. No existe una herramienta sencilla que simplemente cargue el video para encontrar los resultados coincidentes. En la actualidad, no existe ninguna tecnología que pueda realizar con éxito una búsqueda inversa de video. [32] [33]
{{cite book}}: |work=ignorado ( ayuda ){{cite book}}: |work=ignorado ( ayuda ){{cite book}}: |work=ignorado ( ayuda ){{cite book}}: |website=ignorado ( ayuda ){{cite book}}: |website=ignorado ( ayuda ){{cite book}}: |work=ignorado ( ayuda )