La recuperación de imágenes basada en contenido , también conocida como consulta por contenido de imagen ( QBIC ) y recuperación de información visual basada en contenido ( CBVIR ), es la aplicación de técnicas de visión por computadora al problema de recuperación de imágenes , es decir, el problema de buscar imágenes digitales. en grandes bases de datos (consulte esta encuesta [1] para obtener una descripción científica del campo CBIR). La recuperación de imágenes basada en contenido se opone a los enfoques tradicionales basados en conceptos (consulte Indexación de imágenes basada en conceptos ).
"Basado en contenido" significa que la búsqueda analiza el contenido de la imagen en lugar de los metadatos como palabras clave, etiquetas o descripciones asociadas con la imagen. El término "contenido" en este contexto puede referirse a colores, formas, texturas o cualquier otra información que pueda derivarse de la imagen misma. CBIR es deseable porque las búsquedas que se basan exclusivamente en metadatos dependen de la calidad y la integridad de las anotaciones .
Una metabúsqueda de imágenes requiere que los humanos hayan anotado las imágenes manualmente ingresando palabras clave o metadatos en una base de datos grande, lo que puede llevar mucho tiempo y es posible que no capture las palabras clave deseadas para describir la imagen. La evaluación de la eficacia de la búsqueda de imágenes por palabras clave es subjetiva y no ha sido bien definida. En el mismo sentido, los sistemas CBIR enfrentan desafíos similares a la hora de definir el éxito. [2] "Las palabras clave también limitan el alcance de las consultas al conjunto de criterios predeterminados". y "haber sido configurados" son menos confiables que usar el contenido en sí. [3]
El término "recuperación de imágenes basada en contenido" parece haberse originado en 1992 cuando fue utilizado por el ingeniero del Laboratorio Electrotécnico Japonés Toshikazu Kato para describir experimentos de recuperación automática de imágenes de una base de datos, basándose en los colores y formas presentes. [2] [4] Desde entonces, el término se ha utilizado para describir el proceso de recuperar imágenes deseadas de una gran colección sobre la base de características sintácticas de la imagen. Las técnicas, herramientas y algoritmos que se utilizan provienen de campos como la estadística, el reconocimiento de patrones, el procesamiento de señales y la visión por computadora. [1]
El primer sistema CBIR comercial fue desarrollado por IBM y se llamó QBIC ( Query B y I mage C ontent) . [5] [6] Los enfoques recientes basados en redes y gráficos han presentado una alternativa simple y atractiva a los métodos existentes. [7]
Si bien el almacenamiento de múltiples imágenes como parte de una sola entidad precedió al término BLOB ( B inary L arge OB ject), [8] la capacidad de buscar completamente por contenido, en lugar de por descripción, tuvo que esperar al QBIC de IBM. [3]
VisualRank es un sistema para buscar y clasificar imágenes analizando y comparando su contenido, en lugar de buscar nombres de imágenes, enlaces web u otro texto. Los científicos de Google hicieron público su trabajo sobre VisualRank en un artículo que describía la aplicación de PageRank a la búsqueda de imágenes de Google en la Conferencia Internacional World Wide Web celebrada en Beijing en 2008.
[9]El interés en CBIR ha crecido debido a las limitaciones inherentes a los sistemas basados en metadatos, así como a la amplia gama de usos posibles para la recuperación eficiente de imágenes. La información textual sobre imágenes se puede buscar fácilmente utilizando la tecnología existente, pero esto requiere que los humanos describan manualmente cada imagen en la base de datos. Esto puede resultar poco práctico para bases de datos muy grandes o para imágenes que se generan automáticamente, por ejemplo, las de cámaras de vigilancia . También es posible omitir imágenes que utilizan diferentes sinónimos en sus descripciones. Los sistemas basados en categorizar imágenes en clases semánticas como "gato" como una subclase de "animal" pueden evitar el problema de la categorización errónea, pero requerirán más esfuerzo por parte del usuario para encontrar imágenes que podrían ser "gatos", pero que solo están clasificadas como " animal". Se han desarrollado muchos estándares para categorizar imágenes, pero todos aún enfrentan problemas de escala y categorización errónea. [2]
Los sistemas CBIR iniciales se desarrollaron para buscar bases de datos según las propiedades de color, textura y forma de la imagen. Después de que se desarrollaron estos sistemas, se hizo evidente la necesidad de interfaces fáciles de usar. Por lo tanto, los esfuerzos en el campo CBIR comenzaron a incluir un diseño centrado en el ser humano que intentaba satisfacer las necesidades del usuario que realiza la búsqueda. Por lo general, esto significa la inclusión de: métodos de consulta que pueden permitir una semántica descriptiva, consultas que pueden involucrar comentarios de los usuarios, sistemas que pueden incluir aprendizaje automático y sistemas que pueden comprender los niveles de satisfacción del usuario. [1]
Se han desarrollado muchos sistemas CBIR, pero hasta 2006 [actualizar], el problema de recuperar imágenes en función de su contenido de píxeles sigue en gran medida sin resolver. [1] [ necesita actualización ]
Diferentes técnicas de consulta e implementaciones de CBIR utilizan diferentes tipos de consultas de usuario.
QBE ( Query By Example ) es una técnica de consulta [ 10] que implica proporcionar al sistema CBIR una imagen de ejemplo en la que luego basará su búsqueda . Los algoritmos de búsqueda subyacentes pueden variar según la aplicación, pero todas las imágenes de resultados deben compartir elementos comunes con el ejemplo proporcionado. [11]
Las opciones para proporcionar imágenes de ejemplo al sistema incluyen:
Esta técnica de consulta elimina las dificultades que pueden surgir al intentar describir imágenes con palabras.
La recuperación semántica comienza cuando un usuario realiza una solicitud como "buscar fotografías de Abraham Lincoln". Este tipo de tarea abierta es muy difícil de realizar para las computadoras: es posible que Lincoln no siempre esté frente a la cámara o en la misma pose . Por lo tanto, muchos sistemas CBIR generalmente utilizan características de nivel inferior como textura, color y forma. Estas funciones se utilizan en combinación con interfaces que permiten una entrada más sencilla de los criterios o con bases de datos que ya han sido entrenadas para hacer coincidir características (como caras, huellas dactilares o coincidencia de formas). Sin embargo, en general, la recuperación de imágenes requiere retroalimentación humana para identificar conceptos de nivel superior. [6]
Combinar las técnicas de búsqueda CBIR disponibles con la amplia gama de usuarios potenciales y sus intenciones puede ser una tarea difícil. Un aspecto para que CBIR tenga éxito depende enteramente de la capacidad de comprender la intención del usuario. [12] Los sistemas CBIR pueden hacer uso de la retroalimentación de relevancia , donde el usuario refina progresivamente los resultados de la búsqueda marcando imágenes en los resultados como "relevantes", "no relevantes" o "neutrales" para la consulta de búsqueda, y luego repitiendo la búsqueda con la nueva información. Se han desarrollado ejemplos de este tipo de interfaz. [13]
El aprendizaje automático y la aplicación de técnicas iterativas son cada vez más comunes en CBIR. [14]
Otros métodos de consulta incluyen explorar, por ejemplo, imágenes, navegar por categorías personalizadas/jerárquicas, consultar por región de la imagen (en lugar de la imagen completa), consultar por múltiples imágenes de ejemplo, consultar por boceto visual, consultar por especificación directa de características de la imagen y consultas multimodales ( por ejemplo, combinar tacto, voz, etc.) [15]
El método más común para comparar dos imágenes en la recuperación de imágenes basada en contenido (normalmente una imagen de ejemplo y una imagen de la base de datos) es utilizar una medida de distancia de la imagen. Una medida de distancia de imagen compara la similitud de dos imágenes en varias dimensiones, como color, textura, forma y otras. Por ejemplo, una distancia de 0 significa una coincidencia exacta con la consulta, con respecto a las dimensiones que se consideraron. Como se puede deducir intuitivamente, un valor mayor que 0 indica varios grados de similitudes entre las imágenes. Luego, los resultados de la búsqueda se pueden ordenar según su distancia a la imagen consultada. [11] Se han desarrollado muchas medidas de distancia de la imagen (modelos de similitud). [dieciséis]
El cálculo de medidas de distancia basadas en la similitud de color se logra calculando un histograma de color para cada imagen que identifica la proporción de píxeles dentro de una imagen que contiene valores específicos. [2] Examinar imágenes en función de los colores que contienen es una de las técnicas más utilizadas porque se puede completar sin tener en cuenta el tamaño ni la orientación de la imagen. [6] Sin embargo, la investigación también ha intentado segmentar la proporción de color por región y por relación espacial entre varias regiones de color. [15]
Las medidas de textura buscan patrones visuales en imágenes y cómo se definen espacialmente. Las texturas se representan mediante téxels que luego se colocan en varios conjuntos, dependiendo de cuántas texturas se detecten en la imagen. Estos conjuntos no solo definen la textura, sino también en qué parte de la imagen se ubica la textura. [11]
La textura es un concepto difícil de representar. La identificación de texturas específicas en una imagen se logra principalmente modelando la textura como una variación bidimensional del nivel de gris. El brillo relativo de pares de píxeles se calcula de manera que se pueda estimar el grado de contraste, regularidad, tosquedad y direccionalidad. [6] [17] El problema está en identificar patrones de variación de co-píxeles y asociarlos con clases particulares de texturas como sedosas o rugosas .
Otros métodos para clasificar texturas incluyen:
La forma no se refiere a la forma de una imagen sino a la forma de una región particular que se busca. Las formas a menudo se determinarán primero aplicando segmentación o detección de bordes a una imagen. Otros métodos utilizan filtros de formas para identificar formas determinadas de una imagen. [18] Es posible que los descriptores de forma también deban ser invariantes ante la traslación, la rotación y la escala. [6]
Algunos descriptores de formas incluyen: [6]
Al igual que otras tareas en visión por computadora , como el reconocimiento y la detección, los algoritmos de recuperación basados en redes neuronales recientes son susceptibles a ataques adversarios , tanto como ataques de candidato como de consulta. [19] Se ha demostrado que la clasificación recuperada podría alterarse drásticamente con sólo pequeñas perturbaciones imperceptibles para los seres humanos. Además, también son posibles ejemplos adversarios transferibles independientes del modelo, lo que permite ataques adversarios de caja negra en sistemas de alto rango sin requerir acceso a sus implementaciones subyacentes. [19] [20]
Por el contrario, la resistencia a tales ataques se puede mejorar mediante defensas adversarias como la defensa Madry. [21]
Las medidas de recuperación de imágenes se pueden definir en términos de precisión y recuperación . Sin embargo, se están considerando otros métodos. [22]
Una imagen se recupera en el sistema CBIR adoptando varias técnicas simultáneamente, como la integración de la indexación de grupos de píxeles, la intersección de histogramas y los métodos de transformación de ondas discretas. [23]
Los usos potenciales de CBIR incluyen: [2]
Los sistemas comerciales que se han desarrollado incluyen: [2]
Los sistemas experimentales incluyen: [2]
En DB Expo en San Francisco a principios de este mes...[ enlace muerto permanente ]
Resumen: La investigación sobre formas de ampliar y mejorar los métodos de consulta para bases de datos de imágenes está muy extendida.
Hemos desarrollado el QBIC (Query by Image Content)...
QBE es un lenguaje para realizar consultas...