Categorización de objetos a partir de la búsqueda de imágenes

En la visión artificial , el problema de la categorización de objetos a partir de la búsqueda de imágenes es el problema de entrenar un clasificador para reconocer categorías de objetos, utilizando únicamente las imágenes recuperadas automáticamente con un motor de búsqueda de Internet . Idealmente, la recopilación automática de imágenes permitiría entrenar a los clasificadores con nada más que los nombres de las categorías como entrada. Este problema está estrechamente relacionado con el de la recuperación de imágenes basada en contenido (CBIR), donde el objetivo es devolver mejores resultados de búsqueda de imágenes en lugar de entrenar un clasificador para el reconocimiento de imágenes.

Tradicionalmente, los clasificadores se entrenan utilizando conjuntos de imágenes que se etiquetan a mano. Recopilar un conjunto de imágenes de este tipo suele ser un proceso muy laborioso y que requiere mucho tiempo. El uso de motores de búsqueda de Internet para automatizar el proceso de adquisición de grandes conjuntos de imágenes etiquetadas se ha descrito como una forma potencial de facilitar enormemente la investigación en visión artificial. ^[1]

Desafíos

Imágenes no relacionadas

Un problema que presenta el uso de los resultados de búsqueda de imágenes de Internet como conjunto de entrenamiento para un clasificador es el alto porcentaje de imágenes no relacionadas que contienen los resultados. Se ha estimado que, cuando se consulta un motor de búsqueda como Google Images con el nombre de una categoría de objeto (como avión ), hasta el 85% de las imágenes devueltas no están relacionadas con la categoría. ^[1]

Variabilidad intraclase

Otro desafío que plantea el uso de los resultados de búsqueda de imágenes en Internet como conjuntos de entrenamiento para los clasificadores es que existe una gran variabilidad dentro de las categorías de objetos, en comparación con las categorías que se encuentran en conjuntos de datos etiquetados manualmente, como Caltech 101 y Pascal . Las imágenes de objetos pueden variar ampliamente en una serie de factores importantes, como la escala, la pose, la iluminación, la cantidad de objetos y la cantidad de oclusión.

Enfoque pLSA

En un artículo de 2005 de Fergus et al., ^[1] pLSA (análisis semántico latente probabilístico) y extensiones de este modelo se aplicaron al problema de la categorización de objetos a partir de la búsqueda de imágenes. pLSA se desarrolló originalmente para la clasificación de documentos , pero desde entonces se ha aplicado a la visión artificial . Supone que las imágenes son documentos que se ajustan al modelo de bolsa de palabras .

Modelo

Así como los documentos de texto están compuestos de palabras, cada una de las cuales puede repetirse dentro del documento y entre documentos, las imágenes pueden modelarse como combinaciones de palabras visuales . Así como el conjunto completo de palabras de texto se define en un diccionario, el conjunto completo de palabras visuales se define en un diccionario de palabras de código .

pLSA también divide los documentos en temas . Así como conocer el tema de un artículo permite hacer conjeturas acertadas sobre el tipo de palabras que aparecerán en él, la distribución de palabras en una imagen depende de los temas subyacentes. El modelo pLSA nos indica la probabilidad de ver cada palabra dada la categoría en términos de temas : ${\displaystyle w}$ ${\displaystyle \displaystyle d}$ ${\displaystyle \displaystyle z}$

${\displaystyle \displaystyle P(w|d)=\sum _{z=1}^{Z}P(w|z)P(z|d)}$

Un supuesto importante que se hace en este modelo es que y son condicionalmente independientes dado . Dado un tema, la probabilidad de que una determinada palabra aparezca como parte de ese tema es independiente del resto de la imagen. ^[2] ${\displaystyle \displaystyle w}$ ${\displaystyle \displaystyle d}$ ${\displaystyle \displaystyle z}$

El entrenamiento de este modelo implica encontrar y que maximice la probabilidad de las palabras observadas en cada documento. Para ello se utiliza el algoritmo de maximización de expectativas , con la siguiente función objetivo : ${\displaystyle \displaystyle P(w|z)}$ ${\displaystyle \displaystyle P(z|d)}$

${\displaystyle \displaystyle L=\prod _{d=1}^{D}\prod _{w=1}^{W}P(w|d)^{n(w|d)}}$

Solicitud

ABS-pLSA

La pLSA de posición absoluta (ABS-pLSA) adjunta información de ubicación a cada palabra visual al localizarla en una de las X 揵ins? de la imagen. Aquí, representa en cuál de los contenedores se encuentra la palabra visual. La nueva ecuación es: ${\displaystyle \displaystyle x}$

${\displaystyle \displaystyle P(w|d)=\sum _{z=1}^{Z}P(w,x|z)P(z|d)}$

${\displaystyle \displaystyle P(w,x|z)}$y se puede resolver de una manera similar al problema pLSA original, utilizando el algoritmo EM ${\displaystyle \displaystyle P(d)}$

Un problema con este modelo es que no es invariable en cuanto a la traducción o la escala. Dado que las posiciones de las palabras visuales son absolutas, cambiar el tamaño del objeto en la imagen o moverlo tendría un impacto significativo en la distribución espacial de las palabras visuales en diferentes contenedores.

TSI-pLSA

pLSA invariante en la traducción y la escala (TSI-pLSA). Este modelo amplía el pLSA añadiendo otra variable latente, que describe la ubicación espacial del objeto de destino en una imagen. Ahora, la posición de una palabra visual se da en relación con la ubicación de este objeto, en lugar de como una posición absoluta en la imagen. La nueva ecuación es: ${\displaystyle \displaystyle x}$

${\displaystyle \displaystyle P(w,x|d)=\sum _{z=1}^{Z}\sum _{c=1}^{C}P(w,x|c,z)P(c)P(z|d)}$

Nuevamente, los parámetros y se pueden resolver utilizando el algoritmo EM . se puede suponer que son una distribución uniforme. ${\displaystyle \displaystyle P(w,x|c,z)}$ ${\displaystyle \displaystyle P(d)}$ ${\displaystyle \displaystyle P(c)}$

Implementación

Seleccionar palabras

Las palabras en una imagen se seleccionaron utilizando 4 detectores de características diferentes: ^[1]

• Detector de saliencia Kadir-Brady
• Detector Harris multiescala
• Diferencia de Gaussianas
• Operador basado en bordes, descrito en el estudio

Con estos 4 detectores, se detectaron aproximadamente 700 características por imagen. Estas características se codificaron como descriptores de transformación de características invariantes de escala y se cuantificaron vectorialmente para que coincidieran con una de las 350 palabras contenidas en un libro de códigos. El libro de códigos se calculó previamente a partir de características extraídas de una gran cantidad de imágenes que abarcaban numerosas categorías de objetos.

Posibles ubicaciones de los objetos

Una cuestión importante en el modelo TSI-pLSA es cómo determinar los valores que puede tomar la variable aleatoria. Es un vector de 4, cuyos componentes describen el centroide del objeto, así como las escalas x e y que definen un cuadro delimitador alrededor del objeto, por lo que el espacio de posibles valores que puede tomar es enorme. Para limitar el número de posibles ubicaciones de los objetos a un número razonable, primero se lleva a cabo un pLSA normal en el conjunto de imágenes y, para cada tema, se ajusta un modelo de mezcla gaussiana sobre las palabras visuales, ponderado por . Se prueban hasta gaussianas (permitiendo múltiples instancias de un objeto en una sola imagen), donde es una constante. ${\displaystyle \displaystyle C}$ ${\displaystyle \displaystyle P(w|z)}$ ${\displaystyle \displaystyle K}$ ${\displaystyle \displaystyle K}$

Actuación

Los autores del artículo de Fergus et al. compararon el rendimiento de los tres algoritmos pLSA (pLSA, ABS-pLSA y TSI-pLSA) en conjuntos de datos seleccionados e imágenes obtenidas de búsquedas de Google. El rendimiento se midió como la tasa de error al clasificar las imágenes de un conjunto de prueba como si contenían la imagen o solo el fondo.

Como era de esperar, el entrenamiento directo sobre datos de Google arroja índices de error más altos que el entrenamiento sobre datos preparados. ^[1] En aproximadamente la mitad de las categorías de objetos probadas, ABS-pLSA y TSI-pLSA tienen un rendimiento significativamente mejor que el pLSA normal, y solo en 2 categorías de 7, TSI-pLSA tiene un rendimiento mejor que los otros dos modelos.

ÓPTIMO

OPTIMOL (recopilación automática de imágenes en línea mediante aprendizaje incremental de modelos) aborda el problema de aprender categorías de objetos a partir de búsquedas de imágenes en línea abordando el aprendizaje y la búsqueda de modelos simultáneamente. OPTIMOL es un modelo iterativo que actualiza su modelo de la categoría de objeto de destino mientras recupera simultáneamente imágenes más relevantes. ^[3]

Marco general

OPTIMOL se presentó como un marco iterativo general que es independiente del modelo específico utilizado para el aprendizaje de categorías. El algoritmo es el siguiente:

• Descargue un gran conjunto de imágenes de Internet buscando una palabra clave
• Inicializar el conjunto de datos con imágenes semilla
• Aunque se necesitan más imágenes en el conjunto de datos:
  • Conozca el modelo con las imágenes del conjunto de datos agregadas más recientemente
  • Clasifique las imágenes descargadas utilizando el modelo actualizado
  • Añadir imágenes aceptadas al conjunto de datos

Tenga en cuenta que solo se utilizan las imágenes agregadas más recientemente en cada ronda de aprendizaje. Esto permite que el algoritmo se ejecute en una cantidad arbitrariamente grande de imágenes de entrada.

Modelo

Las dos categorías (objeto de destino y fondo) se modelan como procesos Dirichlet jerárquicos (HDP). Al igual que en el enfoque pLSA, se supone que las imágenes se pueden describir con el modelo de bolsa de palabras . HDP modela las distribuciones de un número no especificado de temas en las imágenes de una categoría y en las categorías. La distribución de temas entre las imágenes de una sola categoría se modela como un proceso Dirichlet (un tipo de distribución de probabilidad no paramétrica ). Para permitir el intercambio de temas entre clases, cada uno de estos procesos Dirichlet se modela como una muestra de otro proceso Dirichlet "no original". HDP fue descrito por primera vez por Teh et al. en 2005. ^[4]

Implementación

Inicialización

El conjunto de datos debe inicializarse o incluir un lote original de imágenes que sirvan como buenos ejemplos de la categoría de objeto que se desea aprender. Estas imágenes se pueden recopilar automáticamente, utilizando la primera página de imágenes que devuelve el motor de búsqueda (que suelen ser mejores que las imágenes posteriores). Otra posibilidad es recopilar las imágenes iniciales a mano.

Aprendizaje modelo

Para conocer los distintos parámetros del HDP de forma incremental, se utiliza el muestreo de Gibbs sobre las variables latentes. Se lleva a cabo después de incorporar cada nuevo conjunto de imágenes al conjunto de datos. El muestreo de Gibbs implica muestrear repetidamente un conjunto de variables aleatorias con el fin de aproximar sus distribuciones. El muestreo implica generar un valor para la variable aleatoria en cuestión, en función del estado de las otras variables aleatorias de las que depende. Si se obtienen suficientes muestras, se puede lograr una aproximación razonable del valor.

Clasificación

En cada iteración, y se puede obtener a partir del modelo aprendido después de la ronda anterior de muestreo de Gibbs, donde es un tema, es una categoría y es una sola palabra visual. La probabilidad de que una imagen esté en una determinada clase, entonces, es: ${\displaystyle \displaystyle P(z|c)}$ ${\displaystyle \displaystyle P(x|z,c)}$ ${\displaystyle \displaystyle z}$ ${\displaystyle \displaystyle c}$ ${\displaystyle \displaystyle x}$

${\displaystyle \displaystyle P(I|c)=\prod _{i}\sum _{j}P(x_{i}|z_{j},c)P(z_{j}|c)}$

Esto se calcula para cada nueva imagen candidata por iteración. La imagen se clasifica como perteneciente a la categoría con mayor probabilidad.

Adición al conjunto de datos y al "conjunto de caché"

Sin embargo, para poder ser incorporada al conjunto de datos, una imagen debe satisfacer una condición más estricta:

${\displaystyle \displaystyle {\frac {P(I|c_{f})}{P(I|c_{b})}}>{\frac {\lambda _{Ac_{b}}-\lambda _{Rc_{b}}}{\lambda _{Rc_{f}}-\lambda _{Ac_{f}}}}{\frac {P(c_{b})}{P(c_{f})}}}$

Donde y son las categorías de primer plano (objeto) y de fondo, respectivamente, y la relación de constantes describe el riesgo de aceptar falsos positivos y falsos negativos. Se ajustan automáticamente en cada iteración, y el costo de un falso positivo es mayor que el de un falso negativo. Esto garantiza que se recopile un mejor conjunto de datos. ${\displaystyle \displaystyle c_{f}}$ ${\displaystyle \displaystyle c_{b}}$

Sin embargo, una vez que se acepta una imagen al cumplir con el criterio anterior y se incorpora al conjunto de datos, debe cumplir con otro criterio antes de incorporarse al "conjunto de imágenes", el conjunto de imágenes que se utilizará para el entrenamiento. Este conjunto está destinado a ser un subconjunto diverso del conjunto de imágenes aceptadas. Si el modelo se entrenara con todas las imágenes aceptadas, podría volverse cada vez más especializado y solo aceptar imágenes muy similares a las anteriores.

Actuación

El rendimiento del método OPTIMOL está definido por tres factores:

• Capacidad de recopilar imágenes : se ha descubierto que OPTIMOL puede recopilar automáticamente grandes cantidades de imágenes de calidad de la web. El tamaño de los conjuntos de imágenes recuperados por OPTIMOL supera el de los grandes conjuntos de imágenes etiquetados por humanos para las mismas categorías, como los que se encuentran en Caltech 101 .
• Precisión de la clasificación : La precisión de la clasificación se comparó con la precisión que muestra el clasificador obtenido con los métodos pLSA analizados anteriormente. Se descubrió que OPTIMOL logró una precisión ligeramente superior, obteniendo un 74,8 % de precisión en 7 categorías de objetos, en comparación con el 72,0 %.
• Comparación con el aprendizaje por lotes : una pregunta importante que se debe abordar es si el aprendizaje incremental de OPTIMOL le otorga una ventaja sobre los métodos de aprendizaje por lotes tradicionales, cuando todo lo demás sobre el modelo se mantiene constante. Cuando el clasificador aprende de manera incremental, al seleccionar las siguientes imágenes en función de lo que aprendió de las anteriores, se observan tres resultados importantes:
  • El aprendizaje incremental permite a OPTIMOL recopilar un mejor conjunto de datos
  • El aprendizaje incremental permite que OPTIMOL aprenda más rápido (descartando imágenes irrelevantes)
  • El aprendizaje incremental no afecta negativamente la curva ROC del clasificador; de hecho, el aprendizaje incremental produjo una mejora

Categorización de objetos en la recuperación de imágenes basada en contenido

Por lo general, las búsquedas de imágenes solo utilizan el texto asociado con las imágenes. El problema de la recuperación de imágenes basada en el contenido es el de mejorar los resultados de la búsqueda teniendo en cuenta la información visual contenida en las propias imágenes. Varios métodos CBIR utilizan clasificadores entrenados con resultados de búsqueda de imágenes para refinar la búsqueda. En otras palabras, la categorización de objetos a partir de la búsqueda de imágenes es un componente del sistema. OPTIMOL, por ejemplo, utiliza un clasificador entrenado con imágenes recopiladas durante iteraciones anteriores para seleccionar imágenes adicionales para el conjunto de datos devuelto.

Ejemplos de métodos CBIR que modelan categorías de objetos a partir de la búsqueda de imágenes son:

• Fergus y otros, 2004 ^[5]
• Berg y Forsyth, 2006 ^[6]
• Yanai y Barnard, 2006 ^[7]

Referencias

1. Fergus, R.; Fei-Fei, L.; Perona, P.; Zisserman, A. (2005). "Categorías de objetos de aprendizaje de la búsqueda de imágenes de Google" (PDF) . Proc. IEEE International Conference on Computer Vision .
2. Hofmann, Thomas (1999). "Análisis semántico latente probabilístico" (PDF) . Incertidumbre en inteligencia artificial . Archivado desde el original (PDF) el 10 de julio de 2007.
3. Li, Li-Jia; Wang, Gang; Fei-Fei, Li (2007). "OPTIMOL: recopilación automática de imágenes en línea mediante aprendizaje de modelos incrementales" (PDF) . Proc. Conferencia IEEE sobre visión artificial y reconocimiento de patrones .
4. Teh, Yw; Jordan, MI; Beal, MJ; Blei, David (2006). "Procesos jerárquicos de Dirichlet" (PDF) . Revista de la Asociación Estadounidense de Estadística . 101 (476): 1566. CiteSeerX 10.1.1.5.9094 . doi :10.1198/016214506000000302. S2CID  7934949. 
5. Fergus, R.; Perona, P.; Zisserman, A. (2004). "Un filtro de categorías visuales para imágenes de Google" (PDF) . Proc. 8th European Conf. on Computer Vision .
6. Berg, T.; Forsyth, D. (2006). "Animales en la red". Proc. Visión artificial y reconocimiento de patrones . doi :10.1109/CVPR.2006.57.
7. Yanai, K; Barnard, K. (2005). "Recopilación probabilística de imágenes web". Taller ACM SIGMM sobre recuperación de información multimedia .

Véase también

• Análisis semántico latente probabilístico
• Asignación latente de Dirichlet
• Aprendizaje automático
• Modelo de bolsa de palabras
• Recuperación de imágenes basada en contenido