Mapa de saliencia

Tipo de imagen

Vista del fuerte de Marburgo (Alemania) y mapa de saliencia de la imagen utilizando color, intensidad y orientación.

En visión artificial , un mapa de saliencia es una imagen que resalta la región en la que los ojos de las personas se enfocan primero o las regiones más relevantes para los modelos de aprendizaje automático . ^[1] El objetivo de un mapa de saliencia es reflejar el grado de importancia de un píxel para el sistema visual humano o un modelo de aprendizaje automático que de otro modo sería opaco.

Por ejemplo, en esta imagen, una persona observa primero el fuerte y las nubes de luz, por lo que deberían estar resaltadas en el mapa de prominencia. Los mapas de prominencia diseñados con visión artificial o computacional normalmente no son los mismos que el mapa de prominencia real construido con visión biológica o natural .

Solicitud

Descripción general

Los mapas de saliencia tienen aplicaciones en una variedad de problemas diferentes. Algunas aplicaciones generales:

Ojo humano

• Compresión de imágenes y vídeos : el ojo humano se centra únicamente en una pequeña región de interés del fotograma, por lo que no es necesario comprimir todo el fotograma con una calidad uniforme. Según los autores, el uso de un mapa de prominencia reduce el tamaño final del vídeo con la misma percepción visual. ^[2]
• Evaluación de la calidad de imágenes y vídeos : la principal tarea de una métrica de calidad de imágenes o vídeos es establecer una alta correlación con las opiniones de los usuarios. Las diferencias en las regiones más destacadas reciben mayor importancia y, por lo tanto, contribuyen más a la puntuación de calidad. ^[3]
• Redireccionamiento de imágenes : Su objetivo es redimensionar una imagen expandiendo o encogiendo las regiones no informativas. Por lo tanto, los algoritmos de redireccionamiento se basan en la disponibilidad de mapas de prominencia que estiman con precisión todos los detalles salientes de la imagen. ^[4]
• Detección y reconocimiento de objetos : en lugar de aplicar un algoritmo computacionalmente complejo a toda la imagen, podemos usarlo en las regiones más salientes de una imagen con más probabilidades de contener un objeto. ^[5]

Inteligencia artificial explicable

• Inteligencia artificial explicable en el contexto de modelos de aprendizaje automático de caja negra : los mapas de prominencia son una herramienta destacada en XAI , ^[6] que proporciona explicaciones visuales del proceso de toma de decisiones de los modelos de aprendizaje automático , en particular las redes neuronales profundas . Estos mapas resaltan las regiones en imágenes de entrada, texto u otros tipos de datos que son más influyentes en la salida del modelo, indicando efectivamente dónde está "mirando" el modelo al hacer una predicción. Al ilustrar qué partes de la entrada se consideran importantes, los mapas de prominencia ayudan a comprender el funcionamiento interno de los modelos de caja negra, lo que fomenta la confianza y la transparencia. En las tareas de clasificación de imágenes, por ejemplo, los mapas de prominencia pueden identificar píxeles o regiones que contribuyen más a una decisión de clase específica. Existen múltiples métodos para crear mapas de prominencia, que van desde simplemente tomar el gradiente de la salida de la puntuación de clase hasta algoritmos mucho más complejos, como gradientes integrados, XRAI, Grad-CAM y SmoothGrad. ^[6]

La prominencia como problema de segmentación

La estimación de la prominencia puede considerarse como un ejemplo de segmentación de imágenes . En visión artificial , la segmentación de imágenes es el proceso de dividir una imagen digital en múltiples segmentos (conjuntos de píxeles, también conocidos como superpíxeles). El objetivo de la segmentación es simplificar o cambiar la representación de una imagen para que sea más significativa y más fácil de analizar. La segmentación de imágenes se utiliza normalmente para localizar objetos y límites (líneas, curvas, etc.) en imágenes. Más precisamente, la segmentación de imágenes es el proceso de asignar una etiqueta a cada píxel de una imagen de modo que los píxeles con la misma etiqueta compartan determinadas características. ^[7]

Algoritmos

Descripción general

Hay tres formas de algoritmos clásicos de estimación de saliencia implementados en OpenCV :

• Saliencia estática: se basa en las características y estadísticas de la imagen para localizar las regiones de interés de una imagen.
• Saliencia del movimiento: se basa en el movimiento en un video, detectado por flujo óptico . Los objetos que se mueven se consideran salientes.
• Objetividad: la objetividad refleja la probabilidad de que una ventana de imagen cubra un objeto. Estos algoritmos generan un conjunto de cuadros delimitadores que indican dónde puede estar un objeto en una imagen.

Además de los enfoques clásicos, también son populares los basados ​​en redes neuronales . Existen ejemplos de redes neuronales para la estimación de la prominencia del movimiento:

• TASED-Net: consta de dos bloques. En primer lugar, la red codificadora extrae características espaciotemporales de baja resolución y, a continuación, la red de predicción decodifica las características codificadas espacialmente mientras agrega toda la información temporal.
• STRA-Net: pone énfasis en dos cuestiones esenciales. En primer lugar, las características espaciotemporales integradas mediante el acoplamiento de la apariencia y el flujo óptico , y luego la prominencia multiescala aprendida mediante el mecanismo de atención .
• STAViS: combina información visual y auditiva espaciotemporal. Este enfoque emplea una única red que aprende a localizar fuentes de sonido y a fusionar las dos prominencias para obtener un mapa de prominencia final.

Ejemplo de implementación

Primero, debemos calcular la distancia de cada píxel al resto de píxeles en el mismo cuadro:

${\displaystyle \mathrm {SALS} (I_{k})=\sum _{i=1}^{N}|I_{k}-I_{i}|}$

${\displaystyle I_{i}}$es el valor del píxel , en el rango de [0,255]. La siguiente ecuación es la forma expandida de esta ecuación. ${\displaystyle i}$

SALS( I _k ) = | I _k - I ₁ | + | I _k - I ₂ | + ... + | I _k - I _N |

Donde N es el número total de píxeles en el cuadro actual. Luego podemos reestructurar aún más nuestra fórmula. Ponemos juntos los valores que tienen el mismo valor I.

SALS( I _k ) = Σ F _n × | I _k - I _n |

Donde F _n es la frecuencia de I _n . Y el valor de n pertenece a [0,255]. Las frecuencias se expresan en forma de histograma, y ​​el tiempo computacional del histograma es ⁠ ⁠ ${\displaystyle O(N)}$ complejidad temporal.

Complejidad temporal

Este algoritmo de mapa de saliencia tiene una ${\displaystyle O(N)}$ complejidad temporal de . Dado que el tiempo computacional del histograma es una complejidad temporal ${\displaystyle O(N)}$ de , donde N es el número de píxeles de un cuadro. Además, la parte negativa y la parte multiplicadora de esta ecuación necesitan 256 operaciones. En consecuencia, la complejidad temporal de este algoritmo es , que ${\displaystyle O(N+256)}$es igual a . ${\displaystyle O(N)}$

Pseudocódigo

Todo el código que sigue es pseudocódigo MATLAB . Primero, lea los datos de las secuencias de video.

para k = 2 : 1 : 13 % lo que significa del cuadro 2 al 13, y en cada bucle el valor de K aumenta en uno. I = imread ( currentfilename ); % leer cuadro actual I1 = im2single ( I ); % convertir imagen doble en simple (requisito del comando vlslic) l = imread ( previousfilename ); % leer cuadro anterior I2 = im2single ( l ); regionSize = 10 ; % establecer el parámetro de SLIC esta configuración de parámetro es el resultado experimental. RegionSize significa el tamaño del superpíxel. regularizer = 1 ; % establecer el parámetro de SLIC segments1 = vl_slic ( I1 , regionSize , regularizer ); % obtener el superpíxel del cuadro actual segments2 = vl_slic ( I2 , regionSize , regularizer ); % obtener el superpíxel del cuadro anterior numsuppix = max ( segments1 (:)); % obtiene el número de superpíxeles. Toda la información sobre los superpíxeles se encuentra en este enlace [http://www.vlfeat.org/overview/slic.html] regstats1 = regionprops ( segmentos1 , ' all ' ); regstats2 = regionprops ( segmentos2 , ' all ' ); % obtiene la característica de la región en función de los segmentos1                                                        

Después de leer los datos, realizamos un procesamiento de superpíxeles en cada fotograma. Spnum1 y Spnum2 representan el número de píxeles del fotograma actual y el píxel anterior.

% Primero, calculamos la distancia del valor de cada píxel. % Este es nuestro código principal para i = 1 : 1 : spnum1 % Desde el primer píxel hasta el último. Y en cada bucle i++ para j = 1 : 1 : spnum2 % Desde el primer píxel hasta el último. j++. cuadro anterior centredist ( i : j ) = suma (( center ( i ) - center ( j ))); % calcula la distancia central end end                

Luego calculamos la distancia de color de cada píxel, a este proceso lo llamamos función de contrato.

para i = 1 : 1 : spnum1 % Desde el primer píxel del fotograma actual hasta el último píxel. I ++ para j = 1 : 1 : spnum2 % Desde el primer píxel del fotograma anterior hasta el último píxel. J++ posdiff ( i , j ) = sum (( regstats1 ( j ). Centroid ' - mupwtd (:, i ))); % Calcular la distancia de color. end end                  

Después de estos dos procesos, obtendremos un mapa de prominencia y luego almacenaremos todos estos mapas en una nueva carpeta de archivos.

Diferencia en algoritmos

La principal diferencia entre la función uno y la dos es la diferencia de la función de contrato. Si spnum1 y spnum2 representan ambos el número de píxeles del fotograma actual, entonces esta función de contrato es para la primera función de prominencia. Si spnum1 es el número de píxeles del fotograma actual y spnum2 representa el número de píxeles del fotograma anterior, entonces esta función de contrato es para la segunda función de prominencia. Si usamos la segunda función de contrato que usa el píxel del mismo fotograma para obtener la distancia entre centros para obtener un mapa de prominencia, entonces aplicamos esta función de prominencia a cada fotograma y usamos el mapa de prominencia del fotograma actual menos el mapa de prominencia del fotograma anterior para obtener una nueva imagen que es el nuevo resultado de prominencia de la tercera función de prominencia.

Resultado de saliencia

Conjuntos de datos

El conjunto de datos de prominencia suele contener movimientos oculares humanos en algunas secuencias de imágenes. Resulta valioso para la creación de nuevos algoritmos de prominencia o para la evaluación comparativa de los existentes. Los parámetros más valiosos del conjunto de datos son la resolución espacial, el tamaño y el equipo de seguimiento ocular . A continuación se muestra una parte de la tabla de grandes conjuntos de datos de los conjuntos de datos de referencia de prominencia del MIT/Tübingen, por ejemplo.

Para recopilar un conjunto de datos de prominencia, se deben preparar secuencias de imágenes o videos y equipos de seguimiento ocular , y se debe invitar a los observadores. Los observadores deben tener una visión normal o corregida a la normal y deben estar a la misma distancia de la pantalla. Al comienzo de cada sesión de grabación, el rastreador ocular se recalibra. Para ello, el observador fija su mirada en el centro de la pantalla. Luego comienza la sesión y se recopilan datos de prominencia mostrando secuencias y grabando miradas oculares.

El dispositivo de seguimiento ocular es una cámara de alta velocidad , capaz de registrar los movimientos oculares a una velocidad de al menos 250 fotogramas por segundo . Las imágenes de la cámara son procesadas por el software, que se ejecuta en una computadora dedicada que devuelve datos de la mirada.

Referencias

1. Subhash, Bijil (6 de marzo de 2022). "IA explicable: mapas de prominencia". Medium . Consultado el 26 de mayo de 2024 .
2. Guo, Chenlei; Zhang, Liming (enero de 2010). "Un nuevo modelo de detección de saliencia espaciotemporal multiresolución y sus aplicaciones en la compresión de imágenes y vídeos". IEEE Transactions on Image Processing . 19 (1): 185–198. Bibcode :2010ITIP...19..185G. doi :10.1109/TIP.2009.2030969. ISSN  1057-7149. PMID  19709976. S2CID  1154218.
3. Tong, Yubing; Konik, Hubert; Cheikh, Faouzi; Tremeau, Alain (1 de mayo de 2010). "Evaluación completa de la calidad de la imagen de referencia basada en el análisis del mapa de saliencia". Revista de ciencia y tecnología de imágenes . 54 (3): 30503–1–30503-14. doi : 10.2352/J.ImagingSci.Technol.2010.54.3.030503 . hdl : 11250/142490 .
4. Goferman, Stas; Zelnik-Manor, Lihi; Tal, Ayellet (octubre de 2012). "Detección de prominencia consciente del contexto". IEEE Transactions on Pattern Analysis and Machine Intelligence . 34 (10): 1915–1926. doi :10.1109/TPAMI.2011.272. ISSN  1939-3539. PMID  22201056.
5. Jiang, Huaizu; Wang, Jingdong; Yuan, Zejian; Wu, Yang; Zheng, Nanning; Li, Shipeng (junio de 2013). "Detección de objetos salientes: un enfoque de integración de características regionales discriminantes". Conferencia IEEE de 2013 sobre visión artificial y reconocimiento de patrones . IEEE. págs. 2083–2090. arXiv : 1410.5926 . doi :10.1109/cvpr.2013.271. ISBN . 978-0-7695-4989-7.
6. Müller, Romy (2024). "Cómo la IA explicable afecta el desempeño humano: una revisión sistemática de las consecuencias conductuales de los mapas de saliencia". arXiv : 2404.16042 [cs.HC].
7. A. Maity (2015). "Detección y manipulación improvisada de objetos salientes". arXiv : 1511.02999 [cs.CV].

Enlaces externos

• Zhai, Yun; Shah, Mubarak (23 de octubre de 2006). "Detección de la atención visual en secuencias de vídeo mediante señales espaciotemporales". Actas de la 14.ª conferencia internacional de la ACM sobre multimedia . MM '06. Nueva York, NY, EE. UU.: ACM. pp. 815–824. CiteSeerX  10.1.1.80.4848 . doi :10.1145/1180639.1180824. ISBN. 978-1595934475. Número de identificación del sujeto  5219826.
• VLfeat: http://www.vlfeat.org/index.html
• Mapa de prominencia en Scholarpedia

Véase también

• Segmentación de imágenes
• Saliencia (neurociencia)