En el procesamiento de imágenes digitales y la visión por computadora , la segmentación de imágenes es el proceso de dividir una imagen digital en múltiples segmentos de imagen , también conocidos como regiones de imagen u objetos de imagen ( conjuntos de píxeles ). El objetivo de la segmentación es simplificar y/o cambiar la representación de una imagen en algo que sea más significativo y más fácil de analizar. [1] [2] La segmentación de imágenes se utiliza normalmente para localizar objetos y límites (líneas, curvas, etc.) en imágenes. Más precisamente, la segmentación de imágenes es el proceso de asignar una etiqueta a cada píxel de una imagen de modo que los píxeles con la misma etiqueta compartan ciertas características.
El resultado de la segmentación de imágenes es un conjunto de segmentos que cubren colectivamente toda la imagen, o un conjunto de contornos extraídos de la imagen (ver detección de bordes ). Cada uno de los píxeles de una región es similar con respecto a alguna característica o propiedad calculada, [3] como color , intensidad o textura . Las regiones adyacentes tienen un color significativamente diferente con respecto a las mismas características. [1] Cuando se aplica a una pila de imágenes, típico en imágenes médicas , los contornos resultantes después de la segmentación de la imagen se pueden usar para crear reconstrucciones 3D con la ayuda de algoritmos de reconstrucción geométrica como cubos en marcha . [4]
Algunas de las aplicaciones prácticas de la segmentación de imágenes son:
Se han desarrollado varios algoritmos y técnicas de propósito general para la segmentación de imágenes. Para que sean útiles, estas técnicas normalmente deben combinarse con el conocimiento específico de un dominio para resolver eficazmente los problemas de segmentación del dominio.
Hay dos clases de técnicas de segmentación.
El método más simple de segmentación de imágenes se llama método de umbralización . Este método se basa en un nivel de clip (o un valor de umbral) para convertir una imagen en escala de grises en una imagen binaria.
La clave de este método es seleccionar el valor umbral (o valores cuando se seleccionan múltiples niveles). En la industria se utilizan varios métodos populares, incluido el método de máxima entropía, el umbral de histograma equilibrado , el método de Otsu (varianza máxima) y la agrupación de k-medias .
Recientemente, se han desarrollado métodos para establecer un umbral en las imágenes de tomografía computarizada (TC). La idea clave es que, a diferencia del método de Otsu, los umbrales se derivan de las radiografías en lugar de la imagen (reconstruida). [21] [22]
Los nuevos métodos sugirieron el uso de umbrales no lineales multidimensionales basados en reglas difusas. En estos trabajos, la decisión sobre la pertenencia de cada píxel a un segmento se basa en reglas multidimensionales derivadas de lógica difusa y algoritmos evolutivos basados en el entorno y la aplicación de iluminación de la imagen. [23]
El algoritmo K-means es una técnica iterativa que se utiliza para dividir una imagen en K grupos. [24] El algoritmo básico es
En este caso, la distancia es la diferencia al cuadrado o absoluta entre un píxel y el centro de un grupo. La diferencia suele basarse en el color , la intensidad , la textura y la ubicación del píxel, o en una combinación ponderada de estos factores. K se puede seleccionar manualmente, aleatoriamente o mediante una heurística . Se garantiza que este algoritmo convergerá, pero es posible que no devuelva la solución óptima . La calidad de la solución depende del conjunto inicial de conglomerados y del valor de K.
El algoritmo Mean Shift es una técnica que se utiliza para dividir una imagen en un número a priori desconocido de grupos. Esto tiene la ventaja de no tener que comenzar con una estimación inicial de dicho parámetro, lo que lo convierte en una mejor solución general para casos más diversos.
La segmentación basada en movimiento es una técnica que se basa en el movimiento de la imagen para realizar la segmentación.
La idea es simple: mira las diferencias entre un par de imágenes. Suponiendo que el objeto de interés se esté moviendo, la diferencia será exactamente ese objeto.
Mejorando esta idea, Kenney et al. propuesta de segmentación interactiva [2]. Utilizan un robot para empujar objetos con el fin de generar la señal de movimiento necesaria para la segmentación basada en movimiento.
La segmentación interactiva sigue el marco de percepción interactiva propuesto por Dov Katz [3] y Oliver Brock [4].
Otra técnica que se basa en el movimiento es la segmentación por movimiento rígido .
Los métodos basados en compresión postulan que la segmentación óptima es aquella que minimiza, sobre todas las segmentaciones posibles, la longitud de codificación de los datos. [25] [26] La conexión entre estos dos conceptos es que la segmentación intenta encontrar patrones en una imagen y cualquier regularidad en la imagen se puede utilizar para comprimirla. El método describe cada segmento por su textura y forma de límite. Cada uno de estos componentes se modela mediante una función de distribución de probabilidad y su longitud de codificación se calcula de la siguiente manera:
Para cualquier segmentación dada de una imagen, este esquema produce la cantidad de bits necesarios para codificar esa imagen en función de la segmentación dada. Así, entre todas las segmentaciones posibles de una imagen, el objetivo es encontrar la segmentación que produzca la longitud de codificación más corta. Esto se puede lograr mediante un método de agrupamiento aglomerativo simple. La distorsión en la compresión con pérdida determina la tosquedad de la segmentación y su valor óptimo puede diferir para cada imagen. Este parámetro se puede estimar heurísticamente a partir del contraste de texturas en una imagen. Por ejemplo, cuando las texturas de una imagen son similares, como en las imágenes de camuflaje, se requiere una sensibilidad más fuerte y, por tanto, una cuantificación más baja.
Los métodos basados en histogramas son muy eficientes en comparación con otros métodos de segmentación de imágenes porque normalmente requieren sólo un paso a través de los píxeles . En esta técnica, se calcula un histograma a partir de todos los píxeles de la imagen y los picos y valles del histograma se utilizan para localizar los grupos en la imagen. [1] Se puede utilizar el color o la intensidad como medida.
Un refinamiento de esta técnica es aplicar recursivamente el método de búsqueda de histograma a grupos de la imagen para dividirlos en grupos más pequeños. Esta operación se repite con grupos cada vez más pequeños hasta que no se formen más grupos. [1] [27]
Una desventaja del método de búsqueda de histograma es que puede resultar difícil identificar picos y valles significativos en la imagen.
Los enfoques basados en histogramas también se pueden adaptar rápidamente para aplicarlos a múltiples fotogramas, manteniendo al mismo tiempo su eficiencia de una sola pasada. El histograma se puede realizar de varias formas cuando se consideran varios fotogramas. El mismo enfoque que se adopta con un cuadro se puede aplicar a varios y, una vez fusionados los resultados, es más probable que se distingan los picos y valles que antes eran difíciles de identificar. El histograma también se puede aplicar por píxel, donde la información resultante se utiliza para determinar el color más frecuente para la ubicación del píxel. Este enfoque segmenta en función de objetos activos y un entorno estático, lo que da como resultado un tipo diferente de segmentación útil en el seguimiento de vídeo .
La detección de bordes es un campo bien desarrollado por sí solo dentro del procesamiento de imágenes. Los límites y los bordes de la región están estrechamente relacionados, ya que a menudo hay un ajuste brusco en la intensidad en los límites de la región. Por tanto, se han utilizado técnicas de detección de bordes como base de otra técnica de segmentación.
Los bordes identificados mediante la detección de bordes suelen estar desconectados. Sin embargo, para segmentar un objeto a partir de una imagen, se necesitan límites de región cerrados. Los bordes deseados son los límites entre dichos objetos o taxones espaciales. [28] [29]
Los taxones espaciales [30] son gránulos de información, [31] que consisten en una región de píxeles nítida, ubicada en niveles de abstracción dentro de una arquitectura de escena anidada jerárquica. Son similares a la designación psicológica Gestalt de figura-fondo, pero se amplían para incluir el primer plano, grupos de objetos, objetos y partes destacadas del objeto. Los métodos de detección de bordes se pueden aplicar a la región del taxón espacial, de la misma manera que se aplicarían a una silueta. Este método es particularmente útil cuando el borde desconectado es parte de un contorno ilusorio [32] [33]
Los métodos de segmentación también se pueden aplicar a bordes obtenidos de detectores de bordes. Lindeberg y Li [34] desarrollaron un método integrado que segmenta los bordes en segmentos de borde rectos y curvos para el reconocimiento de objetos basado en partes, basándose en un criterio de longitud mínima de descripción (MDL ) que se optimizó mediante un método similar a dividir y fusionar. con puntos de interrupción candidatos obtenidos a partir de señales de unión complementarias para obtener puntos más probables en los que considerar particiones en diferentes segmentos.
La detección de puntos aislados en una imagen es una parte fundamental de la segmentación de imágenes. Este proceso depende principalmente de la segunda derivada, lo que indica el uso del operador laplaciano. El laplaciano de una función viene dado por:
El operador laplaciano se emplea de manera que las derivadas parciales se deriven de una ecuación específica. La segunda derivada parcial de con respecto a y está dada por:
Estas derivadas parciales se utilizan luego para calcular el laplaciano como:
Esta expresión matemática se puede implementar mediante convolución con una máscara adecuada. Si ampliamos esta ecuación a tres dimensiones (x,y,z), la intensidad en cada ubicación de píxel alrededor de un píxel central en (x, y, z) se reemplaza por sus valores correspondientes. Esta ecuación resulta particularmente útil cuando asumimos que todos los píxeles tienen un espaciado unitario a lo largo de cada eje.
Se ha desarrollado una máscara de esfera para usar con conjuntos de datos tridimensionales. La máscara de esfera está diseñada para utilizar únicamente aritmética de números enteros durante los cálculos, eliminando así la necesidad de hardware o software de punto flotante.
Al aplicar estos conceptos a imágenes reales representadas como matrices de números, debemos considerar qué sucede cuando llegamos a un borde o región fronteriza. La función se define como:
Esta ecuación anterior se utiliza para determinar si un punto en la imagen es un punto aislado en función de la magnitud de la respuesta y un valor umbral . Si la magnitud de la respuesta es mayor o igual al umbral, la función devuelve 1, indicando la presencia de un punto aislado; de lo contrario, devuelve 0. Esto ayuda a la detección y segmentación efectiva de puntos aislados en la imagen. [35]
La detección de puntos aislados tiene importantes aplicaciones en diversos campos, incluido el procesamiento de imágenes de rayos X. Por ejemplo, una imagen de rayos X original de un álabe de turbina se puede examinar píxel a píxel para detectar porosidad en el cuadrante superior derecho del álabe. Se puede aproximar el resultado de aplicar la respuesta de un detector de bordes a esta imagen de rayos X. Esto demuestra la segmentación de puntos aislados en una imagen con la ayuda de sondas de un solo píxel. [36]
Este método es una combinación de tres características de la imagen: la partición de la imagen basada en el análisis del histograma se controla mediante la alta compacidad de los grupos (objetos) y los altos gradientes de sus bordes. Para ello es necesario introducir dos espacios: un espacio es el histograma unidimensional de brillo H = H ( B ); el segundo espacio es el espacio tridimensional dual de la propia imagen original B = B ( x , y ). El primer espacio permite medir qué tan compactamente se distribuye el brillo de la imagen calculando un kmin de agrupamiento mínimo. El brillo umbral T correspondiente a kmin define la imagen binaria (blanco y negro): mapa de bits b = φ ( x , y ), donde φ ( x , y ) = 0, si B ( x , y ) < T y φ ( x , y ) = 1, si B ( x , y ) ≥ T . El mapa de bits b es un objeto en espacio dual. En ese mapa de bits se debe definir una medida que refleje qué tan compactos son los píxeles negros (o blancos) distribuidos. Entonces, el objetivo es encontrar objetos con buenos bordes. Para todo T, se debe calcular la medida M DC = G /( k × L ) (donde k es la diferencia de brillo entre el objeto y el fondo, L es la longitud de todos los bordes y G es el gradiente medio en los bordes). El máximo de MDC define la segmentación. [37]
Los métodos de crecimiento de regiones se basan principalmente en el supuesto de que los píxeles vecinos dentro de una región tienen valores similares. El procedimiento común es comparar un píxel con sus vecinos. Si se cumple un criterio de similitud, se puede configurar que el píxel pertenezca al mismo grupo que uno o más de sus vecinos. La selección del criterio de similitud es significativa y los resultados están influenciados por el ruido en todos los casos.
El método de fusión de regiones estadísticas [38] (SRM) comienza construyendo el gráfico de píxeles utilizando 4 conexiones con bordes ponderados por el valor absoluto de la diferencia de intensidad. Inicialmente, cada píxel forma una única región de píxeles. Luego, SRM ordena esos bordes en una cola de prioridad y decide si fusionar o no las regiones actuales que pertenecen a los píxeles del borde utilizando un predicado estadístico.
Un método de cultivo de regiones es el método de cultivo de regiones sembradas. Este método toma un conjunto de semillas como entrada junto con la imagen. Las semillas marcan cada uno de los objetos a segmentar. Las regiones crecen de forma iterativa mediante la comparación de todos los píxeles vecinos no asignados a las regiones. La diferencia entre el valor de intensidad de un píxel y la media de la región, se utiliza como medida de similitud . El píxel con la diferencia más pequeña medida de esta manera se asigna a la región respectiva. Este proceso continúa hasta que todos los píxeles se asignan a una región. Debido a que el crecimiento de la región sembrada requiere semillas como insumo adicional, los resultados de la segmentación dependen de la elección de las semillas y el ruido en la imagen puede causar que las semillas estén mal ubicadas.
Otro método de cultivo por regiones es el método de cultivo por regiones sin semillas. Es un algoritmo modificado que no requiere semillas explícitas. Se comienza con una única región ; el píxel elegido aquí no influye notablemente en la segmentación final. En cada iteración, considera los píxeles vecinos de la misma manera que la región sembrada crece. Se diferencia del crecimiento de regiones sembradas en que si el mínimo es menor que un umbral predefinido , se agrega a la región respectiva . De lo contrario, el píxel se considera diferente de todas las regiones actuales y se crea una nueva región con este píxel.
Una variante de esta técnica, propuesta por Haralick y Shapiro (1985), [1] se basa en las intensidades de los píxeles . La media y la dispersión de la región y la intensidad del píxel candidato se utilizan para calcular una estadística de prueba. Si la estadística de prueba es suficientemente pequeña, el píxel se agrega a la región y se vuelven a calcular la media y la dispersión de la región. De lo contrario, el píxel se rechaza y se utiliza para formar una nueva región.
Un método especial de crecimiento de regiones se llama segmentación conectada (ver también conectividad lambda ). Se basa en intensidades de píxeles y rutas de vinculación de vecindarios. Un grado de conectividad (connectedness) se calcula en función de una ruta formada por píxeles. Para un cierto valor de , dos píxeles se denominan conectados si hay una ruta que une esos dos píxeles y la conectividad de esta ruta es al menos . -La conectividad es una relación de equivalencia. [39]
La segmentación de división y fusión se basa en una partición de cuatro árboles de una imagen. A veces se le llama segmentación de cuatro árboles.
Este método comienza en la raíz del árbol que representa la imagen completa. Si se encuentra que no es uniforme (no es homogéneo), entonces se divide en cuatro cuadrados secundarios (el proceso de división), y así sucesivamente. Si, por el contrario, cuatro cuadrados secundarios son homogéneos, se fusionan como varios componentes conectados (el proceso de fusión). El nodo del árbol es un nodo segmentado. Este proceso continúa de forma recursiva hasta que no sean posibles más divisiones o fusiones. [40] [41] Cuando una estructura de datos especial está involucrada en la implementación del algoritmo del método, su complejidad temporal puede alcanzar un algoritmo óptimo del método. [42]
Utilizando un método basado en ecuaciones diferenciales parciales (PDE) y resolviendo la ecuación PDE mediante un esquema numérico, se puede segmentar la imagen. [43] La propagación de curvas es una técnica popular en esta categoría, con numerosas aplicaciones para la extracción de objetos, el seguimiento de objetos, la reconstrucción estéreo, etc. La idea central es desarrollar una curva inicial hacia el potencial más bajo de una función de costos, donde su definición refleja la tarea a abordar. Como ocurre con la mayoría de los problemas inversos , la minimización del costo funcional no es trivial e impone ciertas restricciones de suavidad en la solución, que en el presente caso pueden expresarse como restricciones geométricas en la curva en evolución.
Las técnicas lagrangianas se basan en parametrizar el contorno según alguna estrategia de muestreo y luego evolucionar cada elemento según imagen y términos internos. Tales técnicas son rápidas y eficientes, sin embargo la formulación original "puramente paramétrica" (debida a Kass, Witkin y Terzopoulos en 1987 y conocida como " serpientes "), es generalmente criticada por sus limitaciones en cuanto a la elección de la estrategia de muestreo, las propiedades geométricas internas de la curva, cambios de topología (división y fusión de curvas), tratamiento de problemas en dimensiones superiores, etc. Hoy en día, se han desarrollado formulaciones "discretizadas" eficientes para abordar estas limitaciones manteniendo una alta eficiencia. En ambos casos, la minimización de energía generalmente se lleva a cabo utilizando un descenso de gradiente más pronunciado, mediante el cual las derivadas se calculan utilizando, por ejemplo, diferencias finitas.
El método de conjunto de niveles fue propuesto inicialmente para rastrear interfaces en movimiento por Dervieux y Thomasset [44] [45] en 1979 y 1981 y luego fue reinventado por Osher y Sethian en 1988. [46] Esto se ha extendido a varios dominios de imágenes en los últimos años. Década de 1990. Se puede utilizar para abordar de manera eficiente el problema de curva/superficie/etc. propagación de manera implícita. La idea central es representar el contorno en evolución utilizando una función con signo cuyo cero corresponde al contorno real. Luego, de acuerdo con la ecuación de movimiento del contorno, se puede derivar fácilmente un flujo similar para la superficie implícita que, cuando se aplica al nivel cero, reflejará la propagación del contorno. El método de conjunto de niveles ofrece numerosas ventajas: es implícito, no tiene parámetros, proporciona una forma directa de estimar las propiedades geométricas de la estructura en evolución, permite cambios de topología y es intrínseco. Puede utilizarse para definir un marco de optimización, como lo propusieron Zhao, Merriman y Osher en 1996. Se puede concluir que es un marco muy conveniente para abordar numerosas aplicaciones de visión por computadora y análisis de imágenes médicas. [47] La investigación sobre varias estructuras de datos de conjuntos de niveles ha llevado a implementaciones muy eficientes de este método.
El método de marcha rápida se ha utilizado en la segmentación de imágenes, [48] y este modelo se ha mejorado (permitiendo velocidades de propagación tanto positivas como negativas) en un enfoque llamado método de marcha rápida generalizada. [49]
El objetivo de los métodos variacionales es encontrar una segmentación que sea óptima con respecto a un funcional energético específico. Los funcionales constan de un término de ajuste de datos y términos de regularización. Un representante clásico es el modelo de Potts definido para una imagen por
Un minimizador es una imagen constante por partes que tiene un equilibrio óptimo entre la distancia L2 al cuadrado de la imagen dada y la longitud total de su conjunto de saltos. El conjunto de saltos define una segmentación. El peso relativo de las energías se ajusta mediante el parámetro . La variante binaria del modelo de Potts, es decir, si el rango de está restringido a dos valores, suele denominarse modelo Chan- Vese . [50] Una generalización importante es el modelo de Mumford-Shah [51] dado por
El valor funcional es la suma de la longitud total de la curva de segmentación , la suavidad de la aproximación y su distancia a la imagen original . El peso de la penalización de suavidad se ajusta mediante . El modelo de Potts a menudo se denomina modelo de Mumford-Shah constante por partes, ya que puede verse como el caso degenerado . Se sabe que los problemas de optimización son NP-difíciles en general, pero las estrategias casi minimizadoras funcionan bien en la práctica. Los algoritmos clásicos son la no convexidad graduada y la aproximación de Ambrosio-Tortorelli .
Los métodos de partición de gráficos son herramientas eficaces para la segmentación de imágenes, ya que modelan el impacto de las vecindades de píxeles en un grupo determinado de píxeles o píxeles, bajo el supuesto de homogeneidad en las imágenes. En estos métodos, la imagen se modela como un gráfico no dirigido ponderado . Por lo general, un píxel o un grupo de píxeles están asociados con nodos y los pesos de los bordes definen la (des)similitud entre los píxeles vecinos. Luego, el gráfico (imagen) se divide según un criterio diseñado para modelar grupos "buenos". Cada partición de los nodos (píxeles) generados por estos algoritmos se considera un segmento de objeto en la imagen; consulte Categorización de objetos basada en segmentación . Algunos algoritmos populares de esta categoría son cortes normalizados, [52] caminante aleatorio , [53] corte mínimo, [54] partición isoperimétrica, [55] segmentación basada en árbol de expansión mínima , [56] y categorización de objetos basada en segmentación .
La aplicación de campos aleatorios de Markov (MRF) para imágenes fue sugerida a principios de 1984 por Geman y Geman. [57] Su sólida base matemática y su capacidad para proporcionar un óptimo global incluso cuando se define en función de características locales demostraron ser la base para investigaciones novedosas en el dominio del análisis, la eliminación de ruido y la segmentación de imágenes. Los MRF se caracterizan completamente por sus distribuciones de probabilidad previa, distribuciones de probabilidad marginal, camarillas , restricciones de suavizado y criterios para actualizar los valores. El criterio para la segmentación de imágenes utilizando MRF se reformula como encontrar el esquema de etiquetado que tenga la máxima probabilidad para un conjunto dado de características. Las categorías amplias de segmentación de imágenes que utilizan MRF son segmentación supervisada y no supervisada.
En términos de segmentación de imágenes, la función que los MRF buscan maximizar es la probabilidad de identificar un esquema de etiquetado dado que se detecta un conjunto particular de características en la imagen. Esta es una reformulación del método de estimación máxima a posteriori .
El algoritmo genérico para la segmentación de imágenes utilizando MAP se proporciona a continuación:
Cada algoritmo de optimización es una adaptación de modelos de una variedad de campos y se distinguen por sus funciones de costos únicas. El rasgo común de las funciones de costos es penalizar el cambio en el valor de los píxeles, así como la diferencia en las etiquetas de los píxeles en comparación con las etiquetas de los píxeles vecinos.
El algoritmo de modos condicionales iterados (ICM) intenta reconstruir el esquema de etiquetado ideal cambiando los valores de cada píxel en cada iteración y evaluando la energía del nuevo esquema de etiquetado utilizando la función de costo que se proporciona a continuación.
donde α es la penalización por el cambio en la etiqueta del píxel y β es la penalización por la diferencia en la etiqueta entre los píxeles vecinos y el píxel elegido. Aquí está la vecindad del píxel i y δ es la función delta de Kronecker. Un problema importante con ICM es que, al igual que el descenso de gradiente, tiene una tendencia a descansar sobre los máximos locales y, por lo tanto, no obtener un esquema de etiquetado globalmente óptimo.
Derivado como un análogo del recocido en metalurgia, el recocido simulado (SA) utiliza cambios en la etiqueta de píxel a lo largo de iteraciones y estima la diferencia de energía de cada gráfico recién formado con respecto a los datos iniciales. Si el gráfico recién formado es más rentable, en términos de bajo coste energético, viene dado por:
el algoritmo selecciona el gráfico recién formado. El recocido simulado requiere la entrada de programas de temperatura que afectan directamente la velocidad de convergencia del sistema, así como el umbral de energía para que se produzca la minimización.
Existe una variedad de otros métodos para resolver MRF simples y de orden superior. Incluyen maximización del margen posterior, estimación MAP multiescala, [58] segmentación de resolución múltiple [59] y más. Además de las estimaciones de probabilidad, existen métodos basados en gráficos altamente restringidos [ 61 ] [62] para resolver MRF.
El algoritmo de maximización de expectativas se utiliza para estimar de forma iterativa las probabilidades y distribuciones posteriores del etiquetado cuando no hay datos de entrenamiento disponibles y no se puede formar una estimación del modelo de segmentación. Un enfoque general es utilizar histogramas para representar las características de una imagen y proceder como se describe brevemente en este algoritmo de tres pasos:
1. Se utiliza una estimación aleatoria de los parámetros del modelo.
2. Paso E: Estimar las estadísticas de clase según el modelo de segmentación aleatoria definido. Con estos, calcule la probabilidad condicional de pertenecer a una etiqueta dado que el conjunto de características se calcula utilizando el ingenuo teorema de Bayes .
Aquí , el conjunto de todas las etiquetas posibles.
3. Paso M: la relevancia establecida de un conjunto de características determinado para un esquema de etiquetado ahora se utiliza para calcular la estimación a priori de una etiqueta determinada en la segunda parte del algoritmo. Dado que se desconoce el número real de etiquetas totales (de un conjunto de datos de entrenamiento), en los cálculos se utiliza una estimación oculta del número de etiquetas proporcionadas por el usuario.
¿Dónde está el conjunto de todas las características posibles?
La transformación de cuenca considera la magnitud del gradiente de una imagen como una superficie topográfica. Los píxeles que tienen las intensidades de magnitud de gradiente (GMI) más altas corresponden a líneas divisorias de aguas, que representan los límites de la región. El agua colocada en cualquier píxel encerrado por una línea divisoria de aguas común fluye cuesta abajo hasta un mínimo de intensidad local común (LIM). Los píxeles que drenan hasta un mínimo común forman una cuenca de captación, que representa un segmento.
El supuesto central de los enfoques basados en modelos es que las estructuras de interés tienden a adoptar una forma particular. Por tanto, se puede buscar un modelo probabilístico que caracterice la forma y su variación. Al segmentar una imagen, se pueden imponer restricciones utilizando este modelo como prioritario. [63] Tal tarea puede implicar (i) el registro de los ejemplos de entrenamiento en una pose común, (ii) la representación probabilística de la variación de las muestras registradas y (iii) la inferencia estadística entre el modelo y la imagen. Otros métodos importantes en la literatura para la segmentación basada en modelos incluyen modelos de forma activos y modelos de apariencia activos .
Las segmentaciones de imágenes se calculan en múltiples escalas en el espacio de escala y, a veces, se propagan de escalas gruesas a finas; ver segmentación del espacio de escala .
Los criterios de segmentación pueden ser arbitrariamente complejos y pueden tener en cuenta criterios tanto globales como locales. Un requisito común es que cada región debe estar conectada en algún sentido.
El trabajo fundamental de Witkin [64] [65] en el espacio de escala incluía la noción de que una señal unidimensional podría segmentarse sin ambigüedades en regiones, con un parámetro de escala controlando la escala de segmentación.
Una observación clave es que los cruces por cero de las segundas derivadas (mínimos y máximos de la primera derivada o pendiente) de versiones suavizadas de múltiples escalas de una señal forman un árbol de anidamiento, que define relaciones jerárquicas entre segmentos en diferentes escalas. Específicamente, los extremos de pendiente en escalas gruesas se pueden rastrear hasta las características correspondientes en escalas finas. Cuando una pendiente máxima y una pendiente mínima se aniquilan entre sí a una escala mayor, los tres segmentos que separaron se fusionan en un solo segmento, definiendo así la jerarquía de segmentos.
Se han realizado numerosos trabajos de investigación en esta área, de los cuales algunos han alcanzado un estado en el que se pueden aplicar con intervención manual interactiva (normalmente con aplicación a imágenes médicas) o de forma totalmente automática. A continuación se ofrece una breve descripción de algunas de las principales ideas de investigación en las que se basan los enfoques actuales.
Sin embargo, la estructura de anidamiento que describió Witkin es específica para señales unidimensionales y no se transfiere trivialmente a imágenes de dimensiones superiores. Sin embargo, esta idea general ha inspirado a varios otros autores a investigar esquemas de segmentación de imágenes de grueso a fino. Koenderink [66] propuso estudiar cómo evolucionan los contornos de isointensidad a lo largo de las escalas y este enfoque fue investigado con más detalle por Lifshitz y Pizer. [67] Desafortunadamente, sin embargo, la intensidad de las características de la imagen cambia según las escalas, lo que implica que es difícil rastrear características de la imagen de escala gruesa a escalas más finas utilizando información de isointensidad.
Lindeberg [68] [69] estudió el problema de vincular extremos locales y puntos de silla sobre escalas, y propuso una representación de imagen llamada bosquejo primario de espacio-escala que hace explícitas las relaciones entre estructuras en diferentes escalas, y también hace explícito qué características de la imagen son estables en amplios rangos de escala, incluidas escalas localmente apropiadas para ellos. Bergholm propuso detectar bordes en escalas gruesas en el espacio de escala y luego rastrearlos hasta escalas más finas con la elección manual tanto de la escala de detección gruesa como de la escala de localización fina.
Gauch y Pizer [70] estudiaron el problema complementario de las crestas y los valles a múltiples escalas y desarrollaron una herramienta para la segmentación de imágenes interactiva basada en cuencas hidrográficas de múltiples escalas. Olsen y Nielsen [71] también investigaron el uso de cuencas hidrográficas de múltiples escalas con aplicación al mapa de gradiente y Dam lo trasladó al uso clínico. [72] Vincken et al. [73] propusieron una hiperpila para definir relaciones probabilísticas entre estructuras de imágenes en diferentes escalas. Ahuja [74] [75] y sus colaboradores han impulsado el uso de estructuras de imágenes estables a escalas en un sistema totalmente automatizado. Undeman y Lindeberg [76] han presentado un algoritmo de segmentación cerebral totalmente automático basado en ideas estrechamente relacionadas de cuencas hidrográficas de múltiples escalas, que ha sido probado exhaustivamente en bases de datos cerebrales.
Florack y Kuijper también han retomado estas ideas para la segmentación de imágenes a múltiples escalas mediante la vinculación de estructuras de imágenes a través de escalas. [77] Bijaoui y Rué [78] asocian estructuras detectadas en el espacio de escala por encima de un umbral de ruido mínimo en un árbol de objetos que abarca múltiples escalas y corresponde a un tipo de característica en la señal original. Las características extraídas se reconstruyen con precisión utilizando un método iterativo de matriz de gradiente conjugado.
En un tipo de segmentación, el usuario delinea la región de interés con los clics del mouse y se aplican algoritmos para que se muestre la ruta que mejor se ajuste al borde de la imagen.
En este tipo de segmentación se utilizan técnicas como SIOX , Livewire , Intelligent Scissors o IT-SNAPS. En un tipo alternativo de segmentación semiautomática, los algoritmos devuelven un taxón espacial (es decir, primer plano, grupo de objetos, objeto o parte del objeto) seleccionado por el usuario o designado mediante probabilidades previas. [79] [80]
La mayoría de los métodos de segmentación antes mencionados se basan únicamente en la información de color de los píxeles de la imagen. Los seres humanos utilizan mucho más conocimiento al realizar la segmentación de imágenes, pero implementar este conocimiento costaría una ingeniería humana y un tiempo computacional considerables, y requeriría una enorme base de datos de conocimientos de dominio que no existe actualmente. Los métodos de segmentación entrenables, como la segmentación de redes neuronales , superan estos problemas modelando el conocimiento del dominio a partir de un conjunto de datos de píxeles etiquetados.
Una red neuronal de segmentación de imágenes puede procesar pequeñas áreas de una imagen para extraer características simples como bordes. [81] Otra red neuronal, o cualquier mecanismo de toma de decisiones, puede combinar estas características para etiquetar las áreas de una imagen en consecuencia. Un tipo de red diseñada de esta manera es el mapa de Kohonen .
Las redes neuronales acopladas por pulsos (PCNN) son modelos neuronales propuestos modelando la corteza visual de un gato y desarrollados para el procesamiento de imágenes biomiméticas de alto rendimiento . En 1989, Reinhard Eckhorn introdujo un modelo neuronal para emular el mecanismo de la corteza visual de un gato. El modelo de Eckhorn proporcionó una herramienta sencilla y eficaz para estudiar la corteza visual de pequeños mamíferos y pronto se reconoció que tenía un importante potencial de aplicación en el procesamiento de imágenes. En 1994, John L. Johnson adaptó el modelo de Eckhorn para convertirlo en un algoritmo de procesamiento de imágenes, quien denominó a este algoritmo Red neuronal acoplada por pulsos. [82] Durante la última década, las PCNN se han utilizado para una variedad de aplicaciones de procesamiento de imágenes, que incluyen: segmentación de imágenes, generación de características, extracción de rostros, detección de movimiento, crecimiento de regiones, reducción de ruido, etc. Una PCNN es una red neuronal bidimensional. Cada neurona de la red corresponde a un píxel en una imagen de entrada y recibe la información de color de su píxel correspondiente (por ejemplo, intensidad) como estímulo externo. Cada neurona también se conecta con sus neuronas vecinas, recibiendo de ellas estímulos locales. Los estímulos externos y locales se combinan en un sistema de activación interno, que acumula los estímulos hasta que supera un umbral dinámico, lo que da como resultado una salida de pulso. Mediante computación iterativa, las neuronas PCNN producen series temporales de salidas de pulsos. La serie temporal de salidas de pulsos contiene información de imágenes de entrada y se puede utilizar para diversas aplicaciones de procesamiento de imágenes, como segmentación de imágenes y generación de características. En comparación con los medios de procesamiento de imágenes convencionales, las PCNN tienen varias ventajas importantes, incluida la robustez frente al ruido, la independencia de las variaciones geométricas en los patrones de entrada, la capacidad de salvar variaciones menores de intensidad en los patrones de entrada, etc.
U-Net es una red neuronal convolucional que toma como entrada una imagen y genera una etiqueta para cada píxel. [83] U-Net se desarrolló inicialmente para detectar límites celulares en imágenes biomédicas. U-Net sigue la arquitectura clásica del codificador automático , como tal, contiene dos subestructuras. La estructura del codificador sigue la pila tradicional de capas convolucionales y de agrupación máxima para aumentar el campo receptivo a medida que atraviesa las capas. Se utiliza para capturar el contexto de la imagen. La estructura del decodificador utiliza capas de convolución transpuestas para realizar un muestreo superior de modo que las dimensiones finales sean cercanas a las de la imagen de entrada. Las conexiones de salto se colocan entre capas de convolución y convolución transpuesta de la misma forma para preservar detalles que de otro modo se habrían perdido.
Además de las tareas de segmentación semántica a nivel de píxel que asignan una categoría determinada a cada píxel, las aplicaciones de segmentación modernas incluyen tareas de segmentación semántica a nivel de instancia en las que cada individuo de una categoría determinada debe identificarse de forma única, así como tareas de segmentación panóptica que combinan estas Dos tareas para proporcionar una segmentación de escena más completa. [20]
Las imágenes relacionadas, como un álbum de fotos o una secuencia de cuadros de vídeo, a menudo contienen objetos y escenas semánticamente similares, por lo que suele resultar beneficioso explotar dichas correlaciones. [84] La tarea de segmentar simultáneamente escenas de imágenes o fotogramas de vídeo relacionados se denomina cosegmentación , [16] que se utiliza normalmente en la localización de acciones humanas . A diferencia de la detección de objetos convencional basada en cuadros delimitadores , los métodos de localización de acciones humanas proporcionan resultados más detallados, generalmente máscaras de segmentación por imagen que delinean el objeto humano de interés y su categoría de acción (por ejemplo, Segment-Tube [17] ). A menudo se emplean técnicas como las redes dinámicas de Markov , CNN y LSTM para explotar las correlaciones entre cuadros.
Existen muchos otros métodos de segmentación, como la segmentación multiespectral o la segmentación basada en conectividad basada en imágenes DTI . [85] [86]
{{cite journal}}
: Citar diario requiere |journal=
( ayuda )