Tensor de estructura

Tensor relacionado con gradientes

En matemáticas, el tensor de estructura , también conocido como matriz de segundo momento , es una matriz derivada del gradiente de una función . Describe la distribución del gradiente en un entorno específico alrededor de un punto y hace que la información sea invariable respecto de las coordenadas de observación. El tensor de estructura se utiliza a menudo en el procesamiento de imágenes y la visión artificial . ^{[1] [2] [3]}

El tensor de estructura 2D

Versión continua

Para una función de dos variables p = ( x , y ) , el tensor de estructura es la matriz 2×2 ${\displaystyle I}$

$${\displaystyle S_{w}(p)={\begin{bmatrix}\int w(r)(I_{x}(p-r))^{2}\,dr&\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr\\[10pt]\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr&\int w(r)(I_{y}(p-r))^{2}\,dr\end{bmatrix}}}$$donde y son las derivadas parciales de con respecto a x e y ; las integrales varían sobre el plano ; y w es una "función de ventana" fija (como un desenfoque gaussiano ), una distribución sobre dos variables. Nótese que la matriz es en sí misma una función de p = ( x , y ) . ${\displaystyle I_{x}}$ ${\displaystyle I_{y}}$ ${\displaystyle I}$ ${\displaystyle \mathbb {R} ^{2}}$ ${\displaystyle S_{w}}$

La fórmula anterior también se puede escribir como , donde es la función matricial definida por ${\textstyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$ ${\displaystyle S_{0}}$ $${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}\end{bmatrix}}}$$

Si el gradiente de se considera como una matriz 2×1 (de una sola columna), donde denota la operación de transposición , que convierte un vector fila en un vector columna, la matriz se puede escribir como el producto matricial o el tensor o el producto externo . Sin embargo, tenga en cuenta que el tensor de estructura no se puede factorizar de esta manera en general, excepto si es una función delta de Dirac . ${\displaystyle \nabla I=(I_{x},I_{y})^{\text{T}}}$ ${\displaystyle I}$ ${\displaystyle (\cdot )^{\text{T}}}$ ${\displaystyle S_{0}}$ ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$ ${\displaystyle \nabla I\otimes \nabla I}$ ${\displaystyle S_{w}(p)}$ ${\displaystyle w}$

Versión discreta

En el procesamiento de imágenes y otras aplicaciones similares, la función se suele dar como una matriz discreta de muestras , donde p es un par de índices enteros. El tensor de estructura 2D en un píxel determinado se suele tomar como la suma discreta ${\displaystyle I}$ ${\displaystyle I[p]}$

$${\displaystyle S_{w}[p]={\begin{bmatrix}\sum _{r}w[r](I_{x}[p-r])^{2}&\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]\\[10pt]\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]&\sum _{r}w[r](I_{y}[p-r])^{2}\end{bmatrix}}}$$

Aquí, el índice de suma r abarca un conjunto finito de pares de índices (la "ventana", típicamente para algún m ), y w [ r ] es un "peso de ventana" fijo que depende de r , de modo que la suma de todos los pesos es 1. Los valores son las derivadas parciales muestreadas en el píxel p ; que, por ejemplo, pueden estimarse mediante fórmulas de diferencias finitas . ${\displaystyle \{-m\ldots +m\}\times \{-m\ldots +m\}}$ ${\displaystyle I_{x}[p],I_{y}[p]}$ ${\displaystyle I}$

La fórmula del tensor de estructura también se puede escribir como , donde es la matriz con valores tales que ${\textstyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$ ${\displaystyle S_{0}}$ $${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}\end{bmatrix}}}$$

Interpretación

La importancia del tensor de estructura 2D surge del hecho de que los valores propios (que pueden ordenarse de modo que ) y los vectores propios correspondientes resumen la distribución del gradiente de dentro de la ventana definida por centrada en . ^{[1] [2] [3]} ${\displaystyle S_{w}}$ ${\displaystyle \lambda _{1},\lambda _{2}}$ ${\displaystyle \lambda _{1}\geq \lambda _{2}\geq 0}$ ${\displaystyle e_{1},e_{2}}$ ${\displaystyle \nabla I=(I_{x},I_{y})}$ ${\displaystyle I}$ ${\displaystyle w}$ ${\displaystyle p}$

Es decir, si , entonces (o ) es la dirección que está alineada al máximo con el gradiente dentro de la ventana. ${\displaystyle \lambda _{1}>\lambda _{2}}$ ${\displaystyle e_{1}}$ ${\displaystyle -e_{1}}$

En particular, si entonces el gradiente es siempre un múltiplo de (positivo, negativo o cero); este es el caso si y solo si dentro de la ventana varía a lo largo de la dirección pero es constante a lo largo de . Esta condición de valores propios también se llama condición de simetría lineal porque entonces las isocurvas de consisten en líneas paralelas, es decir, existe una función unidimensional que puede generar la función bidimensional como para algún vector constante y las coordenadas . ${\displaystyle \lambda _{1}>0,\lambda _{2}=0}$ ${\displaystyle e_{1}}$ ${\displaystyle I}$ ${\displaystyle e_{1}}$ ${\displaystyle e_{2}}$ ${\displaystyle I}$ ${\displaystyle g}$ ${\displaystyle I}$ ${\displaystyle I(x,y)=g(d^{\text{T}}p)}$ ${\displaystyle d=(d_{x},d_{y})^{T}}$ ${\displaystyle p=(x,y)^{T}}$

Si , por otro lado, el gradiente en la ventana no tiene una dirección predominante, lo que sucede, por ejemplo, cuando la imagen tiene simetría rotacional dentro de esa ventana. Esta condición de valores propios también se denomina cuerpo equilibrado o condición de equilibrio direccional porque se cumple cuando todas las direcciones del gradiente en la ventana son igualmente frecuentes/probables. ${\displaystyle \lambda _{1}=\lambda _{2}}$

Además, la condición sucede si y sólo si la función es constante ( ) dentro de . ${\displaystyle \lambda _{1}=\lambda _{2}=0}$ ${\displaystyle I}$ ${\displaystyle \nabla I=(0,0)}$ ${\displaystyle W}$

De manera más general, el valor de , para k = 1 o k = 2, es el promedio ponderado, en la vecindad de p , del cuadrado de la derivada direccional de a lo largo de . La discrepancia relativa entre los dos valores propios de es un indicador del grado de anisotropía del gradiente en la ventana, es decir, cuán fuertemente está sesgado hacia una dirección particular (y su opuesta). ^{[4] [5]} Este atributo puede cuantificarse mediante la coherencia , definida como ${\displaystyle \lambda _{k}}$ ${\displaystyle w}$ ${\displaystyle I}$ ${\displaystyle e_{k}}$ ${\displaystyle S_{w}}$

$${\displaystyle c_{w}=\left({\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}+\lambda _{2}}}\right)^{2}}$$

if . Esta cantidad es 1 cuando el gradiente está totalmente alineado, y 0 cuando no tiene dirección preferida. La fórmula no está definida, incluso en el límite , cuando la imagen es constante en la ventana ( ). Algunos autores la definen como 0 en ese caso. ${\displaystyle \lambda _{2}>0}$ ${\displaystyle \lambda _{1}=\lambda _{2}=0}$

Tenga en cuenta que el promedio del gradiente dentro de la ventana no es un buen indicador de anisotropía. Los vectores de gradiente alineados pero orientados de manera opuesta se cancelarían en este promedio, mientras que en el tensor de estructura se suman correctamente. ^[6] Esta es una razón por la que se utiliza en el promedio del tensor de estructura para optimizar la dirección en lugar de . ${\displaystyle \nabla I}$ ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$ ${\displaystyle \nabla I}$

Al expandir el radio efectivo de la función de ventana (es decir, aumentar su varianza), se puede hacer que el tensor de estructura sea más robusto frente al ruido, a costa de una resolución espacial disminuida. ^{[5] [7]} La ​​base formal de esta propiedad se describe con más detalle a continuación, donde se muestra que una formulación multiescala del tensor de estructura, denominada tensor de estructura multiescala, constituye una verdadera representación multiescala de datos direccionales bajo variaciones de la extensión espacial de la función de ventana . ${\displaystyle w}$

Versión compleja

La interpretación e implementación del tensor de estructura 2D se vuelve particularmente accesible usando números complejos . ^[2] El tensor de estructura consta de 3 números reales

$${\displaystyle S_{w}(p)={\begin{bmatrix}\mu _{20}&\mu _{11}\\[10pt]\mu _{11}&\mu _{02}\end{bmatrix}}}$$

donde , y en el que las integrales pueden reemplazarse por sumas para una representación discreta. Usando la identidad de Parseval, está claro que los tres números reales son los momentos de segundo orden del espectro de potencia de . El siguiente momento complejo de segundo orden del espectro de potencia de puede escribirse entonces como ${\textstyle \mu _{20}=\int (w(r)(I_{x}(p-r))^{2}\,dr}$ ${\textstyle \mu _{02}=\int (w(r)(I_{y}(p-r))^{2}\,dr}$ ${\textstyle \mu _{11}=\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr}$ ${\displaystyle I}$ ${\displaystyle I}$

$${\displaystyle \kappa _{20}=\mu _{20}-\mu _{02}+i2\mu _{11}=\int w(r)(I_{x}(p-r)+iI_{y}(p-r))^{2}\,dr=(\lambda _{1}-\lambda _{2})\exp(i2\phi )}$$

donde y es el ángulo de dirección del vector propio más significativo del tensor de estructura mientras que y son los valores propios más y menos significativos. De esto se deduce que contiene tanto una certeza como la dirección óptima en la representación de ángulo doble ya que es un número complejo que consta de dos números reales. También se deduce que si el gradiente se representa como un número complejo y se reasigna elevando al cuadrado (es decir, se duplica el argumento angles del gradiente complejo), entonces el promedio actúa como un optimizador en el dominio mapeado, ya que entrega directamente tanto la dirección óptima (en la representación de ángulo doble) como la certeza asociada. El número complejo representa así cuánta estructura lineal (simetría lineal) hay en la imagen , y el número complejo se obtiene directamente promediando el gradiente en su representación de ángulo doble (compleja) sin calcular los valores propios y los vectores propios explícitamente. ${\displaystyle i={\sqrt {-1}}}$ ${\displaystyle \phi }$ ${\displaystyle \phi =\angle {e_{1}}}$ ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2}}$ ${\displaystyle \kappa _{20}}$ ${\displaystyle |\kappa _{20}|=\lambda _{1}-\lambda _{2}}$ ${\displaystyle I}$

De igual modo, el siguiente momento complejo de segundo orden del espectro de potencia de , que resulta ser siempre real porque es real, ${\displaystyle I}$ ${\displaystyle I}$

$${\displaystyle \kappa _{11}=\mu _{20}+\mu _{02}=\int w(r)|I_{x}(p-r)+iI_{y}(p-r)|^{2}\,dr=\lambda _{1}+\lambda _{2}}$$

se puede obtener, siendo y los valores propios como antes. Nótese que esta vez la magnitud del gradiente complejo está elevada al cuadrado (lo cual siempre es real). ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2}}$

Sin embargo, al descomponer el tensor de estructura en sus vectores propios, se obtienen sus componentes tensoriales como

$${\displaystyle S_{w}(p)=\lambda _{1}e_{1}e_{1}^{\text{T}}+\lambda _{2}e_{2}e_{2}^{\text{T}}=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}(e_{1}e_{1}^{\text{T}}+e_{2}e_{2}^{\text{T}})=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}E}$$

donde es la matriz identidad en 2D porque los dos vectores propios son siempre ortogonales (y suman la unidad). El primer término en la última expresión de la descomposición, , representa el componente de simetría lineal del tensor de estructura que contiene toda la información direccional (como una matriz de rango 1), mientras que el segundo término representa el componente de cuerpo equilibrado del tensor, que carece de cualquier información direccional (que contiene una matriz identidad ). Saber cuánta información direccional hay en es lo mismo que comprobar qué tan grande es en comparación con . ${\displaystyle E}$ ${\displaystyle (\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}}$ ${\displaystyle E}$ ${\displaystyle I}$ ${\displaystyle \lambda _{1}-\lambda _{2}}$ ${\displaystyle \lambda _{2}}$

Evidentemente, es el equivalente complejo del primer término en la descomposición tensorial, mientras que es el equivalente del segundo término. Así, los dos escalares, que comprenden tres números reales, ${\displaystyle \kappa _{20}}$ $${\displaystyle {\tfrac {1}{2}}(|\kappa _{20}|-\kappa _{11})=\lambda _{2}}$$

$${\displaystyle {\begin{aligned}\kappa _{20}&=&(\lambda _{1}-\lambda _{2})\exp(i2\phi )&=w*(h*I)^{2}\\\kappa _{11}&=&\lambda _{1}+\lambda _{2}&=w*|h*I|^{2}\\\end{aligned}}}$$donde es el filtro de gradiente (complejo) y es la convolución, constituyen una representación compleja del tensor de estructura 2D. Como se analiza aquí y en otros lugares, define la imagen local, que suele ser gaussiana (con una cierta varianza que define la escala externa), y es el parámetro (escala interna) que determina el rango de frecuencia efectivo en el que se debe estimar la orientación. ${\displaystyle h(x,y)=(x+iy)\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))}$ ${\displaystyle *}$ ${\displaystyle w}$ ${\displaystyle \sigma }$ ${\displaystyle 2\phi }$

La elegancia de la representación compleja se debe a que los dos componentes del tensor de estructura se pueden obtener como promedios e independientemente. A su vez, esto significa que y se pueden utilizar en una representación del espacio de escala para describir la evidencia de la presencia de una orientación única y la evidencia de la hipótesis alternativa, la presencia de múltiples orientaciones equilibradas, sin calcular los vectores propios y los valores propios. Hasta la fecha, no se ha demostrado que exista un funcional, como el cuadrado de los números complejos, para tensores de estructura con dimensiones superiores a dos. En Bigun 91, se ha planteado con el debido argumento que esto se debe a que los números complejos son álgebras conmutativas, mientras que los cuaterniones, el posible candidato para construir dicho funcional, constituyen un álgebra no conmutativa. ^[8] ${\displaystyle \kappa _{20}}$ ${\displaystyle \kappa _{11}}$

La representación compleja del tensor de estructura se utiliza frecuentemente en el análisis de huellas dactilares para obtener mapas de dirección que contienen certezas que a su vez se utilizan para mejorarlas, para encontrar las ubicaciones de las singularidades globales (núcleos y deltas) y locales (minucias), así como para evaluar automáticamente la calidad de las huellas dactilares.

El tensor de estructura 3D

Definición

El tensor de estructura puede definirse también para una función de tres variables p =( x , y , z ) de una manera completamente análoga. Es decir, en la versión continua tenemos , donde donde son las tres derivadas parciales de , y los rangos integrales sobre . ${\displaystyle I}$ ${\textstyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$ $${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)&I_{x}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}&I_{y}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{z}(p)&I_{y}(p)I_{z}(p)&(I_{z}(p))^{2}\end{bmatrix}}}$$ ${\displaystyle I_{x},I_{y},I_{z}}$ ${\displaystyle I}$ ${\displaystyle \mathbb {R} ^{3}}$

En la versión discreta, , donde y la suma varía sobre un conjunto finito de índices 3D, generalmente para algún m . ${\textstyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$ $${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]&I_{x}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}&I_{y}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{z}[p]&I_{y}[p]I_{z}[p]&(I_{z}[p])^{2}\end{bmatrix}}}$$ ${\displaystyle \{-m\ldots +m\}\times \{-m\ldots +m\}\times \{-m\ldots +m\}}$

Interpretación

Al igual que en el caso bidimensional, los valores propios de , y los vectores propios correspondientes , resumen la distribución de las direcciones de gradiente dentro del entorno de p definido por la ventana . Esta información se puede visualizar como un elipsoide cuyos semiejes son iguales a los valores propios y están dirigidos a lo largo de sus vectores propios correspondientes. ^{[9] [10]} ${\displaystyle \lambda _{1},\lambda _{2},\lambda _{3}}$ ${\displaystyle S_{w}[p]}$ ${\displaystyle {\hat {e}}_{1},{\hat {e}}_{2},{\hat {e}}_{3}}$ ${\displaystyle w}$

Representación elipsoidal del tensor de estructura 3D.

En particular, si el elipsoide se estira a lo largo de un solo eje, como un cigarro (es decir, si es mucho más grande que ambos y ), significa que el gradiente en la ventana está predominantemente alineado con la dirección , de modo que las isosuperficies de tienden a ser planas y perpendiculares a ese vector. Esta situación ocurre, por ejemplo, cuando p se encuentra en una característica delgada similar a una placa, o en el límite suave entre dos regiones con valores contrastantes. ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2}}$ ${\displaystyle \lambda _{3}}$ ${\displaystyle e_{1}}$ ${\displaystyle I}$

Si el elipsoide se aplana en una sola dirección, como un panqueque (es decir, si es mucho más pequeño que ambos y ), significa que las direcciones del gradiente están dispersas pero perpendiculares a ; de modo que las isosuperficies tienden a ser como tubos paralelos a ese vector. Esta situación ocurre, por ejemplo, cuando p se encuentra en una característica similar a una línea delgada, o en una esquina aguda del límite entre dos regiones con valores contrastantes. ${\displaystyle \lambda _{3}}$ ${\displaystyle \lambda _{1}}$ ${\displaystyle \lambda _{2}}$ ${\displaystyle e_{3}}$

Por último, si el elipsoide es aproximadamente esférico (es decir, si ), significa que las direcciones de gradiente en la ventana están distribuidas más o menos uniformemente, sin una preferencia marcada; de modo que la función es mayoritariamente isótropa en ese entorno. Esto sucede, por ejemplo, cuando la función tiene simetría esférica en el entorno de p . En particular, si el elipsoide degenera a un punto (es decir, si los tres valores propios son cero), significa que es constante (tiene gradiente cero) dentro de la ventana. ${\displaystyle \lambda _{1}\approx \lambda _{2}\approx \lambda _{3}}$ ${\displaystyle I}$ ${\displaystyle I}$

El tensor de estructura multiescala

El tensor de estructura es una herramienta importante en el análisis del espacio de escala . El tensor de estructura multiescala (o matriz de segundo momento multiescala ) de una función es, en contraste con otras características del espacio de escala de un parámetro, un descriptor de imagen que se define sobre dos parámetros de escala. Un parámetro de escala, denominado escala local , es necesario para determinar la cantidad de presuavizado al calcular el gradiente de la imagen . Otro parámetro de escala, denominado escala de integración , es necesario para especificar la extensión espacial de la función de ventana que determina los pesos para la región en el espacio sobre la que se acumulan los componentes del producto externo del gradiente por sí mismo . ${\displaystyle I}$ ${\displaystyle t}$ ${\displaystyle (\nabla I)(x;t)}$ ${\displaystyle s}$ ${\displaystyle w(\xi ;s)}$ ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$

Más precisamente, supongamos que es una señal de valor real definida sobre . Para cualquier escala local , sea una representación multiescala de esta señal dada por donde representa un núcleo de pre-suavizado. Además, sea denotar el gradiente de la representación del espacio de escala . Entonces, la matriz de segundo momento/tensor de estructura multiescala se define por ^{[7] [11] [12]} Conceptualmente, uno puede preguntarse si sería suficiente usar cualquier familia autosimilar de funciones de suavizado y . Sin embargo, si uno aplicara ingenuamente, por ejemplo, un filtro de caja, entonces podrían ocurrir fácilmente artefactos no deseables. Si uno quiere que el tensor de estructura multiescala se comporte bien sobre escalas locales crecientes y escalas de integración crecientes , entonces se puede demostrar que tanto la función de suavizado como la función de ventana tienen que ser gaussianas. ^[7] Las condiciones que especifican esta unicidad son similares a los axiomas del espacio de escala que se utilizan para derivar la unicidad del núcleo gaussiano para un espacio de escala gaussiano regular de intensidades de imagen. ${\displaystyle I}$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle t>0}$ ${\displaystyle I(x;t)}$ ${\displaystyle I(x;t)=h(x;t)*I(x)}$ ${\displaystyle h(x;t)}$ ${\displaystyle (\nabla I)(x;t)}$ $${\displaystyle \mu (x;t,s)=\int _{\xi \in \mathbb {R} ^{k}}(\nabla I)(x-\xi ;t)\,(\nabla I)^{\text{T}}(x-\xi ;t)\,w(\xi ;s)\,d\xi }$$ ${\displaystyle h(x;t)}$ ${\displaystyle w(\xi ;s)}$ ${\displaystyle t}$ ${\displaystyle s}$

Existen diferentes formas de manejar las variaciones de escala de dos parámetros en esta familia de descriptores de imágenes. Si mantenemos fijo el parámetro de escala local y aplicamos versiones cada vez más amplias de la función de ventana incrementando solo el parámetro de escala de integración, entonces obtenemos una verdadera representación del espacio de escala formal de los datos direccionales calculados en la escala local dada . ^[7] Si acoplamos la escala local y la escala de integración mediante una escala de integración relativa , de modo que entonces para cualquier valor fijo de , obtenemos una variación de un parámetro autosimilar reducida, que se utiliza frecuentemente para simplificar algoritmos computacionales, por ejemplo en detección de esquinas , detección de puntos de interés , análisis de texturas y coincidencia de imágenes . Al variar la escala de integración relativa en dicha variación de escala autosimilar, obtenemos otra forma alternativa de parametrizar la naturaleza multiescala de los datos direccionales obtenidos al incrementar la escala de integración. ${\displaystyle t}$ ${\displaystyle s}$ ${\displaystyle t}$ ${\displaystyle r\geq 1}$ ${\displaystyle s=rt}$ ${\displaystyle r}$ ${\displaystyle r\geq 1}$

Se puede realizar una construcción conceptualmente similar para señales discretas, con la integral de convolución reemplazada por una suma de convolución y con el núcleo gaussiano continuo reemplazado por el núcleo gaussiano discreto : Al cuantificar los parámetros de escala y en una implementación real, se suele utilizar una progresión geométrica finita, con i que varía de 0 a un índice de escala máximo m . Por lo tanto, los niveles de escala discretos tendrán ciertas similitudes con la pirámide de imágenes , aunque no necesariamente se puede utilizar un submuestreo espacial para preservar datos más precisos para las etapas de procesamiento posteriores. ${\displaystyle g(x;t)}$ ${\displaystyle T(n;t)}$ $${\displaystyle \mu (x;t,s)=\sum _{n\in \mathbb {Z} ^{k}}(\nabla I)(x-n;t)\,(\nabla I)^{\text{T}}(x-n;t)\,w(n;s)}$$ ${\displaystyle t}$ ${\displaystyle s}$ ${\displaystyle \alpha ^{i}}$

Aplicaciones

Los valores propios del tensor de estructura juegan un papel importante en muchos algoritmos de procesamiento de imágenes, para problemas como la detección de esquinas , la detección de puntos de interés y el seguimiento de características . ^{[9] [13] [14] [15] [16] [17] [18]} El tensor de estructura también juega un papel central en el algoritmo de flujo óptico de Lucas-Kanade y en sus extensiones para estimar la adaptación de forma afín ; ^[11] donde la magnitud de es un indicador de la confiabilidad del resultado calculado. El tensor se ha utilizado para el análisis del espacio de escala , ^[7] la estimación de la orientación de la superficie local a partir de señales monoculares o binoculares, ^[12] la mejora de huellas dactilares no lineales, ^[19] el procesamiento de imágenes basado en difusión , ^{[20] [21] [22] [23]} y varios otros problemas de procesamiento de imágenes. El tensor de estructura también se puede aplicar en geología para filtrar datos sísmicos . ^[24] ${\displaystyle \lambda _{2}}$

Procesamiento de datos de vídeo espacio-temporales con el tensor de estructura

El tensor de estructura tridimensional se ha utilizado para analizar datos de vídeo tridimensionales (vistas como una función de x , y y el tiempo t ). ^[4] Si en este contexto se apunta a descriptores de imágenes que sean invariantes bajo transformaciones galileanas , para hacer posible la comparación de mediciones de imágenes que se han obtenido bajo variaciones de velocidades de imagen desconocidas a priori , es, sin embargo, desde un punto de vista computacional preferible parametrizar los componentes en la matriz del tensor de estructura/segundo momento usando la noción de diagonalización galileana ^[25] donde denota una transformación galileana del espacio-tiempo y una rotación bidimensional sobre el dominio espacial, en comparación con el uso mencionado anteriormente de valores propios de un tensor de estructura 3-D, que corresponde a una descomposición de valores propios y una rotación tridimensional (no física) del espacio-tiempo. Sin embargo, para obtener una verdadera invariancia galileana, también es necesario adaptar la forma de la función de ventana espacio-temporal, ^{[25] [26]} correspondiente a la transferencia de adaptación de forma afín ^[11] de datos de imagen espaciales a datos de imagen espacio-temporales. En combinación con los descriptores de histogramas espacio-temporales locales, ^[27] estos conceptos juntos permiten el reconocimiento invariante galileano de eventos espacio-temporales. ^[28] ${\displaystyle v=(v_{x},v_{y})^{\text{T}}}$ $${\displaystyle {\begin{bmatrix}x'\\y'\\t'\end{bmatrix}}=G{\begin{bmatrix}x\\y\\t\end{bmatrix}}={\begin{bmatrix}x-v_{x}\,t\\y-v_{y}\,t\\t\end{bmatrix}},}$$ ${\displaystyle S}$ $${\displaystyle S'=R_{\text{space}}^{-{\text{T}}}\,G^{-{\text{T}}}\,S\,G^{-1}\,R_{\text{space}}^{-1}={\begin{bmatrix}\nu _{1}&\,&\,\\\,&\nu _{2}&\,\\\,&\,&\nu _{3}\end{bmatrix}}}$$ ${\displaystyle G}$ ${\displaystyle R_{\text{space}}}$ $${\displaystyle S''=R_{\text{spacetime}}^{-{\text{T}}}\,S\,R_{\text{spacetime}}^{-1}={\begin{bmatrix}\lambda _{1}&&\\&\lambda _{2}&\\&&\lambda _{3}\end{bmatrix}}.}$$

Véase también

• Tensor
• Operador tensorial
• Derivada direccional
• Gaussiano
• Detección de esquinas
• Detección de bordes
• Método Lucas-Kanade
• Adaptación de forma afín
• Tensor de estructura generalizada

Referencias

1. J. Bigun y G. Granlund (1986), Detección de orientación óptima de simetría lineal . Informe técnico LiTH-ISY-I-0828, Laboratorio de visión por computadora, Universidad de Linköping, Suecia 1986; Informe de tesis, Estudios de Linköping en ciencia y tecnología n.º 85, 1986.
2. J. Bigun y G. Granlund (1987). "Detección de orientación óptima de simetría lineal". Primera conferencia internacional sobre visión artificial, ICCV, (Londres) . Piscataway: IEEE Computer Society Press, Piscataway. págs. 433–438.
3. H. Knutsson (1989). "Representación de la estructura local mediante tensores". Actas de la 6.ª Conferencia Escandinava sobre Análisis de Imágenes . Oulu: Universidad de Oulu. págs. 244-251.
4. B. Jahne (1993). Procesamiento de imágenes espacio-temporales: teoría y aplicaciones científicas . Vol. 751. Berlín: Springer-Verlag.
5. G. Medioni, M. Lee y C. Tang (marzo de 2000). Un marco computacional para la extracción y segmentación de características . Elsevier Science.
6. T. Brox; J. Weickert; B. Burgeth y P. Mrazek (2004). Tensores de estructura no lineal (Informe técnico). Universität des Saarlandes. 113.
7. T. Lindeberg (1993), Scale-Space Theory in Computer Vision . Kluwer Academic Publishers, (consulte las secciones 14.4.1 y 14.2.3 en las páginas 359-360 y 355-356 para obtener información detallada sobre cómo el tensor de estructura/matriz de segundo momento multiescala define una representación multiescala verdadera y determinada de forma única de datos direccionales).
8. J. Bigun; G. Granlund y J. Wiklund (1991). "Estimación de orientación multidimensional con aplicaciones al análisis de textura y flujo óptico". IEEE Transactions on Pattern Analysis and Machine Intelligence . 13 (8): 775–790. doi :10.1109/34.85668.
9. M. Nicolescu y G. Medioni (2003). "Segmentación de movimiento con límites precisos: un enfoque de votación tensorial". Proc. IEEE Computer Vision and Pattern Recognition . Vol. 1. págs. 382–389.
10. Westin, C.-F.; Maier, SE; Mamata, H.; Nabavi, A.; Jolesz, FA; Kikinis, R. (junio de 2002). "Procesamiento y visualización para resonancia magnética con tensor de difusión". Análisis de imágenes médicas . 6 (2): 93–108. doi :10.1016/S1361-8415(02)00053-1. PMID  12044998.
11. T. Lindeberg y J. Garding (1997). "Suavizado adaptado a la forma en la estimación de claves de profundidad 3-D a partir de distorsiones afines de la estructura 2-D local". Image and Vision Computing . 15 (6): 415–434. doi :10.1016/S0262-8856(97)01144-X.
12. J. Garding y T. Lindeberg (1996). "Cálculo directo de señales de forma utilizando operadores derivados espaciales adaptados a la escala" , International Journal of Computer Vision, volumen 17, número 2, páginas 163-191.
13. W. Förstner (1986). "Un algoritmo de correspondencia basado en características para el procesamiento de imágenes". Archivos internacionales de fotogrametría y teledetección . 26 : 150–166.
14. C. Harris y M. Stephens (1988). "Un detector combinado de esquinas y bordes". Actas de la 4.ª conferencia sobre visión de ALVEY , págs. 147-151.
15. K. Rohr (1997). "Operadores diferenciales 3D para detectar puntos de referencia". Image and Vision Computing . 15 (3): 219–233. doi :10.1016/S0262-8856(96)01127-4.
16. I. Laptev y T. Lindeberg (2003). "Puntos de interés espacio-temporales". Conferencia Internacional sobre Visión por Computador ICCV'03 . Vol. I. págs. 432–439. doi :10.1109/ICCV.2003.1238378.
17. B. Triggs (2004). "Detección de puntos clave con posición, orientación y escala estables bajo cambios de iluminación". Proc. Conferencia Europea sobre Visión Artificial . Vol. 4. págs. 100–113.
18. C. Kenney, M. Zuliani y B. Manjunath (2005). "Un enfoque axiomático para la detección de esquinas". Proc. IEEE Computer Vision and Pattern Recognition . págs. 191–197.
19. A. Almansa y T. Lindeberg (2000), Mejora de imágenes de huellas dactilares mediante operadores de escala-espacio adaptados a la forma . IEEE Transactions on Image Processing, volumen 9, número 12, páginas 2027–2042.
20. J. Weickert (1998), Difusión anisotrópica en el procesamiento de imágenes, Teuber Verlag, Stuttgart.
21. D. Tschumperle y R. Deriche (septiembre de 2002). "Ecuaciones diferenciales de difusión en imágenes con valores vectoriales". Revista IEEE Signal Processing . 19 (5): 16–25. Bibcode :2002ISPM...19...16T. doi :10.1109/MSP.2002.1028349.
22. S. Arseneau y J. Cooperstock (septiembre de 2006). "Un marco de difusión asimétrica para el análisis de uniones". British Machine Vision Conference . Vol. 2. págs. 689–698.
23. S. Arseneau y J. Cooperstock (noviembre de 2006). "Una representación mejorada de uniones mediante difusión tensorial asimétrica". Simposio internacional sobre computación visual .
24. Yang, Shuai; Chen, Anqing; Chen, Hongde (25 de mayo de 2017). "Filtrado de datos sísmicos utilizando un algoritmo de medias no locales basado en el tensor de estructura". Open Geosciences . 9 (1): 151–160. Bibcode :2017OGeo....9...13Y. doi : 10.1515/geo-2017-0013 . ISSN  2391-5447. S2CID  134392619.
25. T. Lindeberg; A. Akbarzadeh & I. Laptev (agosto de 2004). "Operadores de interés espacio-temporales con corrección galileana". Conferencia internacional sobre reconocimiento de patrones ICPR'04 . Vol. I. págs. 57–62. doi :10.1109/ICPR.2004.1334004.
26. I. Laptev y T. Lindeberg (agosto de 2004). Adaptación de la velocidad de puntos de interés espacio-temporales. Conferencia internacional sobre reconocimiento de patrones ICPR'04. Vol. I. págs. 52–56. doi :10.1109/ICPR.2004.971.
27. I. Laptev y T. Lindeberg (mayo de 2004). Descriptores locales para reconocimiento espacio-temporal. Taller ECCV'04 sobre coherencia espacial para análisis de movimiento visual (Praga, República Checa) Springer Lecture Notes in Computer Science. Vol. 3667. págs. 91–103. doi :10.1007/11676959.
28. I. Laptev; B. Caputo; C. Schuldt y T. Lindeberg (2007). "Eventos de movimiento adaptados a la velocidad local para el reconocimiento espacio-temporal". Visión artificial y comprensión de imágenes . Vol. 108. págs. 207–229. doi :10.1016/j.cviu.2006.11.023.

Recursos

• Descargar código fuente de MATLAB
• Tutorial de tensor de estructura (original)