Análisis de componentes independientes

Método computacional de procesamiento de señales.

En el procesamiento de señales , el análisis de componentes independientes ( ICA ) es un método computacional para separar una señal multivariada en subcomponentes aditivos. Esto se hace asumiendo que como máximo un subcomponente es gaussiano y que los subcomponentes son estadísticamente independientes entre sí. ^[1] ICA es un caso especial de separación ciega de fuentes . Un ejemplo de aplicación común es el " problema del cóctel " de escuchar el discurso de una persona en una habitación ruidosa. ^[2]

Introducción

ICA en cuatro vídeos mezclados aleatoriamente. ^[3] Fila superior: Los videos fuente originales. Fila del medio: cuatro mezclas aleatorias utilizadas como entrada para el algoritmo. Fila inferior: los videos reconstruidos.

El análisis de componentes independientes intenta descomponer una señal multivariada en señales independientes no gaussianas. Por ejemplo, el sonido suele ser una señal que se compone de la suma numérica, en cada instante t, de señales de varias fuentes. La pregunta entonces es si es posible separar estas fuentes contribuyentes de la señal total observada. Cuando el supuesto de independencia estadística es correcto, la separación ICA ciega de una señal mixta da muy buenos resultados. ^{[ cita necesaria ]} También se utiliza para señales que no se supone que se generen mediante mezcla con fines de análisis.

Una aplicación sencilla de ICA es el " problema del cóctel ", en el que las señales de voz subyacentes se separan de una muestra de datos formada por personas hablando simultáneamente en una sala. Generalmente el problema se simplifica suponiendo que no hay retrasos ni ecos. Tenga en cuenta que una señal filtrada y retardada es una copia de un componente dependiente y, por lo tanto, no se viola el supuesto de independencia estadística.

Se pueden colocar pesos mixtos para construir las señales observadas a partir de los componentes en una matriz. Una cosa importante a considerar es que si hay fuentes presentes, al menos se necesitan observaciones (por ejemplo, micrófonos si la señal observada es audio) para recuperar las señales originales. Cuando hay igual número de observaciones y señales fuente, la matriz de mezcla es cuadrada ( ). Se han investigado otros casos de subdeterminación ( ) y sobredeterminación ( ). ${\textstyle M}$ ${\textstyle N}$ ${\textstyle M\times N}$ ${\textstyle N}$ ${\textstyle N}$ ${\textstyle M=N}$ ${\textstyle M<N}$ ${\textstyle M>N}$

El éxito de la separación ICA de señales mixtas se basa en dos suposiciones y tres efectos de la mezcla de señales fuente. Dos supuestos:

1. Las señales fuente son independientes entre sí.
2. Los valores de cada señal fuente tienen distribuciones no gaussianas.

Tres efectos de mezclar señales fuente:

1. Independencia: Según el supuesto 1, las señales fuente son independientes; sin embargo, sus mezclas de señales no lo son. Esto se debe a que las mezclas de señales comparten las mismas señales fuente.
2. Normalidad: Según el Teorema del Límite Central , la distribución de una suma de variables aleatorias independientes con varianza finita tiende a una distribución gaussiana.
   En términos generales, una suma de dos variables aleatorias independientes suele tener una distribución más cercana a Gauss que cualquiera de las dos variables originales. Aquí consideramos el valor de cada señal como variable aleatoria.
3. Complejidad: La complejidad temporal de cualquier mezcla de señales es mayor que la de su señal fuente constituyente más simple.

Esos principios contribuyen al establecimiento básico de la ICA. Si las señales extraídas de un conjunto de mezclas son independientes y tienen distribuciones no gaussianas o tienen baja complejidad, entonces deben ser señales fuente. ^{[4] [5]}

Definición de independencia de componentes

ICA encuentra los componentes independientes (también llamados factores, variables latentes o fuentes) maximizando la independencia estadística de los componentes estimados. Podemos elegir una de las muchas formas de definir un proxy de independencia, y esta elección rige la forma del algoritmo ICA. Las dos definiciones más amplias de independencia para la ICA son

1. Minimización de la información mutua.
2. Maximización de la no gaussianidad

La familia de algoritmos ICA de Minimización de información mutua (MMI) utiliza medidas como la divergencia de Kullback-Leibler y la entropía máxima . La familia de algoritmos ICA no gaussianos, motivados por el teorema del límite central , utiliza curtosis y negentropía .

Los algoritmos típicos para ICA utilizan centrado (resta la media para crear una señal de media cero), blanqueamiento (generalmente con la descomposición de valores propios ) y reducción de dimensionalidad como pasos de preprocesamiento para simplificar y reducir la complejidad del problema para el algoritmo iterativo real. El blanqueamiento y la reducción de dimensiones se pueden lograr con el análisis de componentes principales o la descomposición de valores singulares . El blanqueamiento garantiza que todas las dimensiones se traten por igual a priori antes de ejecutar el algoritmo. Los algoritmos conocidos para ICA incluyen infomax , FastICA , JADE y análisis de componentes independientes del kernel , entre otros. En general, ICA no puede identificar el número real de señales fuente, un orden único y correcto de las señales fuente, ni la escala adecuada (incluido el signo) de las señales fuente.

ICA es importante para la separación ciega de señales y tiene muchas aplicaciones prácticas. Está estrechamente relacionado con (o incluso es un caso especial de) la búsqueda de un código factorial de los datos, es decir, una nueva representación con valor vectorial de cada vector de datos de modo que quede codificado de forma única por el vector de código resultante (sin pérdidas). codificación), pero los componentes del código son estadísticamente independientes.

Definiciones matemáticas

El análisis de componentes lineales independientes se puede dividir en casos silenciosos y ruidosos, donde el ICA silencioso es un caso especial de ICA ruidoso. El ICA no lineal debe considerarse como un caso aparte.

Definición general

Los datos están representados por el vector aleatorio observado y los componentes ocultos como el vector aleatorio. La tarea consiste en transformar los datos observados utilizando una transformación estática lineal como en un vector de componentes máximamente independientes medidos por alguna función de independencia. ${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$ ${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}.}$ ${\displaystyle {\boldsymbol {x}},}$ ${\displaystyle {\boldsymbol {W}}}$ ${\displaystyle {\boldsymbol {s}}={\boldsymbol {W}}{\boldsymbol {x}},}$ ${\displaystyle {\boldsymbol {s}}}$ ${\displaystyle F(s_{1},\ldots ,s_{n})}$

modelo generativo

ICA lineal silenciosa

Los componentes del vector aleatorio observado se generan como suma de los componentes independientes ,: ${\displaystyle x_{i}}$ ${\displaystyle {\boldsymbol {x}}=(x_{1},\ldots ,x_{m})^{T}}$ ${\displaystyle s_{k}}$ ${\displaystyle k=1,\ldots ,n}$

${\displaystyle x_{i}=a_{i,1}s_{1}+\cdots +a_{i,k}s_{k}+\cdots +a_{i,n}s_{n}}$

ponderado por los pesos de mezcla . ${\displaystyle a_{i,k}}$

El mismo modelo generativo se puede escribir en forma vectorial como , donde el vector aleatorio observado está representado por los vectores base . Los vectores base forman las columnas de la matriz de mezcla y la fórmula generativa se puede escribir como , donde . ${\displaystyle {\boldsymbol {x}}=\sum _{k=1}^{n}s_{k}{\boldsymbol {a}}_{k}}$ ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle {\boldsymbol {a}}_{k}=({\boldsymbol {a}}_{1,k},\ldots ,{\boldsymbol {a}}_{m,k})^{T}}$ ${\displaystyle {\boldsymbol {a}}_{k}}$ ${\displaystyle {\boldsymbol {A}}=({\boldsymbol {a}}_{1},\ldots ,{\boldsymbol {a}}_{n})}$ ${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}}$ ${\displaystyle {\boldsymbol {s}}=(s_{1},\ldots ,s_{n})^{T}}$

Dado el modelo y las realizaciones (muestras) del vector aleatorio , la tarea es estimar tanto la matriz de mezcla como las fuentes . Esto se hace calculando de forma adaptativa los vectores y estableciendo una función de costo que maximiza la no gaussianidad de lo calculado o minimiza la información mutua. En algunos casos, el conocimiento a priori de las distribuciones de probabilidad de las fuentes puede utilizarse en la función de costos. ${\displaystyle {\boldsymbol {x}}_{1},\ldots ,{\boldsymbol {x}}_{N}}$ ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle {\boldsymbol {A}}}$ ${\displaystyle {\boldsymbol {s}}}$ ${\displaystyle {\boldsymbol {w}}}$ ${\displaystyle s_{k}={\boldsymbol {w}}^{T}{\boldsymbol {x}}}$

Las fuentes originales se pueden recuperar multiplicando las señales observadas con la inversa de la matriz de mezcla , también conocida como matriz de desmezcla. Aquí se supone que la matriz de mezcla es cuadrada ( ). Si el número de vectores base es mayor que la dimensionalidad de los vectores observados, la tarea está sobrecompleta pero aún se puede resolver con la pseudoinversa . ${\displaystyle {\boldsymbol {s}}}$ ${\displaystyle {\boldsymbol {x}}}$ ${\displaystyle {\boldsymbol {W}}={\boldsymbol {A}}^{-1}}$ ${\displaystyle n=m}$ ${\displaystyle n>m}$

ICA lineal ruidosa

Con el supuesto adicional de ruido gaussiano de media cero y no correlacionado , el modelo ICA toma la forma . ${\displaystyle n\sim N(0,\operatorname {diag} (\Sigma ))}$ ${\displaystyle {\boldsymbol {x}}={\boldsymbol {A}}{\boldsymbol {s}}+n}$

ICA no lineal

No es necesario que la mezcla de las fuentes sea lineal. Usando una función de mezcla no lineal con parámetros, el modelo ICA no lineal es . ${\displaystyle f(\cdot |\theta )}$ ${\displaystyle \theta }$ ${\displaystyle x=f(s|\theta )+n}$

Identificabilidad

Los componentes independientes son identificables hasta una permutación y escalamiento de las fuentes. ^[6] Esta identificabilidad requiere que:

• Como máximo una de las fuentes es gaussiana, ${\displaystyle s_{k}}$
• El número de mezclas observadas, , debe ser al menos tan grande como el número de componentes estimados : . Es equivalente a decir que la matriz de mezcla debe ser de rango completo para que exista su inversa. ${\displaystyle m}$ ${\displaystyle n}$ ${\displaystyle m\geq n}$ ${\displaystyle {\boldsymbol {A}}}$

ICA binario

Una variante especial de ICA es la ICA binaria en la que tanto las fuentes de señales como los monitores están en forma binaria y las observaciones de los monitores son mezclas disyuntivas de fuentes binarias independientes. Se demostró que el problema tiene aplicaciones en muchos dominios, incluido el diagnóstico médico , la asignación de múltiples clústeres, la tomografía en red y la gestión de recursos de Internet.

Sea el conjunto de variables binarias de los monitores y el conjunto de variables binarias de las fuentes. Las conexiones fuente-monitor están representadas por la matriz de mezcla (desconocida) , donde indica que la señal de la i -ésima fuente puede ser observada por el j -ésimo monitor. El sistema funciona de la siguiente manera: en cualquier momento, si una fuente está activa ( ) y está conectada al monitor ( ) entonces el monitor observará alguna actividad ( ). Formalmente tenemos: ${\displaystyle {x_{1},x_{2},\ldots ,x_{m}}}$ ${\displaystyle m}$ ${\displaystyle {y_{1},y_{2},\ldots ,y_{n}}}$ ${\displaystyle n}$ ${\textstyle {\boldsymbol {G}}}$ ${\displaystyle g_{ij}=1}$ ${\displaystyle i}$ ${\displaystyle y_{i}=1}$ ${\displaystyle j}$ ${\displaystyle g_{ij}=1}$ ${\displaystyle j}$ ${\displaystyle x_{j}=1}$

${\displaystyle x_{i}=\bigvee _{j=1}^{n}(g_{ij}\wedge y_{j}),i=1,2,\ldots ,m,}$

donde es booleano AND y es booleano OR. El ruido no se modela explícitamente; más bien, puede tratarse como fuentes independientes. ${\displaystyle \wedge }$ ${\displaystyle \vee }$

El problema anterior se puede resolver heurísticamente ^[7] asumiendo que las variables son continuas y ejecutando FastICA en datos de observación binarios para obtener la matriz de mezcla (valores reales), luego aplicando técnicas de números redondos para obtener los valores binarios. Se ha demostrado que este enfoque produce un resultado muy inexacto. ^{[ cita necesaria ]} ${\textstyle {\boldsymbol {G}}}$ ${\textstyle {\boldsymbol {G}}}$

Otro método consiste en utilizar programación dinámica : dividir recursivamente la matriz de observación en sus submatrices y ejecutar el algoritmo de inferencia en estas submatrices. La observación clave que conduce a este algoritmo es la submatriz de donde corresponde a la matriz de observación imparcial de componentes ocultos que no tienen conexión con el -ésimo monitor. Los resultados experimentales de ^[8] muestran que este enfoque es preciso en niveles de ruido moderados. ${\textstyle {\boldsymbol {X}}}$ ${\textstyle {\boldsymbol {X}}^{0}}$ ${\textstyle {\boldsymbol {X}}}$ ${\textstyle x_{ij}=0,\forall j}$ ${\displaystyle i}$

El marco Generalized Binary ICA ^[9] introduce una formulación del problema más amplia que no requiere ningún conocimiento sobre el modelo generativo. En otras palabras, este método intenta descomponer una fuente en sus componentes independientes (en la medida de lo posible y sin perder información) sin ninguna suposición previa sobre la forma en que se generó. Aunque este problema parece bastante complejo, se puede resolver con precisión con un algoritmo de árbol de búsqueda de rama y límite o con un límite superior estricto con una única multiplicación de una matriz con un vector.

Métodos para la separación ciega de fuentes.

Seguimiento de proyección

Las mezclas de señales tienden a tener funciones de densidad de probabilidad gaussianas y las señales fuente tienden a tener funciones de densidad de probabilidad no gaussianas. Cada señal fuente se puede extraer de un conjunto de mezclas de señales tomando el producto interno de un vector de peso y aquellas mezclas de señales donde este producto interno proporciona una proyección ortogonal de las mezclas de señales. El desafío restante es encontrar ese vector de peso. Un tipo de método para hacerlo es la búsqueda de proyecciones . ^{[10] [11]}

La búsqueda de proyección busca una proyección a la vez de manera que la señal extraída sea lo menos gaussiana posible. Esto contrasta con ICA, que normalmente extrae M señales simultáneamente de M mezclas de señales, lo que requiere estimar una matriz de desmezcla M × M. Una ventaja práctica de la búsqueda de proyección sobre ICA es que se pueden extraer menos de M señales si es necesario, donde cada señal fuente se extrae de M mezclas de señales utilizando un vector de peso de elemento M.

Podemos utilizar la curtosis para recuperar la señal de múltiples fuentes encontrando los vectores de peso correctos mediante el uso de la búsqueda de proyección.

La curtosis de la función de densidad de probabilidad de una señal, para una muestra finita, se calcula como

${\displaystyle K={\frac {\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{4}]}{(\operatorname {E} [(\mathbf {y} -\mathbf {\overline {y}} )^{2}])^{2}}}-3}$

¿Dónde está la media muestral de las señales extraídas? La constante 3 garantiza que las señales gaussianas tengan curtosis cero, las señales supergaussianas tengan curtosis positiva y las señales subgaussianas tengan curtosis negativa. El denominador es la varianza de y garantiza que la curtosis medida tenga en cuenta la varianza de la señal. El objetivo de la búsqueda de proyección es maximizar la curtosis y hacer que la señal extraída sea lo más anormal posible. ${\displaystyle \mathbf {\overline {y}} }$ ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {y} }$

Usando la curtosis como una medida de no normalidad, ahora podemos examinar cómo varía la curtosis de una señal extraída de un conjunto de M mezclas a medida que el vector de peso gira alrededor del origen. Dada nuestra suposición de que cada señal fuente es supergaussiana, esperaríamos: ${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {x} }$ ${\displaystyle \mathbf {x} =(x_{1},x_{2},\ldots ,x_{M})^{T}}$ ${\displaystyle \mathbf {w} }$ ${\displaystyle \mathbf {s} }$

1. la curtosis de la señal extraída sea máxima precisamente cuando . ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {y} =\mathbf {s} }$
2. la curtosis de la señal extraída es máxima cuando es ortogonal a los ejes proyectados o , porque sabemos que el vector de peso óptimo debe ser ortogonal a un eje transformado o . ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {w} }$ ${\displaystyle S_{1}}$ ${\displaystyle S_{2}}$ ${\displaystyle S_{1}}$ ${\displaystyle S_{2}}$

Para señales de mezcla de múltiples fuentes, podemos usar curtosis y ortogonalización de Gram-Schmidt (GSO) para recuperar las señales. Dadas M mezclas de señales en un espacio de M dimensiones, GSO proyecta estos puntos de datos en un espacio de dimensiones ( M-1 ) utilizando el vector de peso. Podemos garantizar la independencia de las señales extraídas con el uso de GSO.

Para encontrar el valor correcto de , podemos utilizar el método de descenso de gradiente . En primer lugar, blanqueamos los datos y los transformamos en una nueva mezcla , que tiene varianza unitaria y . Este proceso se puede lograr aplicando la descomposición de valores singulares a , ${\displaystyle \mathbf {w} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {z} }$ ${\displaystyle \mathbf {z} =(z_{1},z_{2},\ldots ,z_{M})^{T}}$ ${\displaystyle \mathbf {x} }$

${\displaystyle \mathbf {x} =\mathbf {U} \mathbf {D} \mathbf {V} ^{T}}$

Reescalando cada vector , y dejemos . La señal extraída por un vector ponderado es . Si el vector de peso w tiene una longitud unitaria, entonces la varianza de y también es 1, es decir . Por tanto, la curtosis se puede escribir como: ${\displaystyle U_{i}=U_{i}/\operatorname {E} (U_{i}^{2})}$ ${\displaystyle \mathbf {z} =\mathbf {U} }$ ${\displaystyle \mathbf {w} }$ ${\displaystyle \mathbf {y} =\mathbf {w} ^{T}\mathbf {z} }$ ${\displaystyle \operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{2}]=1}$

${\displaystyle K={\frac {\operatorname {E} [\mathbf {y} ^{4}]}{(\operatorname {E} [\mathbf {y} ^{2}])^{2}}}-3=\operatorname {E} [(\mathbf {w} ^{T}\mathbf {z} )^{4}]-3.}$

El proceso de actualización es: ${\displaystyle \mathbf {w} }$

${\displaystyle \mathbf {w} _{new}=\mathbf {w} _{old}-\eta \operatorname {E} [\mathbf {z} (\mathbf {w} _{old}^{T}\mathbf {z} )^{3}].}$

donde es una pequeña constante para garantizar que converja a la solución óptima. Después de cada actualización, normalizamos , configuramos y repetimos el proceso de actualización hasta la convergencia. También podemos usar otro algoritmo para actualizar el vector de peso . ${\displaystyle \eta }$ ${\displaystyle \mathbf {w} }$ ${\displaystyle \mathbf {w} _{new}={\frac {\mathbf {w} _{new}}{|\mathbf {w} _{new}|}}}$ ${\displaystyle \mathbf {w} _{old}=\mathbf {w} _{new}}$ ${\displaystyle \mathbf {w} }$

Otro enfoque es utilizar la negentropía ^{[12] [13]} en lugar de curtosis. El uso de la negentropía es un método más sólido que la curtosis, ya que la curtosis es muy sensible a los valores atípicos. Los métodos de negentropía se basan en una propiedad importante de la distribución gaussiana: una variable gaussiana tiene la entropía más grande entre todas las variables aleatorias continuas de igual varianza. Esta es también la razón por la que queremos encontrar la mayor cantidad de variables no gaussianas. Se puede encontrar una prueba sencilla en Entropía diferencial .

${\displaystyle J(x)=S(y)-S(x)\,}$

y es una variable aleatoria gaussiana de la misma matriz de covarianza que x

${\displaystyle S(x)=-\int p_{x}(u)\log p_{x}(u)du}$

Una aproximación a la negentropía es

${\displaystyle J(x)={\frac {1}{12}}(E(x^{3}))^{2}+{\frac {1}{48}}(kurt(x))^{2}}$

Se puede encontrar una prueba en los artículos originales de Comon; ^{[14] [12]} ha sido reproducido en el libro Análisis de componentes independientes de Aapo Hyvärinen, Juha Karhunen y Erkki Oja ^[15] Esta aproximación también sufre el mismo problema que la curtosis (sensibilidad a los valores atípicos). Se han desarrollado otros enfoques. ^[dieciséis]

${\displaystyle J(y)=k_{1}(E(G_{1}(y)))^{2}+k_{2}(E(G_{2}(y))-E(G_{2}(v))^{2}}$

Una elección de y son ${\displaystyle G_{1}}$ ${\displaystyle G_{2}}$

${\displaystyle G_{1}={\frac {1}{a_{1}}}\log(\cosh(a_{1}u))}$y ${\displaystyle G_{2}=-\exp(-{\frac {u^{2}}{2}})}$

Basado en infomax

Infomax ICA ^[17] es esencialmente una versión paralela y multivariada de la búsqueda de proyecciones. Mientras que la búsqueda de proyección extrae una serie de señales una a la vez de un conjunto de M mezclas de señales, ICA extrae M señales en paralelo. Esto tiende a hacer que la ICA sea más sólida que la búsqueda de proyecciones. ^[18]

El método de búsqueda de proyección utiliza la ortogonalización de Gram-Schmidt para garantizar la independencia de la señal extraída, mientras que ICA utiliza infomax y estimación de máxima verosimilitud para garantizar la independencia de la señal extraída. La No Normalidad de la señal extraída se logra asignando un modelo apropiado, o anterior, para la señal.

En resumen , el proceso de ICA basado en infomax es: dado un conjunto de mezclas de señales y un conjunto de funciones de distribución acumulativa (cdfs) de modelos independientes idénticas , buscamos la matriz de separación que maximiza la entropía conjunta de las señales , de donde se extraen las señales. por . Dado el óptimo , las señales tienen máxima entropía y, por tanto, son independientes, lo que garantiza que las señales extraídas también sean independientes. es una función invertible y es el modelo de señal. Tenga en cuenta que si la función de densidad de probabilidad del modelo de señal fuente coincide con la función de densidad de probabilidad de la señal extraída , entonces maximizar la entropía conjunta de también maximiza la cantidad de información mutua entre y . Por este motivo, utilizar la entropía para extraer señales independientes se conoce como infomax . ${\displaystyle \mathbf {x} }$ ${\displaystyle g}$ ${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$ ${\displaystyle \mathbf {y} =\mathbf {Wx} }$ ${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {y} =g^{-1}(\mathbf {Y} )}$ ${\displaystyle g}$ ${\displaystyle p_{s}}$ ${\displaystyle p_{\mathbf {y} }}$ ${\displaystyle Y}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {Y} }$

Considere la entropía de la variable vectorial , donde está el conjunto de señales extraídas por la matriz de desmezcla . Para un conjunto finito de valores muestreados de una distribución con pdf , la entropía de se puede estimar como: ${\displaystyle \mathbf {Y} =g(\mathbf {y} )}$ ${\displaystyle \mathbf {y} =\mathbf {Wx} }$ ${\displaystyle \mathbf {W} }$ ${\displaystyle p_{\mathbf {y} }}$ ${\displaystyle \mathbf {Y} }$

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {Y} }(\mathbf {Y} ^{t})}$

Se puede demostrar que la pdf conjunta está relacionada con la pdf conjunta de las señales extraídas mediante la forma multivariada: ${\displaystyle p_{\mathbf {Y} }}$ ${\displaystyle p_{\mathbf {y} }}$

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}}$

¿Dónde está la matriz jacobiana ? Tenemos y es la fdp asumida para las señales fuente , por lo tanto, ${\displaystyle \mathbf {J} ={\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}}$ ${\displaystyle |\mathbf {J} |=g'(\mathbf {y} )}$ ${\displaystyle g'}$ ${\displaystyle g'=p_{s}}$

${\displaystyle p_{\mathbf {Y} }(Y)={\frac {p_{\mathbf {y} }(\mathbf {y} )}{|{\frac {\partial \mathbf {Y} }{\partial \mathbf {y} }}|}}={\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

por lo tanto,

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {y} }(\mathbf {y} )}{p_{\mathbf {s} }(\mathbf {y} )}}}$

Sabemos que cuando , tiene distribución uniforme y está maximizado. Desde ${\displaystyle p_{\mathbf {y} }=p_{s}}$ ${\displaystyle p_{\mathbf {Y} }}$ ${\displaystyle H({\mathbf {Y} })}$

${\displaystyle p_{\mathbf {y} }(\mathbf {y} )={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}|}}={\frac {p_{\mathbf {x} }(\mathbf {x} )}{|\mathbf {W} |}}}$

donde es el valor absoluto del determinante de la matriz de desmezcla . Por lo tanto, ${\displaystyle |\mathbf {W} |}$ ${\displaystyle \mathbf {W} }$

${\displaystyle H(\mathbf {Y} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln {\frac {p_{\mathbf {x} }(\mathbf {x} ^{t})}{|\mathbf {W} |p_{\mathbf {s} }(\mathbf {y} ^{t})}}}$

entonces,

${\displaystyle H(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |+H(\mathbf {x} )}$

ya que y maximizar no afecta , entonces podemos maximizar la función ${\displaystyle H(\mathbf {x} )=-{\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {x} }(\mathbf {x} ^{t})}$ ${\displaystyle \mathbf {W} }$ ${\displaystyle H_{\mathbf {x} }}$

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{t=1}^{N}\ln p_{\mathbf {s} }(\mathbf {y} ^{t})+\ln |\mathbf {W} |}$

para lograr la independencia de la señal extraída.

Si hay M pdf marginales de la pdf conjunta del modelo que son independientes y usan la pdf del modelo comúnmente supergaussiano para las señales fuente , entonces tenemos ${\displaystyle p_{\mathbf {s} }}$ ${\displaystyle p_{\mathbf {s} }=(1-\tanh(\mathbf {s} )^{2})}$

${\displaystyle h(\mathbf {Y} )={\frac {1}{N}}\sum _{i=1}^{M}\sum _{t=1}^{N}\ln(1-\tanh(\mathbf {w_{i}^{T}x^{t}} )^{2})+\ln |\mathbf {W} |}$

En suma, dada una mezcla de señales observada , el conjunto correspondiente de señales extraídas y el modelo de señal fuente , podemos encontrar la matriz de separación óptima y hacer que las señales extraídas sean independientes y no gaussianas. Al igual que en la situación de búsqueda de proyección, podemos utilizar el método de descenso de gradiente para encontrar la solución óptima de la matriz de separación. ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {y} }$ ${\displaystyle p_{\mathbf {s} }=g'}$ ${\displaystyle \mathbf {W} }$

Basado en la estimación de máxima verosimilitud

La estimación de máxima verosimilitud (MLE) es una herramienta estadística estándar para encontrar valores de parámetros (por ejemplo, la matriz de separación) que proporcionan el mejor ajuste de algunos datos (por ejemplo, las señales extraídas) a un modelo determinado (por ejemplo, la función de densidad de probabilidad conjunta supuesta). (pdf)de señales fuente). ^[18] ${\displaystyle \mathbf {W} }$ ${\displaystyle y}$ ${\displaystyle p_{s}}$

El "modelo" ML incluye una especificación de un pdf, que en este caso es el pdf de las señales de origen desconocido . Usando ML ICA , el objetivo es encontrar una matriz de desmezcla que produzca señales extraídas con una pdf conjunta lo más similar posible a la pdf conjunta de las señales fuente desconocidas . ${\displaystyle p_{s}}$ ${\displaystyle s}$ ${\displaystyle y=\mathbf {W} x}$ ${\displaystyle p_{s}}$ ${\displaystyle s}$

Por lo tanto, MLE se basa en el supuesto de que si la pdf del modelo y los parámetros del modelo son correctos, entonces se debe obtener una alta probabilidad para los datos que realmente se observaron. Por el contrario, si está lejos de los valores correctos de los parámetros, entonces se esperaría una baja probabilidad de los datos observados. ${\displaystyle p_{s}}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle x}$ ${\displaystyle \mathbf {A} }$

Usando MLE , llamamos a la probabilidad de los datos observados para un conjunto dado de valores de parámetros del modelo (por ejemplo, una pdf y una matriz ) la probabilidad de los valores de los parámetros del modelo dados los datos observados. ${\displaystyle p_{s}}$ ${\displaystyle \mathbf {A} }$

Definimos una función de verosimilitud de : ${\displaystyle \mathbf {L(W)} }$ ${\displaystyle \mathbf {W} }$

${\displaystyle \mathbf {L(W)} =p_{s}(\mathbf {W} x)|\det \mathbf {W} |.}$

Esto es igual a la densidad de probabilidad en , ya que . ${\displaystyle x}$ ${\displaystyle s=\mathbf {W} x}$

Por lo tanto, si deseamos encontrar una señal que tenga más probabilidades de haber generado las mezclas observadas a partir de señales de origen desconocidas con pdf , entonces solo necesitamos encontrar aquello que maximice la probabilidad . La matriz de separación que maximiza la ecuación se conoce como MLE de la matriz de separación óptima. ${\displaystyle \mathbf {W} }$ ${\displaystyle x}$ ${\displaystyle s}$ ${\displaystyle p_{s}}$ ${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {L(W)} }$

Es una práctica común utilizar el registro de probabilidad , porque es más fácil de evaluar. Como el logaritmo es una función monótona, lo que maximiza la función también maximiza su logaritmo . Esto nos permite tomar el logaritmo de la ecuación anterior, lo que produce la función logarítmica de verosimilitud . ${\displaystyle \mathbf {W} }$ ${\displaystyle \mathbf {L(W)} }$ ${\displaystyle \ln \mathbf {L(W)} }$

${\displaystyle \ln \mathbf {L(W)} =\sum _{i}\sum _{t}\ln p_{s}(w_{i}^{T}x_{t})+N\ln |\det \mathbf {W} |}$

Si sustituimos las señales fuente por un modelo pdf de alta curtosis comúnmente utilizado , entonces tenemos ${\displaystyle p_{s}=(1-\tanh(s)^{2})}$

${\displaystyle \ln \mathbf {L(W)} ={1 \over N}\sum _{i}^{M}\sum _{t}^{N}\ln(1-\tanh(w_{i}^{T}x_{t})^{2})+\ln |\det \mathbf {W} |}$

Esta matriz que maximiza esta función es la estimación de máxima verosimilitud . ${\displaystyle \mathbf {W} }$

Historia y antecedentes

El marco general inicial para el análisis de componentes independientes fue introducido por Jeanny Hérault y Bernard Ans en 1984, ^[19] desarrollado por Christian Jutten en 1985 y 1986, ^{[20] [21] [22]} y refinado por Pierre Comon en 1991, ^{[ 14]} y popularizado en su artículo de 1994. ^[12] En 1995, Tony Bell y Terry Sejnowski introdujeron un algoritmo ICA rápido y eficiente basado en infomax , un principio introducido por Ralph Linsker en 1987.

Hay muchos algoritmos disponibles en la literatura que realizan ICA. Uno de los más utilizados, incluso en aplicaciones industriales, es el algoritmo FastICA, desarrollado por Hyvärinen y Oja, que utiliza la negentropía como función de costes. ^[23] Otros ejemplos están más bien relacionados con la separación ciega de fuentes , donde se utiliza un enfoque más general. Por ejemplo, se puede abandonar el supuesto de independencia y separar las señales mutuamente correlacionadas, es decir, señales estadísticamente "dependientes". Sepp Hochreiter y Jürgen Schmidhuber mostraron cómo obtener ICA no lineal o separación de fuentes como subproducto de la regularización (1999). ^[24] Su método no requiere conocimiento a priori sobre el número de fuentes independientes.

Aplicaciones

ICA se puede ampliar para analizar señales no físicas. Por ejemplo, se ha aplicado ICA para descubrir temas de discusión en una bolsa de archivos de listas de noticias.

Algunas aplicaciones de ICA se enumeran a continuación: ^[4]

Análisis de componentes independientes en EEGLAB.

• Imágenes ópticas de neuronas ^[25]
• clasificación de picos neuronales ^[26]
• reconocimiento facial ^[27]
• modelado de campos receptivos de neuronas visuales primarias ^[28]
• predecir los precios del mercado de valores ^[29]
• comunicaciones por teléfono móvil ^[30]
• Detección basada en el color de la madurez de los tomates ^[31]
• eliminar artefactos, como parpadeos, de los datos de EEG . ^[32]
• predecir la toma de decisiones mediante EEG ^[33]
• Análisis de cambios en la expresión genética a lo largo del tiempo en experimentos de secuenciación de ARN unicelular . ^[34]
• Estudios de la red en estado de reposo del cerebro. ^[35]
• astronomía y cosmología ^[36]
• finanzas ^[37]

Disponibilidad

ICA se puede aplicar a través del siguiente software:

• SAS PROC ICA
• Paquete RICA
• Implementación de Python de scikit-learn sklearn.decomposition.FastICA

Ver también

• Portal de matemáticas

• Deconvolución ciega
• Análisis factorial
• Espectro de Hilbert
• Procesamiento de imágenes
• Factorización matricial no negativa (NMF)
• Reducción de dimensionalidad no lineal.
• Seguimiento de proyección
• Rotación varimax

Notas

1. "Análisis de componentes independientes: una demostración".
2. Hyvärinen, Aapo (2013). "Análisis de componentes independientes: avances recientes". Transacciones Filosóficas: Ciencias Matemáticas, Físicas y de Ingeniería . 371 (1984): 20110534. Código bibliográfico : 2012RSPTA.37110534H. doi :10.1098/rsta.2011.0534. ISSN  1364-503X. JSTOR  41739975. PMC 3538438 . PMID  23277597. 
3. Isomura, Takuya; Toyoizumi, Taro (2016). "Una regla de aprendizaje local para el análisis de componentes independientes". Informes científicos . 6 : 28073. Código Bib : 2016NatSR...628073I. doi :10.1038/srep28073. PMC 4914970 . PMID  27323661. 
4. Stone, James V. (2004). Análisis de componentes independientes: una introducción al tutorial . Cambridge, Massachusetts: MIT Press. ISBN 978-0-262-69315-8.
5. Hyvärinen, Aapo; Karhunen, Juha; Oja, Erkki (2001). Análisis de componentes independientes (1ª ed.). Nueva York: John Wiley & Sons. ISBN 978-0-471-22131-9.
6. Teorema 11, Comon, Pierre. "Análisis de componentes independientes, ¿un nuevo concepto?" Procesamiento de señales 36.3 (1994): 287-314.
7. Johan Himbergand Aapo Hyvärinen, Análisis de componentes independientes para datos binarios: un estudio experimental , Proc. En t. Taller sobre análisis de componentes independientes y separación de señales ciegas (ICA2001), San Diego, California, 2001.
8. Huy Nguyen y Rong Zheng, Análisis de componentes independientes binarios con mezclas o , Transacciones IEEE sobre procesamiento de señales, vol. 59, número 7 (julio de 2011), págs. 3168–3181.
9. Doloroso, Amichai; Rosset, Saharon; Feder, Meir (2014). "Análisis generalizado de componentes independientes binarios". Simposio internacional IEEE 2014 sobre teoría de la información . págs. 1326-1330. doi :10.1109/ISIT.2014.6875048. ISBN 978-1-4799-5186-4. S2CID  18579555.
10. James V. Piedra (2004); "Análisis de componentes independientes: introducción al tutorial", The MIT Press Cambridge, Massachusetts, Londres, Inglaterra; ISBN 0-262-69315-1 
11. Kruskal, JB. 1969; "Hacia un método práctico que ayude a descubrir la estructura de un conjunto de observaciones al encontrar la transformación lineal que optimiza un nuevo" índice de condensación ", páginas 427–440 de: Milton, RC y Nelder, JA (eds), Computación estadística ; Nueva York, Academic Press
12. Pierre Comon (1994) Análisis de componentes independientes, ¿un nuevo concepto? http://www.ece.ucsb.edu/wcsl/courses/ECE594/594C_F10Madhow/comon94.pdf
13. Hyvärinen, Aapo; Erkki Oja (2000). "Análisis de componentes independientes: algoritmos y aplicaciones". Redes neuronales . 4-5. 13 (4–5): 411–430. CiteSeerX 10.1.1.79.7003 . doi :10.1016/s0893-6080(00)00026-5. PMID  10946390. S2CID  11959218. 
14. P.Comon, Análisis de componentes independientes, Taller sobre estadísticas de orden superior, julio de 1991, republicado en JL. Lacoume, editor, Estadísticas de orden superior, págs. 29-38. Elsevier, Amsterdam, Londres, 1992. Enlace HAL
15. Hyvärinen, Aapo; Karhunen, Juha; Oja, Erkki (2001). Análisis de componentes independientes (Reimpresión ed.). Nueva York, Nueva York: Wiley. ISBN 978-0-471-40540-5.
16. Hyvärinen, Aapo (1998). "Nuevas aproximaciones de entropía diferencial para el análisis de componentes independientes y la búsqueda de proyecciones". Avances en los sistemas de procesamiento de información neuronal . 10 : 273–279.
17. Campana, AJ; Sejnowski, TJ (1995). "Un enfoque de maximización de la información para la separación ciega y la deconvolución ciega", Neural Computation, 7, 1129-1159
18. James V. Stone (2004). "Análisis de componentes independientes: introducción al tutorial", The MIT Press Cambridge, Massachusetts, Londres, Inglaterra; ISBN 0-262-69315-1 
19. Hérault, J.; Respuesta, B. (1984). "Réseau de neurones à synapses modificables: Décodage de mensajes sensoriales compuestos por aprendizaje no supervisado y permanente". Cuentas Rendus de la Academia de Ciencias, Serie III . 299 : 525–528.
20. Respuestas, B., Hérault, J. y Jutten, C. (1985). Arquitecturas neuromimétiques adaptativas: Detección de primitivas. Cognitiva 85 (Vol. 2, págs. 593-597). París: CESTA.
21. Hérault, J., Jutten, C. y Ans, B. (1985). Detección de grandezas primitivas en un mensaje compuesto por una arquitectura de cálculo neuromimétique en aprendizaje no supervisado. Actas del décimo taller Traitement du signal et ses apps (Vol. 2, págs. 1017-1022). Niza (Francia): GRETSI.
22. Hérault, J. y Jutten, C. (1986). Procesamiento adaptativo de señales en el espacio o el tiempo mediante modelos de redes neuronales. Interno. Conf. sobre redes neuronales para la informática (págs. 206-211). Snowbird (Utah, EE.UU.).
23. Hyvärinen, A.; Oja, E. (1 de junio de 2000). «Análisis de componentes independientes: algoritmos y aplicaciones» (PDF) . Redes neuronales . 13 (4): 411–430. doi :10.1016/S0893-6080(00)00026-5. ISSN  0893-6080. PMID  10946390. S2CID  11959218.
24. Hochreiter, Sepp; Schmidhuber, Jürgen (1999). "Extracción de funciones mediante LOCOCODE" (PDF) . Computación neuronal . 11 (3): 679–714. doi :10.1162/089976699300016629. ISSN  0899-7667. PMID  10085426. S2CID  1642107 . Consultado el 24 de febrero de 2018 .
25. Marrón, GD; Yamada, S; Sejnowski, TJ (2001). "Análisis de componentes independientes en el cóctel neuronal". Tendencias en Neurociencias . 24 (1): 54–63. doi :10.1016/s0166-2236(00)01683-0. PMID  11163888. S2CID  511254.
26. Lewicki, MS (1998). "Revisión de métodos para la clasificación de picos: detección y clasificación de potenciales de acción neuronales". Red: Computación en sistemas neuronales . 9 (4): 53–78. doi :10.1088/0954-898X_9_4_001. S2CID  10290908.
27. Barlett, MS (2001). Análisis de imágenes faciales mediante aprendizaje no supervisado . Boston: Serie Internacional Kluwer sobre Ingeniería e Informática.
28. Campana, AJ; Sejnowski, TJ (1997). "Los componentes independientes de las escenas naturales son los filtros de borde". Investigación de la visión . 37 (23): 3327–3338. doi :10.1016/s0042-6989(97)00121-1. PMC 2882863 . PMID  9425547. 
29. Atrás, ANUNCIO; Weigend, AS (1997). "Una primera aplicación del análisis de componentes independientes para extraer estructura de los rendimientos de las acciones". Revista internacional de sistemas neuronales . 8 (4): 473–484. doi :10.1142/s0129065797000458. PMID  9730022. S2CID  872703.
30. Hyvarinen, A, Karhunen, J y Oja, E (2001a). Análisis de componentes independientes . Nueva York: John Wiley and Sons.{{cite book}}: CS1 maint: multiple names: authors list (link)
31. Pólder, G; van der Heijen, FWAM (2003). "Estimación de la distribución compuesta en imágenes espectrales de tomates mediante análisis de componentes independientes". Sociedad Austríaca de Informática : 57–64.
32. Delorme, A; Sejnowski, T; Makeig, S (2007). "Detección mejorada de artefactos en datos de EEG mediante estadísticas de orden superior y análisis de componentes independientes". NeuroImagen . 34 (4): 1443-1449. doi : 10.1016/j.neuroimage.2006.11.004. PMC 2895624 . PMID  17188898. 
33. Douglas, P (2013). "Decodificación de ensayo único de la toma de decisiones sobre creencias a partir de datos de EEG y resonancia magnética funcional utilizando características de componentes independientes". Fronteras de la neurociencia humana . 7 : 392. doi : 10.3389/fnhum.2013.00392 . PMC 3728485 . PMID  23914164. 
34. Trapnell, C; Cacchiarelli, D; Grimsby, J (2014). "La dinámica y los reguladores de las decisiones sobre el destino celular se revelan mediante el ordenamiento pseudotemporal de células individuales". Biotecnología de la Naturaleza . 32 (4): 381–386. doi :10.1038/nbt.2859. PMC 4122333 . PMID  24658644. 
35. Kiviniemi, Vesa J.; Kantola, Juha-Heikki; Jauhiainen, Jukka; Hyvärinen, Aapo; Tervonen, Osmo (2003). "Análisis de componentes independientes de fuentes de señales de resonancia magnética funcional no deterministas". NeuroImagen . 19 (2): 253–260. doi :10.1016/S1053-8119(03)00097-1. PMID  12814576. S2CID  17110486.
36. Wang, Jingying; Xu, Haiguang; Gu, Junhua; An, Tao; Cui, Haijuan; Li, Jianxun; Zhang, Zhongli; Zheng, Qian; Wu, Xiang-Ping (1 de noviembre de 2010). "¿Cómo identificar y separar cúmulos de galaxias brillantes del cielo de radio de baja frecuencia?". La revista astrofísica . 723 (1): 620–633. arXiv : 1008.3391 . Código Bib : 2010ApJ...723..620W. doi : 10.1088/0004-637X/723/1/620 . ISSN  0004-637X.
37. Moraux, Franck; Villa, Christophe (2003). "La dinámica de la estructura temporal de las tasas de interés: un análisis de componentes independientes". Enfoques conexionistas en economía y ciencias de la gestión . Avances en la ciencia de la gestión computacional. vol. 6. págs. 215–232. doi :10.1007/978-1-4757-3722-6_11. ISBN 978-1-4757-3722-6.

Referencias

• Comon, Pierre (1994): "Análisis de componentes independientes: ¿un nuevo concepto?", Signal Processing , 36(3):287–314 (El artículo original que describe el concepto de ICA)
• Hyvarinen, A.; Karhunen, J.; Oja, E. (2001): Análisis de componentes independientes , Nueva York: Wiley, ISBN 978-0-471-40540-5 (Capítulo introductorio) 
• Hyvarinen, A.; Oja, E. (2000): "Análisis de componentes independientes: algoritmos y aplicaciones", Neural Networks , 13(4-5):411-430. (Introducción técnica pero pedagógica).
• Común, P.; Jutten C., (2010): Manual de separación ciega de fuentes, análisis y aplicaciones de componentes independientes. Prensa académica, Oxford Reino Unido. ISBN 978-0-12-374726-6 
• Lee, T.-W. (1998): Análisis de componentes independientes: teoría y aplicaciones , Boston, Mass: Kluwer Academic Publishers, ISBN 0-7923-8261-7 
• Acharyya, Ranjan (2008): Un nuevo enfoque para la separación ciega de fuentes convolutivas: separación basada en ondas mediante función de contracción ISBN 3-639-07797-0 ISBN 978-3639077971 (este libro se centra en el aprendizaje no supervisado con separación ciega de fuentes)   

enlaces externos

• ¿Qué es el análisis de componentes independientes? por Aapo Hyvärinen
• Análisis de componentes independientes: un tutorial de Aapo Hyvärinen
• Un tutorial sobre análisis de componentes independientes
• FastICA como paquete para Matlab, en lenguaje R, C++
• Cajas de herramientas ICALAB para Matlab, desarrolladas en RIKEN
• El kit de herramientas de análisis de señales de alto rendimiento proporciona implementaciones en C++ de FastICA e Infomax
• Caja de herramientas ICA Herramientas Matlab para ICA con Bell-Sejnowski, Molgedey-Schuster e ICA de campo medio. Desarrollado en DTU.
• Demostración del problema del cóctel.
• EEGLAB Toolbox ICA de EEG para Matlab, desarrollado en UCSD.
• FMRLAB Toolbox ICA de fMRI para Matlab, desarrollado en UCSD
• MELODIC, parte de la biblioteca de software FMRIB .
• Discusión sobre la ICA utilizada en un contexto de representación de formas biomédica
• Algoritmo FastICA, CuBICA, JADE y TDSEP para Python y más...
• Caja de herramientas Group ICA y Fusion ICA Toolbox
• Tutorial: Uso de ICA para limpiar señales de EEG