Teorema de Kosambi-Karhunen-Loève

Teoría de procesos estocásticos

En la teoría de procesos estocásticos , el teorema de Karhunen-Loève (llamado así por Kari Karhunen y Michel Loève ), también conocido como teorema de Kosambi-Karhunen-Loève ^{[1] [2]} establece que un proceso estocástico puede representarse como una combinación lineal infinita de funciones ortogonales , análoga a una representación en serie de Fourier de una función en un intervalo acotado. La transformación también se conoce como transformada de Hotelling y transformada de vectores propios , y está estrechamente relacionada con la técnica de análisis de componentes principales (PCA) ampliamente utilizada en el procesamiento de imágenes y en el análisis de datos en muchos campos. ^[3]

Existen muchas expansiones de un proceso estocástico: si el proceso está indexado sobre [ a , b ] , cualquier base ortonormal de L ² ([ a , b ]) produce una expansión del mismo en esa forma. La importancia del teorema de Karhunen–Loève es que produce la mejor base de este tipo en el sentido de que minimiza el error cuadrático medio total .

A diferencia de una serie de Fourier, en la que los coeficientes son números fijos y la base de expansión está formada por funciones sinusoidales (es decir, funciones seno y coseno ), los coeficientes del teorema de Karhunen-Loève son variables aleatorias y la base de expansión depende del proceso. De hecho, las funciones de base ortogonales utilizadas en esta representación están determinadas por la función de covarianza del proceso. Se puede pensar que la transformada de Karhunen-Loève se adapta al proceso para producir la mejor base posible para su expansión.

En el caso de un proceso estocástico centrado { X _t } _{t ∈ [ a , b ]} ( centrado significa E [ X _t ] = 0 para todo t ∈ [ a , b ] ) que satisface una condición de continuidad técnica, X admite una descomposición

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$

donde Z _k son variables aleatorias no correlacionadas por pares y las funciones e _k son funciones continuas de valor real en [ a , b ] que son ortogonales por pares en L ² ([ a , b ]) . Por lo tanto, a veces se dice que la expansión es bi-ortogonal ya que los coeficientes aleatorios Z _k son ortogonales en el espacio de probabilidad mientras que las funciones deterministas e _k son ortogonales en el dominio del tiempo. El caso general de un proceso X _t que no está centrado puede volver al caso de un proceso centrado considerando X _t − E [ X _t ] que es un proceso centrado.

Además, si el proceso es gaussiano , entonces las variables aleatorias Z _k son gaussianas y estocásticamente independientes . Este resultado generaliza la transformada de Karhunen–Loève . Un ejemplo importante de un proceso estocástico real centrado en [0, 1] es el proceso de Wiener ; el teorema de Karhunen–Loève se puede utilizar para proporcionar una representación ortogonal canónica para él. En este caso, la expansión consiste en funciones sinusoidales.

La expansión anterior en variables aleatorias no correlacionadas también se conoce como expansión de Karhunen–Loève o descomposición de Karhunen–Loève . La versión empírica (es decir, con los coeficientes calculados a partir de una muestra) se conoce como transformada de Karhunen–Loève (KLT), análisis de componentes principales , descomposición ortogonal adecuada (POD) , funciones ortogonales empíricas (un término utilizado en meteorología y geofísica ) o transformada de Hotelling .

Formulación

• En este artículo, consideraremos un proceso aleatorio X _t definido sobre un espacio de probabilidad (Ω, F , P ) e indexado sobre un intervalo cerrado [ a , b ] , que es integrable al cuadrado , tiene media cero y con función de covarianza K _X ( s , t ) . En otras palabras, tenemos:

${\displaystyle \forall t\in [a,b]\qquad X_{t}\in L^{2}(\Omega ,F,\mathbf {P} ),\quad {\text{i.e. }}\mathbf {E} [X_{t}^{2}]<\infty ,}$

${\displaystyle \forall t\in [a,b]\qquad \mathbf {E} [X_{t}]=0,}$

${\displaystyle \forall t,s\in [a,b]\qquad K_{X}(s,t)=\mathbf {E} [X_{s}X_{t}].}$

La condición de integrabilidad al cuadrado es lógicamente equivalente a ser finito para todo . ^[4] ${\displaystyle \mathbf {E} [X_{t}^{2}]<\infty }$ ${\displaystyle K_{X}(s,t)}$ ${\displaystyle s,t\in [a,b]}$

• Asociamos a K _X un operador lineal (más específicamente un operador integral de Hilbert–Schmidt ) T _{K X} definido de la siguiente manera:

${\displaystyle {\begin{aligned}&T_{K_{X}}&:L^{2}([a,b])&\to L^{2}([a,b])\\&&:f\mapsto T_{K_{X}}f&=\int _{a}^{b}K_{X}(s,\cdot )f(s)\,ds\end{aligned}}}$

Como T _{K X} es un operador lineal, tiene sentido hablar de sus valores propios λ _k y funciones propias e _k , que se encuentran resolviendo la ecuación integral homogénea de Fredholm de segundo tipo.

${\displaystyle \int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t)}$

Enunciado del teorema

Teorema . Sea X _t un proceso estocástico integrable por medio cuadrático cero definido sobre un espacio de probabilidad (Ω, F , P ) e indexado sobre un intervalo cerrado y acotado [ a ,  b ], con función de covarianza continua K _X ( s , t ) .

Entonces K _X ( s,t ) es un núcleo de Mercer y siendo e _k una base ortonormal en L ² ([ a , b ]) formada por las funciones propias de T _{K X} con respectivos valores propios λ _k , X _t admite la siguiente representación

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$

donde la convergencia es en L 2 , uniforme en t y

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt}$

Además, las variables aleatorias Z _k tienen media cero, no están correlacionadas y tienen varianza λ _k

${\displaystyle \mathbf {E} [Z_{k}]=0,~\forall k\in \mathbb {N} \qquad {\mbox{and}}\qquad \mathbf {E} [Z_{i}Z_{j}]=\delta _{ij}\lambda _{j},~\forall i,j\in \mathbb {N} }$

Nótese que por generalizaciones del teorema de Mercer podemos reemplazar el intervalo [ a , b ] con otros espacios compactos C y la medida de Lebesgue en [ a , b ] con una medida de Borel cuyo soporte es C .

Prueba

• La función de covarianza K _X satisface la definición de un núcleo de Mercer. Por el teorema de Mercer , existe en consecuencia un conjunto λ _k , e _k ( t ) de valores propios y funciones propias de T _{K X} que forman una base ortonormal de L ² ([ a , b ]) , y K _X puede expresarse como

${\displaystyle K_{X}(s,t)=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(s)e_{k}(t)}$

• El proceso X _t se puede expandir en términos de las funciones propias e _k como:

${\displaystyle X_{t}=\sum _{k=1}^{\infty }Z_{k}e_{k}(t)}$

donde los coeficientes (variables aleatorias) Z _k están dados por la proyección de X _t sobre las respectivas funciones propias

${\displaystyle Z_{k}=\int _{a}^{b}X_{t}e_{k}(t)\,dt}$

• Podemos entonces derivar

${\displaystyle {\begin{aligned}\mathbf {E} [Z_{k}]&=\mathbf {E} \left[\int _{a}^{b}X_{t}e_{k}(t)\,dt\right]=\int _{a}^{b}\mathbf {E} [X_{t}]e_{k}(t)dt=0\\[8pt]\mathbf {E} [Z_{i}Z_{j}]&=\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}e_{j}(t)e_{i}(s)\,dt\,ds\right]\\&=\int _{a}^{b}\int _{a}^{b}\mathbf {E} \left[X_{t}X_{s}\right]e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)e_{j}(t)e_{i}(s)\,dt\,ds\\&=\int _{a}^{b}e_{i}(s)\left(\int _{a}^{b}K_{X}(s,t)e_{j}(t)\,dt\right)\,ds\\&=\lambda _{j}\int _{a}^{b}e_{i}(s)e_{j}(s)\,ds\\&=\delta _{ij}\lambda _{j}\end{aligned}}}$

donde hemos utilizado el hecho de que las e _k son funciones propias de T _{K X} y son ortonormales.

• Demostremos ahora que la convergencia está en L ² . Sea

${\displaystyle S_{N}=\sum _{k=1}^{N}Z_{k}e_{k}(t).}$

Entonces:

${\displaystyle {\begin{aligned}\mathbf {E} \left[\left|X_{t}-S_{N}\right|^{2}\right]&=\mathbf {E} \left[X_{t}^{2}\right]+\mathbf {E} \left[S_{N}^{2}\right]-2\mathbf {E} \left[X_{t}S_{N}\right]\\&=K_{X}(t,t)+\mathbf {E} \left[\sum _{k=1}^{N}\sum _{l=1}^{N}Z_{k}Z_{\ell }e_{k}(t)e_{\ell }(t)\right]-2\mathbf {E} \left[X_{t}\sum _{k=1}^{N}Z_{k}e_{k}(t)\right]\\&=K_{X}(t,t)+\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}-2\mathbf {E} \left[\sum _{k=1}^{N}\int _{a}^{b}X_{t}X_{s}e_{k}(s)e_{k}(t)\,ds\right]\\&=K_{X}(t,t)-\sum _{k=1}^{N}\lambda _{k}e_{k}(t)^{2}\end{aligned}}}$

que tiende a 0 por el teorema de Mercer.

Propiedades de la transformada de Karhunen-Loève

Caso especial: distribución gaussiana

Dado que el límite en la media de las variables aleatorias conjuntamente gaussianas es conjuntamente gaussiana, y las variables aleatorias conjuntamente gaussianas (centradas) son independientes si y solo si son ortogonales, también podemos concluir:

Teorema . Las variables Z _i tienen una distribución gaussiana conjunta y son estocásticamente independientes si el proceso original { X _t } _t es gaussiano.

En el caso gaussiano, como las variables Z _i son independientes, podemos decir más:

${\displaystyle \lim _{N\to \infty }\sum _{i=1}^{N}e_{i}(t)Z_{i}(\omega )=X_{t}(\omega )}$

Casi seguro.

La transformada de Karhunen-Loève decorrelaciona el proceso

Esto es una consecuencia de la independencia de Z _k .

La expansión de Karhunen-Loève minimiza el error cuadrático medio total

En la introducción mencionamos que la expansión truncada de Karhunen-Loeve era la mejor aproximación del proceso original en el sentido de que reduce el error cuadrático medio total resultante de su truncamiento. Debido a esta propiedad, se suele decir que la transformada KL compacta de manera óptima la energía.

Más específicamente, dada cualquier base ortonormal { f _k } de L ² ([ a , b ]) , podemos descomponer el proceso X _t como:

${\displaystyle X_{t}(\omega )=\sum _{k=1}^{\infty }A_{k}(\omega )f_{k}(t)}$

dónde

${\displaystyle A_{k}(\omega )=\int _{a}^{b}X_{t}(\omega )f_{k}(t)\,dt}$

y podemos aproximar X _t por la suma finita

${\displaystyle {\hat {X}}_{t}(\omega )=\sum _{k=1}^{N}A_{k}(\omega )f_{k}(t)}$

para algún entero N .

Afirmación . De todas estas aproximaciones, la aproximación KL es la que minimiza el error cuadrático medio total (siempre que hayamos ordenado los valores propios en orden decreciente).

Prueba

Consideremos el error resultante del truncamiento en el término N en la siguiente expansión ortonormal:

${\displaystyle \varepsilon _{N}(t)=\sum _{k=N+1}^{\infty }A_{k}(\omega )f_{k}(t)}$

El error cuadrático medio ε _N ² ( t ) se puede escribir como:

${\displaystyle {\begin{aligned}\varepsilon _{N}^{2}(t)&=\mathbf {E} \left[\sum _{i=N+1}^{\infty }\sum _{j=N+1}^{\infty }A_{i}(\omega )A_{j}(\omega )f_{i}(t)f_{j}(t)\right]\\&=\sum _{i=N+1}^{\infty }\sum _{j=N+1}^{\infty }\mathbf {E} \left[\int _{a}^{b}\int _{a}^{b}X_{t}X_{s}f_{i}(t)f_{j}(s)\,ds\,dt\right]f_{i}(t)f_{j}(t)\\&=\sum _{i=N+1}^{\infty }\sum _{j=N+1}^{\infty }f_{i}(t)f_{j}(t)\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)f_{i}(t)f_{j}(s)\,ds\,dt\end{aligned}}}$

Luego integramos esta última igualdad sobre [ a , b ]. La ortonormalidad de f _k da:

${\displaystyle \int _{a}^{b}\varepsilon _{N}^{2}(t)\,dt=\sum _{k=N+1}^{\infty }\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)f_{k}(t)f_{k}(s)\,ds\,dt}$

El problema de minimizar el error cuadrático medio total se reduce entonces a minimizar el lado derecho de esta igualdad sujeto a la restricción de que f _k esté normalizada. Por lo tanto, introducimos β _k , los multiplicadores lagrangianos asociados con estas restricciones, y apuntamos a minimizar la siguiente función:

${\displaystyle Er[f_{k}(t),k\in \{N+1,\ldots \}]=\sum _{k=N+1}^{\infty }\int _{a}^{b}\int _{a}^{b}K_{X}(s,t)f_{k}(t)f_{k}(s)\,ds\,dt-\beta _{k}\left(\int _{a}^{b}f_{k}(t)f_{k}(t)\,dt-1\right)}$

Derivando con respecto a f _i ( t ) (esta es una derivada funcional ) y fijando la derivada en 0 se obtiene:

${\displaystyle {\frac {\partial Er}{\partial f_{i}(t)}}=\int _{a}^{b}\left(\int _{a}^{b}K_{X}(s,t)f_{i}(s)\,ds-\beta _{i}f_{i}(t)\right)\,dt=0}$

lo cual se satisface en particular cuando

${\displaystyle \int _{a}^{b}K_{X}(s,t)f_{i}(s)\,ds=\beta _{i}f_{i}(t).}$

En otras palabras, cuando se eligen las f _k como funciones propias de T _{K X} , se obtiene como resultado la expansión KL.

Varianza explicada

Una observación importante es que, dado que los coeficientes aleatorios Z _k de la expansión KL no están correlacionados, la fórmula de Bienaymé afirma que la varianza de X _t es simplemente la suma de las varianzas de los componentes individuales de la suma:

${\displaystyle \operatorname {var} [X_{t}]=\sum _{k=0}^{\infty }e_{k}(t)^{2}\operatorname {var} [Z_{k}]=\sum _{k=1}^{\infty }\lambda _{k}e_{k}(t)^{2}}$

Integrando sobre [ a , b ] y utilizando la ortonormalidad de e _k , obtenemos que la varianza total del proceso es:

${\displaystyle \int _{a}^{b}\operatorname {var} [X_{t}]\,dt=\sum _{k=1}^{\infty }\lambda _{k}}$

En particular, la varianza total de la aproximación N -truncada es

${\displaystyle \sum _{k=1}^{N}\lambda _{k}.}$

Como resultado, la expansión N -truncada explica

${\displaystyle {\frac {\sum _{k=1}^{N}\lambda _{k}}{\sum _{k=1}^{\infty }\lambda _{k}}}}$

de la varianza; y si nos conformamos con una aproximación que explica, digamos, el 95% de la varianza, entonces sólo tenemos que determinar una tal que ${\displaystyle N\in \mathbb {N} }$

${\displaystyle {\frac {\sum _{k=1}^{N}\lambda _{k}}{\sum _{k=1}^{\infty }\lambda _{k}}}\geq 0.95.}$

La expansión de Karhunen-Loève tiene la propiedad de entropía de representación mínima

Dada una representación de , para alguna base ortonormal y aleatoria , hacemos que , de modo que . Podemos entonces definir la entropía de representación como . Entonces tenemos , para todas las opciones de . Es decir, la expansión KL tiene una entropía de representación mínima. ${\displaystyle X_{t}=\sum _{k=1}^{\infty }W_{k}\varphi _{k}(t)}$ ${\displaystyle \varphi _{k}(t)}$ ${\displaystyle W_{k}}$ ${\displaystyle p_{k}=\mathbb {E} [|W_{k}|^{2}]/\mathbb {E} [|X_{t}|_{L^{2}}^{2}]}$ ${\displaystyle \sum _{k=1}^{\infty }p_{k}=1}$ ${\displaystyle H(\{\varphi _{k}\})=-\sum _{i}p_{k}\log(p_{k})}$ ${\displaystyle H(\{\varphi _{k}\})\geq H(\{e_{k}\})}$ ${\displaystyle \varphi _{k}}$

Prueba:

Denotemos los coeficientes obtenidos para la base como , y para como . ${\displaystyle e_{k}(t)}$ ${\displaystyle p_{k}}$ ${\displaystyle \varphi _{k}(t)}$ ${\displaystyle q_{k}}$

Elija . Tenga en cuenta que, dado que minimiza el error cuadrático medio, tenemos que ${\displaystyle N\geq 1}$ ${\displaystyle e_{k}}$

${\displaystyle \mathbb {E} \left|\sum _{k=1}^{N}Z_{k}e_{k}(t)-X_{t}\right|_{L^{2}}^{2}\leq \mathbb {E} \left|\sum _{k=1}^{N}W_{k}\varphi _{k}(t)-X_{t}\right|_{L^{2}}^{2}}$

Ampliando el tamaño de la mano derecha, obtenemos:

${\displaystyle \mathbb {E} \left|\sum _{k=1}^{N}W_{k}\varphi _{k}(t)-X_{t}\right|_{L^{2}}^{2}=\mathbb {E} |X_{t}^{2}|_{L^{2}}+\sum _{k=1}^{N}\sum _{\ell =1}^{N}\mathbb {E} [W_{\ell }\varphi _{\ell }(t)W_{k}^{*}\varphi _{k}^{*}(t)]_{L^{2}}-\sum _{k=1}^{N}\mathbb {E} [W_{k}\varphi _{k}X_{t}^{*}]_{L^{2}}-\sum _{k=1}^{N}\mathbb {E} [X_{t}W_{k}^{*}\varphi _{k}^{*}(t)]_{L^{2}}}$

Usando la ortonormalidad de , y expandiendo en la base, obtenemos que el tamaño de la mano derecha es igual a: ${\displaystyle \varphi _{k}(t)}$ ${\displaystyle X_{t}}$ ${\displaystyle \varphi _{k}(t)}$

${\displaystyle \mathbb {E} [X_{t}]_{L^{2}}^{2}-\sum _{k=1}^{N}\mathbb {E} [|W_{k}|^{2}]}$

Podemos realizar un análisis idéntico para , y así reescribir la desigualdad anterior como: ${\displaystyle e_{k}(t)}$

${\displaystyle {\displaystyle \mathbb {E} [X_{t}]_{L^{2}}^{2}-\sum _{k=1}^{N}\mathbb {E} [|Z_{k}|^{2}]}\leq {\displaystyle \mathbb {E} [X_{t}]_{L^{2}}^{2}-\sum _{k=1}^{N}\mathbb {E} [|W_{k}|^{2}]}}$

Restando el primer término común, y dividiendo por , obtenemos que: ${\displaystyle \mathbb {E} [|X_{t}|_{L^{2}}^{2}]}$

${\displaystyle \sum _{k=1}^{N}p_{k}\geq \sum _{k=1}^{N}q_{k}}$

Esto implica que:

${\displaystyle -\sum _{k=1}^{\infty }p_{k}\log(p_{k})\leq -\sum _{k=1}^{\infty }q_{k}\log(q_{k})}$

Aproximaciones lineales de Karhunen-Loève

Consideremos una clase completa de señales que queremos aproximar sobre los primeros M vectores de una base. Estas señales se modelan como realizaciones de un vector aleatorio Y [ n ] de tamaño N . Para optimizar la aproximación, diseñamos una base que minimiza el error de aproximación promedio. Esta sección demuestra que las bases óptimas son bases de Karhunen–Loeve que diagonalizan la matriz de covarianza de Y . El vector aleatorio Y se puede descomponer en una base ortogonal

${\displaystyle \left\{g_{m}\right\}_{0\leq m\leq N}}$

como sigue:

${\displaystyle Y=\sum _{m=0}^{N-1}\left\langle Y,g_{m}\right\rangle g_{m},}$

donde cada uno

${\displaystyle \left\langle Y,g_{m}\right\rangle =\sum _{n=0}^{N-1}{Y[n]}g_{m}^{*}[n]}$

es una variable aleatoria. La aproximación a partir de los primeros M ≤ N vectores de la base es

${\displaystyle Y_{M}=\sum _{m=0}^{M-1}\left\langle Y,g_{m}\right\rangle g_{m}}$

La conservación de la energía en una base ortogonal implica

${\displaystyle \varepsilon [M]=\mathbf {E} \left\{\left\|Y-Y_{M}\right\|^{2}\right\}=\sum _{m=M}^{N-1}\mathbf {E} \left\{\left|\left\langle Y,g_{m}\right\rangle \right|^{2}\right\}}$

Este error está relacionado con la covarianza de Y definida por

${\displaystyle R[n,m]=\mathbf {E} \left\{Y[n]Y^{*}[m]\right\}}$

Para cualquier vector x [ n ] denotamos por K el operador de covarianza representado por esta matriz,

${\displaystyle \mathbf {E} \left\{\left|\langle Y,x\rangle \right|^{2}\right\}=\langle Kx,x\rangle =\sum _{n=0}^{N-1}\sum _{m=0}^{N-1}R[n,m]x[n]x^{*}[m]}$

El error ε [ M ] es por tanto una suma de los últimos N − M coeficientes del operador de covarianza.

${\displaystyle \varepsilon [M]=\sum _{m=M}^{N-1}{\left\langle Kg_{m},g_{m}\right\rangle }}$

El operador de covarianza K es hermítico y positivo y, por lo tanto, está diagonalizado en una base ortogonal denominada base de Karhunen-Loève. El siguiente teorema establece que una base de Karhunen-Loève es óptima para aproximaciones lineales.

Teorema (optimalidad de la base de Karhunen–Loève). Sea K un operador de covarianza. Para todo M ≥ 1 , el error de aproximación

${\displaystyle \varepsilon [M]=\sum _{m=M}^{N-1}\left\langle Kg_{m},g_{m}\right\rangle }$

es mínimo si y sólo si

${\displaystyle \left\{g_{m}\right\}_{0\leq m<N}}$

es una base de Karhunen-Loeve ordenada por valores propios decrecientes.

${\displaystyle \left\langle Kg_{m},g_{m}\right\rangle \geq \left\langle Kg_{m+1},g_{m+1}\right\rangle ,\qquad 0\leq m<N-1.}$

Aproximación no lineal en bases

Las aproximaciones lineales proyectan la señal sobre M vectores a priori. La aproximación puede hacerse más precisa eligiendo los M vectores ortogonales en función de las propiedades de la señal. En esta sección se analiza el rendimiento general de estas aproximaciones no lineales. Una señal se aproxima con M vectores seleccionados de forma adaptativa en una base ortonormal para ^{[ definición necesaria ]} ${\displaystyle f\in \mathrm {H} }$ ${\displaystyle \mathrm {H} }$

${\displaystyle \mathrm {B} =\left\{g_{m}\right\}_{m\in \mathbb {N} }}$

Sea la proyección de f sobre M vectores cuyos índices están en I _M : ${\displaystyle f_{M}}$

${\displaystyle f_{M}=\sum _{m\in I_{M}}\left\langle f,g_{m}\right\rangle g_{m}}$

El error de aproximación es la suma de los coeficientes restantes.

${\displaystyle \varepsilon [M]=\left\{\left\|f-f_{M}\right\|^{2}\right\}=\sum _{m\notin I_{M}}^{N-1}\left\{\left|\left\langle f,g_{m}\right\rangle \right|^{2}\right\}}$

Para minimizar este error, los índices en I _M deben corresponder a los vectores M que tienen la mayor amplitud del producto interno.

${\displaystyle \left|\left\langle f,g_{m}\right\rangle \right|.}$

Estos son los vectores que mejor correlacionan f. Por lo tanto, pueden interpretarse como las características principales de f. El error resultante es necesariamente menor que el error de una aproximación lineal que selecciona los M vectores de aproximación independientemente de f. Ordenemos

${\displaystyle \left\{\left|\left\langle f,g_{m}\right\rangle \right|\right\}_{m\in \mathbb {N} }}$

En orden decreciente

${\displaystyle \left|\left\langle f,g_{m_{k}}\right\rangle \right|\geq \left|\left\langle f,g_{m_{k+1}}\right\rangle \right|.}$

La mejor aproximación no lineal es

${\displaystyle f_{M}=\sum _{k=1}^{M}\left\langle f,g_{m_{k}}\right\rangle g_{m_{k}}}$

También se puede escribir como umbral de producto interno:

${\displaystyle f_{M}=\sum _{m=0}^{\infty }\theta _{T}\left(\left\langle f,g_{m}\right\rangle \right)g_{m}}$

con

${\displaystyle T=\left|\left\langle f,g_{m_{M}}\right\rangle \right|,\qquad \theta _{T}(x)={\begin{cases}x&|x|\geq T\\0&|x|<T\end{cases}}}$

El error no lineal es

${\displaystyle \varepsilon [M]=\left\{\left\|f-f_{M}\right\|^{2}\right\}=\sum _{k=M+1}^{\infty }\left\{\left|\left\langle f,g_{m_{k}}\right\rangle \right|^{2}\right\}}$

Este error se reduce rápidamente a cero a medida que M aumenta, si los valores ordenados de tienen una rápida disminución a medida que k aumenta. Esta disminución se cuantifica calculando la norma de los productos internos de la señal en B: ${\displaystyle \left|\left\langle f,g_{m_{k}}\right\rangle \right|}$ ${\displaystyle \mathrm {I} ^{\mathrm {P} }}$

${\displaystyle \|f\|_{\mathrm {B} ,p}=\left(\sum _{m=0}^{\infty }\left|\left\langle f,g_{m}\right\rangle \right|^{p}\right)^{\frac {1}{p}}}$

El siguiente teorema relaciona la desintegración de ε [ M ] con ${\displaystyle \|f\|_{\mathrm {B} ,p}}$

Teorema ( decaimiento del error). Si p < 2 entonces ${\displaystyle \|f\|_{\mathrm {B} ,p}<\infty }$

${\displaystyle \varepsilon [M]\leq {\frac {\|f\|_{\mathrm {B} ,p}^{2}}{{\frac {2}{p}}-1}}M^{1-{\frac {2}{p}}}}$

y

${\displaystyle \varepsilon [M]=o\left(M^{1-{\frac {2}{p}}}\right).}$

Por el contrario, si entonces ${\displaystyle \varepsilon [M]=o\left(M^{1-{\frac {2}{p}}}\right)}$

${\displaystyle \|f\|_{\mathrm {B} ,q}<\infty }$para cualquier q > p .

Falta de optimización de las bases Karhunen-Loève

Para ilustrar mejor las diferencias entre aproximaciones lineales y no lineales, estudiamos la descomposición de un vector aleatorio simple no gaussiano en una base Karhunen-Loève. Los procesos cuyas realizaciones tienen una traslación aleatoria son estacionarios. La base Karhunen-Loève es entonces una base de Fourier y estudiamos su desempeño. Para simplificar el análisis, considere un vector aleatorio Y [ n ] de tamaño N que es un desplazamiento aleatorio módulo N de una señal determinista f [ n ] de media cero.

${\displaystyle \sum _{n=0}^{N-1}f[n]=0}$

${\displaystyle Y[n]=f[(n-p){\bmod {N}}]}$

El desplazamiento aleatorio P se distribuye uniformemente en [0,  N  − 1]:

${\displaystyle \Pr(P=p)={\frac {1}{N}},\qquad 0\leq p<N}$

Claramente

${\displaystyle \mathbf {E} \{Y[n]\}={\frac {1}{N}}\sum _{p=0}^{N-1}f[(n-p){\bmod {N}}]=0}$

y

${\displaystyle R[n,k]=\mathbf {E} \{Y[n]Y[k]\}={\frac {1}{N}}\sum _{p=0}^{N-1}f[(n-p){\bmod {N}}]f[(k-p){\bmod {N}}]={\frac {1}{N}}f\Theta {\bar {f}}[n-k],\quad {\bar {f}}[n]=f[-n]}$

Por eso

${\displaystyle R[n,k]=R_{Y}[n-k],\qquad R_{Y}[k]={\frac {1}{N}}f\Theta {\bar {f}}[k]}$

Como R _Y es periódico N, Y es un vector aleatorio estacionario circular. El operador de covarianza es una convolución circular con R _Y y, por lo tanto, está diagonalizado en la base discreta de Fourier Karhunen-Loève

${\displaystyle \left\{{\frac {1}{\sqrt {N}}}e^{i2\pi mn/N}\right\}_{0\leq m<N}.}$

El espectro de potencia es la transformada de Fourier de R _Y :

${\displaystyle P_{Y}[m]={\hat {R}}_{Y}[m]={\frac {1}{N}}\left|{\hat {f}}[m]\right|^{2}}$

Ejemplo: Consideremos un caso extremo donde . Un teorema enunciado anteriormente garantiza que la base de Fourier Karhunen–Loève produce un error de aproximación esperado menor que una base canónica de Diracs . De hecho, no conocemos a priori la abscisa de los coeficientes no nulos de Y , por lo que no hay ningún Dirac particular que esté mejor adaptado para realizar la aproximación. Pero los vectores de Fourier cubren todo el soporte de Y y, por lo tanto, absorben una parte de la energía de la señal. ${\displaystyle f[n]=\delta [n]-\delta [n-1]}$ ${\displaystyle \left\{g_{m}[n]=\delta [n-m]\right\}_{0\leq m<N}}$

${\displaystyle \mathbf {E} \left\{\left|\left\langle Y[n],{\frac {1}{\sqrt {N}}}e^{i2\pi mn/N}\right\rangle \right|^{2}\right\}=P_{Y}[m]={\frac {4}{N}}\sin ^{2}\left({\frac {\pi k}{N}}\right)}$

La selección de coeficientes de Fourier de frecuencias más altas produce una mejor aproximación cuadrática media que la elección a priori de unos pocos vectores de Dirac para realizar la aproximación. La situación es totalmente diferente para las aproximaciones no lineales. Si, entonces, la base de Fourier discreta es extremadamente ineficiente porque f y, por lo tanto, Y tienen una energía que se distribuye casi uniformemente entre todos los vectores de Fourier. En cambio, dado que f tiene solo dos coeficientes distintos de cero en la base de Dirac, una aproximación no lineal de Y con M ≥ 2 da un error cero. ^[5] ${\displaystyle f[n]=\delta [n]-\delta [n-1]}$

Análisis de componentes principales

Hemos establecido el teorema de Karhunen-Loève y hemos derivado algunas propiedades del mismo. También hemos observado que un obstáculo en su aplicación era el coste numérico de determinar los valores propios y las funciones propias de su operador de covarianza a través de la ecuación integral de Fredholm de segunda especie.

${\displaystyle \int _{a}^{b}K_{X}(s,t)e_{k}(s)\,ds=\lambda _{k}e_{k}(t).}$

Sin embargo, cuando se aplica a un proceso discreto y finito , el problema toma una forma mucho más simple y se puede utilizar el álgebra estándar para realizar los cálculos. ${\displaystyle \left(X_{n}\right)_{n\in \{1,\ldots ,N\}}}$

Téngase en cuenta que un proceso continuo también se puede muestrear en N puntos en el tiempo para reducir el problema a una versión finita.

De ahora en adelante, consideraremos un vector aleatorio de dimensión N. Como se mencionó anteriormente, X podría contener N muestras de una señal, pero puede albergar muchas más representaciones según el campo de aplicación. Por ejemplo, podrían ser las respuestas a una encuesta o datos económicos en un análisis econométrico. ${\displaystyle X=\left(X_{1}~X_{2}~\ldots ~X_{N}\right)^{T}}$

Al igual que en la versión continua, asumimos que X está centrado, de lo contrario podemos ser (donde es el vector medio de X ) que está centrado. ${\displaystyle X:=X-\mu _{X}}$ ${\displaystyle \mu _{X}}$

Adaptemos el procedimiento al caso discreto.

Matriz de covarianza

Recordemos que la principal implicación y dificultad de la transformación KL es calcular los vectores propios del operador lineal asociado a la función de covarianza, que están dados por las soluciones de la ecuación integral escrita anteriormente.

Defina Σ, la matriz de covarianza de X , como una matriz N × N cuyos elementos están dados por:

${\displaystyle \Sigma _{ij}=\mathbf {E} [X_{i}X_{j}],\qquad \forall i,j\in \{1,\ldots ,N\}}$

Reescribiendo la ecuación integral anterior para adaptarla al caso discreto, observamos que se convierte en:

${\displaystyle \sum _{j=1}^{N}\Sigma _{ij}e_{j}=\lambda e_{i}\quad \Leftrightarrow \quad \Sigma e=\lambda e}$

donde es un vector N -dimensional. ${\displaystyle e=(e_{1}~e_{2}~\ldots ~e_{N})^{T}}$

La ecuación integral se reduce así a un simple problema de valor propio de la matriz, lo que explica por qué el PCA tiene un dominio tan amplio de aplicaciones.

Como Σ es una matriz simétrica definida positiva, posee un conjunto de vectores propios ortonormales que forman una base de , y escribimos este conjunto de valores propios y vectores propios correspondientes, enumerados en valores decrecientes de λ _i . Sea también Φ la matriz ortonormal que consta de estos vectores propios: ${\displaystyle \mathbb {R} ^{N}}$ ${\displaystyle \{\lambda _{i},\varphi _{i}\}_{i\in \{1,\ldots ,N\}}}$

${\displaystyle {\begin{aligned}\Phi &:=\left(\varphi _{1}~\varphi _{2}~\ldots ~\varphi _{N}\right)^{T}\\\Phi ^{T}\Phi &=I\end{aligned}}}$

Transformación de componentes principales

Queda por realizar la transformación KL propiamente dicha, denominada en este caso transformación de componentes principales . Recordemos que la transformación se obtuvo expandiendo el proceso con respecto a la base abarcada por los vectores propios de la función de covarianza. En este caso, tenemos:

${\displaystyle X=\sum _{i=1}^{N}\langle \varphi _{i},X\rangle \varphi _{i}=\sum _{i=1}^{N}\varphi _{i}^{T}X\varphi _{i}}$

En una forma más compacta, la transformada de componentes principales de X se define por:

${\displaystyle {\begin{cases}Y=\Phi ^{T}X\\X=\Phi Y\end{cases}}}$

El componente i -ésimo de Y es , la proyección de X sobre y la transformada inversa X = Φ Y produce la expansión de X en el espacio abarcado por : ${\displaystyle Y_{i}=\varphi _{i}^{T}X}$ ${\displaystyle \varphi _{i}}$ ${\displaystyle \varphi _{i}}$

${\displaystyle X=\sum _{i=1}^{N}Y_{i}\varphi _{i}=\sum _{i=1}^{N}\langle \varphi _{i},X\rangle \varphi _{i}}$

Al igual que en el caso continuo, podemos reducir la dimensionalidad del problema truncando la suma en algún punto tal que ${\displaystyle K\in \{1,\ldots ,N\}}$

${\displaystyle {\frac {\sum _{i=1}^{K}\lambda _{i}}{\sum _{i=1}^{N}\lambda _{i}}}\geq \alpha }$

donde α es el umbral de varianza explicada que deseamos establecer.

También podemos reducir la dimensionalidad mediante el uso de la estimación de vectores propios dominantes multinivel (MDEE). ^[6]

Ejemplos

El proceso de Wiener

Existen numerosas caracterizaciones equivalentes del proceso de Wiener , que es una formalización matemática del movimiento browniano . Aquí lo consideramos como el proceso gaussiano estándar centrado W _t con función de covarianza

${\displaystyle K_{W}(t,s)=\operatorname {cov} (W_{t},W_{s})=\min(s,t).}$

Restringimos el dominio del tiempo a [ a , b ]=[0,1] sin pérdida de generalidad.

Los vectores propios del núcleo de covarianza se determinan fácilmente. Son

${\displaystyle e_{k}(t)={\sqrt {2}}\sin \left(\left(k-{\tfrac {1}{2}}\right)\pi t\right)}$

y los valores propios correspondientes son

${\displaystyle \lambda _{k}={\frac {1}{(k-{\frac {1}{2}})^{2}\pi ^{2}}}.}$

Prueba

Para encontrar los valores propios y los vectores propios, necesitamos resolver la ecuación integral:

${\displaystyle {\begin{aligned}\int _{a}^{b}K_{W}(s,t)e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\\\int _{0}^{1}\min(s,t)e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\\\int _{0}^{t}se(s)\,ds+t\int _{t}^{1}e(s)\,ds&=\lambda e(t)\qquad \forall t,0\leq t\leq 1\end{aligned}}}$

diferenciando una vez con respecto a t obtenemos:

${\displaystyle \int _{t}^{1}e(s)\,ds=\lambda e'(t)}$

Una segunda diferenciación produce la siguiente ecuación diferencial:

${\displaystyle -e(t)=\lambda e''(t)}$

La solución general de la cual tiene la forma:

${\displaystyle e(t)=A\sin \left({\frac {t}{\sqrt {\lambda }}}\right)+B\cos \left({\frac {t}{\sqrt {\lambda }}}\right)}$

donde A y B son dos constantes que se deben determinar con las condiciones de contorno. Si se fija t  = 0 en la ecuación integral inicial, se obtiene e (0) = 0, lo que implica que B  = 0 y, de manera similar, si se fija t  = 1 en la primera diferenciación, se obtiene e' (1) = 0, de donde:

${\displaystyle \cos \left({\frac {1}{\sqrt {\lambda }}}\right)=0}$

lo que a su vez implica que los valores propios de T _{K X} son:

${\displaystyle \lambda _{k}=\left({\frac {1}{(k-{\frac {1}{2}})\pi }}\right)^{2},\qquad k\geq 1}$

Las funciones propias correspondientes son entonces de la forma:

${\displaystyle e_{k}(t)=A\sin \left((k-{\frac {1}{2}})\pi t\right),\qquad k\geq 1}$

Luego se elige A para normalizar e _k :

${\displaystyle \int _{0}^{1}e_{k}^{2}(t)\,dt=1\quad \implies \quad A={\sqrt {2}}}$

Esto da la siguiente representación del proceso de Wiener:

Teorema . Existe una secuencia { Z _i } _i de variables aleatorias gaussianas independientes con media cero y varianza 1 tales que

${\displaystyle W_{t}={\sqrt {2}}\sum _{k=1}^{\infty }Z_{k}{\frac {\sin \left(\left(k-{\frac {1}{2}}\right)\pi t\right)}{\left(k-{\frac {1}{2}}\right)\pi }}.}$

Nótese que esta representación solo es válida para En intervalos mayores, los incrementos no son independientes. Como se indica en el teorema, la convergencia está en la norma L ² y es uniforme en  t . ${\displaystyle t\in [0,1].}$

El puente browniano

De manera similar, el puente browniano , que es un proceso estocástico con función de covarianza. ${\displaystyle B_{t}=W_{t}-tW_{1}}$

${\displaystyle K_{B}(t,s)=\min(t,s)-ts}$

se puede representar como la serie

${\displaystyle B_{t}=\sum _{k=1}^{\infty }Z_{k}{\frac {{\sqrt {2}}\sin(k\pi t)}{k\pi }}}$

Aplicaciones

Los sistemas de óptica adaptativa a veces utilizan funciones K–L para reconstruir la información de fase del frente de onda (Dai 1996, JOSA A). La expansión de Karhunen–Loève está estrechamente relacionada con la descomposición en valores singulares . Esta última tiene innumerables aplicaciones en el procesamiento de imágenes, el radar, la sismología y similares. Si uno tiene observaciones vectoriales independientes de un proceso estocástico con valores vectoriales, entonces los vectores singulares de la izquierda son estimaciones de máxima verosimilitud de la expansión KL del conjunto.

Aplicaciones en estimación y detección de señales

Detección de una señal continua conocidaS(a)

En comunicación, normalmente tenemos que decidir si una señal de un canal ruidoso contiene información valiosa. La siguiente prueba de hipótesis se utiliza para detectar la señal continua s ( t ) de la salida del canal X ( t ), N ( t ) es el ruido del canal, que normalmente se supone que es de media cero Proceso gaussiano con función de correlación ${\displaystyle R_{N}(t,s)=E[N(t)N(s)]}$

${\displaystyle H:X(t)=N(t),}$

${\displaystyle K:X(t)=N(t)+s(t),\quad t\in (0,T)}$

Detección de señales en ruido blanco

Cuando el ruido del canal es blanco, su función de correlación es

${\displaystyle R_{N}(t)={\tfrac {1}{2}}N_{0}\delta (t),}$

y tiene una densidad de espectro de potencia constante. En un canal físicamente práctico, la potencia de ruido es finita, por lo que:

${\displaystyle S_{N}(f)={\begin{cases}{\frac {N_{0}}{2}}&|f|<w\\0&|f|>w\end{cases}}}$

Entonces la función de correlación de ruido es una función sinc con ceros en Dado que no están correlacionados y son gaussianos, son independientes. Por lo tanto, podemos tomar muestras de X ( t ) con espaciamiento temporal ${\displaystyle {\frac {n}{2\omega }},n\in \mathbf {Z} .}$

${\displaystyle \Delta t={\frac {n}{2\omega }}{\text{ within }}(0,''T'').}$

Sea . Tenemos un total de observaciones iid para desarrollar la prueba de razón de verosimilitud. Definamos la señal , el problema se convierte en, ${\displaystyle X_{i}=X(i\,\Delta t)}$ ${\displaystyle n={\frac {T}{\Delta t}}=T(2\omega )=2\omega T}$ ${\displaystyle \{X_{1},X_{2},\ldots ,X_{n}\}}$ ${\displaystyle S_{i}=S(i\,\Delta t)}$

${\displaystyle H:X_{i}=N_{i},}$

${\displaystyle K:X_{i}=N_{i}+S_{i},i=1,2,\ldots ,n.}$

La razón de verosimilitud logarítmica

${\displaystyle {\mathcal {L}}({\underline {x}})=\log {\frac {\sum _{i=1}^{n}(2S_{i}x_{i}-S_{i}^{2})}{2\sigma ^{2}}}\Leftrightarrow \Delta t\sum _{i=1}^{n}S_{i}x_{i}=\sum _{i=1}^{n}S(i\,\Delta t)x(i\,\Delta t)\,\Delta t\gtrless \lambda _{\cdot }2}$

Cuando t → 0 , sea:

${\displaystyle G=\int _{0}^{T}S(t)x(t)\,dt.}$

Entonces G son las estadísticas de prueba y el detector óptimo de Neyman-Pearson es

${\displaystyle G({\underline {x}})>G_{0}\Rightarrow K<G_{0}\Rightarrow H.}$

Como G es gaussiana, podemos caracterizarla hallando su media y varianzas. Entonces obtenemos

${\displaystyle H:G\sim N\left(0,{\tfrac {1}{2}}N_{0}E\right)}$

${\displaystyle K:G\sim N\left(E,{\tfrac {1}{2}}N_{0}E\right)}$

dónde

${\displaystyle \mathbf {E} =\int _{0}^{T}S^{2}(t)\,dt}$

Es la energía de la señal.

El error de falsa alarma

${\displaystyle \alpha =\int _{G_{0}}^{\infty }N\left(0,{\tfrac {1}{2}}N_{0}E\right)\,dG\Rightarrow G_{0}={\sqrt {{\tfrac {1}{2}}N_{0}E}}\Phi ^{-1}(1-\alpha )}$

Y la probabilidad de detección:

${\displaystyle \beta =\int _{G_{0}}^{\infty }N\left(E,{\tfrac {1}{2}}N_{0}E\right)\,dG=1-\Phi \left({\frac {G_{0}-E}{\sqrt {{\tfrac {1}{2}}N_{0}E}}}\right)=\Phi \left({\sqrt {\frac {2E}{N_{0}}}}-\Phi ^{-1}(1-\alpha )\right),}$

donde Φ es la cdf de la variable normal estándar o gaussiana.

Detección de señales en ruido coloreado

Cuando N(t) es ruido gaussiano coloreado (correlacionada en el tiempo) con media cero y función de covarianza, no podemos muestrear observaciones discretas independientes espaciando el tiempo de manera uniforme. En cambio, podemos usar la expansión K–L para descorrelacionar el proceso de ruido y obtener "muestras" de observaciones gaussianas independientes. La expansión K–L de N ( t ): ${\displaystyle R_{N}(t,s)=E[N(t)N(s)],}$

${\displaystyle N(t)=\sum _{i=1}^{\infty }N_{i}\Phi _{i}(t),\quad 0<t<T,}$

donde y las bases ortonormales se generan por kernel , es decir, solución a ${\displaystyle N_{i}=\int N(t)\Phi _{i}(t)\,dt}$ ${\displaystyle \{\Phi _{i}{t}\}}$ ${\displaystyle R_{N}(t,s)}$

${\displaystyle \int _{0}^{T}R_{N}(t,s)\Phi _{i}(s)\,ds=\lambda _{i}\Phi _{i}(t),\quad \operatorname {var} [N_{i}]=\lambda _{i}.}$

Hacer la expansión:

${\displaystyle S(t)=\sum _{i=1}^{\infty }S_{i}\Phi _{i}(t),}$

donde , entonces ${\displaystyle S_{i}=\int _{0}^{T}S(t)\Phi _{i}(t)\,dt}$

${\displaystyle X_{i}=\int _{0}^{T}X(t)\Phi _{i}(t)\,dt=N_{i}}$

bajo H y bajo K. Sea , tenemos ${\displaystyle N_{i}+S_{i}}$ ${\displaystyle {\overline {X}}=\{X_{1},X_{2},\dots \}}$

${\displaystyle N_{i}}$son variables aleatorias gaussianas independientes con varianza ${\displaystyle \lambda _{i}}$

bajo H: son variables aleatorias gaussianas independientes. ${\displaystyle \{X_{i}\}}$

${\displaystyle f_{H}[x(t)|0<t<T]=f_{H}({\underline {x}})=\prod _{i=1}^{\infty }{\frac {1}{\sqrt {2\pi \lambda _{i}}}}\exp \left(-{\frac {x_{i}^{2}}{2\lambda _{i}}}\right)}$

bajo K: son variables aleatorias gaussianas independientes. ${\displaystyle \{X_{i}-S_{i}\}}$

${\displaystyle f_{K}[x(t)\mid 0<t<T]=f_{K}({\underline {x}})=\prod _{i=1}^{\infty }{\frac {1}{\sqrt {2\pi \lambda _{i}}}}\exp \left(-{\frac {(x_{i}-S_{i})^{2}}{2\lambda _{i}}}\right)}$

Por lo tanto, el log-LR viene dado por

${\displaystyle {\mathcal {L}}({\underline {x}})=\sum _{i=1}^{\infty }{\frac {2S_{i}x_{i}-S_{i}^{2}}{2\lambda _{i}}}}$

y el detector óptimo es

${\displaystyle G=\sum _{i=1}^{\infty }S_{i}x_{i}\lambda _{i}>G_{0}\Rightarrow K,<G_{0}\Rightarrow H.}$

Definir

${\displaystyle k(t)=\sum _{i=1}^{\infty }\lambda _{i}S_{i}\Phi _{i}(t),0<t<T,}$

entonces ${\displaystyle G=\int _{0}^{T}k(t)x(t)\,dt.}$

Cómo encontrara(a)

Desde

${\displaystyle \int _{0}^{T}R_{N}(t,s)k(s)\,ds=\sum _{i=1}^{\infty }\lambda _{i}S_{i}\int _{0}^{T}R_{N}(t,s)\Phi _{i}(s)\,ds=\sum _{i=1}^{\infty }S_{i}\Phi _{i}(t)=S(t),}$

k(t) es la solución de

${\displaystyle \int _{0}^{T}R_{N}(t,s)k(s)\,ds=S(t).}$

Si N ( t ) es estacionario en sentido amplio,

${\displaystyle \int _{0}^{T}R_{N}(t-s)k(s)\,ds=S(t),}$

que se conoce como ecuación de Wiener-Hopf . La ecuación se puede resolver tomando la transformada de Fourier, pero no es factible en la práctica ya que el espectro infinito necesita factorización espacial. Un caso especial que es fácil de calcular k ( t ) es el ruido gaussiano blanco.

${\displaystyle \int _{0}^{T}{\frac {N_{0}}{2}}\delta (t-s)k(s)\,ds=S(t)\Rightarrow k(t)=CS(t),\quad 0<t<T.}$

La respuesta al impulso correspondiente es h ( t ) = k ( T  −  t ) = CS ( T  −  t ). Sea C  = 1, este es simplemente el resultado al que llegamos en la sección anterior para la detección de señal en ruido blanco.

Umbral de prueba para el detector Neyman-Pearson

Dado que X(t) es un proceso gaussiano,

${\displaystyle G=\int _{0}^{T}k(t)x(t)\,dt,}$

es una variable aleatoria gaussiana que se puede caracterizar por su media y varianza.

${\displaystyle {\begin{aligned}\mathbf {E} [G\mid H]&=\int _{0}^{T}k(t)\mathbf {E} [x(t)\mid H]\,dt=0\\\mathbf {E} [G\mid K]&=\int _{0}^{T}k(t)\mathbf {E} [x(t)\mid K]\,dt=\int _{0}^{T}k(t)S(t)\,dt\equiv \rho \\\mathbf {E} [G^{2}\mid H]&=\int _{0}^{T}\int _{0}^{T}k(t)k(s)R_{N}(t,s)\,dt\,ds=\int _{0}^{T}k(t)\left(\int _{0}^{T}k(s)R_{N}(t,s)\,ds\right)=\int _{0}^{T}k(t)S(t)\,dt=\rho \\\operatorname {var} [G\mid H]&=\mathbf {E} [G^{2}\mid H]-(\mathbf {E} [G\mid H])^{2}=\rho \\\mathbf {E} [G^{2}\mid K]&=\int _{0}^{T}\int _{0}^{T}k(t)k(s)\mathbf {E} [x(t)x(s)]\,dt\,ds=\int _{0}^{T}\int _{0}^{T}k(t)k(s)(R_{N}(t,s)+S(t)S(s))\,dt\,ds=\rho +\rho ^{2}\\\operatorname {var} [G\mid K]&=\mathbf {E} [G^{2}|K]-(\mathbf {E} [G|K])^{2}=\rho +\rho ^{2}-\rho ^{2}=\rho \end{aligned}}}$

Por tanto, obtenemos las distribuciones de H y K :

${\displaystyle H:G\sim N(0,\rho )}$

${\displaystyle K:G\sim N(\rho ,\rho )}$

El error de falsa alarma es

${\displaystyle \alpha =\int _{G_{0}}^{\infty }N(0,\rho )\,dG=1-\Phi \left({\frac {G_{0}}{\sqrt {\rho }}}\right).}$

Por lo tanto, el umbral de prueba para el detector óptimo de Neyman-Pearson es

${\displaystyle G_{0}={\sqrt {\rho }}\Phi ^{-1}(1-\alpha ).}$

Su poder de detección es

${\displaystyle \beta =\int _{G_{0}}^{\infty }N(\rho ,\rho )\,dG=\Phi \left({\sqrt {\rho }}-\Phi ^{-1}(1-\alpha )\right)}$

Cuando el ruido es un proceso gaussiano blanco, la potencia de la señal es

${\displaystyle \rho =\int _{0}^{T}k(t)S(t)\,dt=\int _{0}^{T}S(t)^{2}\,dt=E.}$

Preblanqueamiento

Para algunos tipos de ruido coloreado, una práctica típica es agregar un filtro de preblanqueamiento antes del filtro adaptado para transformar el ruido coloreado en ruido blanco. Por ejemplo, N(t) es un ruido coloreado estacionario de sentido amplio con función de correlación

${\displaystyle R_{N}(\tau )={\frac {BN_{0}}{4}}e^{-B|\tau |}}$

${\displaystyle S_{N}(f)={\frac {N_{0}}{2(1+({\frac {w}{B}})^{2})}}}$

La función de transferencia del filtro de preblanqueamiento es

${\displaystyle H(f)=1+j{\frac {w}{B}}.}$

Detección de una señal aleatoria gaussiana enRuido blanco gaussiano aditivo (AWGN)

Cuando la señal que queremos detectar del canal ruidoso también es aleatoria, por ejemplo, un proceso gaussiano blanco X ( t ), aún podemos implementar la expansión K–L para obtener una secuencia de observación independiente. En este caso, el problema de detección se describe de la siguiente manera:

${\displaystyle H_{0}:Y(t)=N(t)}$

${\displaystyle H_{1}:Y(t)=N(t)+X(t),\quad 0<t<T.}$

X ( t ) es un proceso aleatorio con función de correlación ${\displaystyle R_{X}(t,s)=E\{X(t)X(s)\}}$

La expansión K–L de X ( t ) es

${\displaystyle X(t)=\sum _{i=1}^{\infty }X_{i}\Phi _{i}(t),}$

dónde

${\displaystyle X_{i}=\int _{0}^{T}X(t)\Phi _{i}(t)\,dt}$

y son soluciones a ${\displaystyle \Phi _{i}(t)}$

${\displaystyle \int _{0}^{T}R_{X}(t,s)\Phi _{i}(s)ds=\lambda _{i}\Phi _{i}(t).}$

Por lo tanto , son secuencias independientes de variables aleatorias con media y varianza cero . Al expandir Y ( t ) y N ( t ) por , obtenemos ${\displaystyle X_{i}}$ ${\displaystyle \lambda _{i}}$ ${\displaystyle \Phi _{i}(t)}$

${\displaystyle Y_{i}=\int _{0}^{T}Y(t)\Phi _{i}(t)\,dt=\int _{0}^{T}[N(t)+X(t)]\Phi _{i}(t)=N_{i}+X_{i},}$

dónde

${\displaystyle N_{i}=\int _{0}^{T}N(t)\Phi _{i}(t)\,dt.}$

Como N ( t ) es ruido blanco gaussiano, y son secuencias iid de rv con media y varianza cero , entonces el problema se simplifica de la siguiente manera: ${\displaystyle N_{i}}$ ${\displaystyle {\tfrac {1}{2}}N_{0}}$

${\displaystyle H_{0}:Y_{i}=N_{i}}$

${\displaystyle H_{1}:Y_{i}=N_{i}+X_{i}}$

La prueba óptima de Neyman-Pearson:

${\displaystyle \Lambda ={\frac {f_{Y}\mid H_{1}}{f_{Y}\mid H_{0}}}=Ce^{-\sum _{i=1}^{\infty }{\frac {y_{i}^{2}}{2}}{\frac {\lambda _{i}}{{\tfrac {1}{2}}N_{0}({\tfrac {1}{2}}N_{0}+\lambda _{i})}}},}$

Por lo tanto, la razón de verosimilitud logarítmica es

${\displaystyle {\mathcal {L}}=\ln(\Lambda )=K-\sum _{i=1}^{\infty }{\tfrac {1}{2}}y_{i}^{2}{\frac {\lambda _{i}}{{\frac {N_{0}}{2}}\left({\frac {N_{0}}{2}}+\lambda _{i}\right)}}.}$

Desde

${\displaystyle {\widehat {X}}_{i}={\frac {\lambda _{i}}{{\frac {N_{0}}{2}}\left({\frac {N_{0}}{2}}+\lambda _{i}\right)}}}$

es simplemente la estimación del mínimo cuadrático medio de un valor dado , ${\displaystyle X_{i}}$ ${\displaystyle Y_{i}}$

${\displaystyle {\mathcal {L}}=K+{\frac {1}{N_{0}}}\sum _{i=1}^{\infty }Y_{i}{\widehat {X}}_{i}.}$

La expansión K–L tiene la siguiente propiedad: Si

${\displaystyle f(t)=\sum f_{i}\Phi _{i}(t),g(t)=\sum g_{i}\Phi _{i}(t),}$

dónde

${\displaystyle f_{i}=\int _{0}^{T}f(t)\Phi _{i}(t)\,dt,\quad g_{i}=\int _{0}^{T}g(t)\Phi _{i}(t)\,dt.}$

entonces

${\displaystyle \sum _{i=1}^{\infty }f_{i}g_{i}=\int _{0}^{T}g(t)f(t)\,dt.}$

Así que dejemoslo

${\displaystyle {\widehat {X}}(t\mid T)=\sum _{i=1}^{\infty }{\widehat {X}}_{i}\Phi _{i}(t),\quad {\mathcal {L}}=K+{\frac {1}{N_{0}}}\int _{0}^{T}Y(t){\widehat {X}}(t\mid T)\,dt.}$

Se puede utilizar el filtro no causal Q ( t , s ) para obtener la estimación

${\displaystyle {\widehat {X}}(t\mid T)=\int _{0}^{T}Q(t,s)Y(s)\,ds.}$

Por el principio de ortogonalidad , Q ( t , s ) satisface

${\displaystyle \int _{0}^{T}Q(t,s)R_{X}(s,t)\,ds+{\tfrac {N_{0}}{2}}Q(t,\lambda )=R_{X}(t,\lambda ),0<\lambda <T,0<t<T.}$

Sin embargo, por razones prácticas, es necesario derivar además el filtro causal h ( t , s ), donde h ( t , s ) = 0 para s > t , para obtener la estimación . Específicamente, ${\displaystyle {\widehat {X}}(t\mid t)}$

${\displaystyle Q(t,s)=h(t,s)+h(s,t)-\int _{0}^{T}h(\lambda ,t)h(s,\lambda )\,d\lambda }$

Véase también

• Análisis de componentes principales
• Caos polinomial
• Reproducción del espacio de Hilbert del núcleo
• Teorema de Mercer

Notas

1. Sapatnekar, Sachin (2011), "Superar las variaciones en las tecnologías a escala nanométrica", IEEE Journal on Emerging and Selected Topics in Circuits and Systems , 1 (1): 5–18, Bibcode :2011IJEST...1....5S, CiteSeerX  10.1.1.300.5659 , doi :10.1109/jetcas.2011.2138250, S2CID  15566585
2. Ghoman, Satyajit; Wang, Zhicun; Chen, PC; Kapania, Rakesh (2012). "Un esquema de diseño de orden reducido basado en POD para la optimización de la forma de vehículos aéreos". Actas de la 53.ª Conferencia de estructuras, dinámica estructural y materiales de la AIAA/ASME/ASCE/AHS/ASC, AIAA-2012-1808, Honolulu, Hawái .
3. Transformada de Karhunen-Loeve (KLT) Archivado el 28 de noviembre de 2016 en Wayback Machine , conferencias sobre procesamiento y análisis de imágenes por computadora (E161), Harvey Mudd College
4. Giambartolomei, Giordano (2016). "4 El teorema de Karhunen-Loève". El teorema de Karhunen-Loève (Licenciaturas). Universidad de Bolonia.
5. Un recorrido wavelet por el procesamiento de señales - Stéphane Mallat
6. X. Tang, “Información de textura en matrices de longitud de ejecución”, IEEE Transactions on Image Processing, vol. 7, n.º 11, págs. 1602–1609, noviembre de 1998

Referencias

• Stark, Henry; Woods, John W. (1986). Probabilidad, procesos aleatorios y teoría de estimación para ingenieros . Prentice-Hall, Inc. ISBN 978-0-13-711706-2.OL 21138080M  .
• Ghanem, Roger; Spanos, Pol (1991). Elementos finitos estocásticos: un enfoque espectral . Springer-Verlag. ISBN 978-0-387-97456-9.OL 1865197M  .
• Guikhman, I.; Skorokhod, A. (1977). Introducción a la Théorie des Processus Aléatoires . Ediciones MIR.
• Simon, B. (1979). Integración funcional y física cuántica . Academic Press.
• Karhunen, Kari (1947). "Über lineare Methoden in der Wahrscheinlichkeitsrechnung". Ana. Acad. Ciencia. Fennicae. Ser. A I. Matemáticas.-Física . 37 : 1–79.
• Loève, M. (1978). Teoría de la probabilidad, vol. II . Textos de posgrado en matemáticas, vol. 46 (4.ª ed.). Springer-Verlag. ISBN 978-0-387-90262-3.
• Dai, G. (1996). "Reconstrucción modal del frente de onda con polinomios de Zernike y funciones de Karhunen-Loeve". JOSA A. 13 (6): 1218. Código bibliográfico : 1996JOSAA..13.1218D. doi :10.1364/JOSAA.13.001218.
• Wu B., Zhu J., Najm F. (2005) "Un enfoque no paramétrico para la estimación del rango dinámico de sistemas no lineales". En Actas de la Conferencia de Automatización del Diseño (841-844) 2005
• Wu B., Zhu J., Najm F. (2006) "Estimación de rango dinámico". IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, vol. 25, número 9 (1618-1636) 2006
• Jorgensen, Palle ET; Song, Myung-Sin (2007). "Codificación de entropía, espacio de Hilbert y transformadas de Karhunen–Loeve". Journal of Mathematical Physics . 48 (10): 103503. arXiv : math-ph/0701056 . Código Bibliográfico :2007JMP....48j3503J. doi :10.1063/1.2793569. S2CID  17039075.

Enlaces externos

• Mathematica KarhunenLoeveFunción de descomposición.
• E161: Notas sobre análisis y procesamiento de imágenes por computadora del profesor Ruye Wang en Harvey Mudd College [1]