Red de funciones de base radial

Tipo de red neuronal artificial que utiliza funciones de base radial como funciones de activación.

En el campo del modelado matemático , una red de funciones de base radial es una red neuronal artificial que utiliza funciones de base radial como funciones de activación . La salida de la red es una combinación lineal de funciones de base radial de las entradas y parámetros de la neurona. Las redes de funciones de base radial tienen muchos usos, incluida la aproximación de funciones , la predicción de series temporales , la clasificación y el control del sistema . Fueron formulados por primera vez en un artículo de 1988 por Broomhead y Lowe, ambos investigadores del Royal Signals and Radar Establishment . ^{[1] [2] [3]}

Red de arquitectura

Arquitectura de una red de funciones de base radial. Un vector de entrada se utiliza como entrada para todas las funciones de base radial, cada una con parámetros diferentes. La salida de la red es una combinación lineal de las salidas de funciones de base radial. ${\displaystyle x}$

Las redes de función de base radial (RBF) suelen tener tres capas: una capa de entrada, una capa oculta con una función de activación RBF no lineal y una capa de salida lineal. La entrada se puede modelar como un vector de números reales . La salida de la red es entonces una función escalar del vector de entrada, y está dada por ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$ ${\displaystyle \varphi :\mathbb {R} ^{n}\to \mathbb {R} }$

${\displaystyle \varphi (\mathbf {x} )=\sum _{i=1}^{N}a_{i}\rho (||\mathbf {x} -\mathbf {c} _{i}||)}$

donde es el número de neuronas en la capa oculta, es el vector central de la neurona y es el peso de la neurona en la neurona de salida lineal. Las funciones que dependen únicamente de la distancia desde un vector central son radialmente simétricas con respecto a ese vector, de ahí el nombre de función de base radial. En la forma básica, todas las entradas están conectadas a cada neurona oculta. Generalmente se considera que la norma es la distancia euclidiana (aunque la distancia de Mahalanobis parece funcionar mejor con el reconocimiento de patrones ^{[4] [5] [ editorialización ]} ) y la función de base radial comúnmente se considera gaussiana. ${\displaystyle N}$ ${\displaystyle \mathbf {c} _{i}}$ ${\displaystyle i}$ ${\displaystyle a_{i}}$ ${\displaystyle i}$

${\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta _{i}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]}$.

Las funciones de base gaussianas son locales al vector central en el sentido de que

${\displaystyle \lim _{||x||\to \infty }\rho (\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert )=0}$

es decir, cambiar los parámetros de una neurona tiene sólo un pequeño efecto para los valores de entrada que están lejos del centro de esa neurona.

Dadas ciertas condiciones leves sobre la forma de la función de activación, las redes RBF son aproximadores universales en un subconjunto compacto de . ^[6] Esto significa que una red RBF con suficientes neuronas ocultas puede aproximarse a cualquier función continua en un conjunto cerrado y acotado con precisión arbitraria. ${\displaystyle \mathbb {R} ^{n}}$

Los parámetros , y se determinan de manera que se optimice el ajuste entre y los datos. ${\displaystyle a_{i}}$ ${\displaystyle \mathbf {c} _{i}}$ ${\displaystyle \beta _{i}}$ ${\displaystyle \varphi }$

Dos funciones de base radial no normalizadas en una dimensión de entrada. Los centros de funciones básicas están ubicados en y . ${\displaystyle c_{1}=0.75}$ ${\displaystyle c_{2}=3.25}$

Normalizado

Arquitectura normalizada

Además de la arquitectura no normalizada anterior , las redes RBF se pueden normalizar . En este caso el mapeo es

${\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}=\sum _{i=1}^{N}a_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

dónde

${\displaystyle u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{j=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{j}\right\Vert {\big )}}}}$

se conoce como función de base radial normalizada .

Motivación teórica para la normalización.

Existe una justificación teórica para esta arquitectura en el caso del flujo de datos estocástico. Suponga una aproximación kernel estocástica para la densidad de probabilidad conjunta

${\displaystyle P\left(\mathbf {x} \land y\right)={1 \over N}\sum _{i=1}^{N}\,\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\,\sigma {\big (}\left\vert y-e_{i}\right\vert {\big )}}$

donde los pesos y son ejemplos de los datos y requerimos que los núcleos estén normalizados ${\displaystyle \mathbf {c} _{i}}$ ${\displaystyle e_{i}}$

${\displaystyle \int \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\,d^{n}\mathbf {x} =1}$

y

${\displaystyle \int \sigma {\big (}\left\vert y-e_{i}\right\vert {\big )}\,dy=1}$.

Las densidades de probabilidad en los espacios de entrada y salida son

${\displaystyle P\left(\mathbf {x} \right)=\int P\left(\mathbf {x} \land y\right)\,dy={1 \over N}\sum _{i=1}^{N}\,\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

y

La expectativa de y dada una entrada es ${\displaystyle \mathbf {x} }$

${\displaystyle \varphi \left(\mathbf {x} \right)\ {\stackrel {\mathrm {def} }{=}}\ E\left(y\mid \mathbf {x} \right)=\int y\,P\left(y\mid \mathbf {x} \right)dy}$

dónde

${\displaystyle P\left(y\mid \mathbf {x} \right)}$

es la probabilidad condicional de y dada . La probabilidad condicional está relacionada con la probabilidad conjunta mediante el teorema de Bayes. ${\displaystyle \mathbf {x} }$

${\displaystyle P\left(y\mid \mathbf {x} \right)={\frac {P\left(\mathbf {x} \land y\right)}{P\left(\mathbf {x} \right)}}}$

cuyos rendimientos

${\displaystyle \varphi \left(\mathbf {x} \right)=\int y\,{\frac {P\left(\mathbf {x} \land y\right)}{P\left(\mathbf {x} \right)}}\,dy}$.

esto se convierte

${\displaystyle \varphi \left(\mathbf {x} \right)={\frac {\sum _{i=1}^{N}e_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}=\sum _{i=1}^{N}e_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

cuando se realizan las integraciones.

Modelos lineales locales

A veces es conveniente ampliar la arquitectura para incluir modelos lineales locales . En ese caso las arquitecturas se vuelven, de primer orden,

${\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{N}\left(a_{i}+\mathbf {b} _{i}\cdot \left(\mathbf {x} -\mathbf {c} _{i}\right)\right)\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

y

${\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{N}\left(a_{i}+\mathbf {b} _{i}\cdot \left(\mathbf {x} -\mathbf {c} _{i}\right)\right)u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

en los casos no normalizados y normalizados, respectivamente. Aquí hay pesos por determinar. También son posibles términos lineales de orden superior. ${\displaystyle \mathbf {b} _{i}}$

Este resultado se puede escribir

${\displaystyle \varphi \left(\mathbf {x} \right)=\sum _{i=1}^{2N}\sum _{j=1}^{n}e_{ij}v_{ij}{\big (}\mathbf {x} -\mathbf {c} _{i}{\big )}}$

dónde

${\displaystyle e_{ij}={\begin{cases}a_{i},&{\mbox{if }}i\in [1,N]\\b_{ij},&{\mbox{if }}i\in [N+1,2N]\end{cases}}}$

y

${\displaystyle v_{ij}{\big (}\mathbf {x} -\mathbf {c} _{i}{\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\begin{cases}\delta _{ij}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [1,N]\\\left(x_{ij}-c_{ij}\right)\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [N+1,2N]\end{cases}}}$

en el caso no normalizado y

${\displaystyle v_{ij}{\big (}\mathbf {x} -\mathbf {c} _{i}{\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\begin{cases}\delta _{ij}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [1,N]\\\left(x_{ij}-c_{ij}\right)u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )},&{\mbox{if }}i\in [N+1,2N]\end{cases}}}$

en el caso normalizado.

Aquí hay una función delta de Kronecker definida como ${\displaystyle \delta _{ij}}$

${\displaystyle \delta _{ij}={\begin{cases}1,&{\mbox{if }}i=j\\0,&{\mbox{if }}i\neq j\end{cases}}}$.

Capacitación

Las redes RBF normalmente se entrenan a partir de pares de valores de entrada y objetivo , mediante un algoritmo de dos pasos. ${\displaystyle \mathbf {x} (t),y(t)}$ ${\displaystyle t=1,\dots ,T}$

En el primer paso, se eligen los vectores centrales de las funciones RBF en la capa oculta. Este paso se puede realizar de varias maneras; Los centros se pueden muestrear aleatoriamente a partir de algún conjunto de ejemplos, o se pueden determinar mediante agrupación de k-medias . Tenga en cuenta que este paso no está supervisado . ${\displaystyle \mathbf {c} _{i}}$

El segundo paso simplemente ajusta un modelo lineal con coeficientes a las salidas de la capa oculta con respecto a alguna función objetivo. Una función objetivo común, al menos para la estimación de regresión/función, es la función de mínimos cuadrados: ${\displaystyle w_{i}}$

${\displaystyle K(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}K_{t}(\mathbf {w} )}$

dónde

${\displaystyle K_{t}(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}^{2}}$.

Hemos incluido explícitamente la dependencia de los pesos. La minimización de la función objetivo de mínimos cuadrados mediante la elección óptima de pesos optimiza la precisión del ajuste.

Hay ocasiones en las que se deben optimizar múltiples objetivos, como la suavidad y la precisión. En ese caso es útil optimizar una función objetivo regularizada como

${\displaystyle H(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ K(\mathbf {w} )+\lambda S(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}H_{t}(\mathbf {w} )}$

dónde

${\displaystyle S(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{t=1}^{T}S_{t}(\mathbf {w} )}$

y

${\displaystyle H_{t}(\mathbf {w} )\ {\stackrel {\mathrm {def} }{=}}\ K_{t}(\mathbf {w} )+\lambda S_{t}(\mathbf {w} )}$

donde la optimización de S maximiza la suavidad y se conoce como parámetro de regularización . ${\displaystyle \lambda }$

Se puede realizar un tercer paso opcional de retropropagación para ajustar todos los parámetros de la red RBF. ^[3]

Interpolación

Las redes RBF se pueden utilizar para interpolar una función cuando los valores de esa función se conocen en un número finito de puntos: . Tomando los puntos conocidos como centros de las funciones de base radial y evaluando los valores de las funciones de base en los mismos puntos, los pesos se pueden resolver a partir de la ecuación ${\displaystyle y:\mathbb {R} ^{n}\to \mathbb {R} }$ ${\displaystyle y(\mathbf {x} _{i})=b_{i},i=1,\ldots ,N}$ ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle g_{ij}=\rho (||\mathbf {x} _{j}-\mathbf {x} _{i}||)}$

${\displaystyle \left[{\begin{matrix}g_{11}&g_{12}&\cdots &g_{1N}\\g_{21}&g_{22}&\cdots &g_{2N}\\\vdots &&\ddots &\vdots \\g_{N1}&g_{N2}&\cdots &g_{NN}\end{matrix}}\right]\left[{\begin{matrix}w_{1}\\w_{2}\\\vdots \\w_{N}\end{matrix}}\right]=\left[{\begin{matrix}b_{1}\\b_{2}\\\vdots \\b_{N}\end{matrix}}\right]}$

Se puede demostrar que la matriz de interpolación en la ecuación anterior no es singular, si los puntos son distintos y, por lo tanto, los pesos se pueden resolver mediante álgebra lineal simple: ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle w}$

${\displaystyle \mathbf {w} =\mathbf {G} ^{-1}\mathbf {b} }$

dónde . ${\displaystyle G=(g_{ij})}$

Aproximación de funciones

Si el propósito no es realizar una interpolación estricta sino una aproximación o clasificación de funciones más general , la optimización es algo más compleja porque no hay una elección obvia para los centros. El entrenamiento normalmente se realiza en dos fases, primero fijando el ancho y los centros y luego los pesos. Esto puede justificarse considerando la diferente naturaleza de las neuronas ocultas no lineales frente a la neurona de salida lineal.

Entrenamiento de los centros de funciones básicas.

Los centros de funciones básicas se pueden muestrear aleatoriamente entre las instancias de entrada, obtenerse mediante el algoritmo de aprendizaje de mínimos cuadrados ortogonales o encontrarse agrupando las muestras y eligiendo las medias del grupo como centros.

Los anchos de RBF generalmente se fijan todos en el mismo valor, que es proporcional a la distancia máxima entre los centros elegidos.

Solución pseudoinversa para los pesos lineales.

Una vez fijados los centros , los pesos que minimizan el error en la salida se pueden calcular con una solución pseudoinversa lineal : ${\displaystyle c_{i}}$

${\displaystyle \mathbf {w} =\mathbf {G} ^{+}\mathbf {b} }$,

donde las entradas de G son los valores de las funciones de base radial evaluadas en los puntos : . ${\displaystyle x_{i}}$ ${\displaystyle g_{ji}=\rho (||x_{j}-c_{i}||)}$

La existencia de esta solución lineal significa que, a diferencia de las redes de perceptrones multicapa (MLP), las redes RBF tienen un minimizador explícito (cuando los centros son fijos).

Entrenamiento de descenso de gradiente de los pesos lineales.

Otro posible algoritmo de entrenamiento es el descenso de gradientes . En el entrenamiento de descenso de gradiente, los pesos se ajustan en cada paso de tiempo moviéndolos en una dirección opuesta al gradiente de la función objetivo (permitiendo así encontrar el mínimo de la función objetivo).

${\displaystyle \mathbf {w} (t+1)=\mathbf {w} (t)-\nu {\frac {d}{d\mathbf {w} }}H_{t}(\mathbf {w} )}$

donde es un "parámetro de aprendizaje". ${\displaystyle \nu }$

Para el caso de entrenar los pesos lineales, el algoritmo se convierte en ${\displaystyle a_{i}}$

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}$

en el caso no normalizado y

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}$

en el caso normalizado.

Para arquitecturas lineales locales, el entrenamiento de descenso de gradiente es

${\displaystyle e_{ij}(t+1)=e_{ij}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}v_{ij}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}$

Entrenamiento del operador de proyección de los pesos lineales.

Para el caso de entrenar los pesos lineales, y , el algoritmo se convierte en ${\displaystyle a_{i}}$ ${\displaystyle e_{ij}}$

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho ^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

en el caso no normalizado y

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

en el caso normalizado y

${\displaystyle e_{ij}(t+1)=e_{ij}(t)+\nu {\big [}y(t)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {v_{ij}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}{\sum _{i=1}^{N}\sum _{j=1}^{n}v_{ij}^{2}{\big (}\mathbf {x} (t)-\mathbf {c} _{i}{\big )}}}}$

en el caso local-lineal.

Para una función básica, el entrenamiento del operador de proyección se reduce al método de Newton .

Figura 6: Serie temporal del mapa logístico. La iteración repetida del mapa logístico genera una serie de tiempo caótica. Los valores se encuentran entre cero y uno. Aquí se muestran los 100 puntos de entrenamiento utilizados para entrenar los ejemplos de esta sección. Los pesos c son los primeros cinco puntos de esta serie temporal.

Ejemplos

Mapa logístico

Las propiedades básicas de las funciones de base radial se pueden ilustrar con un mapa matemático simple, el mapa logístico , que mapea el intervalo unitario sobre sí mismo. Se puede utilizar para generar un flujo de datos prototipo conveniente. El mapa logístico se puede utilizar para explorar la aproximación de funciones , la predicción de series temporales y la teoría de control . El mapa surgió del campo de la dinámica de poblaciones y se convirtió en el prototipo de series temporales caóticas . El mapa, en el régimen totalmente caótico, está dado por

${\displaystyle x(t+1)\ {\stackrel {\mathrm {def} }{=}}\ f\left[x(t)\right]=4x(t)\left[1-x(t)\right]}$

donde t es un índice de tiempo. El valor de x en el momento t+1 es una función parabólica de x en el momento t. Esta ecuación representa la geometría subyacente de la caótica serie temporal generada por el mapa logístico.

La generación de la serie temporal a partir de esta ecuación es el problema directo . Los ejemplos aquí ilustran el problema inverso ; identificación de la dinámica subyacente, o ecuación fundamental, del mapa logístico a partir de ejemplos de la serie temporal. El objetivo es encontrar una estimación.

${\displaystyle x(t+1)=f\left[x(t)\right]\approx \varphi (t)=\varphi \left[x(t)\right]}$

para f.

Aproximación de funciones

Funciones de base radial no normalizadas

La arquitectura es

Figura 7: Funciones de base no normalizadas. El mapa logístico (azul) y la aproximación al mapa logístico (rojo) después de un paso por el conjunto de entrenamiento.

${\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ \sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

dónde

${\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta _{i}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]=\exp \left[-\beta _{i}\left(x(t)-c_{i}\right)^{2}\right]}$.

Dado que la entrada es un escalar en lugar de un vector , la dimensión de entrada es uno. Elegimos el número de funciones básicas como N = 5 y el tamaño del conjunto de entrenamiento para que sea 100 ejemplos generados por la caótica serie de tiempo. La ponderación se considera una constante igual a 5. Las ponderaciones son cinco ejemplos de la serie temporal. Los pesos se entrenan con el entrenamiento del operador de proyección: ${\displaystyle \beta }$ ${\displaystyle c_{i}}$ ${\displaystyle a_{i}}$

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}x(t+1)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {\rho {\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho ^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

donde la tasa de aprendizaje se considera 0,3. El entrenamiento se realiza con un paso por los 100 puntos de entrenamiento. El error rms es 0,15. ${\displaystyle \nu }$

Figura 8: Funciones de base normalizadas. El mapa logístico (azul) y la aproximación al mapa logístico (rojo) después de un paso por el conjunto de entrenamiento. Observe la mejora con respecto al caso no normalizado.

Funciones de base radial normalizadas

La arquitectura RBF normalizada es

${\displaystyle \varphi (\mathbf {x} )\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\sum _{i=1}^{N}a_{i}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}=\sum _{i=1}^{N}a_{i}u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}$

dónde

${\displaystyle u{\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}\ {\stackrel {\mathrm {def} }{=}}\ {\frac {\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}\rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}}}}$.

De nuevo:

${\displaystyle \rho {\big (}\left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert {\big )}=\exp \left[-\beta \left\Vert \mathbf {x} -\mathbf {c} _{i}\right\Vert ^{2}\right]=\exp \left[-\beta \left(x(t)-c_{i}\right)^{2}\right]}$.

Nuevamente, elegimos que el número de funciones básicas sea cinco y que el tamaño del conjunto de entrenamiento sea 100 ejemplos generados por la serie de tiempo caótica. La ponderación se considera una constante igual a 6. Las ponderaciones son cinco ejemplos de la serie temporal. Los pesos se entrenan con el entrenamiento del operador de proyección: ${\displaystyle \beta }$ ${\displaystyle c_{i}}$ ${\displaystyle a_{i}}$

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu {\big [}x(t+1)-\varphi {\big (}\mathbf {x} (t),\mathbf {w} {\big )}{\big ]}{\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

donde la tasa de aprendizaje se toma nuevamente como 0,3. El entrenamiento se realiza con un paso por los 100 puntos de entrenamiento. El error rms en un conjunto de prueba de 100 ejemplares es 0,084, menor que el error no normalizado. La normalización produce una mejora de la precisión. Normalmente, la precisión con funciones de base normalizadas aumenta aún más que con funciones no normalizadas a medida que aumenta la dimensionalidad de entrada. ${\displaystyle \nu }$

Figura 9: Funciones de base normalizada. El mapa logístico (azul) y la aproximación al mapa logístico (rojo) en función del tiempo. Tenga en cuenta que la aproximación es válida sólo para unos pocos pasos de tiempo. Ésta es una característica general de las series temporales caóticas.

Predicción de series de tiempo

Una vez estimada la geometría subyacente de la serie temporal como en los ejemplos anteriores, se puede hacer una predicción para la serie temporal mediante iteración:

${\displaystyle \varphi (0)=x(1)}$

${\displaystyle {x}(t)\approx \varphi (t-1)}$

${\displaystyle {x}(t+1)\approx \varphi (t)=\varphi [\varphi (t-1)]}$.

En la figura se muestra una comparación de la serie temporal real y estimada. La serie temporal estimada comienza en el tiempo cero con un conocimiento exacto de x(0). Luego utiliza la estimación de la dinámica para actualizar la estimación de la serie temporal para varios pasos de tiempo.

Tenga en cuenta que la estimación es precisa sólo para unos pocos pasos de tiempo. Ésta es una característica general de las series temporales caóticas. Esta es una propiedad de la dependencia sensible de las condiciones iniciales común a las series temporales caóticas. Un pequeño error inicial se amplifica con el tiempo. Una medida de la divergencia de series temporales con condiciones iniciales casi idénticas se conoce como exponente de Lyapunov .

Control de una serie temporal caótica

Figura 10: Control del mapa logístico. Se permite que el sistema evolucione naturalmente durante 49 pasos de tiempo. En el momento 50 se activa el control. La trayectoria deseada para la serie temporal es roja. El sistema bajo control aprende la dinámica subyacente y conduce la serie temporal al resultado deseado. La arquitectura es la misma que la del ejemplo de predicción de series temporales.

Suponemos que la salida del mapa logístico se puede manipular a través de un parámetro de control tal que ${\displaystyle c[x(t),t]}$

${\displaystyle {x}_{}^{}(t+1)=4x(t)[1-x(t)]+c[x(t),t]}$.

El objetivo es elegir el parámetro de control de tal manera que lleve la serie temporal a la salida deseada . Esto se puede hacer si elegimos el parámetro de control a ser ${\displaystyle d(t)}$

${\displaystyle c_{}^{}[x(t),t]\ {\stackrel {\mathrm {def} }{=}}\ -\varphi [x(t)]+d(t+1)}$

dónde

${\displaystyle y[x(t)]\approx f[x(t)]=x(t+1)-c[x(t),t]}$

es una aproximación a la dinámica natural subyacente del sistema.

El algoritmo de aprendizaje viene dado por

${\displaystyle a_{i}(t+1)=a_{i}(t)+\nu \varepsilon {\frac {u{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}{\sum _{i=1}^{N}u^{2}{\big (}\left\Vert \mathbf {x} (t)-\mathbf {c} _{i}\right\Vert {\big )}}}}$

dónde

${\displaystyle \varepsilon \ {\stackrel {\mathrm {def} }{=}}\ f[x(t)]-\varphi [x(t)]=x(t+1)-c[x(t),t]-\varphi [x(t)]=x(t+1)-d(t+1)}$.

Ver también

• Núcleo de función de base radial
• aprendizaje basado en instancias
• Tabulación adaptativa in situ
• Análisis predictivo
• Teoría del caos
• RBF jerárquico
• Controlador de articulación del modelo cerebeloso
• Redes neuronales entrenadas instantáneamente

Referencias

1. Cabeza de escoba, DS; Lowe, David (1988). Funciones de base radial, interpolación funcional multivariable y redes adaptativas (Informe técnico). RSRE . 4148. Archivado desde el original el 9 de abril de 2013.
2. Cabeza de escoba, DS; Lowe, David (1988). «Interpolación funcional multivariable y redes adaptativas» (PDF) . Sistemas complejos . 2 : 321–355. Archivado (PDF) desde el original el 1 de diciembre de 2020 . Consultado el 29 de enero de 2019 .
3. Schwenker, Friedhelm; Kestler, Hans A.; Palma, Günther (2001). "Tres fases de aprendizaje para redes de función de base radial". Redes neuronales . 14 (4–5): 439–458. CiteSeerX 10.1.1.109.312 . doi :10.1016/s0893-6080(01)00027-2. PMID  11411631. 
4. Beheim, Larbi; Zitouni, Adel; Belloir, Fabien (enero de 2004). "Nuevo clasificador de redes neuronales RBF con número optimizado de neuronas ocultas".
5. Ibrikci, Turgay; Brandt, YO; Wang, Guanyu; Acikkar, Mustafa (23 a 26 de octubre de 2002). "Distancia de Mahalanobis con red de función de base radial en estructuras secundarias de proteínas" . Actas de la Segunda Conferencia Anual Conjunta 24 y la Reunión Anual de Otoño de la Sociedad de Ingeniería Biomédica. Sociedad de Ingeniería en Medicina y Biología, Actas de la Conferencia Internacional Anual del IEEE . vol. 3. Houston, TX, EE.UU. (publicado el 6 de enero de 2003). págs. 2184–5. doi :10.1109/IEMBS.2002.1053230. ISBN 0-7803-7612-9. ISSN  1094-687X.
6. Parque, J.; IW Sandberg (verano de 1991). "Aproximación universal mediante redes de función de base radial". Computación neuronal . 3 (2): 246–257. doi :10.1162/neco.1991.3.2.246. PMID  31167308. S2CID  34868087.

Otras lecturas

• J. Moody y CJ Darken, "Aprendizaje rápido en redes de unidades de procesamiento sintonizadas localmente", Neural Computation, 1, 281-294 (1989). Consulte también Redes de funciones de base radial según Moody y Darken.
• T. Poggio y F. Girosi, "Redes de aproximación y aprendizaje", Proc. IEEE 78(9), 1484-1487 (1990).
• Roger D. Jones , YC Lee, CW Barnes, GW Flake, K. Lee, PS Lewis y S. Qian, Aproximación de funciones y predicción de series temporales con redes neuronales, Actas de la Conferencia Internacional Conjunta sobre Redes Neuronales, 17 al 21 de junio , pag. I-649 (1990).
• Martín D. Buhmann (2003). Funciones de base radial: teoría e implementaciones . Universidad de Cambridge. ISBN 0-521-63338-9.
• Yee, Paul V. y Haykin, Simon (2001). Redes de funciones de base radial regularizadas: teoría y aplicaciones . Juan Wiley. ISBN 0-471-35349-3.
• Davies, John R.; Coggeshall, Stephen V.; Jones, Roger D .; Schutzer, Daniel (1995). "Sistemas de Seguridad Inteligentes". En Freedman, Roy S.; Flein, Robert A.; Lederman, Jess (eds.). Inteligencia artificial en los mercados de capitales . Chicago: Irwin. ISBN 1-55738-811-3.
• Simón Haykin (1999). Redes neuronales: una base integral (2ª ed.). Upper Saddle River, Nueva Jersey: Prentice Hall. ISBN 0-13-908385-5.
• S. Chen, CFN Cowan y PM Grant, "Algoritmo de aprendizaje de mínimos cuadrados ortogonales para redes de funciones de base radial", IEEE Transactions on Neural Networks, Vol 2, No 2 (marzo de 1991).