Regresión del núcleo

Técnica en estadística

En estadística , la regresión kernel es una técnica no paramétrica para estimar la esperanza condicional de una variable aleatoria . El objetivo es encontrar una relación no lineal entre un par de variables aleatorias X e Y.

En cualquier regresión no paramétrica , la expectativa condicional de una variable relativa a una variable puede escribirse: ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle \operatorname {E} (Y\mid X)=m(X)}$

donde es una función desconocida. ${\displaystyle m}$

Regresión del kernel de Nadaraya-Watson

Nadaraya y Watson , ambos en 1964, propusieron estimar como un promedio ponderado localmente, utilizando un kernel como función de ponderación. ^{[1] [2] [3]} El estimador de Nadaraya-Watson es: ${\displaystyle m}$

${\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}}$

donde es un núcleo con un ancho de banda tal que es de orden al menos 1, es decir . ${\displaystyle K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)}$ ${\displaystyle h}$ ${\displaystyle K(\cdot )}$ ${\displaystyle \int _{-\infty }^{\infty }uK(u)\,du=0}$

Derivación

Comenzando con la definición de expectativa condicional ,

${\displaystyle \operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy}$

Estimamos las distribuciones conjuntas f ( x , y ) y f ( x ) utilizando la estimación de densidad de kernel con un kernel K :

${\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),}$

${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),}$

Obtenemos:

${\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}}$

que es el estimador de Nadaraya-Watson.

Estimador de kernel de Priestley-Chao

${\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}}$

¿Dónde está el ancho de banda (o parámetro de suavizado)? ${\displaystyle h}$

Estimador de kernel de Gasser-Müller

${\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}}$

donde ^[4] ${\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}.}$

Ejemplo

Función de regresión estimada.

Este ejemplo se basa en datos de salarios de Canadá de corte transversal que consisten en una muestra aleatoria tomada de las cintas de uso público del censo canadiense de 1971 para individuos varones con educación común (grado 13). Hay 205 observaciones en total. ^{[ cita requerida ]}

La figura de la derecha muestra la función de regresión estimada utilizando un kernel gaussiano de segundo orden junto con límites de variabilidad asintótica.

Guión de ejemplo

Los siguientes comandos del lenguaje de programación R utilizan la npreg()función para lograr un suavizado óptimo y crear la figura que se muestra arriba. Estos comandos se pueden ingresar en el símbolo del sistema mediante cortar y pegar.

install.packages ( "np" ) biblioteca ( np ) # biblioteca no paramétrica datos ( cps71 ) adjuntar ( cps71 ) m <- npreg ( logaritmo ~ edad )  gráfico ( m , gráfico.errores.método = "asintótico" , gráfico.errores.estilo = "banda" , ylim = c ( 11 , 15.2 ))    puntos ( edad , salario logarítmico , cex = . 25 ) separar ( cps71 )  

Relacionado

Según David Salsburg , los algoritmos utilizados en la regresión del núcleo se desarrollaron de forma independiente y se utilizaron en sistemas difusos : "Al llegar a tener casi exactamente el mismo algoritmo informático, los sistemas difusos y las regresiones basadas en la densidad del núcleo parecen haber sido desarrollados de forma completamente independiente unos de otros". ^[5]

Implementación estadística

• Paquete de programas matemáticos GNU Octave
• Julia : KernelEstimator.jl
• MATLAB : Una caja de herramientas MATLAB gratuita con implementación de regresión kernel, estimación de densidad kernel, estimación kernel de función de riesgo y muchas otras está disponible en estas páginas (esta caja de herramientas es parte del libro ^[6] ).
• Python : la KernelRegclase para tipos de datos mixtos en el statsmodels.nonparametricsubpaquete (incluye otras clases relacionadas con la densidad del kernel), el paquete kernel_regression como una extensión de scikit-learn (ineficiente en términos de memoria, útil solo para pequeños conjuntos de datos)
• R : la función npregdel paquete np puede realizar regresión del núcleo. ^{[7] [8]}
• Stata : npregress, kernreg2

Véase también

• Suavizado de núcleos
• Regresión local

Referencias

1. Nadaraya, EA (1964). "Sobre la estimación de la regresión". Teoría de la probabilidad y sus aplicaciones . 9 (1): 141–2. doi :10.1137/1109020.
2. Watson, GS (1964). "Análisis de regresión suave". Sankhyā: The Indian Journal of Statistics, Serie A . 26 (4): 359–372. JSTOR  25049340.
3. Bierens, Herman J. (1994). "El estimador de la función de regresión del núcleo de Nadaraya-Watson". Temas de econometría avanzada . Nueva York: Cambridge University Press. pp. 212–247. ISBN 0-521-41900-X.
4. Gasser, Theo; Müller, Hans-Georg (1979). "Estimación de funciones de regresión por kernel". Técnicas de suavizado para la estimación de curvas (Proc. Workshop, Heidelberg, 1979) . Lecture Notes in Math. Vol. 757. Springer, Berlín. pp. 23–68. ISBN 3-540-09706-6.Sr. 0564251  .
5. Salsburg, D. (2002). La dama que degusta el té: cómo las estadísticas revolucionaron la ciencia en el siglo XX . WH Freeman. págs. 290–91. ISBN 0-8050-7134-2.
6. Horová, I.; Koláček, J.; Zelinka, J. (2012). Suavizado de kernel en MATLAB: teoría y práctica del suavizado de kernel . Singapur: World Scientific Publishing. ISBN 978-981-4405-48-5.
7. np: Métodos de suavizado de kernel no paramétricos para tipos de datos mixtos
8. Kloke, John; McKean, Joseph W. (2014). Métodos estadísticos no paramétricos utilizando R. CRC Press. págs. 98-106. ISBN 978-1-4398-7343-4.

Lectura adicional

• Henderson, Daniel J.; Parmeter, Christopher F. (2015). Econometría no paramétrica aplicada. Cambridge University Press. ISBN 978-1-107-01025-3.
• Li, Qi; Racine, Jeffrey S. (2007). Econometría no paramétrica: teoría y práctica. Princeton University Press. ISBN 978-0-691-12161-1.
• Pagan, A.; Ullah, A. (1999). Econometría no paramétrica . Cambridge University Press. ISBN 0-521-35564-8.
• Racine, Jeffrey S. (2019). Introducción a la teoría y práctica avanzadas de la econometría no paramétrica: un enfoque replicable utilizando R. Cambridge University Press. ISBN 9781108483407.
• Simonoff, Jeffrey S. (1996). Métodos de suavizado en estadística. Springer. ISBN 0-387-94716-7.

Enlaces externos

• Regresión de kernel adaptativa a escala (con software Matlab).
• Tutorial de regresión de kernel utilizando hoja de cálculo (con Microsoft Excel ).
• Una demostración de regresión del kernel en línea Requiere .NET 3.0 o posterior.
• Regresión del núcleo con selección automática de ancho de banda (con Python)