regresión del núcleo

Técnica en estadística.

En estadística , la regresión kernel es una técnica no paramétrica para estimar la expectativa condicional de una variable aleatoria . El objetivo es encontrar una relación no lineal entre un par de variables aleatorias X e Y.

En cualquier regresión no paramétrica , la expectativa condicional de una variable relativa a una variable se puede escribir: ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle \operatorname {E} (Y\mid X)=m(X)}$

donde hay una función desconocida. ${\displaystyle m}$

Regresión del kernel de Nadaraya-Watson

Nadaraya y Watson , ambos en 1964, propusieron estimar como un promedio ponderado localmente, utilizando un kernel como función de ponderación. ^{[1] [2] [3]} El estimador de Nadaraya-Watson es: ${\displaystyle m}$

${\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}}$

donde es un núcleo con un ancho de banda tal que es de orden al menos 1, es decir . ${\displaystyle K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)}$ ${\displaystyle h}$ ${\displaystyle K(\cdot )}$ ${\displaystyle \int _{-\infty }^{\infty }uK(u)\,du=0}$

Derivación

Comenzando con la definición de expectativa condicional ,

${\displaystyle \operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy}$

Estimamos las distribuciones conjuntas f ( x , y ) y f ( x ) usando la estimación de densidad del kernel con un kernel K :

${\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),}$

${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),}$

Obtenemos:

${\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}}$

que es el estimador de Nadaraya-Watson.

Estimador del kernel Priestley-Chao

${\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}}$

¿Dónde está el ancho de banda (o parámetro de suavizado)? ${\displaystyle h}$

Estimador del kernel de Gasser-Müller

${\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}}$

donde ^[4] ${\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}.}$

Ejemplo

Función de regresión estimada.

Este ejemplo se basa en datos salariales transversales canadienses que consisten en una muestra aleatoria tomada de las cintas de uso público del censo canadiense de 1971 para hombres con educación común (grado 13). Hay 205 observaciones en total. ^{[ cita necesaria ]}

La figura de la derecha muestra la función de regresión estimada utilizando un núcleo gaussiano de segundo orden junto con límites de variabilidad asintótica.

Guión por ejemplo

Los siguientes comandos del lenguaje de programación R utilizan la npreg()función para ofrecer un suavizado óptimo y crear la figura indicada anteriormente. Estos comandos se pueden ingresar en el símbolo del sistema mediante cortar y pegar.

install.packages ( "np" ) biblioteca ( np ) # datos de biblioteca no paramétricos ( cps71 ) adjuntar ( cps71 ) m <- npreg ( logwage ~ edad )  plot ( m , plot.errors.method = "asintótico" , plot.errors.style = "banda" , ylim = c ( 11 , 15.2 ))    puntos ( edad , logwage , cex = . 25 ) separar ( cps71 )  

Relacionado

Según David Salsburg , los algoritmos utilizados en la regresión del núcleo se desarrollaron de forma independiente y se utilizaron en sistemas difusos : "Al crear casi exactamente el mismo algoritmo informático, los sistemas difusos y las regresiones basadas en la densidad del núcleo parecen haberse desarrollado de forma completamente independiente entre sí. " ^[5]

Implementación estadística

• Paquete de programa matemático GNU Octave
• Julia : KernelEstimator.jl
• MATLAB : en estas páginas está disponible una caja de herramientas MATLAB gratuita con implementación de regresión kernel, estimación de densidad kernel, estimación kernel de función de riesgo y muchas otras (esta caja de herramientas es parte del libro ^[6] ).
• Python : la KernelRegclase para tipos de datos mixtos en el statsmodels.nonparametricsubpaquete (incluye otras clases relacionadas con la densidad del kernel), el paquete kernel_regression como una extensión de scikit-learn (ineficiente en cuanto a memoria, útil solo para conjuntos de datos pequeños)
• R : la función npregdel paquete np puede realizar la regresión del kernel. ^{[7] [8]}
• Estado : npregress, kernreg2

Ver también

• Kernel más suave
• Regresión local

Referencias

1. Nadaraya, EA (1964). "Sobre la estimación de la regresión". Teoría de la probabilidad y sus aplicaciones . 9 (1): 141-2. doi :10.1137/1109020.
2. Watson, GS (1964). "Análisis de regresión suave". Sankhyā: Revista india de estadística, Serie A. 26 (4): 359–372. JSTOR  25049340.
3. Bierens, Herman J. (1994). "El estimador de la función de regresión del kernel de Nadaraya-Watson". Temas de Econometría Avanzada . Nueva York: Cambridge University Press. págs. 212-247. ISBN 0-521-41900-X.
4. Gasser, Theo; Müller, Hans-Georg (1979). "Estimación kernel de funciones de regresión". Técnicas de suavizado para la estimación de curvas (Proc. Workshop, Heidelberg, 1979) . Apuntes de clases de matemáticas. vol. 757. Springer, Berlín. págs. 23–68. ISBN 3-540-09706-6. SEÑOR  0564251.
5. Salsburg, D. (2002). La dama que prueba el té: cómo las estadísticas revolucionaron la ciencia en el siglo XX . WH Freeman. págs. 290–91. ISBN 0-8050-7134-2.
6. Horová, I.; Koláček, J.; Zelinka, J. (2012). Suavizado de kernel en MATLAB: teoría y práctica del suavizado de kernel . Singapur: World Scientific Publishing. ISBN 978-981-4405-48-5.
7. np: métodos de suavizado del kernel no paramétricos para tipos de datos mixtos
8. Kloke, John; McKean, Joseph W. (2014). Métodos estadísticos no paramétricos utilizando R. CRC Press. págs. 98-106. ISBN 978-1-4398-7343-4.

Otras lecturas

• Henderson, Daniel J.; Parmetro, Christopher F. (2015). Econometría no paramétrica aplicada. Prensa de la Universidad de Cambridge. ISBN 978-1-107-01025-3.
• Li, Qi; Racine, Jeffrey S. (2007). Econometría no paramétrica: teoría y práctica. Prensa de la Universidad de Princeton. ISBN 978-0-691-12161-1.
• Pagano, A.; Ullah, A. (1999). Econometría no paramétrica . Prensa de la Universidad de Cambridge. ISBN 0-521-35564-8.
• Racine, Jeffrey S. (2019). Introducción a la teoría y práctica avanzadas de la econometría no paramétrica: un enfoque replicable utilizando R. Cambridge University Press. ISBN 9781108483407.
• Simonoff, Jeffrey S. (1996). Métodos de suavizado en estadística. Saltador. ISBN 0-387-94716-7.

enlaces externos

• Regresión del kernel adaptativa a escala (con software Matlab).
• Tutorial de regresión Kernel usando hoja de cálculo (con Microsoft Excel ).
• Una demostración de regresión del kernel en línea. Requiere .NET 3.0 o posterior.
• Regresión del kernel con selección automática de ancho de banda (con Python)