Regresión no paramétrica

Categoría de análisis de regresión

La regresión no paramétrica es una categoría de análisis de regresión en la que el predictor no adopta una forma predeterminada, sino que se construye de acuerdo con la información derivada de los datos. Es decir, no se supone ninguna forma paramétrica para la relación entre los predictores y la variable dependiente. La regresión no paramétrica requiere tamaños de muestra más grandes que la regresión basada en modelos paramétricos porque los datos deben proporcionar la estructura del modelo así como las estimaciones del mismo.

Definición

En la regresión no paramétrica, tenemos variables aleatorias y asumimos la siguiente relación: ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathbb {E} [Y\mid X=x]=m(x),}$

donde es una función determinista. La regresión lineal es un caso restringido de regresión no paramétrica donde se supone que es afín. Algunos autores utilizan un supuesto ligeramente más fuerte de ruido aditivo: ${\displaystyle m(x)}$ ${\displaystyle m(x)}$

${\displaystyle Y=m(X)+U,}$

donde la variable aleatoria es el "término de ruido", con media 0. Sin el supuesto de que pertenece a una familia paramétrica específica de funciones, es imposible obtener una estimación imparcial para , sin embargo, la mayoría de los estimadores son consistentes en condiciones adecuadas. ${\displaystyle U}$ ${\displaystyle m}$ ${\displaystyle m}$

Lista de algoritmos de regresión no paramétrica de propósito general

Ésta es una lista no exhaustiva de modelos no paramétricos para regresión.

• Vecinos más cercanos, véase interpolación de vecino más cercano y algoritmo de k vecinos más cercanos
• árboles de regresión
• regresión del núcleo
• regresión local
• splines de regresión adaptativa multivariante
• splines suavizantes
• redes neuronales ^[1]

Ejemplos

Regresión del proceso gaussiano o Kriging

En la regresión de proceso gaussiano, también conocida como Kriging, se supone una distribución previa gaussiana para la curva de regresión. Se supone que los errores tienen una distribución normal multivariante y la curva de regresión se estima mediante su modo posterior . La distribución previa gaussiana puede depender de hiperparámetros desconocidos, que generalmente se estiman mediante el método Bayes empírico . Los hiperparámetros generalmente especifican un núcleo de covarianza previa. En caso de que el núcleo también deba inferirse de forma no paramétrica a partir de los datos, se puede utilizar el filtro crítico .

Los splines de suavizado se interpretan como el modo posterior de una regresión de proceso gaussiano.

Regresión del núcleo

Ejemplo de una curva (línea roja) ajustada a un conjunto pequeño de datos (puntos negros) con regresión no paramétrica utilizando un suavizador kernel gaussiano. El área sombreada en rosa ilustra la función kernel aplicada para obtener una estimación de y para un valor dado de x. La función kernel define el peso dado a cada punto de datos al producir la estimación para un punto objetivo.

La regresión kernel estima la variable dependiente continua a partir de un conjunto limitado de puntos de datos mediante la convolución de las ubicaciones de los puntos de datos con una función kernel ; en términos aproximados, la función kernel especifica cómo "difuminar" la influencia de los puntos de datos para que sus valores puedan usarse para predecir el valor de las ubicaciones cercanas.

Árboles de regresión

Los algoritmos de aprendizaje de árboles de decisión se pueden aplicar para aprender a predecir una variable dependiente a partir de datos. ^[2] Aunque la formulación original del árbol de clasificación y regresión (CART) se aplicaba únicamente a la predicción de datos univariados, el marco se puede utilizar para predecir datos multivariados, incluidas las series temporales. ^[3]

Véase también

• Lasso (estadísticas)
• Regresión local
• Estadísticas no paramétricas
• Regresión semiparamétrica
• Regresión isotónica
• Splines de regresión adaptativa multivariante

Referencias

1. Cherkassky, Vladimir; Mulier, Filip (1994). Cheeseman, P.; Oldford, RW (eds.). "Técnicas estadísticas y de redes neuronales para regresión no paramétrica". Selección de modelos a partir de datos . Apuntes de clase en estadística. Nueva York, NY: Springer: 383–392. doi :10.1007/978-1-4612-2660-4_39. ISBN 978-1-4612-2660-4.
2. Breiman, Leo; Friedman, JH; Olshen, RA; Stone, CJ (1984). Árboles de clasificación y regresión . Monterey, CA: Wadsworth & Brooks/Cole Advanced Books & Software. ISBN 978-0-412-04841-8.
3. Segal, MR (1992). "Métodos estructurados en árbol para datos longitudinales". Revista de la Asociación Estadounidense de Estadística . 87 (418). Asociación Estadounidense de Estadística, Taylor & Francis: 407–418. doi :10.2307/2290271. JSTOR  2290271.

Lectura adicional

• Bowman, AW; Azzalini, A. (1997). Técnicas de suavizado aplicadas para el análisis de datos. Oxford: Clarendon Press. ISBN 0-19-852396-3.
• Fan, J.; Gijbels, I. (1996). Modelado polinomial local y sus aplicaciones. Boca Raton: Chapman and Hall. ISBN 0-412-98321-4.
• Henderson, DJ; Parmeter, CF (2015). Econometría no paramétrica aplicada. Nueva York: Cambridge University Press. ISBN 978-1-107-01025-3.
• Li, Q.; Racine, J. (2007). Econometría no paramétrica: teoría y práctica. Princeton: Princeton University Press. ISBN 978-0-691-12161-1.
• Pagan, A. ; Ullah, A. (1999). Econometría no paramétrica . Nueva York: Cambridge University Press. ISBN 0-521-35564-8.

Enlaces externos

• HyperNiche, software para regresión multiplicativa no paramétrica.
• Regresión no paramétrica adaptativa a escala (con software Matlab).