La regresión cuantil es un tipo de análisis de regresión que se utiliza en estadística y econometría. Mientras que el método de mínimos cuadrados estima la media condicional de la variable de respuesta a través de los valores de las variables predictoras, la regresión cuantil estima la mediana condicional (u otros cuantiles ) de la variable de respuesta. [También existe un método para predecir la media geométrica condicional de la variable de respuesta, [1] .] La regresión cuantil es una extensión de la regresión lineal que se utiliza cuando no se cumplen las condiciones de la regresión lineal.
Ventajas y aplicaciones
Una ventaja de la regresión cuantil en relación con la regresión de mínimos cuadrados ordinarios es que las estimaciones de regresión cuantil son más robustas frente a valores atípicos en las mediciones de respuesta. Sin embargo, el principal atractivo de la regresión cuantil va más allá de esto y es ventajosa cuando las funciones cuantiles condicionales son de interés. Se pueden utilizar diferentes medidas de tendencia central y dispersión estadística para analizar de forma más exhaustiva la relación entre las variables. [2]
En ecología , se ha propuesto y utilizado la regresión cuantil como una forma de descubrir relaciones predictivas más útiles entre variables en casos en los que no existe relación o solo una relación débil entre las medias de dichas variables. La necesidad y el éxito de la regresión cuantil en ecología se ha atribuido a la complejidad de las interacciones entre diferentes factores que conducen a datos con variación desigual de una variable para diferentes rangos de otra variable. [3]
Otra aplicación de la regresión cuantil es en las áreas de gráficos de crecimiento, donde las curvas de percentiles se utilizan comúnmente para detectar el crecimiento anormal. [4] [5]
Historia
La idea de estimar una pendiente de regresión mediana, un teorema mayor sobre la minimización de la suma de las desviaciones absolutas y un algoritmo geométrico para construir la regresión mediana fue propuesta en 1760 por Ruđer Josip Bošković , un sacerdote católico jesuita de Dubrovnik. [2] : 4 [6] Estaba interesado en la elipticidad de la Tierra, basándose en la sugerencia de Isaac Newton de que su rotación podría causar que se abulte en el ecuador con un aplanamiento correspondiente en los polos. [7] Finalmente produjo el primer procedimiento geométrico para determinar el ecuador de un planeta en rotación a partir de tres observaciones de una característica de la superficie. Más importante aún para la regresión cuantil, pudo desarrollar la primera evidencia del criterio mínimo absoluto y precedió a los mínimos cuadrados introducidos por Legendre en 1805 por cincuenta años. [8]
Otros pensadores comenzaron a desarrollar la idea de Bošković, como Pierre-Simon Laplace , quien desarrolló el llamado "método de situación". Esto condujo a la mediana plural de Francis Edgeworth [9] , un enfoque geométrico para la regresión mediana, y es reconocido como el precursor del método simplex . [8] Los trabajos de Bošković, Laplace y Edgeworth fueron reconocidos como un preludio a las contribuciones de Roger Koenker a la regresión cuantil.
Los cálculos de regresión mediana para conjuntos de datos más grandes son bastante tediosos en comparación con el método de mínimos cuadrados, por lo que históricamente ha generado una falta de popularidad entre los estadísticos, hasta la adopción generalizada de computadoras en la última parte del siglo XX.
Antecedentes: cuantiles
La regresión cuantil expresa los cuantiles condicionales de una variable dependiente como una función lineal de las variables explicativas. Un aspecto fundamental para la viabilidad de la regresión cuantil es que los cuantiles se pueden expresar como la solución de un problema de minimización, como demostraremos en esta sección antes de analizar los cuantiles condicionales en la siguiente sección.
Defina la función de pérdida como , donde es una función indicadora . Se puede encontrar un cuartil específico minimizando la pérdida esperada de con respecto a : [2] (pp. 5–6):
Esto se puede demostrar calculando la derivada de la pérdida esperada con respecto a mediante una aplicación de la regla integral de Leibniz , fijándola en 0 y dejando que sea la solución de
Esta ecuación se reduce a
y luego a
Si la solución no es única , entonces tenemos que tomar la solución más pequeña para obtener el ésimo cuartil de la variable aleatoria Y.
Ejemplo
Sea una variable aleatoria discreta que toma valores con probabilidades iguales. La tarea es encontrar la mediana de Y, y por lo tanto se elige el valor. Entonces la pérdida esperada de es
Dado que es una constante, se puede sacar de la función de pérdida esperada (esto solo es cierto si ). Entonces, en u = 3,
Supongamos que u aumenta en 1 unidad. Entonces, la pérdida esperada cambiará al cambiar u a 4. Si u = 5, la pérdida esperada es
y cualquier cambio en u aumentará la pérdida esperada. Por lo tanto, u = 5 es la mediana. La siguiente tabla muestra la pérdida esperada (dividida por ) para diferentes valores de u .
Intuición
Consideremos y sea q una estimación inicial para . La pérdida esperada evaluada en q es
Para minimizar la pérdida esperada, movemos un poco el valor de q para ver si la pérdida esperada aumentará o disminuirá. Supongamos que aumentamos q en 1 unidad. Entonces el cambio de la pérdida esperada sería
El primer término de la ecuación es y el segundo término de la ecuación es . Por lo tanto, el cambio de la función de pérdida esperada es negativo si y solo si , es decir, si y solo si q es menor que la mediana. De manera similar, si reducimos q en 1 unidad, el cambio de la función de pérdida esperada es negativo si y solo si q es mayor que la mediana.
Para minimizar la función de pérdida esperada, aumentaríamos (disminuiríamos) L ( q ) si q es menor (mayor) que la mediana, hasta que q alcance la mediana. La idea detrás de la minimización es contar la cantidad de puntos (ponderados con la densidad) que son mayores o menores que q y luego mover q a un punto donde q sea mayor que % de los puntos.
Cuantil de muestra
El cuartil de muestra se puede obtener utilizando una estimación de muestreo de importancia y resolviendo el siguiente problema de minimización
,
donde la función es la función de valor absoluto inclinada. La intuición es la misma que para el cuantil poblacional.
Utilizamos una mayúscula para denotar el cuantil condicional para indicar que es una variable aleatoria.
En la regresión cuantil para el ésimo cuartil suponemos que el ésimo cuartil condicional se da como una función lineal de las variables explicativas:
.
Dada la función de distribución de , se puede obtener resolviendo
Resolviendo el análogo de muestra obtenemos el estimador de .
Tenga en cuenta que cuando , la función de pérdida es proporcional a la función de valor absoluto y, por lo tanto, la regresión mediana es lo mismo que la regresión lineal por mínimas desviaciones absolutas .
Cálculo de estimaciones para parámetros de regresión
Las formas matemáticas que surgen de la regresión cuantil son distintas de las que surgen en el método de mínimos cuadrados . El método de mínimos cuadrados conduce a la consideración de problemas en un espacio de producto interno , que implica proyección sobre subespacios, y por lo tanto el problema de minimizar los errores al cuadrado puede reducirse a un problema de álgebra lineal numérica . La regresión cuantil no tiene esta estructura y, en cambio, el problema de minimización puede reformularse como un problema de programación lineal .
La estimación directa de la matriz de varianza-covarianza asintótica no siempre es satisfactoria. La inferencia de los parámetros de regresión cuantílica se puede realizar con las pruebas de puntuación de rango de regresión o con los métodos bootstrap. [10]
Si es una función no decreciente en , se aplica la siguiente propiedad de invariancia :
Ejemplo (1):
Si y , entonces . La regresión media no tiene la misma propiedad ya que
Inferencia
Interpretación de los parámetros de pendiente
El modelo lineal especifica erróneamente la verdadera relación sistemática cuando no es lineal. Sin embargo, minimiza una distancia ponderada entre los modelos lineales. [11] Además, los parámetros de pendiente del modelo lineal se pueden interpretar como promedios ponderados de las derivadas, de modo que se pueden utilizar para la inferencia causal. [12] Específicamente, la hipótesis para todos implica la hipótesis , que se puede probar utilizando el estimador y su distribución límite.
Bondad de ajuste
La bondad de ajuste para la regresión cuantil para el cuantil se puede definir como: [13]
donde es la suma de los cuadrados del cuantil condicional, mientras que es la suma de los cuadrados del cuantil incondicional.
Variantes
Métodos bayesianos para la regresión cuantil
Debido a que la regresión cuantil normalmente no supone una probabilidad paramétrica para las distribuciones condicionales de Y|X, los métodos bayesianos funcionan con una probabilidad de trabajo. Una opción conveniente es la probabilidad laplaciana asimétrica [14], porque la moda de la posterior resultante bajo una probabilidad previa plana es la estimación habitual de la regresión cuantil. Sin embargo, la inferencia posterior debe interpretarse con cuidado. Yang, Wang y He [15] proporcionaron un ajuste de varianza posterior para una inferencia válida. Además, Yang y He [16] demostraron que se puede tener una inferencia posterior asintóticamente válida si se elige que la probabilidad de trabajo sea la probabilidad empírica.
Métodos de aprendizaje automático para la regresión cuantil
Más allá de la regresión lineal simple, existen varios métodos de aprendizaje automático que se pueden extender a la regresión cuantil. Un cambio del error al cuadrado a la función de pérdida de valor absoluto inclinado (también conocida como pérdida de pinball [17] ) permite que los algoritmos de aprendizaje basados en el descenso de gradiente aprendan un cuantil específico en lugar de la media. Esto significa que podemos aplicar todos los algoritmos de redes neuronales y aprendizaje profundo a la regresión cuantil, [18] [19] que luego se conoce como regresión cuantil no paramétrica . [20]
Los algoritmos de aprendizaje basados en árboles también están disponibles para la regresión cuantil (consulte, por ejemplo, Bosques de regresión cuantil, [21] como una generalización simple de Bosques aleatorios ).
Regresión cuantil censurada
Si la variable de respuesta está sujeta a censura, la media condicional no es identificable sin suposiciones distributivas adicionales, pero el cuantil condicional a menudo sí lo es. Para trabajos recientes sobre regresión cuantil censurada, véase: Portnoy [22]
y Wang y Wang [23]
Ejemplo (2):
Sea y . Entonces . Este es el modelo de regresión cuantil censurada: los valores estimados se pueden obtener sin hacer ninguna suposición distributiva, pero a costa de la dificultad computacional, [24] parte de la cual se puede evitar utilizando un procedimiento simple de regresión cuantil censurada de tres pasos como aproximación. [25]
Para la censura aleatoria de las variables de respuesta, la regresión cuantil censurada de Portnoy (2003) [22] proporciona estimaciones consistentes de todas las funciones cuantiles identificables basadas en la reponderación apropiada de cada punto censurado.
R ofrece varios paquetes que implementan la regresión cuantil, el más notable es quantregel de Roger Koenker , [29] pero también [30]gbm , [31] [32] y [33].quantregForestqrnnqgam
Python , a través de Scikit-garden[34] y statsmodels[35]
SAS a través de proc quantreg(ver. 9.2) [36] y proc quantselect(ver. 9.3). [37]
El Wikilibro de Programación R tiene una página sobre el tema: Regresión cuantil
Angrist, Joshua D .; Pischke, Jörn-Steffen (2009). "Regresión cuantitativa". Econometría en su mayoría inofensiva: un compañero empirista . Princeton University Press. págs. 269–291. ISBN 978-0-691-12034-8.
^ Tofallis (2015). "Una mejor medida de la precisión relativa de la predicción para la selección y estimación de modelos", Journal of the Operational Research Society , 66(8):1352-1362. [1]
^ abcde Koenker, Roger (2005). Regresión cuantil . Cambridge University Press. págs. 146-7. ISBN978-0-521-60827-5.
^ Cade, Brian S.; Noon, Barry R. (2003). "Una introducción sencilla a la regresión cuantil para ecólogos" (PDF) . Fronteras en ecología y medio ambiente . 1 (8): 412–420. doi :10.2307/3868138. JSTOR 3868138.
^ Wei, Y.; Pere, A.; Koenker, R.; He, X. (2006). "Métodos de regresión cuantitativa para gráficos de crecimiento de referencia". Estadística en Medicina . 25 (8): 1369–1382. doi :10.1002/sim.2271. PMID 16143984. S2CID 7830193.
^ Wei, Y.; He, X. (2006). "Gráficos de crecimiento condicional (con discusiones)". Anales de Estadística . 34 (5): 2069–2097 y 2126–2131. arXiv : math/0702634 . doi :10.1214/009053606000000623. S2CID 88516697.
^ Stigler, S. (1984). "Boscovich, Simpson y una nota manuscrita de 1760 sobre el ajuste de una relación lineal". Biometrika . 71 (3): 615–620. doi :10.1093/biomet/71.3.615.
^ Koenker, Roger (2005). Regresión cuantil . Cambridge: Cambridge University Press. pp. 2. ISBN9780521845731.
^ ab Furno, Marilena; Vistocco, Domenico (2018). Regresión cuantil: estimación y simulación . Hoboken, NJ: John Wiley & Sons. pp. xv. ISBN9781119975281.
^ Koenker, Roger (agosto de 1998). "Galton, Edgeworth, Frisch y perspectivas para la regresión cuantil en economía" (PDF) . UIUC.edu . Consultado el 22 de agosto de 2018 .
^ Kocherginsky, M.; He, X.; Mu, Y. (2005). "Intervalos de confianza prácticos para cuantiles de regresión". Revista de estadística computacional y gráfica . 14 (1): 41–55. doi :10.1198/106186005X27563. S2CID 120598656.
^ Angrist, J.; Chernozhukov, V.; Fernández-Val, I. (2006). "Regresión cuantil bajo especificación errónea, con una aplicación a la estructura salarial de Estados Unidos" (PDF) . Econometrica . 74 (2): 539–563. doi :10.1111/j.1468-0262.2006.00671.x.
^ Kato, R.; Sasaki, Y. (2017). "Sobre el uso de regresiones cuantiles lineales para la inferencia causal". Teoría econométrica . 33 (3): 664–690. doi : 10.1017/S0266466616000177 .
^ Roger Koenker y José AF Machado (1999) Bondad de ajuste y procesos de inferencia relacionados para la regresión cuantil, Journal of the American Statistical Association, 94:448, 1296-1310, DOI: 10.1080/01621459.1999.10473882
^ Kozumi, H.; Kobayashi, G. (2011). "Métodos de muestreo de Gibbs para la regresión cuantil bayesiana" (PDF) . Revista de computación estadística y simulación . 81 (11): 1565–1578. doi :10.1080/00949655.2010.496117. S2CID 44015988.
^ Yang, Y.; Wang, HX; He, X. (2016). "Inferencia posterior en regresión cuantil bayesiana con verosimilitud asimétrica de Laplace". International Statistical Review . 84 (3): 327–344. doi :10.1111/insr.12114. hdl : 2027.42/135059 . S2CID 14947362.
^ Yang, Y.; He, X. (2010). "Verosimilitud empírica bayesiana para regresión cuantil". Anales de Estadística . 40 (2): 1102–1131. arXiv : 1207.5378 . doi :10.1214/12-AOS1005. S2CID 88519086.
^ Steinwart, Ingo; Christmann, Andreas (2011). "Estimación de cuantiles condicionales con la ayuda de la pérdida de pinball". Bernoulli . 17 (1). Bernoulli Society for Mathematical Statistics and Probability: 211–225. arXiv : 1102.2101 . doi :10.3150/10-BEJ267.
^ Petneházi, Gábor (21 de agosto de 2019). "QCNN: red neuronal convolucional cuantil". arXiv : 1908.07978 [cs.LG].
^ Rodrigues, Filipe; Pereira, Francisco C. (27 de agosto de 2018). "Más allá de las expectativas: regresión cuantil y de media conjunta profunda para problemas espacio-temporales". arXiv : 1808.08798 [stat].
^ Regresión cuantil no paramétrica: restricciones no cruzadas y predicción conforme por Wenlu Tang, Guohao Shen, Yuanyuan Lin, Jian Huang, https://arxiv.org/pdf/2210.10161.pdf
^ Meinshausen, Nicolai (2006). "Bosques de regresión cuantitativos" (PDF) . Revista de investigación en aprendizaje automático . 7 (6): 983–999.
^ Powell, James L. (1986). "Cuantiles de regresión censurados". Revista de econometría . 32 (1): 143–155. doi :10.1016/0304-4076(86)90016-3.
^ Chernozhukov, Victor; Hong, Han (2002). "Regresión cuantil censurada de tres pasos y relaciones extramatrimoniales". J. Amer. Statist. Assoc. 97 (459): 872–882. doi :10.1198/016214502388618663. S2CID 1410755.
^ Regresión cuantil eficiente para modelos heterocedásticos por Yoonsuh Jung, Yoonkyung Lee, Steven N. MacEachern, https://www.tandfonline.com/doi/abs/10.1080/00949655.2014.967244?journalCode=gscs20
^ "quantreg(x,y,tau,order,Nboot) - Intercambio de archivos - MATLAB Central" www.mathworks.com . Consultado el 1 de febrero de 2016 .
^ "Referencia de comandos de Gretl" (PDF) . Abril de 2017. Archivado desde el original (PDF) el 2018-12-15 . Consultado el 2017-04-22 .
^ "quantreg: regresión cuantil". Proyecto R. 18 de diciembre de 2018.
^ "gbm: Modelos de regresión generalizados potenciados". Proyecto R . 14 de enero de 2019.
^ "quantregForest: Bosques de regresión cuantil". Proyecto R. 19 de diciembre de 2017.
^ "qrnn: Redes neuronales de regresión cuantil". Proyecto R. 26 de junio de 2018.
^ "qgam: modelos de regresión cuantil aditiva suavizada". Proyecto R . 2019-05-23.
^ "Bosques de regresión cuantitativos". Scikit-garden . Consultado el 3 de enero de 2019 .
^ "Modelos de estadísticas: regresión cuantil". Modelos de estadísticas . Consultado el 15 de noviembre de 2019 .
^ "Introducción a la regresión cuantil y al procedimiento QUANTREG" (PDF) . Soporte SAS .
^ "El procedimiento QUANTSELECT". Soporte SAS .
^ "qreg — Regresión cuantil" (PDF) . Manual de Stata .
^ Cameron, A. Colin; Trivedi, Pravin K. (2010). "Regresión cuantitativa". Microeconometría con Stata (edición revisada). College Station: Stata Press. págs. 211–234. ISBN978-1-59718-073-3.
^ "JohnLangford/vowpal_wabbit". GitHub . Consultado el 9 de julio de 2016 .
^ "QuantileRegression.m". MathematicaForPrediction . Consultado el 3 de enero de 2019 .
^ "Regresión cuantitativa". Repositorio de funciones Wolfram . Consultado el 14 de septiembre de 2022 .