stringtranslate.com

Regresión cuantil

La regresión cuantil es un tipo de análisis de regresión que se utiliza en estadística y econometría. Mientras que el método de mínimos cuadrados estima la media condicional de la variable de respuesta a través de los valores de las variables predictoras, la regresión cuantil estima la mediana condicional (u otros cuantiles ) de la variable de respuesta. [También existe un método para predecir la media geométrica condicional de la variable de respuesta, [1] .] La regresión cuantil es una extensión de la regresión lineal que se utiliza cuando no se cumplen las condiciones de la regresión lineal.

Ejemplo de regresión cuantil

Ventajas y aplicaciones

Una ventaja de la regresión cuantil en relación con la regresión de mínimos cuadrados ordinarios es que las estimaciones de regresión cuantil son más robustas frente a valores atípicos en las mediciones de respuesta. Sin embargo, el principal atractivo de la regresión cuantil va más allá de esto y es ventajosa cuando las funciones cuantiles condicionales son de interés. Se pueden utilizar diferentes medidas de tendencia central y dispersión estadística para analizar de forma más exhaustiva la relación entre las variables. [2]

En ecología , se ha propuesto y utilizado la regresión cuantil como una forma de descubrir relaciones predictivas más útiles entre variables en casos en los que no existe relación o solo una relación débil entre las medias de dichas variables. La necesidad y el éxito de la regresión cuantil en ecología se ha atribuido a la complejidad de las interacciones entre diferentes factores que conducen a datos con variación desigual de una variable para diferentes rangos de otra variable. [3]

Otra aplicación de la regresión cuantil es en las áreas de gráficos de crecimiento, donde las curvas de percentiles se utilizan comúnmente para detectar el crecimiento anormal. [4] [5]

Historia

La idea de estimar una pendiente de regresión mediana, un teorema mayor sobre la minimización de la suma de las desviaciones absolutas y un algoritmo geométrico para construir la regresión mediana fue propuesta en 1760 por Ruđer Josip Bošković , un sacerdote católico jesuita de Dubrovnik. [2] : 4  [6] Estaba interesado en la elipticidad de la tierra, basándose en la sugerencia de Isaac Newton de que su rotación podría causar que se abulte en el ecuador con un aplanamiento correspondiente en los polos. [7] Finalmente produjo el primer procedimiento geométrico para determinar el ecuador de un planeta en rotación a partir de tres observaciones de una característica de la superficie. Más importante aún para la regresión cuantil, pudo desarrollar la primera evidencia del criterio mínimo absoluto y precedió a los mínimos cuadrados introducidos por Legendre en 1805 por cincuenta años. [8]

Otros pensadores comenzaron a desarrollar la idea de Bošković, como Pierre-Simon Laplace , quien desarrolló el llamado "método de situación". Esto condujo a la mediana plural de Francis Edgeworth [9] , un enfoque geométrico para la regresión mediana, y es reconocido como el precursor del método simplex . [8] Los trabajos de Bošković, Laplace y Edgeworth fueron reconocidos como un preludio a las contribuciones de Roger Koenker a la regresión cuantil.

Los cálculos de regresión mediana para conjuntos de datos más grandes son bastante tediosos en comparación con el método de mínimos cuadrados, por lo que históricamente ha generado una falta de popularidad entre los estadísticos, hasta la adopción generalizada de computadoras en la última parte del siglo XX.

Antecedentes: cuantiles

La regresión cuantil expresa los cuantiles condicionales de una variable dependiente como una función lineal de las variables explicativas. Un aspecto fundamental para la viabilidad de la regresión cuantil es que los cuantiles se pueden expresar como la solución de un problema de minimización, como demostraremos en esta sección antes de analizar los cuantiles condicionales en la siguiente sección.

Cuantil de una variable aleatoria

Sea una variable aleatoria de valor real con función de distribución acumulativa . El cuartil n de Y está dado por

dónde

Defina la función de pérdida como , donde es una función indicadora . Se puede encontrar un cuartil específico minimizando la pérdida esperada de con respecto a : [2] (pp. 5–6):

Esto se puede demostrar calculando la derivada de la pérdida esperada con respecto a mediante una aplicación de la regla integral de Leibniz , fijándola en 0 y dejando que sea la solución de

Esta ecuación se reduce a

y luego a

Si la solución no es única , entonces tenemos que tomar la solución más pequeña para obtener el ésimo cuartil de la variable aleatoria Y.

Ejemplo

Sea una variable aleatoria discreta que toma valores con probabilidades iguales. La tarea es encontrar la mediana de Y, y por lo tanto se elige el valor. Entonces la pérdida esperada de es

Dado que es una constante, se puede sacar de la función de pérdida esperada (esto solo es cierto si ). Entonces, en u = 3,

Supongamos que u aumenta en 1 unidad. Entonces, la pérdida esperada cambiará al cambiar u a 4. Si u = 5, la pérdida esperada es

y cualquier cambio en u aumentará la pérdida esperada. Por lo tanto, u = 5 es la mediana. La siguiente tabla muestra la pérdida esperada (dividida por ) para diferentes valores de u .

Intuición

Consideremos y sea q una estimación inicial para . La pérdida esperada evaluada en q es

Para minimizar la pérdida esperada, movemos un poco el valor de q para ver si la pérdida esperada aumentará o disminuirá. Supongamos que aumentamos q en 1 unidad. Entonces el cambio de la pérdida esperada sería

El primer término de la ecuación es y el segundo término de la ecuación es . Por lo tanto, el cambio de la función de pérdida esperada es negativo si y solo si , es decir, si y solo si q es menor que la mediana. De manera similar, si reducimos q en 1 unidad, el cambio de la función de pérdida esperada es negativo si y solo si q es mayor que la mediana.

Para minimizar la función de pérdida esperada, aumentaríamos (disminuiríamos) L ( q ) si q es menor (mayor) que la mediana, hasta que q alcance la mediana. La idea detrás de la minimización es contar la cantidad de puntos (ponderados con la densidad) que son mayores o menores que q y luego mover q a un punto donde q sea mayor que % de los puntos.

Cuantil de muestra

El cuartil de muestra se puede obtener utilizando una estimación de muestreo de importancia y resolviendo el siguiente problema de minimización

,

donde la función es la función de valor absoluto inclinada. La intuición es la misma que para el cuantil poblacional.

Cuantil condicional y regresión cuantil

El ésimo cuartil condicional de dado es el ésimo cuartil de la distribución de probabilidad condicional de dado ,

.

Usamos una mayúscula para denotar el cuantil condicional para indicar que es una variable aleatoria.

En la regresión cuantil para el ésimo cuartil suponemos que el ésimo cuartil condicional se da como una función lineal de las variables explicativas:

.

Dada la función de distribución de , se puede obtener resolviendo

Resolviendo el análogo de muestra obtenemos el estimador de .

Tenga en cuenta que cuando , la función de pérdida es proporcional a la función de valor absoluto y, por lo tanto, la regresión mediana es lo mismo que la regresión lineal por mínimas desviaciones absolutas .

Cálculo de estimaciones para parámetros de regresión

Las formas matemáticas que surgen de la regresión cuantil son distintas de las que surgen en el método de mínimos cuadrados . El método de mínimos cuadrados conduce a la consideración de problemas en un espacio de producto interno , que implica proyección sobre subespacios, y por lo tanto el problema de minimizar los errores al cuadrado puede reducirse a un problema de álgebra lineal numérica . La regresión cuantil no tiene esta estructura y, en cambio, el problema de minimización puede reformularse como un problema de programación lineal .

dónde

,   

Se pueden aplicar los métodos simplex [2] : 181  o los métodos de punto interior [2] : 190  para resolver el problema de programación lineal.

Propiedades asintóticas

Para , bajo ciertas condiciones de regularidad, es asintóticamente normal :

dónde

y

La estimación directa de la matriz de varianza-covarianza asintótica no siempre es satisfactoria. La inferencia de los parámetros de regresión cuantílica se puede realizar con las pruebas de puntuación de rango de regresión o con los métodos bootstrap. [10]

Equivariancia

Consulte el estimador invariante para obtener información general sobre la invariancia o consulte equivariancia .

Equivariancia de escala

Para cualquier y

Equivariancia de desplazamiento

Para cualquier y

Equivariancia a la reparametrización del diseño

Sea cualquier matriz no singular y

Invariancia a transformaciones monótonas

Si es una función no decreciente en , se aplica la siguiente propiedad de invariancia :

Ejemplo (1):

Si y , entonces . La regresión media no tiene la misma propiedad ya que

Inferencia

Interpretación de los parámetros de pendiente

El modelo lineal especifica erróneamente la verdadera relación sistemática cuando no es lineal. Sin embargo, minimiza una distancia ponderada entre los modelos lineales. [11] Además, los parámetros de pendiente del modelo lineal se pueden interpretar como promedios ponderados de las derivadas, de modo que se pueden utilizar para la inferencia causal. [12] Específicamente, la hipótesis para todos implica la hipótesis , que se puede probar utilizando el estimador y su distribución límite.

Bondad de ajuste

La bondad de ajuste para la regresión cuantil para el cuantil se puede definir como: [13] donde es la suma de los cuadrados del cuantil condicional, mientras que es la suma de los cuadrados del cuantil incondicional.

Variantes

Métodos bayesianos para la regresión cuantil

Debido a que la regresión cuantil normalmente no supone una probabilidad paramétrica para las distribuciones condicionales de Y|X, los métodos bayesianos funcionan con una probabilidad de trabajo. Una opción conveniente es la probabilidad laplaciana asimétrica [14], porque la moda de la posterior resultante bajo una probabilidad previa plana es la estimación habitual de la regresión cuantil. Sin embargo, la inferencia posterior debe interpretarse con cuidado. Yang, Wang y He [15] proporcionaron un ajuste de varianza posterior para una inferencia válida. Además, Yang y He [16] demostraron que se puede tener una inferencia posterior asintóticamente válida si se elige que la probabilidad de trabajo sea la probabilidad empírica.

Métodos de aprendizaje automático para la regresión cuantil

Más allá de la regresión lineal simple, existen varios métodos de aprendizaje automático que se pueden extender a la regresión cuantil. Un cambio del error al cuadrado a la función de pérdida de valor absoluto inclinado (también conocida como pérdida de pinball [17] ) permite que los algoritmos de aprendizaje basados ​​en el descenso de gradiente aprendan un cuantil específico en lugar de la media. Esto significa que podemos aplicar todos los algoritmos de redes neuronales y aprendizaje profundo a la regresión cuantil, [18] [19] que luego se conoce como regresión cuantil no paramétrica . [20] Los algoritmos de aprendizaje basados ​​en árboles también están disponibles para la regresión cuantil (consulte, por ejemplo, Bosques de regresión cuantil, [21] como una generalización simple de Bosques aleatorios ).

Regresión cuantil censurada

Si la variable de respuesta está sujeta a censura, la media condicional no es identificable sin suposiciones distributivas adicionales, pero el cuantil condicional a menudo sí lo es. Para trabajos recientes sobre regresión cuantil censurada, véase: Portnoy [22] y Wang y Wang [23]

Ejemplo (2):

Sea y . Entonces . Este es el modelo de regresión cuantil censurada: los valores estimados se pueden obtener sin hacer ninguna suposición distributiva, pero a costa de la dificultad computacional, [24] parte de la cual se puede evitar utilizando un procedimiento simple de regresión cuantil censurada de tres pasos como aproximación. [25]

Para la censura aleatoria de las variables de respuesta, la regresión cuantil censurada de Portnoy (2003) [22] proporciona estimaciones consistentes de todas las funciones cuantiles identificables basadas en la reponderación apropiada de cada punto censurado.

La regresión cuantil censurada tiene vínculos estrechos con el análisis de supervivencia .

Representación de dos estimadores de Kaplan-Meier para las probabilidades de supervivencia de dos grupos de pacientes en función del tiempo , donde es la función de distribución de las muertes. El cuantil de las muertes es , donde es la función cuantil de las muertes. La regresión cuantil censurada se puede utilizar para estimar estos cuantiles condicionales individualmente, mientras que el análisis de supervivencia estima la función de supervivencia (condicional).

Errores heteroscedásticos

La pérdida de regresión cuantil debe adaptarse en presencia de errores heterocedásticos para que sea eficiente . [26]

Implementaciones

Numerosos paquetes de software estadístico incluyen implementaciones de regresión cuantil:

Véase también

Literatura

Referencias

  1. ^ Tofallis (2015). "Una mejor medida de la precisión relativa de la predicción para la selección y estimación de modelos", Journal of the Operational Research Society , 66(8):1352-1362. [1]
  2. ^ abcde Koenker, Roger (2005). Regresión cuantil . Cambridge University Press. págs. 146-7. ISBN 978-0-521-60827-5.
  3. ^ Cade, Brian S.; Noon, Barry R. (2003). "Una introducción sencilla a la regresión cuantil para ecólogos" (PDF) . Fronteras en ecología y medio ambiente . 1 (8): 412–420. doi :10.2307/3868138. JSTOR  3868138.
  4. ^ Wei, Y.; Pere, A.; Koenker, R.; He, X. (2006). "Métodos de regresión cuantitativa para gráficos de crecimiento de referencia". Estadística en Medicina . 25 (8): 1369–1382. doi :10.1002/sim.2271. PMID  16143984. S2CID  7830193.
  5. ^ Wei, Y.; He, X. (2006). "Gráficos de crecimiento condicional (con discusiones)". Anales de Estadística . 34 (5): 2069–2097 y 2126–2131. arXiv : math/0702634 . doi :10.1214/009053606000000623. S2CID  88516697.
  6. ^ Stigler, S. (1984). "Boscovich, Simpson y una nota manuscrita de 1760 sobre el ajuste de una relación lineal". Biometrika . 71 (3): 615–620. doi :10.1093/biomet/71.3.615.
  7. ^ Koenker, Roger (2005). Regresión cuantil . Cambridge: Cambridge University Press. pp. 2. ISBN 9780521845731.
  8. ^ ab Furno, Marilena; Vistocco, Domenico (2018). Regresión cuantil: estimación y simulación . Hoboken, NJ: John Wiley & Sons. pp. xv. ISBN 9781119975281.
  9. ^ Koenker, Roger (agosto de 1998). "Galton, Edgeworth, Frisch y perspectivas para la regresión cuantil en economía" (PDF) . UIUC.edu . Consultado el 22 de agosto de 2018 .
  10. ^ Kocherginsky, M.; He, X.; Mu, Y. (2005). "Intervalos de confianza prácticos para cuantiles de regresión". Revista de estadística computacional y gráfica . 14 (1): 41–55. doi :10.1198/106186005X27563. S2CID  120598656.
  11. ^ Angrist, J.; Chernozhukov, V.; Fernández-Val, I. (2006). "Regresión cuantil bajo especificación errónea, con una aplicación a la estructura salarial de Estados Unidos" (PDF) . Econometrica . 74 (2): 539–563. doi :10.1111/j.1468-0262.2006.00671.x.
  12. ^ Kato, R.; Sasaki, Y. (2017). "Sobre el uso de regresiones cuantiles lineales para la inferencia causal". Teoría econométrica . 33 (3): 664–690. doi : 10.1017/S0266466616000177 .
  13. ^ Roger Koenker y José AF Machado (1999) Bondad de ajuste y procesos de inferencia relacionados para la regresión cuantil, Journal of the American Statistical Association, 94:448, 1296-1310, DOI: 10.1080/01621459.1999.10473882
  14. ^ Kozumi, H.; Kobayashi, G. (2011). "Métodos de muestreo de Gibbs para la regresión cuantil bayesiana" (PDF) . Revista de computación estadística y simulación . 81 (11): 1565–1578. doi :10.1080/00949655.2010.496117. S2CID  44015988.
  15. ^ Yang, Y.; Wang, HX; He, X. (2016). "Inferencia posterior en regresión cuantil bayesiana con verosimilitud asimétrica de Laplace". International Statistical Review . 84 (3): 327–344. doi :10.1111/insr.12114. hdl : 2027.42/135059 . S2CID  14947362.
  16. ^ Yang, Y.; He, X. (2010). "Verosimilitud empírica bayesiana para regresión cuantil". Anales de Estadística . 40 (2): 1102–1131. arXiv : 1207.5378 . doi :10.1214/12-AOS1005. S2CID  88519086.
  17. ^ Steinwart, Ingo; Christmann, Andreas (2011). "Estimación de cuantiles condicionales con la ayuda de la pérdida de pinball". Bernoulli . 17 (1). Bernoulli Society for Mathematical Statistics and Probability: 211–225. arXiv : 1102.2101 . doi :10.3150/10-BEJ267.
  18. ^ Petneházi, Gábor (21 de agosto de 2019). "QCNN: red neuronal convolucional cuantil". arXiv : 1908.07978 [cs.LG].
  19. ^ Rodrigues, Filipe; Pereira, Francisco C. (2018-08-27). "Más allá de las expectativas: regresión cuantil y de media conjunta profunda para problemas espacio-temporales". arXiv : 1808.08798 [stat].
  20. ^ Regresión cuantil no paramétrica: restricciones no cruzadas y predicción conforme por Wenlu Tang, Guohao Shen, Yuanyuan Lin, Jian Huang, https://arxiv.org/pdf/2210.10161.pdf
  21. ^ Meinshausen, Nicolai (2006). "Bosques de regresión cuantitativos" (PDF) . Revista de investigación en aprendizaje automático . 7 (6): 983–999.
  22. ^ ab Portnoy, SL (2003). "Cuantiles de regresión censurados". Revista de la Asociación Estadounidense de Estadística . 98 (464): 1001–1012. doi :10.1198/016214503000000954. S2CID  120674851.
  23. ^ Wang, H. ; Wang, L. (2009). "Regresión cuantil censurada ponderada localmente". Revista de la Asociación Estadounidense de Estadística . 104 (487): 1117–1128. CiteSeerX 10.1.1.504.796 . doi :10.1198/jasa.2009.tm08230. S2CID  34494316. 
  24. ^ Powell, James L. (1986). "Cuantiles de regresión censurados". Revista de econometría . 32 (1): 143–155. doi :10.1016/0304-4076(86)90016-3.
  25. ^ Chernozhukov, Victor; Hong, Han (2002). "Regresión cuantil censurada de tres pasos y relaciones extramatrimoniales". J. Amer. Statist. Assoc. 97 (459): 872–882. ​​doi :10.1198/016214502388618663. S2CID  1410755.
  26. ^ Regresión cuantil eficiente para modelos heterocedásticos por Yoonsuh Jung, Yoonkyung Lee, Steven N. MacEachern, https://www.tandfonline.com/doi/abs/10.1080/00949655.2014.967244?journalCode=gscs20
  27. ^ "quantreg(x,y,tau,order,Nboot) - Intercambio de archivos - MATLAB Central" www.mathworks.com . Consultado el 1 de febrero de 2016 .
  28. ^ "Referencia de comandos de Gretl" (PDF) . Abril de 2017. Archivado desde el original (PDF) el 2018-12-15 . Consultado el 2017-04-22 .
  29. ^ "quantreg: regresión cuantil". Proyecto R. 18 de diciembre de 2018.
  30. ^ "gbm: Modelos de regresión generalizados potenciados". Proyecto R . 14 de enero de 2019.
  31. ^ "quantregForest: Bosques de regresión cuantil". Proyecto R. 19 de diciembre de 2017.
  32. ^ "qrnn: Redes neuronales de regresión cuantil". Proyecto R. 26 de junio de 2018.
  33. ^ "qgam: modelos de regresión cuantil aditiva suavizada". Proyecto R . 2019-05-23.
  34. ^ "Bosques de regresión cuantile". Scikit-garden . Consultado el 3 de enero de 2019 .
  35. ^ "Statsmodels: Regresión cuantil". Statsmodels . Consultado el 15 de noviembre de 2019 .
  36. ^ "Introducción a la regresión cuantil y al procedimiento QUANTREG" (PDF) . Soporte SAS .
  37. ^ "El procedimiento QUANTSELECT". Soporte SAS .
  38. ^ "qreg — Regresión cuantil" (PDF) . Manual de Stata .
  39. ^ Cameron, A. Colin; Trivedi, Pravin K. (2010). "Regresión cuantitativa". Microeconometría con Stata (edición revisada). College Station: Stata Press. págs. 211–234. ISBN 978-1-59718-073-3.
  40. ^ "JohnLangford/vowpal_wabbit". GitHub . Consultado el 9 de julio de 2016 .
  41. ^ "QuantileRegression.m". MathematicaForPrediction . Consultado el 3 de enero de 2019 .
  42. ^ "Regresión cuantitativa". Repositorio de funciones Wolfram . Consultado el 14 de septiembre de 2022 .