Regresión polinómica

Concepto de estadística

En estadística , la regresión polinómica es una forma de análisis de regresión en la que la relación entre la variable independiente x y la variable dependiente y se modela como un polinomio de grado n en x . La regresión polinómica ajusta una relación no lineal entre el valor de x y la media condicional correspondiente de y , denotada como E( y  | x ). Aunque la regresión polinómica ajusta un modelo no lineal a los datos, como problema de estimación estadística es lineal, en el sentido de que la función de regresión E( y  |  x ) es lineal en los parámetros desconocidos que se estiman a partir de los datos . Por esta razón, la regresión polinómica se considera un caso especial de regresión lineal múltiple . ^[1]

Las variables explicativas (independientes) resultantes de la expansión polinómica de las variables "base" se conocen como términos de grado superior. Dichas variables también se utilizan en contextos de clasificación . ^[2]

Historia

Los modelos de regresión polinómica se ajustan habitualmente mediante el método de mínimos cuadrados . El método de mínimos cuadrados minimiza la varianza de los estimadores insesgados de los coeficientes, en las condiciones del teorema de Gauss-Markov . El método de mínimos cuadrados fue publicado en 1805 por Legendre y en 1809 por Gauss . El primer diseño de un experimento para la regresión polinómica apareció en un artículo de 1815 de Gergonne . ^{[3] [4]} En el siglo XX, la regresión polinómica jugó un papel importante en el desarrollo del análisis de regresión , con un mayor énfasis en cuestiones de diseño e inferencia . ^[5] Más recientemente, el uso de modelos polinómicos se ha complementado con otros métodos, y los modelos no polinómicos tienen ventajas para algunas clases de problemas. ^{[ cita requerida ]}

Definición y ejemplo

Ajuste de regresión polinómica cúbica a un conjunto de datos simulados. La banda de confianza es una banda de confianza simultánea del 95 % construida mediante el método Scheffé .

El objetivo del análisis de regresión es modelar el valor esperado de una variable dependiente y en términos del valor de una variable independiente (o vector de variables independientes) x . En la regresión lineal simple, el modelo

${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon ,\,}$

Se utiliza , donde ε es un error aleatorio no observado con media cero condicionado a una variable escalar x . En este modelo, por cada aumento unitario en el valor de x , la esperanza condicional de y aumenta en β ₁ unidades.

En muchos casos, esta relación lineal puede no ser válida. Por ejemplo, si estamos modelando el rendimiento de una síntesis química en función de la temperatura a la que se lleva a cabo la síntesis, podemos encontrar que el rendimiento mejora con cantidades cada vez mayores por cada unidad de incremento de temperatura. En este caso, podríamos proponer un modelo cuadrático de la forma

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,}$

En este modelo, cuando la temperatura aumenta de x a x  + 1 unidades, el rendimiento esperado cambia en (Esto se puede ver reemplazando x en esta ecuación con x +1 y restando la ecuación en x de la ecuación en x +1). Para cambios infinitesimales en x , el efecto en y está dado por la derivada total con respecto a x : El hecho de que el cambio en el rendimiento dependa de x es lo que hace que la relación entre x e y no sea lineal aunque el modelo sea lineal en los parámetros a estimar. ${\displaystyle \beta _{1}+\beta _{2}(2x+1).}$ ${\displaystyle \beta _{1}+2\beta _{2}x.}$

En general, podemos modelar el valor esperado de y como un polinomio de grado n, obteniendo el modelo de regresión polinomial general

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,}$

Convenientemente, estos modelos son todos lineales desde el punto de vista de la estimación , ya que la función de regresión es lineal en términos de los parámetros desconocidos β ₀ , β ₁ , .... Por lo tanto, para el análisis de mínimos cuadrados , los problemas computacionales e inferenciales de la regresión polinómica se pueden abordar completamente utilizando las técnicas de regresión múltiple . Esto se hace tratando x ,  x ² , ... como variables independientes distintas en un modelo de regresión múltiple.

Forma matricial y cálculo de estimaciones

El modelo de regresión polinómica

${\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)}$

se puede expresar en forma matricial en términos de una matriz de diseño , un vector de respuesta , un vector de parámetros y un vector de errores aleatorios. La fila i de y contendrá los valores x e y para la muestra de datos i . Luego, el modelo se puede escribir como un sistema de ecuaciones lineales : ${\displaystyle \mathbf {X} }$ ${\displaystyle {\vec {y}}}$ ${\displaystyle {\vec {\beta }}}$ ${\displaystyle {\vec {\varepsilon }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\vec {y}}}$

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}$

que cuando se utiliza notación matricial pura se escribe como

${\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,}$

El vector de coeficientes de regresión polinomial estimados (usando estimación de mínimos cuadrados ordinarios ) es

${\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,}$

suponiendo que m < n es el valor requerido para que la matriz sea invertible; entonces, como es una matriz de Vandermonde , se garantiza que la condición de invertibilidad se cumple si todos los valores son distintos. Esta es la única solución de mínimos cuadrados. ${\displaystyle \mathbf {X} }$ ${\displaystyle x_{i}}$

Fórmulas expandidas

Las ecuaciones matriciales anteriores explican bien el comportamiento de la regresión polinómica. Sin embargo, para implementar físicamente la regresión polinómica para un conjunto de pares de puntos xy, es útil contar con más detalles. Las ecuaciones matriciales siguientes para coeficientes polinómicos se expanden a partir de la teoría de regresión sin derivación y se implementan fácilmente. ^{[6] [7] [8]}

${\displaystyle {\begin{bmatrix}\sum _{i=1}^{n}x_{i}^{0}&\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\cdots &\sum _{i=1}^{n}x_{i}^{m}\\\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\cdots &\sum _{i=1}^{n}x_{i}^{m+1}\\\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\sum _{i=1}^{n}x_{i}^{4}&\cdots &\sum _{i=1}^{n}x_{i}^{m+2}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{i}^{m}&\sum _{i=1}^{n}x_{i}^{m+1}&\sum _{i=1}^{n}x_{i}^{m+2}&\dots &\sum _{i=1}^{n}x_{i}^{2m}\\\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\cdots \\\beta _{m}\\\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}x_{i}^{0}\\\sum _{i=1}^{n}y_{i}x_{i}^{1}\\\sum _{i=1}^{n}y_{i}x_{i}^{2}\\\cdots \\\sum _{i=1}^{n}y_{i}x_{i}^{m}\\\end{bmatrix}}}$

Después de resolver el sistema de ecuaciones lineales anterior para , el polinomio de regresión se puede construir de la siguiente manera: ${\displaystyle \beta _{0}{\text{ through }}\beta _{m}}$

${\displaystyle {\begin{aligned}&\qquad {\widehat {y}}=\beta _{0}x^{0}+\beta _{1}x^{1}+\beta _{2}x^{2}+\cdots +\beta _{m}x^{m}\\&\qquad \\&\qquad {\text{Where:}}\\&\qquad n={\text{number of }}x_{i}y_{i}{\text{ variable pairs in the data}}\\&\qquad m={\text{order of the polynomial to be used for regression}}\\&\qquad \beta _{(0-m)}={\text{polynomial coefficient for each corresponding }}x^{(0-m)}\\&\qquad {\widehat {y}}={\text{estimated y variable based on the polynomial regression calculations.}}\end{aligned}}}$

Interpretación

Aunque la regresión polinómica es técnicamente un caso especial de regresión lineal múltiple, la interpretación de un modelo de regresión polinómica ajustado requiere una perspectiva algo diferente. A menudo es difícil interpretar los coeficientes individuales en un ajuste de regresión polinómica, ya que los monomios subyacentes pueden estar altamente correlacionados. Por ejemplo, x y x ² tienen una correlación de alrededor de 0,97 cuando x se distribuye uniformemente en el intervalo (0, 1). Aunque la correlación se puede reducir utilizando polinomios ortogonales , generalmente es más informativo considerar la función de regresión ajustada como un todo. Luego se pueden utilizar bandas de confianza puntuales o simultáneas para proporcionar una idea de la incertidumbre en la estimación de la función de regresión.

Enfoques alternativos

La regresión polinómica es un ejemplo de análisis de regresión que utiliza funciones base para modelar una relación funcional entre dos cantidades. Más específicamente, reemplaza en regresión lineal con base polinómica , p. ej . Un inconveniente de las bases polinómicas es que las funciones base son "no locales", lo que significa que el valor ajustado de y en un valor dado x  =  x ₀ depende en gran medida de los valores de datos con x lejos de x ₀ . ^[9] En las estadísticas modernas, las funciones base polinómicas se utilizan junto con nuevas funciones base , como splines , funciones base radiales y wavelets . Estas familias de funciones base ofrecen un ajuste más parsimonioso para muchos tipos de datos. ${\displaystyle x\in \mathbb {R} ^{d_{x}}}$ ${\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}$ ${\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}$

El objetivo de la regresión polinómica es modelar una relación no lineal entre las variables independientes y dependientes (técnicamente, entre la variable independiente y la media condicional de la variable dependiente). Esto es similar al objetivo de la regresión no paramétrica , que apunta a capturar relaciones de regresión no lineal. Por lo tanto, los enfoques de regresión no paramétrica como el suavizado pueden ser alternativas útiles a la regresión polinómica. Algunos de estos métodos hacen uso de una forma localizada de regresión polinómica clásica. ^[10] Una ventaja de la regresión polinómica tradicional es que se puede utilizar el marco inferencial de regresión múltiple (esto también se aplica cuando se utilizan otras familias de funciones base como splines).

Una última alternativa es utilizar modelos kernelizados como la regresión de vectores de soporte con un núcleo polinomial .

Si los residuos tienen varianzas desiguales , se puede utilizar un estimador de mínimos cuadrados ponderados para tenerlo en cuenta. ^[11]

Véase también

• Ajuste de curvas
• Regresión lineal
• Regresión polinómica local
• Modelado de funciones polinómicas y racionales
• Interpolación polinómica
• Metodología de superficie de respuesta
• Spline suavizante

Notas

• Microsoft Excel utiliza regresión polinomial al ajustar una línea de tendencia a puntos de datos en un gráfico de dispersión XY. ^[12]

Referencias

1. "Implementación de regresión polinómica". GeeksforGeeks . 2018-10-03 . Consultado el 2024-08-25 .
2. Yin-Wen Chang; Cho-Jui Hsieh; Kai-Wei Chang; Michael Ringgaard; Chih-Jen Lin (2010). "Entrenamiento y prueba de asignaciones de datos polinomiales de bajo grado a través de SVM lineal". Revista de investigación en aprendizaje automático . 11 : 1471–1490.
3. Gergonne, JD (noviembre de 1974) [1815]. "La aplicación del método de mínimos cuadrados a la interpolación de secuencias". Historia Mathematica . 1 (4) (Traducido por Ralph St. John y SM Stigler de la edición francesa de 1815): 439–447. doi :10.1016/0315-0860(74)90034-2.
4. Stigler, Stephen M. (noviembre de 1974). "Artículo de Gergonne de 1815 sobre el diseño y análisis de experimentos de regresión polinómica". Historia Mathematica . 1 (4): 431–439. doi :10.1016/0315-0860(74)90033-0.
5. Smith, Kirstine (1918). "Sobre las desviaciones estándar de los valores ajustados e interpolados de una función polinómica observada y sus constantes y la orientación que proporcionan hacia una elección adecuada de la distribución de las observaciones". Biometrika . 12 (1/2): 1–85. doi :10.2307/2331929. JSTOR  2331929.
6. Muthukrishnan, Gowri (17 de junio de 2018). "Matemáticas detrás de la regresión polinomial, Muthukrishnan". Matemáticas detrás de la regresión polinomial . Consultado el 30 de enero de 2024 .
7. "Matemáticas de la regresión polinómica". Regresión polinómica, una clase de regresión de PHP .
8. Devore, Jay L. (1995). Probabilidad y estadística para ingeniería y ciencias (4.ª ed.). Estados Unidos: Brooks/Cole Publishing Company. Págs. 539–542. ISBN. 0-534-24264-2.
9. Este comportamiento "no local" es una propiedad de las funciones analíticas que no son constantes (en todas partes). Este comportamiento "no local" ha sido ampliamente discutido en estadística:
   • Magee, Lonnie (1998). "Comportamiento no local en regresiones polinómicas". The American Statistician . 52 (1): 20–22. doi :10.2307/2685560. JSTOR  2685560.
10. Fan, Jianqing (1996). Modelado polinomial local y sus aplicaciones: de la regresión lineal a la regresión no lineal . Monografías sobre estadística y probabilidad aplicada. Chapman & Hall/CRC. ISBN 978-0-412-98321-4.
11. Conte, SD; De Boor, C. (2018). Análisis numérico elemental: un enfoque algorítmico. Clásicos en matemáticas aplicadas. Sociedad de matemáticas industriales y aplicadas (SIAM, 3600 Market Street, piso 6, Filadelfia, PA 19104). pág. 259. ISBN 978-1-61197-520-8. Recuperado el 28 de agosto de 2020 .
12. Stevenson, Christopher. "Tutorial: Regresión polinómica en Excel". professorstaff.richmond.edu . Consultado el 22 de enero de 2017 .

Enlaces externos

• Ajuste de curvas, simulaciones interactivas PhET , Universidad de Colorado en Boulder