Análisis de regresión

Conjunto de procesos estadísticos para estimar las relaciones entre variables.

Línea de regresión para 50 puntos aleatorios en una distribución gaussiana alrededor de la línea y=1,5x+2 (no se muestra)

En el modelado estadístico , el análisis de regresión es un conjunto de procesos estadísticos para estimar las relaciones entre una variable dependiente (a menudo llamada variable de "resultado" o "respuesta", o "etiqueta" en el lenguaje del aprendizaje automático) y una o más variables independientes ( a menudo llamados 'predictores', 'covariables', 'variables explicativas' o 'características'). La forma más común de análisis de regresión es la regresión lineal , en la que se encuentra la línea (o una combinación lineal más compleja ) que se ajusta mejor a los datos según un criterio matemático específico. Por ejemplo, el método de mínimos cuadrados ordinarios calcula la línea única (o hiperplano ) que minimiza la suma de diferencias al cuadrado entre los datos verdaderos y esa línea (o hiperplano). Por razones matemáticas específicas (ver regresión lineal ), esto permite al investigador estimar la expectativa condicional (o valor promedio poblacional ) de la variable dependiente cuando las variables independientes toman un conjunto determinado de valores. Las formas menos comunes de regresión utilizan procedimientos ligeramente diferentes para estimar parámetros de ubicación alternativos (por ejemplo, regresión cuantil o análisis de condición necesaria ^[1] ) o estimar la expectativa condicional a través de una colección más amplia de modelos no lineales (por ejemplo, regresión no paramétrica ).

El análisis de regresión se utiliza principalmente para dos propósitos conceptualmente distintos. En primer lugar, el análisis de regresión se utiliza ampliamente para la predicción y el pronóstico , donde su uso tiene una superposición sustancial con el campo del aprendizaje automático . En segundo lugar, en algunas situaciones se puede utilizar el análisis de regresión para inferir relaciones causales entre las variables independientes y dependientes. Es importante destacar que las regresiones por sí solas sólo revelan relaciones entre una variable dependiente y un conjunto de variables independientes en un conjunto de datos fijo. Para utilizar regresiones para predecir o inferir relaciones causales, respectivamente, un investigador debe justificar cuidadosamente por qué las relaciones existentes tienen poder predictivo para un nuevo contexto o por qué una relación entre dos variables tiene una interpretación causal. Esto último es especialmente importante cuando los investigadores esperan estimar relaciones causales utilizando datos de observación . ^{[2] [3]}

Historia

La forma más antigua de regresión fue el método de mínimos cuadrados , publicado por Legendre en 1805, ^[4] y por Gauss en 1809. ^[5] Tanto Legendre como Gauss aplicaron el método al problema de determinar, a partir de observaciones astronómicas, la órbitas de cuerpos alrededor del Sol (principalmente cometas, pero más tarde también los planetas menores recién descubiertos). Gauss publicó un desarrollo adicional de la teoría de mínimos cuadrados en 1821, ^[6] incluida una versión del teorema de Gauss-Markov .

El término "regresión" fue acuñado por Francis Galton en el siglo XIX para describir un fenómeno biológico. El fenómeno fue que las alturas de los descendientes de ancestros altos tienden a retroceder hacia un promedio normal (un fenómeno también conocido como regresión hacia la media ). ^{[7] [8]} Para Galton, la regresión tenía sólo este significado biológico, ^{[9] [10]} pero su trabajo fue posteriormente ampliado por Udny Yule y Karl Pearson a un contexto estadístico más general. ^{[11] [12]} En el trabajo de Yule y Pearson, se supone que la distribución conjunta de la respuesta y las variables explicativas es gaussiana . Esta suposición fue debilitada por RA Fisher en sus trabajos de 1922 y 1925. ^{[13] [14] [15]} Fisher supuso que la distribución condicional de la variable de respuesta es gaussiana, pero la distribución conjunta no tiene por qué serlo. En este sentido, la suposición de Fisher se acerca más a la formulación de Gauss de 1821.

En las décadas de 1950 y 1960, los economistas utilizaban calculadoras de escritorio electromecánicas para calcular regresiones. Antes de 1970, a veces se necesitaban hasta 24 horas para recibir el resultado de una regresión. ^[dieciséis]

Los métodos de regresión siguen siendo un área de investigación activa. En las últimas décadas, se han desarrollado nuevos métodos para la regresión robusta , regresión que involucra respuestas correlacionadas como series de tiempo y curvas de crecimiento , regresión en la que el predictor (variable independiente) o las variables de respuesta son curvas, imágenes, gráficos u otros objetos de datos complejos. métodos de regresión que se adaptan a varios tipos de datos faltantes, regresión no paramétrica , métodos bayesianos para regresión, regresión en la que las variables predictivas se miden con error, regresión con más variables predictoras que observaciones e inferencia causal con regresión.

Modelo de regresión

En la práctica, los investigadores primero seleccionan un modelo que les gustaría estimar y luego usan el método elegido (por ejemplo, mínimos cuadrados ordinarios ) para estimar los parámetros de ese modelo. Los modelos de regresión involucran los siguientes componentes:

• Los parámetros desconocidos , a menudo se denominan escalares o vectoriales . ${\displaystyle \beta }$
• Las variables independientes , que se observan en los datos y a menudo se denotan como un vector (donde denota una fila de datos). ${\displaystyle X_{i}}$ ${\displaystyle i}$
• La variable dependiente , que se observa en los datos y, a menudo, se denota mediante el escalar . ${\displaystyle Y_{i}}$
• Los términos de error , que no se observan directamente en los datos y que a menudo se denotan mediante el escalar . ${\displaystyle e_{i}}$

En diversos campos de aplicación , se utilizan diferentes terminologías en lugar de variables dependientes e independientes .

La mayoría de los modelos de regresión proponen que es una función ( función de regresión ) de y , que representa un término de error aditivo que puede sustituir a determinantes no modelados o ruido estadístico aleatorio: ${\displaystyle Y_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle \beta }$ ${\displaystyle e_{i}}$ ${\displaystyle Y_{i}}$

${\displaystyle Y_{i}=f(X_{i},\beta )+e_{i}}$

El objetivo de los investigadores es estimar la función que más se ajuste a los datos. Para realizar un análisis de regresión se debe especificar la forma de la función. A veces la forma de esta función se basa en el conocimiento sobre la relación entre y que no depende de los datos. Si no se dispone de dicho conocimiento, se elige una forma flexible o conveniente . Por ejemplo, se puede proponer una regresión univariada simple , sugiriendo que el investigador cree que es una aproximación razonable para el proceso estadístico que genera los datos. ${\displaystyle f(X_{i},\beta )}$ ${\displaystyle f}$ ${\displaystyle Y_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle f}$ ${\displaystyle f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}}$ ${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}}$

Una vez que los investigadores determinan su modelo estadístico preferido , diferentes formas de análisis de regresión proporcionan herramientas para estimar los parámetros . Por ejemplo, mínimos cuadrados (incluida su variante más común, mínimos cuadrados ordinarios ) encuentra el valor de que minimiza la suma de errores al cuadrado . Un método de regresión determinado proporcionará en última instancia una estimación de , normalmente denotada para distinguir la estimación del valor verdadero (desconocido) del parámetro que generó los datos. Utilizando esta estimación, el investigador puede utilizar el valor ajustado para predecir o evaluar la precisión del modelo al explicar los datos. Si el investigador está intrínsecamente interesado en la estimación o en el valor predicho dependerá del contexto y sus objetivos. Como se describe en mínimos cuadrados ordinarios , los mínimos cuadrados se utilizan ampliamente porque la función estimada se aproxima a la expectativa condicional . ^[5] Sin embargo, las variantes alternativas (por ejemplo, desviaciones mínimas absolutas o regresión cuantil ) son útiles cuando los investigadores quieren modelar otras funciones . ${\displaystyle \beta }$ ${\displaystyle \beta }$ ${\displaystyle \sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}}$ ${\displaystyle \beta }$ ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})}$ ${\displaystyle {\hat {\beta }}}$ ${\displaystyle {\hat {Y_{i}}}}$ ${\displaystyle f(X_{i},{\hat {\beta }})}$ ${\displaystyle E(Y_{i}|X_{i})}$ ${\displaystyle f(X_{i},\beta )}$

Es importante señalar que debe haber datos suficientes para estimar un modelo de regresión. Por ejemplo, supongamos que un investigador tiene acceso a filas de datos con una variable dependiente y dos independientes: . Supongamos además que el investigador quiere estimar un modelo lineal bivariado mediante mínimos cuadrados : . Si el investigador solo tiene acceso a puntos de datos, entonces podría encontrar infinitas combinaciones que expliquen los datos igualmente bien: se puede elegir cualquier combinación que satisfaga , todas las cuales conducen a soluciones válidas que minimizan la suma de los residuos al cuadrado y, por lo tanto, son válidas . Para entender por qué hay infinitas opciones, tenga en cuenta que el sistema de ecuaciones debe resolverse para 3 incógnitas, lo que hace que el sistema esté subdeterminado . Alternativamente, se pueden visualizar infinitos planos tridimensionales que pasan por puntos fijos. ${\displaystyle N}$ ${\displaystyle (Y_{i},X_{1i},X_{2i})}$ ${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}}$ ${\displaystyle N=2}$ ${\displaystyle ({\hat {\beta }}_{0},{\hat {\beta }}_{1},{\hat {\beta }}_{2})}$ ${\displaystyle {\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}}$ ${\displaystyle \sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0}$ ${\displaystyle N=2}$ ${\displaystyle N=2}$

De manera más general, para estimar un modelo de mínimos cuadrados con distintos parámetros, se deben tener distintos puntos de datos. Si , entonces generalmente no existe un conjunto de parámetros que se ajusten perfectamente a los datos. La cantidad aparece a menudo en el análisis de regresión y se denomina grados de libertad en el modelo. Además, para estimar un modelo de mínimos cuadrados, las variables independientes deben ser linealmente independientes : no se debe poder reconstruir ninguna de las variables independientes sumando y multiplicando las variables independientes restantes. Como se analiza en mínimos cuadrados ordinarios , esta condición garantiza que sea una matriz invertible y, por lo tanto, que exista una solución única . ${\displaystyle k}$ ${\displaystyle N\geq k}$ ${\displaystyle N>k}$ ${\displaystyle N-k}$ ${\displaystyle (X_{1i},X_{2i},...,X_{ki})}$ ${\displaystyle X^{T}X}$ ${\displaystyle {\hat {\beta }}}$

Presunciones subyacentes

Por sí sola, una regresión es simplemente un cálculo utilizando los datos. Para interpretar el resultado de la regresión como una cantidad estadística significativa que mide las relaciones del mundo real, los investigadores a menudo se basan en una serie de supuestos clásicos . Estos supuestos suelen incluir:

• La muestra es representativa de la población en general.
• Las variables independientes se miden sin error.
• Las desviaciones del modelo tienen un valor esperado de cero, condicionado a las covariables: ${\displaystyle E(e_{i}|X_{i})=0}$
• La varianza de los residuos es constante entre las observaciones ( homocedasticidad ). ${\displaystyle e_{i}}$
• Los residuos no están correlacionados entre sí. Matemáticamente, la matriz de varianza-covarianza de los errores es diagonal . ${\displaystyle e_{i}}$

Un puñado de condiciones son suficientes para que el estimador de mínimos cuadrados posea propiedades deseables: en particular, los supuestos de Gauss-Markov implican que las estimaciones de los parámetros serán insesgadas , consistentes y eficientes en la clase de estimadores lineales insesgados. Los profesionales han desarrollado una variedad de métodos para mantener algunas o todas estas propiedades deseables en entornos del mundo real, porque es poco probable que estos supuestos clásicos se cumplan exactamente. Por ejemplo, modelar errores en variables puede llevar a estimaciones razonables que las variables independientes se miden con errores. Los errores estándar consistentes con la heteroscedasticidad permiten que la varianza de cambie entre los valores de . Los errores correlacionados que existen dentro de subconjuntos de datos o que siguen patrones específicos se pueden manejar mediante errores estándar agrupados, regresión geográfica ponderada o errores estándar de Newey-West , entre otras técnicas. Cuando las filas de datos corresponden a ubicaciones en el espacio, la elección de cómo modelar dentro de unidades geográficas puede tener consecuencias importantes. ^{[17] [18]} El subcampo de la econometría se centra en gran medida en el desarrollo de técnicas que permitan a los investigadores sacar conclusiones razonables del mundo real en entornos del mundo real, donde los supuestos clásicos no se cumplen exactamente. ${\displaystyle e_{i}}$ ${\displaystyle X_{i}}$ ${\displaystyle e_{i}}$

Regresión lineal

En la regresión lineal, la especificación del modelo es que la variable dependiente es una combinación lineal de los parámetros (pero no es necesario que sea lineal en las variables independientes ). Por ejemplo, en una regresión lineal simple para modelar puntos de datos hay una variable independiente: y dos parámetros, y : ${\displaystyle y_{i}}$ ${\displaystyle n}$ ${\displaystyle x_{i}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{1}}$

línea recta: ${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.\!}$

En la regresión lineal múltiple, hay varias variables independientes o funciones de variables independientes.

Agregar un término a la regresión anterior da: ${\displaystyle x_{i}^{2}}$

parábola: ${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!}$

Esto sigue siendo una regresión lineal; aunque la expresión del lado derecho es cuadrática en la variable independiente , es lineal en los parámetros , y ${\displaystyle x_{i}}$ ${\displaystyle \beta _{0}}$ ${\displaystyle \beta _{1}}$ ${\displaystyle \beta _{2}.}$

En ambos casos, es un término de error y el subíndice indexa una observación particular. ${\displaystyle \varepsilon _{i}}$ ${\displaystyle i}$

Volviendo nuestra atención al caso de la línea recta: dada una muestra aleatoria de la población, estimamos los parámetros de la población y obtenemos el modelo de regresión lineal muestral:

${\displaystyle {\widehat {y}}_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}x_{i}.}$

El residual , es la diferencia entre el valor de la variable dependiente predicha por el modelo, y el valor verdadero de la variable dependiente ,. Un método de estimación son los mínimos cuadrados ordinarios . Este método obtiene estimaciones de parámetros que minimizan la suma de residuos al cuadrado , SSR : ${\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}}$ ${\displaystyle {\widehat {y}}_{i}}$ ${\displaystyle y_{i}}$

${\displaystyle SSR=\sum _{i=1}^{n}e_{i}^{2}}$

La minimización de esta función da como resultado un conjunto de ecuaciones normales , un conjunto de ecuaciones lineales simultáneas en los parámetros, que se resuelven para producir los estimadores de parámetros . ${\displaystyle {\widehat {\beta }}_{0},{\widehat {\beta }}_{1}}$

Ilustración de regresión lineal en un conjunto de datos

En el caso de regresión simple, las fórmulas para las estimaciones de mínimos cuadrados son

${\displaystyle {\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}}$

${\displaystyle {\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}}$

donde es la media (promedio) de los valores y es la media de los valores. ${\displaystyle {\bar {x}}}$ ${\displaystyle x}$ ${\displaystyle {\bar {y}}}$ ${\displaystyle y}$

Bajo el supuesto de que el término de error poblacional tiene una varianza constante, la estimación de esa varianza viene dada por:

${\displaystyle {\hat {\sigma }}_{\varepsilon }^{2}={\frac {SSR}{n-2}}}$

Esto se denomina error cuadrático medio (MSE) de la regresión. El denominador es el tamaño de la muestra reducido por el número de parámetros del modelo estimados a partir de los mismos datos, para regresores o si se utiliza una intersección. ^[19] En este caso, el denominador es . ${\displaystyle (n-p)}$ ${\displaystyle p}$ ${\displaystyle (n-p-1)}$ ${\displaystyle p=1}$ ${\displaystyle n-2}$

Los errores estándar de las estimaciones de los parámetros están dados por

${\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}}$

${\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}.}$

Bajo el supuesto adicional de que el término de error de la población tiene una distribución normal, el investigador puede utilizar estos errores estándar estimados para crear intervalos de confianza y realizar pruebas de hipótesis sobre los parámetros de la población .

Modelo linear general

En el modelo de regresión múltiple más general, existen variables independientes: ${\displaystyle p}$

${\displaystyle y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i},\,}$

¿Dónde está la -ésima observación de la -ésima variable independiente? Si la primera variable independiente toma el valor 1 para todos , entonces se llama intercepto de regresión . ${\displaystyle x_{ij}}$ ${\displaystyle i}$ ${\displaystyle j}$ ${\displaystyle i}$ ${\displaystyle x_{i1}=1}$ ${\displaystyle \beta _{1}}$

Las estimaciones de los parámetros de mínimos cuadrados se obtienen a partir de ecuaciones normales. El residuo se puede escribir como ${\displaystyle p}$

${\displaystyle \varepsilon _{i}=y_{i}-{\hat {\beta }}_{1}x_{i1}-\cdots -{\hat {\beta }}_{p}x_{ip}.}$

Las ecuaciones normales son

${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{p}x_{ij}x_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}x_{ij}y_{i},\ j=1,\dots ,p.\,}$

En notación matricial, las ecuaciones normales se escriben como

${\displaystyle \mathbf {(X^{\top }X){\hat {\boldsymbol {\beta }}}={}X^{\top }Y} ,\,}$

donde el elemento de es , el elemento del vector columna es y el elemento de es . Así es , es y es . La solucion es ${\displaystyle ij}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle x_{ij}}$ ${\displaystyle i}$ ${\displaystyle Y}$ ${\displaystyle y_{i}}$ ${\displaystyle j}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ ${\displaystyle {\hat {\beta }}_{j}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle n\times p}$ ${\displaystyle Y}$ ${\displaystyle n\times 1}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ ${\displaystyle p\times 1}$

${\displaystyle \mathbf {{\hat {\boldsymbol {\beta }}}=(X^{\top }X)^{-1}X^{\top }Y} .\,}$

Diagnóstico

Una vez que se ha construido un modelo de regresión, puede ser importante confirmar la bondad de ajuste del modelo y la significancia estadística de los parámetros estimados. Las comprobaciones de bondad de ajuste comúnmente utilizadas incluyen el R cuadrado , análisis del patrón de residuos y pruebas de hipótesis. La significancia estadística se puede verificar mediante una prueba F del ajuste general, seguida de pruebas t de parámetros individuales.

Las interpretaciones de estas pruebas de diagnóstico se basan en gran medida en los supuestos del modelo. Aunque el examen de los residuos se puede utilizar para invalidar un modelo, los resultados de una prueba t o una prueba F a veces son más difíciles de interpretar si se violan los supuestos del modelo. Por ejemplo, si el término de error no tiene una distribución normal, en muestras pequeñas los parámetros estimados no seguirán distribuciones normales y complicarán la inferencia. Sin embargo, con muestras relativamente grandes, se puede invocar un teorema del límite central de modo que la prueba de hipótesis pueda realizarse utilizando aproximaciones asintóticas.

Variables dependientes limitadas

Las variables dependientes limitadas , que son variables de respuesta que son variables categóricas o variables restringidas a caer solo en un cierto rango, a menudo surgen en econometría .

La variable de respuesta puede ser no continua ("limitada" a algún subconjunto de la línea real). Para variables binarias (cero o uno), si el análisis se realiza con regresión lineal de mínimos cuadrados, el modelo se denomina modelo de probabilidad lineal . Los modelos no lineales para variables dependientes binarias incluyen el modelo probit y logit . El modelo probit multivariado es un método estándar para estimar una relación conjunta entre varias variables dependientes binarias y algunas variables independientes. Para variables categóricas con más de dos valores existe el logit multinomial . Para variables ordinales con más de dos valores, existen los modelos logit ordenado y probit ordenado . Se pueden usar modelos de regresión censurados cuando la variable dependiente solo se observa algunas veces, y se pueden usar modelos de tipo corrección de Heckman cuando la muestra no se selecciona aleatoriamente de la población de interés. Una alternativa a tales procedimientos es la regresión lineal basada en correlación policórica (o correlaciones poliseriales) entre las variables categóricas. Dichos procedimientos difieren en los supuestos hechos sobre la distribución de las variables en la población. Si la variable es positiva con valores bajos y representa la repetición de la ocurrencia de un evento, entonces se pueden usar modelos de conteo como la regresión de Poisson o el modelo binomial negativo .

Regresión no lineal

Cuando la función del modelo no es lineal en los parámetros, la suma de cuadrados debe minimizarse mediante un procedimiento iterativo. Esto introduce muchas complicaciones que se resumen en Diferencias entre mínimos cuadrados lineales y no lineales .

Predicción (interpolación y extrapolación)

En el medio, la línea recta interpolada representa el mejor equilibrio entre los puntos por encima y por debajo de esta línea. Las líneas de puntos representan las dos líneas extremas. Las primeras curvas representan los valores estimados. Las curvas exteriores representan una predicción para una nueva medición. ^[20]

Los modelos de regresión predicen un valor de la variable Y dados valores conocidos de las variables X. La predicción dentro del rango de valores del conjunto de datos utilizado para el ajuste del modelo se conoce informalmente como interpolación . La predicción fuera de este rango de datos se conoce como extrapolación . La realización de la extrapolación depende en gran medida de los supuestos de regresión. Cuanto más se aleja la extrapolación de los datos, más espacio hay para que el modelo falle debido a diferencias entre los supuestos y los datos de la muestra o los valores verdaderos.

Un intervalo de predicción que represente la incertidumbre puede acompañar a la predicción puntual. Dichos intervalos tienden a expandirse rápidamente a medida que los valores de las variables independientes se mueven fuera del rango cubierto por los datos observados.

Por estas y otras razones, algunos tienden a decir que podría ser imprudente realizar una extrapolación. ^[21]

Sin embargo, esto no cubre el conjunto completo de errores de modelado que pueden cometerse: en particular, el supuesto de una forma particular para la relación entre Y y X. Un análisis de regresión realizado adecuadamente incluirá una evaluación de qué tan bien la forma asumida coincide con los datos observados, pero sólo puede hacerlo dentro del rango de valores de las variables independientes realmente disponibles. Esto significa que cualquier extrapolación depende particularmente de los supuestos que se hacen sobre la forma estructural de la relación de regresión. Si este conocimiento incluye el hecho de que la variable dependiente no puede salir de un cierto rango de valores, esto se puede utilizar para seleccionar el modelo, incluso si el conjunto de datos observado no tiene valores particularmente cercanos a esos límites. Las implicaciones de este paso de elegir una forma funcional apropiada para la regresión pueden ser grandes cuando se considera la extrapolación. Como mínimo, puede garantizar que cualquier extrapolación que surja de un modelo ajustado sea "realista" (o esté de acuerdo con lo que se sabe).

Cálculos de potencia y tamaño de muestra.

No existen métodos generalmente acordados para relacionar el número de observaciones con el número de variables independientes en el modelo. Un método conjeturado por Good y Hardin es , donde es el tamaño de la muestra, es el número de variables independientes y es el número de observaciones necesarias para alcanzar la precisión deseada si el modelo tuviera solo una variable independiente. ^[22] Por ejemplo, un investigador está construyendo un modelo de regresión lineal utilizando un conjunto de datos que contiene 1000 pacientes ( ). Si el investigador decide que se necesitan cinco observaciones para definir con precisión una línea recta ( ), entonces el número máximo de variables independientes que el modelo puede admitir es 4, porque ${\displaystyle N=m^{n}}$ ${\displaystyle N}$ ${\displaystyle n}$ ${\displaystyle m}$ ${\displaystyle N}$ ${\displaystyle m}$

${\displaystyle {\frac {\log 1000}{\log 5}}\approx 4.29}$.

Otros metodos

Aunque los parámetros de un modelo de regresión generalmente se estiman utilizando el método de mínimos cuadrados, otros métodos que se han utilizado incluyen:

• Métodos bayesianos , por ejemplo, regresión lineal bayesiana
• Regresión porcentual, para situaciones en las que se considera más apropiado reducir los errores porcentuales . ^[23]
• Desviaciones mínimas absolutas , que son más sólidas en presencia de valores atípicos, lo que lleva a una regresión cuantil
• La regresión no paramétrica requiere una gran cantidad de observaciones y es computacionalmente intensiva.
• Optimización de escenarios , que conduce a modelos predictores de intervalos.
• Aprendizaje de métricas a distancia, que se aprende mediante la búsqueda de una métrica de distancia significativa en un espacio de entrada determinado. ^[24]

Software

Todos los principales paquetes de software estadístico realizan inferencias y análisis de regresión de mínimos cuadrados . En algunas aplicaciones de hojas de cálculo y en algunas calculadoras se pueden realizar regresiones lineales simples y regresiones múltiples utilizando mínimos cuadrados . Si bien muchos paquetes de software estadístico pueden realizar varios tipos de regresión robusta y no paramétrica, estos métodos están menos estandarizados. Diferentes paquetes de software implementan diferentes métodos y un método con un nombre determinado puede implementarse de manera diferente en diferentes paquetes. Se ha desarrollado un software de regresión especializado para su uso en campos como el análisis de encuestas y la neuroimagen.

Ver también

• Portal de matemáticas

• El cuarteto de Anscombe
• Ajuste de curvas
• Teoría de la estimación
• Previsión
• Fracción de varianza inexplicable
• Aproximación de funciones
• Modelo lineal generalizado
• Kriging (un algoritmo de estimación de mínimos cuadrados lineales)
• Regresión local
• Problema de unidad de área modificable
• Spline de regresión adaptativa multivariante
• Distribución normal multivariada
• Coeficiente de correlación de Pearson
• Cuasivarianza
• Intervalo de predicción
• Validación de regresión
• Regresión robusta
• Regresión segmentada
• Procesamiento de la señal
• Regresión paso a paso
• Geometría del taxi
• Estimación de tendencia lineal

Referencias

1. Análisis de condiciones necesarias
2. David A. Freedman (27 de abril de 2009). Modelos estadísticos: teoría y práctica. Prensa de la Universidad de Cambridge. ISBN 978-1-139-47731-4.
3. R. Dennis Cook; Crítica de Sanford Weisberg y análisis de influencia en la regresión, Metodología sociológica , vol. 13. (1982), págs. 313–361
4. SOY Legendre . Nouvelles méthodes pour la détermination des orbites des comètes, Firmin Didot, París, 1805. “Sur la Méthode des moindres quarrés” aparece como apéndice.
5. Capítulo 1 de: Angrist, JD y Pischke, JS (2008). Econometría mayoritariamente inofensiva: la compañera de un empirista . Prensa de la Universidad de Princeton.
6. CF Gauss. Teoria combinacionis observacionum erroribus minimis obnoxiae. (1821/1823)
7. Mogull, Robert G. (2004). Estadística Aplicada del Segundo Semestre . Compañía editorial Kendall/Hunt. pag. 59.ISBN _ 978-0-7575-1181-3.
8. Galton, Francisco (1989). "Parentismo y correlación (reimpreso en 1989)". Ciencia estadística . 4 (2): 80–86. doi : 10.1214/ss/1177012581 . JSTOR  2245330.
9. Francisco Galton . "Leyes típicas de la herencia", Nature 15 (1877), 492–495, 512–514, 532–533. (Galton utiliza el término "reversión" en este artículo, que analiza el tamaño de los guisantes).
10. Francisco Galton. Discurso presidencial, Sección H, Antropología. (1885) (Galton utiliza el término "regresión" en este artículo, que analiza la altura de los humanos).
11. Navidad, G. Udny (1897). "Sobre la teoría de la correlación". Revista de la Real Sociedad de Estadística . 60 (4): 812–54. doi :10.2307/2979746. JSTOR  2979746.
12. Pearson, Karl ; Navidad, GU; Blanchard, normando; Lee, Alicia (1903). "La Ley de la Herencia Ancestral". Biometrika . 2 (2): 211–236. doi :10.1093/biomet/2.2.211. JSTOR  2331683.
13. Pescador, RA (1922). "La bondad de ajuste de las fórmulas de regresión y la distribución de los coeficientes de regresión". Revista de la Real Sociedad de Estadística . 85 (4): 597–612. doi :10.2307/2341124. JSTOR  2341124. PMC 1084801 . 
14. Ronald A. Fisher (1954). Métodos estadísticos para investigadores (duodécima ed.). Edimburgo : Oliver y Boyd. ISBN 978-0-05-002170-5.
15. Aldrich, Juan (2005). "Fisher y la regresión". Ciencia estadística . 20 (4): 401–417. doi : 10.1214/088342305000000331 . JSTOR  20061201.
16. Rodney Ramcharan. Regresiones: ¿por qué los economistas están obsesionados con ellas? Marzo de 2006. Consultado el 3 de diciembre de 2011.
17. Fotheringham, A. Stewart; Brunsdon, Chris; Charlton, Martín (2002). Regresión ponderada geográficamente: el análisis de relaciones que varían espacialmente (Reimpresión ed.). Chichester, Inglaterra: John Wiley. ISBN 978-0-471-49616-8.
18. Fotheringham, AS; Wong, DWS (1 de enero de 1991). "El problema de la unidad de área modificable en el análisis estadístico multivariado". Medio Ambiente y Planificación A . 23 (7): 1025–1044. doi :10.1068/a231025. S2CID  153979055.
19. Steel, RGD y Torrie, JH, Principios y procedimientos de la estadística con especial referencia a las ciencias biológicas. , McGraw Hill , 1960, página 288.
20. Rouaud, Mathieu (2013). Probabilidad, Estadística y Estimación (PDF) . pag. 60.
21. Chiang, CL, (2003) Métodos de análisis estadístico , World Scientific. ISBN 981-238-310-7 - página 274 sección 9.7.4 "interpolación frente a extrapolación" 
22. Bien, investigador privado ; Hardin, JW (2009). Errores comunes en estadística (y cómo evitarlos) (3ª ed.). Hoboken, Nueva Jersey: Wiley. pag. 211.ISBN _ 978-0-470-45798-6.
23. Tofallis, C. (2009). "Regresión porcentual de mínimos cuadrados". Revista de métodos estadísticos aplicados modernos . 7 : 526–534. doi :10.2139/ssrn.1406472. hdl : 2299/965 . SSRN  1406472.
24. YangJing largo (2009). "Estimación de la edad humana mediante aprendizaje métrico para problemas de regresión" (PDF) . Proc. Conferencia internacional sobre análisis informático de imágenes y patrones : 74–82. Archivado desde el original (PDF) el 8 de enero de 2010.

Otras lecturas

• William H. Kruskal y Judith M. Tanur , ed. (1978), "Hipótesis lineales", Enciclopedia Internacional de Estadística . Prensa libre, v.1,

Evan J. Williams, "I. Regresión", págs. 523–41.

Julian C. Stanley , "II. Análisis de varianza", págs. 541–554.

• Lindley, DV (1987). "Análisis de regresión y correlación", New Palgrave: Diccionario de economía , v. 4, págs. 120-23.
• Birkes, David y Dodge, Y. , Métodos alternativos de regresión . ISBN 0-471-56881-3 
• Chatfield, C. (1993) "Cálculo de pronósticos de intervalo", Revista de estadísticas económicas y empresariales, 11 . págs. 121-135.
• Draper, NR; Smith, H. (1998). Análisis de regresión aplicada (3ª ed.). Juan Wiley. ISBN 978-0-471-17082-2.
• Fox, J. (1997). Análisis de Regresión Aplicada, Modelos Lineales y Métodos Relacionados. Sabio
• Hardle, W., Regresión no paramétrica aplicada (1990), ISBN 0-521-42950-1 
• Meade, Nigel; Islam, Towhidul (1995). "Intervalos de predicción para las previsiones de la curva de crecimiento". Revista de previsión . 14 (5): 413–430. doi :10.1002/for.3980140502.
• A. Sen, M. Srivastava, Análisis de regresión: teoría, métodos y aplicaciones , Springer-Verlag, Berlín, 2011 (cuarta impresión).
• T. Strutz: Ajuste de datos e incertidumbre (una introducción práctica a los mínimos cuadrados ponderados y más) . Vieweg+Teubner, ISBN 978-3-8348-1022-9 . 
• Stulp, Freek y Olivier Sigaud. Muchos algoritmos de regresión, un modelo unificado: una revisión. Redes neuronales, vol. 69, septiembre de 2015, págs. 60–79. https://doi.org/10.1016/j.neunet.2015.05.005.
• Malakooti, ​​B. (2013). Operaciones y Sistemas de Producción con Múltiples Objetivos. John Wiley e hijos.
• Chicco, Davide; Warrens, Matthijs J.; Jurman, Giuseppe (2021). "El coeficiente de determinación R-cuadrado es más informativo que SMAPE, MAE, MAPE, MSE y RMSE en la evaluación del análisis de regresión". PeerJ Ciencias de la Computación . 7 (e623): e623. doi : 10.7717/peerj-cs.623 . PMC  8279135 . PMID  34307865.

enlaces externos

• "Análisis de regresión", Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Usos más tempranos: Regresión – historia básica y referencias
• ¿Para qué se utiliza la regresión múltiple? - Regresión múltiple
• Regresión de datos débilmente correlacionados: cómo pueden aparecer errores de regresión lineal cuando el rango Y es mucho más pequeño que el rango X