stringtranslate.com

Mínimos cuadrados lineales

Los mínimos cuadrados lineales ( LLS ) son la aproximación por mínimos cuadrados de funciones lineales a datos. Es un conjunto de formulaciones para resolver problemas estadísticos relacionados con la regresión lineal , incluidas variantes para residuos ordinarios (no ponderados), ponderados y generalizados (correlacionados) . Los métodos numéricos para los mínimos cuadrados lineales incluyen la inversión de la matriz de las ecuaciones normales y los métodos de descomposición ortogonal .

Formulación básica

Considere la ecuación lineal

donde y se dan y es variable a calcular. Cuando generalmente ocurre que ( 1 ) no tiene solución. Por ejemplo, no hay ningún valor de que satisfaga porque las dos primeras filas requieren que pero luego no se satisface la tercera fila. Por lo tanto, para el objetivo de resolver ( 1 ) exactamente, normalmente se reemplaza por encontrar el valor de que minimice algún error. Hay muchas formas de definir el error, pero una de las más comunes es definirlo como Esto produce un problema de minimización, llamado problema de mínimos cuadrados.

La solución del problema de mínimos cuadrados ( 1 ) se calcula resolviendo la ecuación normal [1]

donde denota la transpuesta de .

Continuando con el ejemplo anterior, con encontramos y Resolviendo la ecuación normal obtenemos

Formulaciones para la regresión lineal

Las tres formulaciones principales de mínimos cuadrados lineales son:

Formulaciones alternativas

Otras formulaciones incluyen:

Función objetivo

En MCO (es decir, suponiendo observaciones no ponderadas), el valor óptimo de la función objetivo se encuentra sustituyendo la expresión óptima por el vector de coeficientes: donde , la última igualdad se cumple ya que es simétrica e idempotente. Se puede demostrar a partir de esto [9] que bajo una asignación apropiada de pesos el valor esperado de S es . Si en cambio se suponen pesos unitarios, el valor esperado de S es , donde es la varianza de cada observación.

Si se supone que los residuos pertenecen a una distribución normal, la función objetivo, al ser una suma de residuos cuadrados ponderados, pertenecerá a una distribución de chi-cuadrado ( ) con m  −  n grados de libertad . En la siguiente tabla se dan algunos valores percentiles ilustrativos de . [10]

Estos valores se pueden utilizar como criterio estadístico para determinar la bondad del ajuste . Cuando se utilizan pesos unitarios, los números se deben dividir por la varianza de una observación.

Para WLS, la función objetivo ordinaria anterior se reemplaza por un promedio ponderado de residuos.

Discusión

En estadística y matemáticas , los mínimos cuadrados lineales son un método para ajustar un modelo matemático o estadístico a los datos en los casos en que el valor idealizado proporcionado por el modelo para cualquier punto de datos se expresa linealmente en términos de los parámetros desconocidos del modelo. El modelo ajustado resultante se puede utilizar para resumir los datos, predecir valores no observados del mismo sistema y comprender los mecanismos que pueden subyacer al sistema.

Matemáticamente, los mínimos cuadrados lineales son el problema de resolver aproximadamente un sistema sobredeterminado de ecuaciones lineales A x = b , donde b no es un elemento del espacio columna de la matriz A . La solución aproximada se realiza como una solución exacta para A x = b' , donde b' es la proyección de b sobre el espacio columna de A . La mejor aproximación es entonces aquella que minimiza la suma de las diferencias al cuadrado entre los valores de los datos y sus valores modelados correspondientes. El enfoque se llama mínimos cuadrados lineales ya que la función supuesta es lineal en los parámetros a estimar. Los problemas de mínimos cuadrados lineales son convexos y tienen una solución de forma cerrada que es única, siempre que el número de puntos de datos utilizados para el ajuste sea igual o superior al número de parámetros desconocidos, excepto en situaciones degeneradas especiales. Por el contrario, los problemas de mínimos cuadrados no lineales generalmente deben resolverse mediante un procedimiento iterativo , y los problemas pueden ser no convexos con múltiples óptimos para la función objetivo. Si se dispone de distribuciones previas, entonces incluso un sistema subdeterminado puede resolverse utilizando el estimador bayesiano MMSE .

En estadística, los problemas de mínimos cuadrados lineales corresponden a un tipo de modelo estadístico particularmente importante llamado regresión lineal , que surge como una forma particular de análisis de regresión . Una forma básica de dicho modelo es un modelo de mínimos cuadrados ordinarios . El presente artículo se concentra en los aspectos matemáticos de los problemas de mínimos cuadrados lineales, y en los artículos que acabamos de mencionar se analiza la formulación e interpretación de los modelos de regresión estadística y las inferencias estadísticas relacionadas con ellos. Véase el esquema del análisis de regresión para obtener un esquema del tema.

Propiedades

Si los errores experimentales, , no están correlacionados, tienen una media de cero y una varianza constante, , el teorema de Gauss-Markov establece que el estimador de mínimos cuadrados, , tiene la varianza mínima de todos los estimadores que son combinaciones lineales de las observaciones. En este sentido, es el mejor estimador, u óptimo, de los parámetros. Nótese en particular que esta propiedad es independiente de la función de distribución estadística de los errores. En otras palabras, la función de distribución de los errores no necesita ser una distribución normal . Sin embargo, para algunas distribuciones de probabilidad, no hay garantía de que la solución de mínimos cuadrados sea siquiera posible dadas las observaciones; aun así, en tales casos es el mejor estimador que es tanto lineal como insesgado.

Por ejemplo, es fácil demostrar que la media aritmética de un conjunto de mediciones de una cantidad es el estimador de mínimos cuadrados del valor de esa cantidad. Si se cumplen las condiciones del teorema de Gauss-Markov, la media aritmética es óptima, cualquiera que sea la distribución de errores de las mediciones.

Sin embargo, en el caso de que los errores experimentales pertenezcan a una distribución normal, el estimador de mínimos cuadrados también es un estimador de máxima verosimilitud . [11]

Estas propiedades sustentan el uso del método de mínimos cuadrados para todo tipo de ajuste de datos, incluso cuando los supuestos no son estrictamente válidos.

Limitaciones

Un supuesto subyacente al tratamiento dado anteriormente es que la variable independiente, x , está libre de error. En la práctica, los errores en las mediciones de la variable independiente suelen ser mucho menores que los errores en la variable dependiente y, por lo tanto, pueden ignorarse. Cuando este no es el caso, se deben utilizar mínimos cuadrados totales o, de manera más general, modelos de errores en las variables , o mínimos cuadrados rigurosos . Esto se puede hacer ajustando el esquema de ponderación para tener en cuenta los errores tanto en las variables dependientes como en las independientes y luego siguiendo el procedimiento estándar. [12] [13]

En algunos casos, la matriz de ecuaciones normales (ponderada) X T X está mal condicionada . Al ajustar polinomios, la matriz de ecuaciones normales es una matriz de Vandermonde . Las matrices de Vandermonde se vuelven cada vez más mal condicionadas a medida que aumenta el orden de la matriz. [ cita requerida ] En estos casos, la estimación de mínimos cuadrados amplifica el ruido de la medición y puede ser extremadamente inexacta. [ cita requerida ] Se pueden aplicar varias técnicas de regularización en tales casos, la más común de las cuales se llama regresión de cresta . Si se conoce más información sobre los parámetros, por ejemplo, un rango de valores posibles de , entonces se pueden usar varias técnicas para aumentar la estabilidad de la solución. Por ejemplo, consulte mínimos cuadrados restringidos.

Otro inconveniente del estimador de mínimos cuadrados es el hecho de que la norma de los residuos, se minimiza, mientras que en algunos casos uno está verdaderamente interesado en obtener un pequeño error en el parámetro , por ejemplo, un pequeño valor de . [ cita requerida ] Sin embargo, dado que el parámetro verdadero es necesariamente desconocido, esta cantidad no se puede minimizar directamente. Si se conoce una probabilidad previa en , entonces se puede utilizar un estimador de Bayes para minimizar el error cuadrático medio , . El método de mínimos cuadrados se aplica a menudo cuando no se conoce ninguna probabilidad previa. Cuando se estiman varios parámetros conjuntamente, se pueden construir mejores estimadores, un efecto conocido como el fenómeno de Stein . Por ejemplo, si el error de medición es gaussiano , se conocen varios estimadores que dominan , o superan, la técnica de mínimos cuadrados; el más conocido de ellos es el estimador de James-Stein . Este es un ejemplo de estimadores de contracción más generales que se han aplicado a problemas de regresión.

Aplicaciones

Aproximación de mínimos cuadrados con polinomios lineales, cuadráticos y cúbicos.

Usos en el ajuste de datos

La principal aplicación de los mínimos cuadrados lineales es el ajuste de datos . Dado un conjunto de m puntos de datos que consisten en valores medidos experimentalmente tomados en m valores de una variable independiente ( pueden ser cantidades escalares o vectoriales), y dada una función modelo con ella, se desea encontrar los parámetros de manera que la función modelo se ajuste "mejor" a los datos. En los mínimos cuadrados lineales, la linealidad se entiende con respecto a los parámetros, de modo que

Aquí, las funciones pueden ser no lineales con respecto a la variable x .

Lo ideal es que la función del modelo se ajuste exactamente a los datos, por lo que para todos Esto no suele ser posible en la práctica, ya que hay más puntos de datos que parámetros a determinar. El enfoque elegido es encontrar el valor mínimo posible de la suma de los cuadrados de los residuos para minimizar la función.

Después de sustituir y luego por , este problema de minimización se convierte en el problema de minimización cuadrática anterior con y el mejor ajuste se puede encontrar resolviendo las ecuaciones normales.

Ejemplo

Un gráfico de los puntos de datos (en rojo), la línea de mínimos cuadrados de mejor ajuste (en azul) y los residuos (en verde)

Un investigador hipotético lleva a cabo un experimento y obtiene cuatro puntos de datos: y (mostrados en rojo en el diagrama de la derecha). Debido al análisis exploratorio de los datos o al conocimiento previo del tema, el investigador sospecha que los valores dependen de los valores sistemáticamente. Se supone que los valores son exactos, pero contienen cierta incertidumbre o "ruido", debido al fenómeno que se estudia, imperfecciones en las mediciones, etc.

Ajuste de una línea

Una de las relaciones más simples posibles entre y es una línea . La intersección y la pendiente son inicialmente desconocidas. El investigador quisiera encontrar valores de y que hagan que la línea pase por los cuatro puntos de datos. En otras palabras, el investigador quisiera resolver el sistema de ecuaciones lineales Con cuatro ecuaciones con dos incógnitas, este sistema está sobredeterminado. No hay una solución exacta. Para considerar soluciones aproximadas, se introducen residuos , , , en las ecuaciones: El residuo n es el desajuste entre la observación n y la predicción n : Entre todas las soluciones aproximadas, el investigador quisiera encontrar la que sea "mejor" en algún sentido.

En los mínimos cuadrados , uno se centra en la suma de los residuos al cuadrado: La mejor solución se define como la que minimiza con respecto a y . El mínimo se puede calcular fijando las derivadas parciales de a cero: Estas ecuaciones normales constituyen un sistema de dos ecuaciones lineales con dos incógnitas. La solución es y , y la recta de mejor ajuste es, por tanto , . Los residuos son y (véase el diagrama de la derecha). El valor mínimo de la suma de los residuos al cuadrado es

Este cálculo se puede expresar en notación matricial de la siguiente manera. El sistema original de ecuaciones es , donde Intuitivamente, Más rigurosamente, si es invertible, entonces la matriz representa una proyección ortogonal sobre el espacio columna de . Por lo tanto, entre todos los vectores de la forma , el más cercano a es . Al establecerlo , es evidente que es una solución.

Ajuste de una parábola

Resultado de ajustar una función cuadrática (en azul) a través de un conjunto de puntos de datos (en rojo). En los mínimos cuadrados lineales, la función no necesita ser lineal en el argumento, sino solo en los parámetros que se determinan para brindar el mejor ajuste.

Supongamos que el investigador hipotético desea ajustar una parábola de la forma . Es importante destacar que este modelo sigue siendo lineal en los parámetros desconocidos (ahora solo ), por lo que los mínimos cuadrados lineales aún se aplican. El sistema de ecuaciones que incorpora residuos es

La suma de los residuos al cuadrado es Solo hay una derivada parcial para establecer en 0: La solución es , y el modelo de ajuste es .

En notación matricial, las ecuaciones sin residuos son nuevamente , donde ahora Por la misma lógica que antes, la solución es

La figura muestra una extensión para ajustar la parábola de tres parámetros utilizando una matriz de diseño con tres columnas (una para , y ) y una fila para cada uno de los puntos de datos rojos.

Adaptación a otras curvas y superficies

De manera más general, se pueden tener regresores y un modelo lineal.

Véase también

Referencias

  1. ^ Weisstein, Eric W. "Ecuación normal". MathWorld . Wolfram . Consultado el 18 de diciembre de 2023 .
  2. ^ Lai, TL; Robbins, H.; Wei, CZ (1978). "Fuerte consistencia de las estimaciones de mínimos cuadrados en regresión múltiple". PNAS . 75 (7): 3034–3036. Bibcode :1978PNAS...75.3034L. doi : 10.1073/pnas.75.7.3034 . JSTOR  68164. PMC 392707 . PMID  16592540. 
  3. ^ del Pino, Guido (1989). "El papel unificador de los mínimos cuadrados generalizados iterativos en los algoritmos estadísticos". Ciencia estadística . 4 (4): 394–403. doi : 10.1214/ss/1177012408 . JSTOR  2245853.
  4. ^ Carroll, Raymond J. (1982). "Adaptación para heteroscedasticidad en modelos lineales". Anales de estadística . 10 (4): 1224–1233. doi : 10.1214/aos/1176345987 . JSTOR  2240725.
  5. ^ Cohen, Michael; Dalal, Siddhartha R.; Tukey, John W. (1993). "Regresión de varianza robusta y suavemente heterogénea". Revista de la Royal Statistical Society, Serie C . 42 (2): 339–353. JSTOR  2986237.
  6. ^ Nievergelt, Yves (1994). "Mínimos cuadrados totales: regresión de última generación en análisis numérico". SIAM Review . 36 (2): 258–264. doi :10.1137/1036055. JSTOR  2132463.
  7. ^ Britzger, Daniel (2022). "El ajuste lineal de la plantilla". Eur. Phys. J. C . 82 (8): 731. arXiv : 2112.01548 . Código Bibliográfico :2022EPJC...82..731B. doi :10.1140/epjc/s10052-022-10581-w. S2CID  244896511.
  8. ^ Tofallis, C (2009). "Regresión porcentual de mínimos cuadrados". Revista de métodos estadísticos aplicados modernos . 7 : 526–534. doi :10.2139/ssrn.1406472. hdl : 2299/965 . SSRN  1406472.
  9. ^ Hamilton, WC (1964). Estadística en ciencias físicas . Nueva York: Ronald Press.
  10. ^ Spiegel, Murray R. (1975). Esquema de teoría y problemas de probabilidad y estadística de Schaum . Nueva York: McGraw-Hill. ISBN 978-0-585-26739-5.
  11. ^ Margenau, Henry; Murphy, George Moseley (1956). Las matemáticas de la física y la química . Princeton: Van Nostrand.
  12. ^ ab Gans, Peter (1992). Ajuste de datos en las ciencias químicas . Nueva York: Wiley. ISBN 978-0-471-93412-7.
  13. ^ Deming, WE (1943). Ajuste estadístico de datos . Nueva York: Wiley.
  14. ^ Acton, FS (1959). Análisis de datos lineales . Nueva York: Wiley.
  15. ^ Guest, PG (1961). Métodos numéricos de ajuste de curvas . Cambridge: Cambridge University Press.[ página necesaria ]

Lectura adicional

Enlaces externos