Mínimos cuadrados
Sin embargo, su método de mínimos cuadrados no se publicó sino hasta 1809, y apareció en el segundo volumen de su trabajo sobre mecánica celeste, Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium.
El francés Adrien-Marie Legendre desarrolló el mismo método de forma independiente en 1805.
un conjunto de n puntos en el plano real, y sea
El criterio de "mejor aproximación" puede variar, pero en general se basa en aquel que minimice una "acumulación" del error individual (en cada punto) sobre el conjunto total.
En primer lugar, el error (con signo positivo o negativo) de la función
pero se intenta medir y minimizar el error en todo el conjunto de la aproximación,
Los coeficientes de la combinación lineal serán los parámetros que queremos determinar.
(m=3 en este caso), y que se pretende determinar los valores de los coeficientes:
Para ese caso general se deduce a continuación la fórmula de la mejor aproximación discreta (i.e.
Es posible generar otro tipo de aproximaciones, si se toman los errores máximo o medio, por ejemplo, pero la dificultad que entraña operar con ellos, debido al valor absoluto de su expresión, hace que sean difíciles de tratar y casi no se usen.
La aproximación mínimo cuadrática consiste en minimizar el error cuadrático mencionado más arriba, y tiene solución general cuando se trata de un problema de aproximación lineal (lineal en sus coeficientes
Para hallar esta expresión se puede seguir un camino analítico, expuesto abajo, mediante el cálculo multivariable, consistente en optimizar los coeficientes
Para los Modelos estáticos uniecuacionales, el método de mínimos cuadrados no ha sido superado, a pesar de diversos intentos para ello, desde principios del siglo XIX.
, y podrán ser calculados derivando e igualando a cero este último:
La solución es óptima –esto es, proporciona la mejor aproximación siguiendo el criterio de mínimo error cuadrático–, puesto que se obtiene al optimizar el problema.
Esto establece un sistema de n ecuaciones y m incógnitas, y como en general n>m, quedaría sobredeterminado: no tendría siempre una solución general.
que mejor aproximan f(x) pueden calcularse como la solución al sistema
, esto es, deberá tender a pasar exactamente por todos los puntos.
Esto es, se tendría que verificar exactamente un sistema de n ecuaciones y m incógnitas, pero como en general n>m, dicho sistema estaría sobredeterminado y, por tanto, sin solución general.
De manera que el mínimo error cuadrático supone minimizar el residuo, definiendo su tamaño según la norma euclídea o usual del residuo, que equivale al error cuadrático:
el producto interior o escalar del vector residuo sobre sí mismo.
, al que el vector b no tiene porqué pertenecer (si lo hiciera, el sistema A·c=b tendría solución).
Por tanto, la mejor aproximación mínimo cuadrada lineal para un conjunto de puntos discretos, sean cuales sean las funciones base, se obtiene al resolver el sistema cuadrado:
Si estas son la unidad y la función x, entonces la aproximación se llama regresión lineal.
son exactos y que todos los errores están en los valores
es una transformación lineal del vector cuyos componentes son f(xi) + εi).
Los parámetros (a, b y c en el ejemplo anterior) se estiman con frecuencia mediante mínimos cuadrados: se toman aquellos valores que minimicen la suma
Si la distribución de los atípicos es asimétrica, los estimadores pueden estar sesgados.
En presencia de cualquier valor atípico, los estimadores mínimos cuadráticos son ineficientes y pueden serlo en extremo.
Si aparecen valores atípicos en los datos, son más apropiados los métodos de regresión robusta.
