Spline suavizado

Los splines de suavizado son estimaciones de funciones, obtenidas a partir de un conjunto de observaciones ruidosas del objetivo , para equilibrar una medida de bondad de ajuste de con una medida basada en derivadas de la suavidad de . Proporcionan un medio para suavizar datos ruidosos. El ejemplo más familiar es el spline de suavizado cúbico, pero hay muchas otras posibilidades, incluso en el caso de que sea una cantidad vectorial. ${\displaystyle {\hat {f}}(x)}$ ${\displaystyle y_{i}}$ ${\displaystyle f(x_{i})}$ ${\displaystyle {\hat {f}}(x_{i})}$ ${\displaystyle y_{i}}$ ${\displaystyle {\hat {f}}(x)}$ ${\displaystyle x_{i},y_{i}}$ ${\displaystyle x}$

Definición de spline cúbico

Sea un conjunto de observaciones, modeladas por la relación donde son variables aleatorias independientes, de media cero (generalmente se supone que tienen varianza constante). La estimación spline de suavizado cúbico de la función se define como el minimizador (sobre la clase de funciones dos veces diferenciables) de ^{[1] [2]} ${\displaystyle \{x_{i},Y_{i}:i=1,\dots ,n\}}$ ${\displaystyle Y_{i}=f(x_{i})+\epsilon _{i}}$ ${\displaystyle \epsilon _{i}}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle f}$

${\displaystyle \sum _{i=1}^{n}\{Y_{i}-{\hat {f}}(x_{i})\}^{2}+\lambda \int {\hat {f}}^{\prime \prime }(x)^{2}\,dx.}$

Observaciones:

• ${\displaystyle \lambda \geq 0}$es un parámetro de suavizado que controla el equilibrio entre la fidelidad a los datos y la rugosidad de la estimación de la función. Esto a menudo se estima mediante validación cruzada generalizada, ^[3] o mediante probabilidad marginal restringida (REML) ^{[ cita necesaria ]} que explota el vínculo entre el suavizado spline y la estimación bayesiana (se puede considerar que la penalización del suavizado es inducida por un previo en el ). ^[4] ${\displaystyle f}$
• La integral suele evaluarse sobre toda la recta real, aunque también es posible restringir el rango al de . ${\displaystyle x_{i}}$
• Como (sin suavizado), la spline de suavizado converge con la spline de interpolación . ${\displaystyle \lambda \to 0}$
• Como (suavizado infinito), la penalización de rugosidad se vuelve primordial y la estimación converge a una estimación de mínimos cuadrados lineal . ${\displaystyle \lambda \to \infty }$
• La penalización por rugosidad basada en la segunda derivada es la más común en la literatura estadística moderna, aunque el método puede adaptarse fácilmente a penalizaciones basadas en otras derivadas.
• En la literatura antigua, con el orden equiespaciado , se utilizaban diferencias de segundo o tercer orden en la penalización, en lugar de derivadas. ^[5] ${\displaystyle x_{i}}$
• El objetivo de suavizado de suma de cuadrados penalizado puede ser reemplazado por un objetivo de probabilidad penalizado en el que los términos de suma de cuadrados se reemplazan por otra medida de fidelidad a los datos basada en log-verosimilitud. ^[1] El término de suma de cuadrados corresponde a la probabilidad penalizada con un supuesto gaussiano en el . ${\displaystyle \epsilon _{i}}$

Derivación del spline de suavizado cúbico

Es útil pensar en montar una ranura de suavizado en dos pasos:

1. Primero, deriva los valores . ${\displaystyle {\hat {f}}(x_{i});i=1,\ldots ,n}$
2. A partir de estos valores, obtenga para todo x . ${\displaystyle {\hat {f}}(x)}$

Ahora, trata primero el segundo paso.

Dado el vector de valores ajustados, la parte de suma de cuadrados del criterio spline es fija. Sólo queda minimizar , y el minimizador es un spline cúbico natural que interpola los puntos . Esta spline de interpolación es un operador lineal y se puede escribir en la forma ${\displaystyle {\hat {m}}=({\hat {f}}(x_{1}),\ldots ,{\hat {f}}(x_{n}))^{T}}$ ${\displaystyle \int {\hat {f}}''(x)^{2}\,dx}$ ${\displaystyle (x_{i},{\hat {f}}(x_{i}))}$

${\displaystyle {\hat {f}}(x)=\sum _{i=1}^{n}{\hat {f}}(x_{i})f_{i}(x)}$

donde hay un conjunto de funciones de base spline. Como resultado, la penalización de rugosidad tiene la forma ${\displaystyle f_{i}(x)}$

${\displaystyle \int {\hat {f}}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.}$

donde los elementos de A son . Las funciones base, y por tanto la matriz A , dependen de la configuración de las variables predictoras , pero no de las respuestas o . ${\displaystyle \int f_{i}''(x)f_{j}''(x)dx}$ ${\displaystyle x_{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle {\hat {m}}}$

A es una matriz n × n dada por . ${\displaystyle A=\Delta ^{T}W^{-1}\Delta }$

Δ es una matriz (n-2) × n de segundas diferencias con elementos:

${\displaystyle \Delta _{ii}=1/h_{i}}$, , ${\displaystyle \Delta _{i,i+1}=-1/h_{i}-1/h_{i+1}}$ ${\displaystyle \Delta _{i,i+2}=1/h_{i+1}}$

W es una matriz tridiagonal simétrica (n-2) × (n-2) con elementos:

${\displaystyle W_{i-1,i}=W_{i,i-1}=h_{i}/6}$, y , las distancias entre nudos sucesivos (o valores de x). ${\displaystyle W_{ii}=(h_{i}+h_{i+1})/3}$ ${\displaystyle h_{i}=\xi _{i+1}-\xi _{i}}$

Ahora volvamos al primer paso. La suma de cuadrados penalizada se puede escribir como

${\displaystyle \{Y-{\hat {m}}\}^{T}\{Y-{\hat {m}}\}+\lambda {\hat {m}}^{T}A{\hat {m}},}$

dónde . ${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{T}}$

Minimizar el over diferenciando el contra . Esto da como resultado: ^[6] y ${\displaystyle {\hat {m}}}$ ${\displaystyle {\hat {m}}}$ ${\displaystyle -2\{Y-{\hat {m}}\}+2\lambda A{\hat {m}}=0}$ ${\displaystyle {\hat {m}}=(I+\lambda A)^{-1}Y.}$

El enfoque de De Boor

El enfoque de De Boor explota la misma idea: encontrar un equilibrio entre tener una curva suave y estar cerca de los datos dados. ^[7]

${\displaystyle p\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}+\left(1-p\right)\int \left({\hat {f}}^{\left(m\right)}\left(x\right)\right)^{2}\,dx}$

donde es un parámetro llamado factor de suavizado y pertenece al intervalo , y son las cantidades que controlan el grado de suavizado (representan el peso de cada punto ). En la práctica, dado que se utilizan principalmente splines cúbicos , suele ser . La solución para fue propuesta por Christian Reinsch en 1967. ^[8] Para , cuando se aproxima , converge a la interpolación spline "natural" de los datos dados. ^[7] A medida que se acerca , converge en una línea recta (la curva más suave). Dado que encontrar un valor adecuado de es una tarea de prueba y error, se introdujo una constante redundante por conveniencia. ^[8] se utiliza para determinar numéricamente el valor de para que la función cumpla la siguiente condición: ${\displaystyle p}$ ${\displaystyle [0,1]}$ ${\displaystyle \delta _{i};i=1,\dots ,n}$ ${\displaystyle \delta _{i}^{-2}}$ ${\displaystyle Y_{i}}$ ${\displaystyle m}$ ${\displaystyle 2}$ ${\displaystyle m=2}$ ${\displaystyle m=2}$ ${\displaystyle p}$ ${\displaystyle 1}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle p}$ ${\displaystyle 0}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle p}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle p}$ ${\displaystyle {\hat {f}}}$

${\displaystyle \sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}\leq S}$

El algoritmo descrito por de Boor comienza y aumenta hasta que se cumple la condición. ^[7] Si se trata de una estimación de la desviación estándar de , se recomienda elegir la constante en el intervalo . Tener significa que la solución es el interpolante spline "natural". ^[8] Aumentar significa que obtenemos una curva más suave al alejarnos de los datos dados. ${\displaystyle p=0}$ ${\displaystyle p}$ ${\displaystyle \delta _{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle S}$ ${\displaystyle \left[n-{\sqrt {2n}},n+{\sqrt {2n}}\right]}$ ${\displaystyle S=0}$ ${\displaystyle S}$

splines multidimensionales

Hay dos clases principales de métodos para generalizar desde el suavizado con respecto a un escalar hasta el suavizado con respecto a un vector . El primer enfoque simplemente generaliza la penalización del suavizado del spline al entorno multidimensional. Por ejemplo, si intentamos estimar, podríamos usar la penalización por spline de placa delgada y encontrar la minimización. ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle f(x,z)}$ ${\displaystyle {\hat {f}}(x,z)}$

${\displaystyle \sum _{i=1}^{n}\{y_{i}-{\hat {f}}(x_{i},z_{i})\}^{2}+\lambda \int \left[\left({\frac {\partial ^{2}{\hat {f}}}{\partial x^{2}}}\right)^{2}+2\left({\frac {\partial ^{2}{\hat {f}}}{\partial x\partial z}}\right)^{2}+\left({\frac {\partial ^{2}{\hat {f}}}{\partial z^{2}}}\right)^{2}\right]{\textrm {d}}x\,{\textrm {d}}z.}$

El enfoque de la placa delgada se puede generalizar al suavizado con respecto a más de dos dimensiones y a otros órdenes de diferenciación en la penalización. ^[1] A medida que aumenta la dimensión, existen algunas restricciones sobre el orden más pequeño de diferencial que se puede utilizar, ^[1] pero en realidad el artículo original de Duchon ^[9] ofrece sanciones un poco más complicadas que pueden evitar esta restricción.

Las splines de placa delgada son isotrópicas, lo que significa que si rotamos el sistema de coordenadas la estimación no cambiará, pero también asumimos que el mismo nivel de suavizado es apropiado en todas las direcciones. Esto a menudo se considera razonable cuando se suaviza con respecto a la ubicación espacial, pero en muchos otros casos la isotropía no es una suposición apropiada y puede generar sensibilidad a elecciones aparentemente arbitrarias de unidades de medida. Por ejemplo, si se suaviza respecto a la distancia y el tiempo un suavizador isotrópico dará resultados diferentes si se mide la distancia en metros y el tiempo en segundos, a lo que ocurrirá si cambiamos las unidades a centímetros y horas. ${\displaystyle x,z}$

La segunda clase de generalizaciones para el suavizado multidimensional trata directamente con este problema de invariancia de escala utilizando construcciones tensoriales de splines de productos. ^{[10] [11] [12]} Tales splines tienen penalizaciones de suavizado con múltiples parámetros de suavizado, que es el precio que se debe pagar por no asumir que el mismo grado de suavidad es apropiado en todas las direcciones.

Métodos relacionados

Las splines de suavizado están relacionadas, pero son distintas de:

• Splines de regresión . En este método, los datos se ajustan a un conjunto de funciones de base spline con un conjunto reducido de nudos, normalmente mediante mínimos cuadrados. No se utiliza penalización de rugosidad. (Ver también splines de regresión adaptativa multivariada ).
• Splines penalizados . Esto combina los nudos reducidos de los splines de regresión con la penalización de rugosidad de los splines suavizados. ^{[13] [14]}
• Splines de placa delgada y método de mapas elásticos para aprendizaje múltiple . Este método combina la penalización por mínimos cuadrados por error de aproximación con la penalización por flexión y estiramiento de la variedad de aproximación y utiliza la discretización gruesa del problema de optimización.

Código fuente

El código fuente para el suavizado de splines se puede encontrar en los ejemplos del libro de Carl de Boor A Practical Guide to Splines . Los ejemplos están en el lenguaje de programación Fortran . Las fuentes actualizadas también están disponibles en el sitio oficial de Carl de Boor [1].

Referencias

1. Verde, PJ; Silverman, BW (1994). Regresión no paramétrica y modelos lineales generalizados: un enfoque de penalización de rugosidad . Chapman y Hall.
2. Hastie, TJ; Tibshirani, RJ (1990). Modelos aditivos generalizados . Chapman y Hall. ISBN 978-0-412-34390-2.
3. Craven, P.; Wahba, G. (1979). "Suavizar datos ruidosos con funciones spline". Matemática numérica . 31 (4): 377–403. doi :10.1007/bf01404567.
4. Kimeldorf, GS; Wahba, G. (1970). "Una correspondencia entre la estimación bayesiana de procesos estocásticos y el suavizado mediante splines". Los anales de la estadística matemática . 41 (2): 495–502. doi : 10.1214/aoms/1177697089 .
5. Whittaker, et (1922). "Sobre un nuevo método de graduación". Actas de la Sociedad Matemática de Edimburgo . 41 : 63–75.
6. Rodríguez, alemán (primavera de 2001). "Suavizado y regresión no paramétrica" ​​(PDF) . 2.3.1 Computación. pag. 12 . Consultado el 28 de abril de 2024 .{{cite web}}: CS1 maint: location (link)
7. De Boor, C. (2001). Una guía práctica de splines (edición revisada) . Saltador. págs. 207–214. ISBN 978-0-387-90356-9.
8. Reinsch, Christian H (1967). "Suavizado mediante funciones spline". Matemática numérica . 10 (3): 177–183. doi :10.1007/BF02162161.
9. J. Duchon, 1976, Splines que minimizan las seminormas invariantes de rotación en espacios de Sobolev. 85-100, en: Teoría constructiva de funciones de varias variables, Oberwolfach 1976, W. Schempp y K. Zeller , eds., Lecture Notes in Math., Vol. 1, núm. 571, Springer, Berlín, 1977
10. Wahba, gracia. Modelos spline para datos observacionales . SIAM.
11. Gu, Chong (2013). Suavizado de modelos Spline ANOVA (2ª ed.) . Saltador.
12. Madera, SN (2017). Modelos aditivos generalizados: una introducción a R (2ª ed) . Chapman y Hall/CRC. ISBN 978-1-58488-474-3.
13. Eilers, PHC y Marx B. (1996). "Suavizado flexible con B-splines y penalizaciones". Ciencia estadística . 11 (2): 89-121.
14. Ruppert, David; Varita, diputado; Carroll, RJ (2003). Regresión semiparamétrica . Prensa de la Universidad de Cambridge. ISBN 978-0-521-78050-6.

Otras lecturas

• Wahba, G. (1990). Modelos spline para datos observacionales . SIAM, Filadelfia.
• Verde, PJ y Silverman, BW (1994). Regresión no paramétrica y modelos lineales generalizados . Prensa CRC.
• De Boor, C. (2001). Una guía práctica de splines (edición revisada) . Saltador.