Spline suavizante

Método de suavizado utilizando una función spline

Los splines de suavizado son estimaciones de funciones, , obtenidas a partir de un conjunto de observaciones ruidosas del objetivo , con el fin de equilibrar una medida de bondad de ajuste de a con una medida basada en la derivada de la suavidad de . Proporcionan un medio para suavizar datos ruidosos. El ejemplo más conocido es el spline de suavizado cúbico, pero existen muchas otras posibilidades, incluido el caso donde es una cantidad vectorial. ${\displaystyle {\hat {f}}(x)}$ ${\displaystyle y_{i}}$ ${\displaystyle f(x_{i})}$ ${\displaystyle {\hat {f}}(x_{i})}$ ${\displaystyle y_{i}}$ ${\displaystyle {\hat {f}}(x)}$ ${\displaystyle x_{i},y_{i}}$ ${\displaystyle x}$

Definición de spline cúbico

Sea un conjunto de observaciones, modelado por la relación donde son variables aleatorias independientes de media cero. La estimación de spline de suavizado cúbico de la función se define como el minimizador único, en el espacio de Sobolev en un intervalo compacto, de ^{[1] [2]} ${\displaystyle \{x_{i},Y_{i}:i=1,\dots ,n\}}$ ${\displaystyle Y_{i}=f(x_{i})+\epsilon _{i}}$ ${\displaystyle \epsilon _{i}}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle f}$ ${\displaystyle W_{2}^{2}}$

${\displaystyle \sum _{i=1}^{n}\{Y_{i}-{\hat {f}}(x_{i})\}^{2}+\lambda \int {\hat {f}}^{\prime \prime }(x)^{2}\,dx.}$

Observaciones:

• ${\displaystyle \lambda \geq 0}$es un parámetro de suavizado que controla el equilibrio entre la fidelidad a los datos y la irregularidad de la estimación de la función. Esto se estima a menudo mediante validación cruzada generalizada ^[3] o mediante verosimilitud marginal restringida (REML) ^{[ cita requerida ]} que explota el vínculo entre el suavizado de splines y la estimación bayesiana (la penalización del suavizado puede verse como inducida por una distribución previa en el ). ^[4] ${\displaystyle f}$
• La integral a menudo se evalúa sobre toda la línea real, aunque también es posible restringir el rango al de . ${\displaystyle x_{i}}$
• Como (sin suavizado), la spline de suavizado converge a la spline de interpolación . ${\displaystyle \lambda \to 0}$
• Como (suavizado infinito), la penalización de rugosidad se vuelve primordial y la estimación converge a una estimación de mínimos cuadrados lineal . ${\displaystyle \lambda \to \infty }$
• La penalización de rugosidad basada en la segunda derivada es la más común en la literatura estadística moderna, aunque el método puede adaptarse fácilmente a penalizaciones basadas en otras derivadas.
• En la literatura temprana, con ordenadas igualmente espaciadas , se utilizaban diferencias de segundo o tercer orden en la penalización, en lugar de derivadas. ^[5] ${\displaystyle x_{i}}$
• El objetivo de suavizado de suma de cuadrados penalizado se puede reemplazar por un objetivo de verosimilitud penalizado en el que los términos de suma de cuadrados se reemplazan por otra medida de fidelidad a los datos basada en la verosimilitud logarítmica. ^[1] El término de suma de cuadrados corresponde a la verosimilitud penalizada con un supuesto gaussiano en . ${\displaystyle \epsilon _{i}}$

Derivación del spline de suavizado cúbico

Es útil pensar en ajustar una spline de suavizado en dos pasos:

1. Primero, deriva los valores . ${\displaystyle {\hat {f}}(x_{i});i=1,\ldots ,n}$
2. A partir de estos valores, deriva para todo x . ${\displaystyle {\hat {f}}(x)}$

Ahora, tratemos primero el segundo paso.

Dado el vector de valores ajustados, la parte de suma de cuadrados del criterio de spline es fija. Solo queda minimizar , y el minimizador es un spline cúbico natural que interpola los puntos . Este spline de interpolación es un operador lineal y se puede escribir en la forma ${\displaystyle {\hat {m}}=({\hat {f}}(x_{1}),\ldots ,{\hat {f}}(x_{n}))^{T}}$ ${\displaystyle \int {\hat {f}}''(x)^{2}\,dx}$ ${\displaystyle (x_{i},{\hat {f}}(x_{i}))}$

${\displaystyle {\hat {f}}(x)=\sum _{i=1}^{n}{\hat {f}}(x_{i})f_{i}(x)}$

donde son un conjunto de funciones de base de spline. Como resultado, la penalización de rugosidad tiene la forma ${\displaystyle f_{i}(x)}$

${\displaystyle \int {\hat {f}}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.}$

donde los elementos de A son . Las funciones base, y por tanto la matriz A , dependen de la configuración de las variables predictoras , pero no de las respuestas o . ${\displaystyle \int f_{i}''(x)f_{j}''(x)dx}$ ${\displaystyle x_{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle {\hat {m}}}$

A es una matriz n × n dada por . ${\displaystyle A=\Delta ^{T}W^{-1}\Delta }$

Δ es una matriz (n-2) × n de segundas diferencias con elementos:

${\displaystyle \Delta _{ii}=1/h_{i}}$, , ${\displaystyle \Delta _{i,i+1}=-1/h_{i}-1/h_{i+1}}$ ${\displaystyle \Delta _{i,i+2}=1/h_{i+1}}$

W es una matriz tridiagonal simétrica (n-2) × (n-2) con elementos:

${\displaystyle W_{i-1,i}=W_{i,i-1}=h_{i}/6}$, y , las distancias entre nudos sucesivos (o valores x). ${\displaystyle W_{ii}=(h_{i}+h_{i+1})/3}$ ${\displaystyle h_{i}=\xi _{i+1}-\xi _{i}}$

Ahora volvamos al primer paso. La suma de cuadrados penalizada se puede escribir como

${\displaystyle \{Y-{\hat {m}}\}^{T}\{Y-{\hat {m}}\}+\lambda {\hat {m}}^{T}A{\hat {m}},}$

dónde . ${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{T}}$

Minimizando sobre mediante la diferenciación con respecto a . Esto da como resultado: ^[6] y ${\displaystyle {\hat {m}}}$ ${\displaystyle {\hat {m}}}$ ${\displaystyle -2\{Y-{\hat {m}}\}+2\lambda A{\hat {m}}=0}$ ${\displaystyle {\hat {m}}=(I+\lambda A)^{-1}Y.}$

El enfoque de De Boor

El enfoque de De Boor explota la misma idea: encontrar un equilibrio entre tener una curva suave y estar cerca de los datos dados. ^[7]

${\displaystyle p\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}+\left(1-p\right)\int \left({\hat {f}}^{\left(m\right)}\left(x\right)\right)^{2}\,dx}$

donde es un parámetro llamado factor de suavizado y pertenece al intervalo , y son las cantidades que controlan el grado de suavizado (representan el peso de cada punto ). En la práctica, dado que se utilizan principalmente splines cúbicos , normalmente es . La solución para fue propuesta por Christian Reinsch en 1967. ^[8] Para , cuando se aproxima a , converge al interpolador spline "natural" de los datos dados. ^[7] Cuando se aproxima a , converge a una línea recta (la curva más suave). Dado que encontrar un valor adecuado de es una tarea de prueba y error, se introdujo una constante redundante por conveniencia. ^[8] se utiliza para determinar numéricamente el valor de de modo que la función cumpla la siguiente condición: ${\displaystyle p}$ ${\displaystyle [0,1]}$ ${\displaystyle \delta _{i};i=1,\dots ,n}$ ${\displaystyle \delta _{i}^{-2}}$ ${\displaystyle Y_{i}}$ ${\displaystyle m}$ ${\displaystyle 2}$ ${\displaystyle m=2}$ ${\displaystyle m=2}$ ${\displaystyle p}$ ${\displaystyle 1}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle p}$ ${\displaystyle 0}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle p}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle p}$ ${\displaystyle {\hat {f}}}$

${\displaystyle \sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}\leq S}$

El algoritmo descrito por de Boor comienza con y aumenta hasta que se cumple la condición. ^[7] Si es una estimación de la desviación estándar para , se recomienda elegir la constante en el intervalo . Tener significa que la solución es el interpolador spline "natural". ^[8] Aumentar significa que obtenemos una curva más suave al alejarnos de los datos dados. ${\displaystyle p=0}$ ${\displaystyle p}$ ${\displaystyle \delta _{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle S}$ ${\displaystyle \left[n-{\sqrt {2n}},n+{\sqrt {2n}}\right]}$ ${\displaystyle S=0}$ ${\displaystyle S}$

Splines multidimensionales

Existen dos clases principales de métodos para generalizar desde el suavizado con respecto a un escalar al suavizado con respecto a un vector . El primer enfoque simplemente generaliza la penalización de suavizado de spline a la configuración multidimensional. Por ejemplo, si intentamos estimar, podríamos usar la penalización de spline de placa delgada y encontrar la minimización ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle f(x,z)}$ ${\displaystyle {\hat {f}}(x,z)}$

${\displaystyle \sum _{i=1}^{n}\{y_{i}-{\hat {f}}(x_{i},z_{i})\}^{2}+\lambda \int \left[\left({\frac {\partial ^{2}{\hat {f}}}{\partial x^{2}}}\right)^{2}+2\left({\frac {\partial ^{2}{\hat {f}}}{\partial x\partial z}}\right)^{2}+\left({\frac {\partial ^{2}{\hat {f}}}{\partial z^{2}}}\right)^{2}\right]{\textrm {d}}x\,{\textrm {d}}z.}$

El enfoque de spline de placa delgada se puede generalizar para suavizar con respecto a más de dos dimensiones y a otros órdenes de diferenciación en la penalización. ^[1] A medida que aumenta la dimensión, existen algunas restricciones sobre el orden más pequeño de diferencial que se puede utilizar, ^[1] pero, en realidad, el artículo original de Duchon, ^[9] ofrece penalizaciones ligeramente más complicadas que pueden evitar esta restricción.

Las estrías de las placas delgadas son isotrópicas, lo que significa que si rotamos el sistema de coordenadas, la estimación no cambiará, pero también que estamos asumiendo que el mismo nivel de suavizado es apropiado en todas las direcciones. Esto a menudo se considera razonable cuando se suaviza con respecto a la ubicación espacial, pero en muchos otros casos la isotropía no es una suposición apropiada y puede generar sensibilidad a elecciones aparentemente arbitrarias de unidades de medida. Por ejemplo, si se suaviza con respecto a la distancia y el tiempo, un suavizador isotrópico dará resultados diferentes si la distancia se mide en metros y el tiempo en segundos, a lo que ocurrirá si cambiamos las unidades a centímetros y horas. ${\displaystyle x,z}$

La segunda clase de generalizaciones al suavizado multidimensional aborda directamente este problema de invariancia de escala utilizando construcciones de splines de producto tensorial. ^{[10] [11] [12]} Tales splines tienen penalizaciones de suavizado con múltiples parámetros de suavizado, que es el precio que se debe pagar por no asumir que el mismo grado de suavizado es apropiado en todas las direcciones.

Métodos relacionados

Las splines de suavizado están relacionadas con, pero son distintas de:

• Splines de regresión . En este método, los datos se ajustan a un conjunto de funciones de base de splines con un conjunto reducido de nodos, generalmente mediante mínimos cuadrados. No se utiliza ninguna penalización por rugosidad. (Véase también splines de regresión adaptativa multivariante ).
• Splines penalizados . Esto combina los nudos reducidos de los splines de regresión con la penalización de rugosidad de los splines suavizados. ^{[13] [14]}
• Método de mapas elásticos y splines de placas delgadas para el aprendizaje de variedades . Este método combina la penalización de mínimos cuadrados por error de aproximación con la penalización de flexión y estiramiento de la variedad de aproximación y utiliza la discretización gruesa del problema de optimización.

Código fuente

El código fuente para el suavizado de splines se puede encontrar en los ejemplos del libro de Carl de Boor A Practical Guide to Splines . Los ejemplos están en el lenguaje de programación Fortran . Las fuentes actualizadas también están disponibles en el sitio oficial de Carl de Boor [1].

Referencias

1. Green, PJ; Silverman, BW (1994). Regresión no paramétrica y modelos lineales generalizados: un enfoque de penalización de rugosidad . Chapman y Hall.
2. Hastie, TJ; Tibshirani, RJ (1990). Modelos aditivos generalizados . Chapman y Hall. ISBN 978-0-412-34390-2.
3. Craven, P.; Wahba, G. (1979). "Suavizado de datos ruidosos con funciones spline". Matemáticas numéricas . 31 (4): 377–403. doi :10.1007/bf01404567.
4. Kimeldorf, GS; Wahba, G. (1970). "Una correspondencia entre la estimación bayesiana en procesos estocásticos y el suavizado por splines". Anales de estadística matemática . 41 (2): 495–502. doi : 10.1214/aoms/1177697089 .
5. Whittaker, ET (1922). "Sobre un nuevo método de graduación". Actas de la Sociedad Matemática de Edimburgo . 41 : 63–75.
6. Rodríguez, Alemán (Primavera de 2001). "Suavizado y regresión no paramétrica" ​​(PDF) . 2.3.1 Cálculo. pág. 12. Consultado el 28 de abril de 2024 .{{cite web}}: CS1 maint: location (link)
7. De Boor, C. (2001). Una guía práctica para splines (edición revisada) . Springer. págs. 207–214. ISBN. 978-0-387-90356-9.
8. Reinsch, Christian H (1967). "Suavizado mediante funciones spline". Matemática numérica . 10 (3): 177–183. doi :10.1007/BF02162161.
9. J. Duchon, 1976, Splines que minimizan las seminormas invariantes de rotación en espacios de Sobolev. pp 85–100, En: Teoría constructiva de funciones de varias variables, Oberwolfach 1976, W. Schempp y K. Zeller , eds., Lecture Notes in Math., Vol. 571, Springer, Berlín, 1977
10. Wahba, Grace. Modelos spline para datos observacionales . SIAM.
11. Gu, Chong (2013). Modelos ANOVA de spline suavizado (2.ª ed.) . Springer.
12. Wood, SN (2017). Modelos aditivos generalizados: una introducción con R (2.ª ed.) . Chapman & Hall/CRC. ISBN 978-1-58488-474-3.
13. Eilers, PHC y Marx B. (1996). "Suavizado flexible con B-splines y penalizaciones". Ciencia estadística . 11 (2): 89–121.
14. Ruppert, David; Wand, MP; Carroll, RJ (2003). Regresión semiparamétrica . Cambridge University Press. ISBN 978-0-521-78050-6.

Lectura adicional

• Wahba, G. (1990). Modelos spline para datos observacionales . SIAM, Filadelfia.
• Green, PJ y Silverman, BW (1994). Regresión no paramétrica y modelos lineales generalizados . CRC Press.
• De Boor, C. (2001). Una guía práctica para splines (edición revisada) . Springer.