Regularización de Tíjonov

La regularización de Tíjonov es el método de regularización usado más comúnmente.

En algunos campos, también se conoce como regresión de arista.

En su forma más simple, un sistema de ecuaciones lineales mal determinado:

es una matriz de dimensiones

celdas, es reemplazado por el problema de encontrar un

dado un factor de Tíjonov

representa la norma euclídea.

Su uso mejora el condicionamiento del problema, posibilitando su solución por métodos numéricos.

Una solución explícita, denotada

{\displaystyle {\hat {x}}=(A^{T}A+\alpha ^{2}I)^{-1}A^{T}\mathbf {b} }

Para α = 0, esto se reduce al método de mínimos cuadrados, siempre que (ATA)-1 exista.

Aunque en principio la solución propuesta pueda parecer artificial, y de hecho el parámetro

tiene un carácter algo arbitrario, el proceso se puede justificar desde un punto de vista bayesiano.

Nótese que para resolver cualquier problema indeterminado se deben introducir ciertas restricciones adicionales para establecer una solución estable.

Estadísticamente se puede asumir que a priori sabemos que

es una variable aleatoria con una distribución normal multidimensional.

Sin pérdida de generalidad, tomemos la media como 0 y asumamos que cada componente es independiente, con una desviación estándar

pueden tener ruido, que asumimos también independiente con media 0 y desviación estándar

Bajo estas condiciones, la regularización de Tíjonov es la solución más probable dados los datos conocidos y la distribución a priori de

, de acuerdo con el teorema de Bayes.

Entonces, el parámetro de Tíjonov viene dado por

Para distribuciones normales multivariadas de

y su error, se puede aplicar una transformación a las variables que reduce el problema al caso anterior.

Equivalentemente, se puede minimizar donde

es la matriz de covarianza invertida

es la matriz de covarianza invertida de

Esta expresión se puede resolver explícitamente mediante la fórmula