Teorema de proyección de Hilbert

Sobre subconjuntos convexos cerrados en el espacio de Hilbert

En matemáticas, el teorema de proyección de Hilbert es un famoso resultado del análisis convexo que dice que para cada vector en un espacio de Hilbert y cada convexo cerrado no vacío existe un vector único para el cual se minimiza sobre los vectores ; es decir, tal que para cada ${\displaystyle x}$ ${\displaystyle H}$ ${\displaystyle C\subseteq H,}$ ${\displaystyle m\in C}$ ${\displaystyle \|c-x\|}$ ${\displaystyle c\in C}$ ${\displaystyle \|m-x\|\leq \|c-x\|}$ ${\displaystyle c\in C.}$

Caso de dimensión finita

Se puede obtener cierta intuición del teorema considerando la condición de primer orden del problema de optimización.

Consideremos un espacio de Hilbert real de dimensión finita con un subespacio y un punto Si es un minimizador o punto mínimo de la función definida por (que es el mismo que el punto mínimo de ), entonces la derivada debe ser cero en ${\displaystyle H}$ ${\displaystyle C}$ ${\displaystyle x.}$ ${\displaystyle m\in C}$ ${\displaystyle N:C\to \mathbb {R} }$ ${\displaystyle N(c):=\|c-x\|}$ ${\displaystyle c\mapsto \|c-x\|^{2}}$ ${\displaystyle m.}$

En la notación de derivada matricial ^[1] Dado que es un vector en que representa una dirección tangente arbitraria, se deduce que debe ser ortogonal a cada vector en $${\displaystyle {\begin{aligned}\partial \lVert x-c\rVert ^{2}&=\partial \langle c-x,c-x\rangle \\&=2\langle c-x,\partial c\rangle \end{aligned}}}$$ ${\displaystyle \partial c}$ ${\displaystyle C}$ ${\displaystyle m-x}$ ${\displaystyle C.}$

Declaración

Teorema de proyección de Hilbert  :  Para cada vector en un espacio de Hilbert y cada convexo cerrado no vacío existe un vector único para el cual es igual a ${\displaystyle x}$ ${\displaystyle H}$ ${\displaystyle C\subseteq H,}$ ${\displaystyle m\in C}$ ${\displaystyle \lVert x-m\rVert }$ ${\displaystyle \delta :=\inf _{c\in C}\|x-c\|.}$

Si el subconjunto cerrado es también un subespacio vectorial de entonces este minimizador es el único elemento en tal que es ortogonal a ${\displaystyle C}$ ${\displaystyle H}$ ${\displaystyle m}$ ${\displaystyle C}$ ${\displaystyle x-m}$ ${\displaystyle C.}$

Demostración elemental detallada

Prueba de que existe un punto mínimo ${\displaystyle y}$

Sea la distancia entre y una secuencia en tal que la distancia al cuadrado entre y es menor o igual a Sea y dos enteros, entonces las siguientes igualdades son verdaderas: y Por lo tanto (Esta ecuación es la misma que la fórmula para la longitud de una mediana en un triángulo con lados de longitud y donde específicamente, los vértices del triángulo son ). ${\displaystyle \delta :=\inf _{c\in C}\|x-c\|}$ ${\displaystyle x}$ ${\displaystyle C,}$ ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$ ${\displaystyle C}$ ${\displaystyle x}$ ${\displaystyle c_{n}}$ ${\displaystyle \delta ^{2}+1/n.}$ ${\displaystyle n}$ ${\displaystyle m}$ $${\displaystyle \left\|c_{n}-c_{m}\right\|^{2}=\left\|c_{n}-x\right\|^{2}+\left\|c_{m}-x\right\|^{2}-2\left\langle c_{n}-x\,,\,c_{m}-x\right\rangle }$$ $${\displaystyle 4\left\|{\frac {c_{n}+c_{m}}{2}}-x\right\|^{2}=\left\|c_{n}-x\right\|^{2}+\left\|c_{m}-x\right\|^{2}+2\left\langle c_{n}-x\,,\,c_{m}-x\right\rangle }$$ $${\displaystyle \left\|c_{n}-c_{m}\right\|^{2}=2\left\|c_{n}-x\right\|^{2}+2\left\|c_{m}-x\right\|^{2}-4\left\|{\frac {c_{n}+c_{m}}{2}}-x\right\|^{2}}$$ ${\displaystyle a^{2}=2b^{2}+2c^{2}-4M_{a}^{2}}$ ${\displaystyle M_{a}}$ ${\displaystyle a,b,}$ ${\displaystyle c,}$ ${\displaystyle x,c_{m},c_{n}}$

Al dar un límite superior a los dos primeros términos de la igualdad y al notar que el punto medio de y pertenece a y tiene, por lo tanto, una distancia mayor o igual a desde , se deduce que: ${\displaystyle c_{n}}$ ${\displaystyle c_{m}}$ ${\displaystyle C}$ ${\displaystyle \delta }$ ${\displaystyle x,}$ $${\displaystyle \|c_{n}-c_{m}\|^{2}\;\leq \;2\left(\delta ^{2}+{\frac {1}{n}}\right)+2\left(\delta ^{2}+{\frac {1}{m}}\right)-4\delta ^{2}=2\left({\frac {1}{n}}+{\frac {1}{m}}\right)}$$

La última desigualdad demuestra que es una sucesión de Cauchy . Como es completa, la sucesión es convergente a un punto cuya distancia desde es mínima. ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$ ${\displaystyle C}$ ${\displaystyle m\in C,}$ ${\displaystyle x}$ ${\displaystyle \blacksquare }$

Prueba de que es única ${\displaystyle m}$

Sean y dos puntos mínimos . Entonces: ${\displaystyle m_{1}}$ ${\displaystyle m_{2}}$ $${\displaystyle \|m_{2}-m_{1}\|^{2}=2\|m_{1}-x\|^{2}+2\|m_{2}-x\|^{2}-4\left\|{\frac {m_{1}+m_{2}}{2}}-x\right\|^{2}}$$

Ya que pertenece a nosotros tenemos y por lo tanto ${\displaystyle {\frac {m_{1}+m_{2}}{2}}}$ ${\displaystyle C,}$ ${\displaystyle \left\|{\frac {m_{1}+m_{2}}{2}}-x\right\|^{2}\geq \delta ^{2}}$ $${\displaystyle \|m_{2}-m_{1}\|^{2}\leq 2\delta ^{2}+2\delta ^{2}-4\delta ^{2}=0.}$$

Lo que prueba la unicidad. ${\displaystyle m_{1}=m_{2},}$ ${\displaystyle \blacksquare }$

Prueba de caracterización del punto mínimo cuando es un subespacio vectorial cerrado ${\displaystyle C}$

Supongamos que es un subespacio vectorial cerrado de Se debe demostrar que el minimizador es el único elemento en tal que para cada ${\displaystyle C}$ ${\displaystyle H.}$ ${\displaystyle m}$ ${\displaystyle C}$ ${\displaystyle \langle m-x,c\rangle =0}$ ${\displaystyle c\in C.}$

Prueba de que la condición es suficiente: Sea tal que para todo Si entonces y por lo tanto lo que implica que Debido a que era arbitrario, esto prueba que y por lo tanto es un punto mínimo. ${\displaystyle z\in C}$ ${\displaystyle \langle z-x,c\rangle =0}$ ${\displaystyle c\in C.}$ ${\displaystyle c\in C}$ ${\displaystyle c-z\in C}$ $${\displaystyle \|c-x\|^{2}=\|(z-x)+(c-z)\|^{2}=\|z-x\|^{2}+\|c-z\|^{2}+2\langle z-x,c-z\rangle =\|z-x\|^{2}+\|c-z\|^{2}}$$ ${\displaystyle \|z-x\|^{2}\leq \|c-x\|^{2}.}$ ${\displaystyle c\in C}$ ${\displaystyle \|z-x\|=\inf _{c\in C}\|c-x\|}$ ${\displaystyle z}$

Prueba de que la condición es necesaria: Sea el punto mínimo. Sea y Porque la minimalidad de garantiza que Por lo tanto siempre es no negativo y debe ser un número real. Si entonces la función tiene un mínimo en y además, lo cual es una contradicción. Por lo tanto ${\displaystyle m\in C}$ ${\displaystyle c\in C}$ ${\displaystyle t\in \mathbb {R} .}$ ${\displaystyle m+tc\in C,}$ ${\displaystyle m}$ ${\displaystyle \|m-x\|\leq \|(m+tc)-x\|.}$ $${\displaystyle \|(m+tc)-x\|^{2}-\|m-x\|^{2}=2t\langle m-x,c\rangle +t^{2}\|c\|^{2}}$$ ${\displaystyle \langle m-x,c\rangle }$ ${\displaystyle \langle m-x,c\rangle \neq 0}$ ${\displaystyle f(t):=2t\langle m-x,c\rangle +t^{2}\|c\|^{2}}$ ${\displaystyle t_{0}:=-{\frac {\langle m-x,c\rangle }{\|c\|^{2}}}}$ ${\displaystyle f\left(t_{0}\right)<0,}$ ${\displaystyle \langle m-x,c\rangle =0.}$ ${\displaystyle \blacksquare }$

Demostración por reducción a un caso especial

Basta con demostrar el teorema en el caso de porque el caso general se deduce del enunciado siguiente reemplazando con ${\displaystyle x=0}$ ${\displaystyle C}$ ${\displaystyle C-x.}$

Teorema de proyección de Hilbert (caso ) ^[2] ${\displaystyle x=0}$  —  Para cada subconjunto convexo cerrado no vacío de un espacio de Hilbert existe un vector único tal que ${\displaystyle C\subseteq H}$ ${\displaystyle H,}$ ${\displaystyle m\in C}$ ${\displaystyle \inf _{c\in C}\|c\|=\|m\|.}$

Además, dejando si es cualquier secuencia en tal que en ^{[nota 1]} entonces en ${\displaystyle d:=\inf _{c\in C}\|c\|,}$ ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$ ${\displaystyle C}$ ${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \lim _{n\to \infty }c_{n}=m}$ ${\displaystyle H.}$

Prueba

Sea como se describe en este teorema y sea Este teorema se seguirá de los siguientes lemas. ${\displaystyle C}$ $${\displaystyle d:=\inf _{c\in C}\|c\|.}$$

Lema 1  —  Si hay una secuencia en tal que en entonces existe alguna secuencia tal que en Además, ${\displaystyle c_{\bullet }:=\left(c_{n}\right)_{n=1}^{\infty }}$ ${\displaystyle C}$ ${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle c\in C}$ ${\displaystyle \lim _{n\to \infty }c_{n}=c}$ ${\displaystyle H.}$ ${\displaystyle \|c\|=d.}$

Lema 2  —  Existe una secuencia que satisface las hipótesis del Lema 1. ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$

El Lema 2 y el Lema 1 juntos prueban que existe algo tal que El Lema 1 puede usarse para probar la unicidad de la siguiente manera. Supóngase que es tal que y denotan la sucesión por de modo que la subsucesión de índices pares es la sucesión constante mientras que la subsucesión de índices impares es la sucesión constante Porque para cada en lo que demuestra que la sucesión satisface las hipótesis del Lema 1. El Lema 1 garantiza la existencia de algo tal que en Porque converge a también lo hacen todas sus subsucesiones. En particular, la subsucesión converge a lo que implica que (porque los límites en son únicos y esta subsucesión constante también converge a ). De manera similar, porque la subsucesión converge a ambos y Por lo tanto lo que prueba el teorema. ${\displaystyle c\in C}$ ${\displaystyle \|c\|=d.}$ ${\displaystyle b\in C}$ ${\displaystyle \|b\|=d}$ $${\displaystyle b,c,b,c,b,c,\ldots }$$ ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$ ${\displaystyle \left(c_{2n}\right)_{n=1}^{\infty }}$ ${\displaystyle c,c,c,\ldots }$ ${\displaystyle \left(c_{2n-1}\right)_{n=1}^{\infty }}$ ${\displaystyle b,b,b,\ldots .}$ ${\displaystyle \left\|c_{n}\right\|=d}$ ${\displaystyle n\in \mathbb {N} ,}$ ${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=\lim _{n\to \infty }d=d}$ ${\displaystyle \mathbb {R} ,}$ ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$ ${\displaystyle x\in C}$ ${\displaystyle \lim _{n\to \infty }c_{n}=x}$ ${\displaystyle H.}$ ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$ ${\displaystyle x,}$ ${\displaystyle c,c,c,\ldots }$ ${\displaystyle x,}$ ${\displaystyle x=c}$ ${\displaystyle H}$ ${\displaystyle c}$ ${\displaystyle x=b}$ ${\displaystyle b,b,b,\ldots }$ ${\displaystyle x}$ ${\displaystyle b.}$ ${\displaystyle b=c,}$ ${\displaystyle \blacksquare }$

Consecuencias

Proposición  —  Si es un subespacio vectorial cerrado de un espacio de Hilbert entonces ^{[nota 3]} ${\displaystyle C}$ ${\displaystyle H}$ $${\displaystyle H=C\oplus C^{\bot }.}$$

Propiedades

La expresión como mínimo global

El enunciado y la conclusión del teorema de proyección de Hilbert pueden expresarse en términos de mínimos globales de las siguientes funciones. Su notación también se utilizará para simplificar ciertos enunciados.

Dado un subconjunto no vacío y algunos definen una función Un punto mínimo global de si existe, es cualquier punto en tal que en cuyo caso es igual al valor mínimo global de la función que es: ${\displaystyle C\subseteq H}$ ${\displaystyle x\in H,}$ $${\displaystyle d_{C,x}:C\to [0,\infty )\quad {\text{ by }}c\mapsto \|x-c\|.}$$ ${\displaystyle d_{C,x},}$ ${\displaystyle m}$ ${\displaystyle \,\operatorname {domain} d_{C,x}=C\,}$ $${\displaystyle d_{C,x}(m)\,\leq \,d_{C,x}(c)\quad {\text{ for all }}c\in C,}$$ ${\displaystyle d_{C,x}(m)=\|m-x\|}$ ${\displaystyle d_{C,x},}$ $${\displaystyle \inf _{c\in C}d_{C,x}(c)=\inf _{c\in C}\|x-c\|.}$$

Efectos de las traducciones y escalamientos

Cuando este punto mínimo global existe y es único, entonces denótelo explícitamente, las propiedades definitorias de (si existe) son: El teorema de proyección de Hilbert garantiza que este punto mínimo único existe siempre que sea un subconjunto cerrado y convexo no vacío de un espacio de Hilbert. Sin embargo, dicho punto mínimo también puede existir en subconjuntos no convexos o no cerrados; por ejemplo, siempre que sea no vacío, si entonces ${\displaystyle m}$ ${\displaystyle \min(C,x);}$ ${\displaystyle \min(C,x)}$ $${\displaystyle \min(C,x)\in C\quad {\text{ and }}\quad \left\|x-\min(C,x)\right\|\leq \|x-c\|\quad {\text{ for all }}c\in C.}$$ ${\displaystyle C}$ ${\displaystyle C}$ ${\displaystyle x\in C}$ ${\displaystyle \min(C,x)=x.}$

Si es un subconjunto no vacío, es cualquier escalar y son cualquier vector, entonces lo que implica: ${\displaystyle C\subseteq H}$ ${\displaystyle s}$ ${\displaystyle x,x_{0}\in H}$ $${\displaystyle \,\min \left(sC+x_{0},sx+x_{0}\right)=s\min(C,x)+x_{0}}$$ $${\displaystyle {\begin{alignedat}{6}\min &(sC,sx)&&=s&&\min(C,x)\\\min &(-C,-x)&&=-&&\min(C,x)\\\end{alignedat}}}$$ $${\displaystyle {\begin{alignedat}{6}\min \left(C+x_{0},x+x_{0}\right)&=\min(C,x)+x_{0}\\\min \left(C-x_{0},x-x_{0}\right)&=\min(C,x)-x_{0}\\\end{alignedat}}}$$ $${\displaystyle {\begin{alignedat}{6}\min &(C,-x){}&&=\min(C+x,0)-x\\\min &(C,0)\;+\;x\;\;\;\;&&=\min(C+x,x)\\\min &(C-x,0){}&&=\min(C,x)-x\\\end{alignedat}}}$$

Ejemplos

El siguiente contraejemplo demuestra un isomorfismo lineal continuo para el cual Endow con el producto escalar , sea y para cada número real sea la línea de pendiente que pasa por el origen, donde se verifica fácilmente que Elija un número real y defínalo por (por lo que este mapa escala la coordenada por mientras deja la coordenada sin cambios). Entonces es un operador lineal continuo invertible que satisface y de modo que y En consecuencia, si con y si entonces ${\displaystyle A:H\to H}$ ${\displaystyle \,\min(A(C),A(x))\neq A(\min(C,x)).}$ ${\displaystyle H:=\mathbb {R} ^{2}}$ ${\displaystyle x_{0}:=(0,1),}$ ${\displaystyle s\in \mathbb {R} ,}$ ${\displaystyle L_{s}:=\{(x,sx):x\in \mathbb {R} \}}$ ${\displaystyle s}$ ${\displaystyle \min \left(L_{s},x_{0}\right)={\frac {s}{1+s^{2}}}(1,s).}$ ${\displaystyle r\neq 0}$ ${\displaystyle A:\mathbb {R} ^{2}\to \mathbb {R} ^{2}}$ ${\displaystyle A(x,y):=(rx,y)}$ ${\displaystyle x-}$ ${\displaystyle r}$ ${\displaystyle y-}$ ${\displaystyle A:\mathbb {R} ^{2}\to \mathbb {R} ^{2}}$ ${\displaystyle A\left(L_{s}\right)=L_{s/r}}$ ${\displaystyle A\left(x_{0}\right)=x_{0},}$ ${\displaystyle \,\min \left(A\left(L_{s}\right),A\left(x_{0}\right)\right)={\frac {s}{r^{2}+s^{2}}}(1,s)}$ ${\displaystyle A\left(\min \left(L_{s},x_{0}\right)\right)={\frac {s}{1+s^{2}}}\left(r,s\right).}$ ${\displaystyle C:=L_{s}}$ ${\displaystyle s\neq 0}$ ${\displaystyle (r,s)\neq (\pm 1,1)}$ ${\displaystyle \,\min(A(C),A\left(x_{0}\right))\neq A\left(\min \left(C,x_{0}\right)\right).}$

Véase también

• Complemento ortogonal  – Concepto de álgebra lineal
• Proyección ortogonal  : transformación lineal idempotente de un espacio vectorial a sí mismoPages displaying short descriptions of redirect targets
• Principio de ortogonalidad  : condición para la optimalidad del estimador bayesiano
• Teorema de representación de Riesz  – Teorema sobre el dual de un espacio de Hilbert

Notas

1. Como la norma es continua, si converge en entonces necesariamente converge en Pero en general, no se garantiza lo contrario. Sin embargo, bajo las hipótesis de este teorema, saber que en es suficiente para concluir que converge en ${\displaystyle \|\cdot \|:H\to \mathbb {R} }$ ${\displaystyle \lim _{n\to \infty }x_{n}}$ ${\displaystyle H}$ ${\displaystyle \lim _{n\to \infty }\left\|x_{n}\right\|}$ ${\displaystyle \mathbb {R} .}$ ${\displaystyle \lim _{n\to \infty }\left\|c_{n}\right\|=d}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle \lim _{n\to \infty }c_{n}}$ ${\displaystyle H.}$
2. Explícitamente, esto significa que dado cualquier existe algún entero tal que "la cantidad" es siempre que Aquí, "la cantidad" se refiere al lado derecho de la desigualdad y más adelante en la prueba, "la cantidad" también se referirá a y luego Por definición de " secuencia de Cauchy ", es Cauchy en si y solo si "la cantidad" satisface esta condición antes mencionada. ${\displaystyle \epsilon >0}$ ${\displaystyle N>0}$ ${\displaystyle \,\leq \epsilon }$ ${\displaystyle m,n\geq N.}$ ${\displaystyle 2\left\|c_{m}\right\|^{2}+2\left\|c_{n}\right\|^{2}-4d^{2}}$ ${\displaystyle \left\|c_{m}-c_{n}\right\|^{2}}$ ${\displaystyle \left\|c_{m}-c_{n}\right\|.}$ ${\displaystyle \left(c_{n}\right)_{n=1}^{\infty }}$ ${\displaystyle H}$ ${\displaystyle \left\|c_{m}-c_{n}\right\|}$
3. Técnicamente, significa que la función de adición definida por es un isomorfismo y homeomorfismo lineal sobreyectivo . Consulte el artículo sobre subespacios complementados para obtener más detalles. ${\displaystyle H=K\oplus K^{\bot }}$ ${\displaystyle K\times K^{\bot }\to H}$ ${\displaystyle (k,p)\mapsto k+p}$

Referencias

1. Petersen, Kaare. "The Matrix Cookbook" (PDF) . Consultado el 9 de enero de 2021 .
2. Rudin 1991, págs. 306–309.
3. Rudin 1991, págs. 307−309.

Bibliografía

• Rudin, Walter (1987). Análisis real y complejo (tercera edición).
• Rudin, Walter (1991). Análisis funcional. Serie internacional de matemáticas puras y aplicadas. Vol. 8 (segunda edición). Nueva York, NY: McGraw-Hill Science/Engineering/Math . ISBN 978-0-07-054236-5.OCLC 21163277  .