Incertidumbre entrópica

Concepto en la teoría de la información

En mecánica cuántica , teoría de la información y análisis de Fourier , la incertidumbre entrópica o incertidumbre de Hirschman se define como la suma de las entropías de Shannon temporal y espectral . Resulta que el principio de incertidumbre de Heisenberg se puede expresar como un límite inferior para la suma de estas entropías. Esto es más fuerte que la declaración habitual del principio de incertidumbre en términos del producto de las desviaciones estándar.

En 1957, ^[1] Hirschman consideró una función f y su transformada de Fourier g tales que

${\displaystyle g(y)\approx \int _{-\infty }^{\infty }\exp(-2\pi ixy)f(x)\,dx,\qquad f(x)\approx \int _{-\infty }^{\infty }\exp(2\pi ixy)g(y)\,dy~,}$

donde "≈" indica convergencia en L ² , y normalizado de manera que (por el teorema de Plancherel ),

${\displaystyle \int _{-\infty }^{\infty }|f(x)|^{2}\,dx=\int _{-\infty }^{\infty }|g(y)|^{2}\,dy=1~.}$

Demostró que para tales funciones la suma de las entropías de Shannon no es negativa,

${\displaystyle H(|f|^{2})+H(|g|^{2})\equiv -\int _{-\infty }^{\infty }|f(x)|^{2}\log |f(x)|^{2}\,dx-\int _{-\infty }^{\infty }|g(y)|^{2}\log |g(y)|^{2}\,dy\geq 0.}$

Un límite más estrecho,

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}}~,}$

Fue conjeturada por Hirschman ^[1] y Everett ^[2] , probada en 1975 por W. Beckner ^[3] y en el mismo año interpretada como un principio de incertidumbre mecánico cuántico generalizado por Białynicki-Birula y Mycielski. ^[4] La igualdad se cumple en el caso de distribuciones gaussianas . ^[5] Nótese, sin embargo, que la función de incertidumbre entrópica anterior es claramente diferente de la entropía cuántica de Von Neumann representada en el espacio de fases .

Bosquejo de la prueba

La prueba de esta desigualdad estricta depende de la denominada norma ( q ,  p ) de la transformación de Fourier. (Establecer esta norma es la parte más difícil de la prueba).

A partir de esta norma, se puede establecer un límite inferior para la suma de las entropías (diferenciales) de Rényi , H _α (|f|²)+H _β (|g|²) , donde 1/α + 1/β = 2 , que generalizan las entropías de Shannon. Para simplificar, consideramos esta desigualdad solo en una dimensión; la extensión a múltiples dimensiones es sencilla y se puede encontrar en la literatura citada.

Desigualdad de Babenko-Beckner

La norma ( q ,  p ) de la transformada de Fourier se define como ^[6]

${\displaystyle \|{\mathcal {F}}\|_{q,p}=\sup _{f\in L^{p}(\mathbb {R} )}{\frac {\|{\mathcal {F}}f\|_{q}}{\|f\|_{p}}},}$ donde   y ${\displaystyle 1<p\leq 2~,}$ ${\displaystyle {\frac {1}{p}}+{\frac {1}{q}}=1.}$

En 1961, Babenko ^[7] encontró esta norma para valores enteros pares de q . Finalmente, en 1975, utilizando funciones de Hermite como funciones propias de la transformada de Fourier, Beckner ^[3] demostró que el valor de esta norma (en una dimensión) para todo q ≥ 2 es

${\displaystyle \|{\mathcal {F}}\|_{q,p}={\sqrt {p^{1/p}/q^{1/q}}}.}$

Así tenemos la desigualdad de Babenko-Beckner que

${\displaystyle \|{\mathcal {F}}f\|_{q}\leq \left(p^{1/p}/q^{1/q}\right)^{1/2}\|f\|_{p}.}$

Límite de entropía de Rényi

A partir de esta desigualdad se puede derivar una expresión del principio de incertidumbre en términos de la entropía de Rényi . ^{[6] [8]}

Sea así que y , tenemos ${\displaystyle g={\mathcal {F}}f,\,2\alpha =p,\,2\beta =q,}$ ${\displaystyle {\frac {1}{\alpha }}+{\frac {1}{\beta }}=2}$ ${\displaystyle {\frac {1}{2}}\leq \alpha \leq 1\leq \beta }$

${\displaystyle \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)^{1/2\beta }\leq {\frac {(2\alpha )^{1/4\alpha }}{(2\beta )^{1/4\beta }}}\left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)^{1/2\alpha }.}$

Elevando al cuadrado ambos lados y sacando el logaritmo, obtenemos

${\displaystyle {\frac {1}{\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\leq {\frac {1}{2}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}+{\frac {1}{\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right).}$

Podemos reescribir la condición como ${\displaystyle \alpha ,\beta }$

${\displaystyle \alpha (1-\beta )+\beta (1-\alpha )=0}$

Supongamos , entonces multiplicamos ambos lados por el negativo ${\displaystyle \alpha ,\beta \neq 1}$

${\displaystyle {\frac {\beta }{1-\beta }}=-{\frac {\alpha }{1-\alpha }}}$

Llegar

${\displaystyle {\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}-{\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)~.}$

Al reordenar los términos se obtiene una desigualdad en términos de la suma de las entropías de Rényi,

${\displaystyle {\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)+{\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}};}$

${\displaystyle H_{\alpha }(|f|^{2})+H_{\beta }(|g|^{2})\geq {\frac {1}{2}}\left({\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right)-\log 2}$

Lado derecho

${\displaystyle {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\alpha }{\alpha -1}}\log(2\alpha )^{1/\alpha }+{\frac {\beta }{\beta -1}}\log(2\beta )^{1/\beta }\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log 2\alpha }{\alpha -1}}+{\frac {\log 2\beta }{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[{\frac {1}{\alpha -1}}+{\frac {1}{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[{\frac {1}{\alpha -1}}+{\frac {1}{\beta -1}}-{\frac {\alpha }{\alpha -1}}-{\frac {\beta }{\beta -1}}\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]+{\frac {1}{2}}\log 2\left[-2\right]}$

${\displaystyle ={\frac {1}{2}}\left[{\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right]-\log 2}$

Límite de entropía de Shannon

Tomando el límite de esta última desigualdad como y las sustituciones dan como resultado la desigualdad de entropía de Shannon menos general, ${\displaystyle \alpha ,\,\beta \to 1}$ ${\displaystyle \mathrm {A} =\alpha -1,\mathrm {B} =\beta -1}$

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}},\quad {\textrm {where}}\quad g(y)\approx \int _{\mathbb {R} }e^{-2\pi ixy}f(x)\,dx~,}$

válido para cualquier base de logaritmo, siempre que elijamos una unidad de información adecuada, bit , nat , etc.

Sin embargo, la constante será diferente para una normalización diferente de la transformada de Fourier (como la que se usa habitualmente en física, con normalizaciones elegidas de modo que ħ = 1), es decir,

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log(\pi e)\quad {\textrm {for}}\quad g(y)\approx {\frac {1}{\sqrt {2\pi }}}\int _{\mathbb {R} }e^{-ixy}f(x)\,dx~.}$

En este caso, la dilatación de la transformada de Fourier al cuadrado absoluto por un factor de 2 π simplemente agrega log(2 π ) a su entropía.

Entropía versus límites de varianza

La distribución de probabilidad gaussiana o normal desempeña un papel importante en la relación entre varianza y entropía : es un problema de cálculo de variaciones demostrar que esta distribución maximiza la entropía para una varianza dada y, al mismo tiempo, minimiza la varianza para una entropía dada. De hecho, para cualquier función de densidad de probabilidad en la línea real, la desigualdad de entropía de Shannon especifica: ${\displaystyle \phi }$

${\displaystyle H(\phi )\leq \log {\sqrt {2\pi eV(\phi )}},}$

donde H es la entropía de Shannon y V es la varianza, una desigualdad que se satura sólo en el caso de una distribución normal .

Además, la transformada de Fourier de una función de amplitud de probabilidad gaussiana también es gaussiana, y los cuadrados absolutos de ambas también son gaussianos. Esto puede utilizarse para derivar la desigualdad de incertidumbre de varianza de Robertson habitual a partir de la desigualdad entrópica anterior, lo que permite que esta última sea más ajustada que la primera . Es decir (para ħ = 1), exponenciando la desigualdad de Hirschman y utilizando la expresión de Shannon anterior,

${\displaystyle 1/2\leq \exp(H(|f|^{2})+H(|g|^{2}))/(2e\pi )\leq {\sqrt {V(|f|^{2})V(|g|^{2})}}~.}$

Hirschman ^[1] explicó que la entropía (su versión de la entropía era la negativa de la de Shannon) es una "medida de la concentración de [una distribución de probabilidad] en un conjunto de pequeña medida". Por lo tanto, una entropía de Shannon negativa baja o grande significa que una masa considerable de la distribución de probabilidad está confinada a un conjunto de pequeña medida .

Obsérvese que este conjunto de pequeñas medidas no tiene por qué ser contiguo; una distribución de probabilidad puede tener varias concentraciones de masa en intervalos de pequeña medida, y la entropía puede seguir siendo baja sin importar cuán dispersos estén esos intervalos. Este no es el caso de la varianza: la varianza mide la concentración de masa en torno a la media de la distribución, y una varianza baja significa que una masa considerable de la distribución de probabilidad está concentrada en un intervalo contiguo de pequeña medida.

Para formalizar esta distinción, decimos que dos funciones de densidad de probabilidad y son equimedibles si ${\displaystyle \phi _{1}}$ ${\displaystyle \phi _{2}}$

${\displaystyle \forall \delta >0,\,\mu \{x\in \mathbb {R} |\phi _{1}(x)\geq \delta \}=\mu \{x\in \mathbb {R} |\phi _{2}(x)\geq \delta \},}$

donde μ es la medida de Lebesgue . Dos funciones de densidad de probabilidad equimedibles cualesquiera tienen la misma entropía de Shannon y, de hecho, la misma entropía de Rényi, de cualquier orden. Sin embargo, no sucede lo mismo con la varianza. Cualquier función de densidad de probabilidad tiene un "reordenamiento" equimedible radialmente decreciente cuya varianza es menor (hasta la traducción) que cualquier otro reordenamiento de la función; y existen reordenamientos de varianza arbitrariamente alta (todos con la misma entropía).

Véase también

• Desigualdades en la teoría de la información
• Ecuación logarítmica de Schrödinger
• Principio de incertidumbre
• Teorema de Riesz-Thorin
• Transformada de Fourier

Referencias

1. Hirschman, II Jr. (1957), "Una nota sobre la entropía", American Journal of Mathematics , 79 (1): 152–156, doi :10.2307/2372390, JSTOR  2372390.
2. Hugh Everett , III. La interpretación de los múltiples mundos de la mecánica cuántica: la teoría de la función de onda universal. Tesis doctoral de Everett
3. Beckner, W. (1975), "Desigualdades en el análisis de Fourier", Annals of Mathematics , 102 (6): 159–182, doi :10.2307/1970980, JSTOR  1970980, PMC 432369 , PMID  16592223. 
4. Bialynicki-Birula, I.; Mycielski, J. (1975), "Relaciones de incertidumbre para la entropía de la información en la mecánica ondulatoria", Communications in Mathematical Physics , 44 (2): 129, Bibcode :1975CMaPh..44..129B, doi :10.1007/BF01608825, S2CID  122277352
5. Ozaydin, Murad; Przebinda, Tomasz (2004). "Un principio de incertidumbre basado en la entropía para un grupo abeliano localmente compacto" (PDF) . Journal of Functional Analysis . 215 (1). Elsevier Inc.: 241–252. doi : 10.1016/j.jfa.2003.11.008 . Consultado el 23 de junio de 2011 .
6. Bialynicki-Birula, I. (2006). "Formulación de las relaciones de incertidumbre en términos de las entropías de Rényi". Physical Review A . 74 (5): 052101. arXiv : quant-ph/0608116 . Código Bibliográfico :2006PhRvA..74e2101B. doi :10.1103/PhysRevA.74.052101. S2CID  19123961.
7. KI Babenko. Una desigualdad en la teoría de las integrales de Fourier. Izv. Akad. Nauk SSSR, Ser. Mat. 25 (1961) págs. 531–542, traducción al inglés, Amer. Math. Soc. Transl. (2) 44 , págs. 115-128
8. HP Heinig y M. Smith, Extensiones de la desigualdad de Heisenberg-Weil. Internat. J. Math. & Math. Sci., vol. 9, n.º 1 (1986), págs. 185-192. [1]

Lectura adicional

• Jizba, P.; Ma, Y.; Hayes, A.; Dunningham, JA (2016). "Clase de relaciones de incertidumbre de un parámetro basada en el poder de la entropía". Phys. Rev. E 93 (6): 060104(R). doi:10.1103/PhysRevE.93.060104.
• Zozor, S.; Vignat, C. (2007). "Sobre clases de minimizadores asintóticos no gaussianos en principios de incertidumbre entrópica". Physica A: Mecánica estadística y sus aplicaciones . 375 (2): 499. arXiv : math/0605510 . Bibcode :2007PhyA..375..499Z. doi :10.1016/j.physa.2006.09.019. S2CID  119718352. arXiv:matemáticas/0605510v1
• Maassen, H.; Uffink, J. (1988). "Relaciones de incertidumbre entrópica generalizada" (PDF) . Physical Review Letters . 60 (12): 1103–1106. Bibcode :1988PhRvL..60.1103M. doi :10.1103/PhysRevLett.60.1103. PMID  10037942.
• Ballester, M.; Wehner, S. (2007). "Relaciones de incertidumbre entrópica y bloqueo: límites estrictos para bases mutuamente imparciales". Physical Review A . 75 (2): 022319. arXiv : quant-ph/0606244 . Código Bibliográfico :2007PhRvA..75b2319B. doi :10.1103/PhysRevA.75.022319. S2CID  119470256.
• Ghirardi, G.; Marinatto, L.; Romano, R. (2003). "Una relación de incertidumbre entrópica óptima en un espacio de Hilbert bidimensional". Physics Letters A . 317 (1–2): 32–36. arXiv : quant-ph/0310120 . Código Bibliográfico :2003PhLA..317...32G. doi :10.1016/j.physleta.2003.08.029. S2CID  9267554.
• Salcedo, LL (1998). "Incertidumbre mínima para funciones de onda antisimétricas". Letters in Mathematical Physics . 43 (3): 233–248. arXiv : quant-ph/9706015 . Bibcode :1997quant.ph..6015S. doi :10.1023/A:1007464229188. S2CID  18118758.