Incertidumbre entrópica

Concepto en teoría de la información.

En mecánica cuántica , teoría de la información y análisis de Fourier , la incertidumbre entrópica o incertidumbre de Hirschman se define como la suma de las entropías de Shannon temporal y espectral . Resulta que el principio de incertidumbre de Heisenberg puede expresarse como un límite inferior de la suma de estas entropías. Esto es más contundente que la afirmación habitual del principio de incertidumbre en términos del producto de las desviaciones estándar.

En 1957, ^[1] Hirschman consideró una función f y su transformada de Fourier g tal que

${\displaystyle g(y)\approx \int _{-\infty }^{\infty }\exp(-2\pi ixy)f(x)\,dx,\qquad f(x)\approx \int _{-\infty }^{\infty }\exp(2\pi ixy)g(y)\,dy~,}$

donde "≈" indica convergencia en L ² , y normalizado de modo que (según el teorema de Plancherel ),

${\displaystyle \int _{-\infty }^{\infty }|f(x)|^{2}\,dx=\int _{-\infty }^{\infty }|g(y)|^{2}\,dy=1~.}$

Demostró que para cualquiera de estas funciones la suma de las entropías de Shannon no es negativa,

${\displaystyle H(|f|^{2})+H(|g|^{2})\equiv -\int _{-\infty }^{\infty }|f(x)|^{2}\log |f(x)|^{2}\,dx-\int _{-\infty }^{\infty }|g(y)|^{2}\log |g(y)|^{2}\,dy\geq 0.}$

Un vínculo más estrecho,

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}}~,}$

fue conjeturado por Hirschman ^[1] y Everett ^[2] , probado en 1975 por W. Beckner ^[3] y ese mismo año interpretado como un principio de incertidumbre mecánico cuántico generalizado por Białynicki-Birula y Mycielski. ^[4] La igualdad se cumple en el caso de distribuciones gaussianas . ^[5] Tenga en cuenta, sin embargo, que la función de incertidumbre entrópica anterior es claramente diferente de la entropía cuántica de Von Neumann representada en el espacio de fases .

Bosquejo de prueba

La prueba de esta estrecha desigualdad depende de la llamada norma ( q ,  p ) de la transformación de Fourier. (Establecer esta norma es la parte más difícil de la prueba).

A partir de esta norma, se puede establecer un límite inferior en la suma de las entropías (diferenciales) de Rényi , H _α (|f|²)+H _β (|g|²) , donde 1/α + 1/β = 2 , que generalizan las entropías de Shannon. Por simplicidad, consideramos esta desigualdad sólo en una dimensión; la extensión a múltiples dimensiones es sencilla y se puede encontrar en la literatura citada.

Desigualdad de Babenko-Beckner

La norma ( q ,  p ) de la transformada de Fourier se define como ^[6]

${\displaystyle \|{\mathcal {F}}\|_{q,p}=\sup _{f\in L^{p}(\mathbb {R} )}{\frac {\|{\mathcal {F}}f\|_{q}}{\|f\|_{p}}},}$ dónde   y ${\displaystyle 1<p\leq 2~,}$ ${\displaystyle {\frac {1}{p}}+{\frac {1}{q}}=1.}$

En 1961, Babenko ^[7] encontró esta norma para valores enteros pares de q . Finalmente, en 1975, utilizando funciones de Hermite como funciones propias de la transformada de Fourier, Beckner ^[3] demostró que el valor de esta norma (en una dimensión) para todo q ≥ 2 es

${\displaystyle \|{\mathcal {F}}\|_{q,p}={\sqrt {p^{1/p}/q^{1/q}}}.}$

Así tenemos la desigualdad de Babenko-Beckner que

${\displaystyle \|{\mathcal {F}}f\|_{q}\leq \left(p^{1/p}/q^{1/q}\right)^{1/2}\|f\|_{p}.}$

Rényi ligado a la entropía

De esta desigualdad se puede derivar una expresión del principio de incertidumbre en términos de la entropía de Rényi . ^{[6] [8]}

Sea 2 α = p y 2 β = q , de modo que 1/α + 1/β = 2 y 1/2< α <1< β , tenemos ${\displaystyle g={\mathcal {F}}f}$

${\displaystyle \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)^{1/2\beta }\leq {\frac {(2\alpha )^{1/4\alpha }}{(2\beta )^{1/4\beta }}}\left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)^{1/2\alpha }.}$

elevando al cuadrado ambos lados y tomando el logaritmo, obtenemos

${\displaystyle {\frac {1}{\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\leq {\frac {1}{2}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}+{\frac {1}{\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right).}$

Multiplicando ambos lados por

${\displaystyle {\frac {\beta }{1-\beta }}=-{\frac {\alpha }{1-\alpha }}}$

invierte el sentido de la desigualdad,

${\displaystyle {\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}}-{\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)~.}$

Reorganizando los términos, finalmente se obtiene una desigualdad en términos de la suma de las entropías de Rényi,

${\displaystyle {\frac {1}{1-\alpha }}\log \left(\int _{\mathbb {R} }|f(x)|^{2\alpha }\,dx\right)+{\frac {1}{1-\beta }}\log \left(\int _{\mathbb {R} }|g(y)|^{2\beta }\,dy\right)\geq {\frac {\alpha }{2(\alpha -1)}}\log {\frac {(2\alpha )^{1/\alpha }}{(2\beta )^{1/\beta }}};}$

${\displaystyle H_{\alpha }(|f|^{2})+H_{\beta }(|g|^{2})\geq {\frac {1}{2}}\left({\frac {\log \alpha }{\alpha -1}}+{\frac {\log \beta }{\beta -1}}\right)-\log 2~.}$

Tenga en cuenta que esta desigualdad es simétrica con respecto a α y β : ya no es necesario suponer que α<β ; sólo que son positivos y no ambos uno, y que 1/α + 1/β = 2. Para ver esta simetría, simplemente intercambie los roles de i y − i en la transformada de Fourier.

Límite de entropía de Shannon

Tomando el límite de esta última desigualdad como α, β → 1 se obtiene la desigualdad de entropía de Shannon menos general,

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log {\frac {e}{2}},\quad {\textrm {where}}\quad g(y)\approx \int _{\mathbb {R} }e^{-2\pi ixy}f(x)\,dx~,}$

válido para cualquier base de logaritmo, siempre que elijamos una unidad de información adecuada, bit , nat , etc.

Sin embargo, la constante será diferente para una normalización diferente de la transformada de Fourier (como la que se usa habitualmente en física, con normalizaciones elegidas de modo que ħ =1), es decir,

${\displaystyle H(|f|^{2})+H(|g|^{2})\geq \log(\pi e)\quad {\textrm {for}}\quad g(y)\approx {\frac {1}{\sqrt {2\pi }}}\int _{\mathbb {R} }e^{-ixy}f(x)\,dx~.}$

En este caso, la dilatación de la transformada absoluta de Fourier al cuadrado por un factor de 2 π simplemente suma log(2 π ) a su entropía.

Límites de entropía versus varianza

La distribución de probabilidad gaussiana o normal juega un papel importante en la relación entre varianza y entropía : es un problema de cálculo de variaciones demostrar que esta distribución maximiza la entropía para una varianza dada y al mismo tiempo minimiza la varianza para una varianza dada. entropía. De hecho, para cualquier función de densidad de probabilidad en la recta real, la desigualdad de entropía de Shannon especifica: ${\displaystyle \phi }$

${\displaystyle H(\phi )\leq \log {\sqrt {2\pi eV(\phi )}},}$

donde H es la entropía de Shannon y V es la varianza, desigualdad que se satura sólo en el caso de una distribución normal .

Además, la transformada de Fourier de una función de amplitud de probabilidad gaussiana también es gaussiana, y los cuadrados absolutos de ambas también son gaussianos. Esto luego se puede usar para derivar la desigualdad de incertidumbre de la varianza de Robertson habitual a partir de la desigualdad entrópica anterior, lo que permite que esta última sea más estricta que la primera . Es decir (para ħ =1), exponenciando la desigualdad de Hirschman y usando la expresión de Shannon anterior,

${\displaystyle 1/2\leq \exp(H(|f|^{2})+H(|g|^{2}))/(2e\pi )\leq {\sqrt {V(|f|^{2})V(|g|^{2})}}~.}$

Hirschman ^[1] explicó que la entropía (su versión de la entropía era la negativa de la de Shannon) es una "medida de la concentración de [una distribución de probabilidad] en un conjunto de medidas pequeñas". Así, una entropía de Shannon negativa baja o grande significa que una masa considerable de la distribución de probabilidad está confinada a un conjunto de medidas pequeñas .

Tenga en cuenta que este conjunto de medidas pequeñas no tiene por qué ser contiguo; una distribución de probabilidad puede tener varias concentraciones de masa en intervalos de pequeña medida, y la entropía puede seguir siendo baja sin importar cuán dispersos estén esos intervalos. Este no es el caso de la varianza: la varianza mide la concentración de masa alrededor de la media de la distribución, y una varianza baja significa que una masa considerable de la distribución de probabilidad está concentrada en un intervalo contiguo de pequeña medida.

Para formalizar esta distinción, decimos que dos funciones de densidad de probabilidad y son equimensurables si ${\displaystyle \phi _{1}}$ ${\displaystyle \phi _{2}}$

${\displaystyle \forall \delta >0,\,\mu \{x\in \mathbb {R} |\phi _{1}(x)\geq \delta \}=\mu \{x\in \mathbb {R} |\phi _{2}(x)\geq \delta \},}$

donde μ es la medida de Lebesgue . Dos funciones de densidad de probabilidad equimensurables cualesquiera tienen la misma entropía de Shannon y, de hecho, la misma entropía de Rényi, de cualquier orden. Sin embargo, no ocurre lo mismo con la varianza. Cualquier función de densidad de probabilidad tiene un "reordenamiento" equimensurable radialmente decreciente cuya varianza es menor (hasta la traducción) que cualquier otro reordenamiento de la función; y existen reordenamientos de varianza arbitrariamente alta (todos con la misma entropía).

Ver también

• Desigualdades en la teoría de la información.
• Ecuación logarítmica de Schrödinger
• Principio de incertidumbre
• Teorema de Riesz-Thorin
• Transformada de Fourier

Referencias

1. Hirschman, II Jr. (1957), "Una nota sobre la entropía", American Journal of Mathematics , 79 (1): 152–156, doi :10.2307/2372390, JSTOR  2372390.
2. Hugh Everett , III. La interpretación de muchos mundos de la mecánica cuántica: la teoría de la función de onda universal. Disertación de Everett
3. Beckner, W. (1975), "Desigualdades en el análisis de Fourier", Annals of Mathematics , 102 (6): 159–182, doi :10.2307/1970980, JSTOR  1970980, PMC 432369 , PMID  16592223. 
4. Bialynicki-Birula, I.; Mycielski, J. (1975), "Relaciones de incertidumbre para la entropía de la información en la mecánica de ondas", Comunicaciones en física matemática , 44 (2): 129, Bibcode :1975CMaPh..44..129B, doi :10.1007/BF01608825, S2CID  122277352
5. Ozaydin, Murad; Przebinda, Tomasz (2004). "Un principio de incertidumbre basado en la entropía para un grupo abeliano localmente compacto" (PDF) . Revista de análisis funcional . 215 (1). Elsevier Inc.: 241–252. doi : 10.1016/j.jfa.2003.11.008 . Consultado el 23 de junio de 2011 .
6. Bialynicki-Birula, I. (2006). "Formulación de las relaciones de incertidumbre en términos de las entropías de Rényi". Revisión física A. 74 (5): 052101. arXiv : quant-ph/0608116 . Código Bib : 2006PhRvA..74e2101B. doi :10.1103/PhysRevA.74.052101. S2CID  19123961.
7. KI Babenko. Una desigualdad en la teoría de las integrales de Fourier. Izv. Akád. Nauk SSSR, ser. Estera. 25 (1961) págs. 531–542 traducción al inglés, Amer. Matemáticas. Soc. Traducción (2) 44 , págs. 115-128
8. HP Heinig y M. Smith, Extensiones de la desigualdad de Heisenberg-Weil. Internacional. J. Matemáticas. & Matemáticas. Ciencia, vol. 9, núm. 1 (1986) págs. 185-192. [1]

Otras lecturas

• Jizba, P.; Puede.; Hayes, A.; Dunningham, JA (2016). "Clase de relaciones de incertidumbre de un parámetro basadas en el poder de la entropía". Física. Rev.E 93 (6): 060104(R). doi:10.1103/PhysRevE.93.060104.
• Zozor, S.; Vignat, C. (2007). "Sobre clases de minimizadores asintóticos no gaussianos en principios de incertidumbre entrópica". Physica A: Mecánica estadística y sus aplicaciones . 375 (2): 499. arXiv : matemáticas/0605510 . Código Bib : 2007PhyA..375..499Z. doi :10.1016/j.physa.2006.09.019. S2CID  119718352. arXiv: matemáticas/0605510v1
• Maassen, H.; Uffink, J. (1988). "Relaciones de incertidumbre entrópica generalizada" (PDF) . Cartas de revisión física . 60 (12): 1103-1106. Código bibliográfico : 1988PhRvL..60.1103M. doi :10.1103/PhysRevLett.60.1103. PMID  10037942.
• Ballester, M.; Wehner, S. (2007). "Relaciones de incertidumbre entrópica y bloqueo: límites estrictos para bases mutuamente imparciales". Revisión física A. 75 (2): 022319. arXiv : quant-ph/0606244 . Código Bib : 2007PhRvA..75b2319B. doi : 10.1103/PhysRevA.75.022319. S2CID  119470256.
• Ghirardi, G.; Marinatto, L.; Romano, R. (2003). "Una relación de incertidumbre entrópica óptima en un espacio de Hilbert bidimensional". Letras de Física A. 317 (1–2): 32–36. arXiv : quant-ph/0310120 . Código bibliográfico : 2003PhLA..317...32G. doi :10.1016/j.physleta.2003.08.029. S2CID  9267554.
• Salcedo, LL (1998). "Incertidumbre mínima para funciones de onda antisimétricas". Letras en Física Matemática . 43 (3): 233–248. arXiv : quant-ph/9706015 . Código Bib : 1997quant.ph..6015S. doi :10.1023/A:1007464229188. S2CID  18118758.