Negentropía

Medida de distancia a la normalidad

En teoría de la información y estadística , la negentropía se utiliza como una medida de distancia a la normalidad. El concepto y la frase " entropía negativa " fueron introducidos por Erwin Schrödinger en su libro de divulgación científica de 1944 ¿Qué es la vida? ^[1] Más tarde, el físico francés Léon Brillouin acortó la frase a néguentropie (negentropía). ^{[2] [3]} En 1974, Albert Szent-Györgyi propuso reemplazar el término negentropía por sintropía . Ese término puede haberse originado en la década de 1940 con el matemático italiano Luigi Fantappiè , quien intentó construir una teoría unificada de la biología y la física . Buckminster Fuller intentó popularizar este uso, pero la negentropía sigue siendo común.

En una nota para ¿Qué es la vida?, Schrödinger explicó el uso de esta frase.

... si hubiera estado atendiendo sólo a ellos [los físicos], habría dejado que la discusión girara en torno a la energía libre . Es el concepto más familiar en este contexto. Pero este término altamente técnico parecía lingüísticamente demasiado cercano a la energía como para que el lector medio captara el contraste entre las dos cosas.

Teoría de la información

En teoría de la información y estadística , la negentropía se utiliza como una medida de distancia a la normalidad. ^{[4] [5] [6]} De todas las distribuciones con una media y varianza dadas, la distribución normal o gaussiana es la que tiene la entropía más alta . La negentropía mide la diferencia de entropía entre una distribución dada y la distribución gaussiana con la misma media y varianza. Por lo tanto, la negentropía siempre es no negativa, es invariante por cualquier cambio lineal invertible de coordenadas y se desvanece si y solo si la señal es gaussiana.

La negentropía se define como

${\displaystyle J(p_{x})=S(\varphi _{x})-S(p_{x})\,}$

donde es la entropía diferencial de la densidad gaussiana con la misma media y varianza que y es la entropía diferencial de : ${\displaystyle S(\varphi _{x})}$ ${\displaystyle p_{x}}$ ${\displaystyle S(p_{x})}$ ${\displaystyle p_{x}}$

${\displaystyle S(p_{x})=-\int p_{x}(u)\log p_{x}(u)\,du}$

La negentropía se utiliza en estadística y procesamiento de señales . Está relacionada con la entropía de red , que se utiliza en el análisis de componentes independientes . ^{[7] [8]}

La negentropía de una distribución es igual a la divergencia de Kullback-Leibler entre y una distribución gaussiana con la misma media y varianza que (véase Entropía diferencial § Maximización en la distribución normal para una prueba). En particular, siempre es no negativa. ${\displaystyle p_{x}}$ ${\displaystyle p_{x}}$

Correlación entre la negentropía estadística y la energía libre de Gibbs

Gráfica de energía disponible ( energía libre ) de Willard Gibbs de 1873 , que muestra un plano perpendicular al eje de v ( volumen ) y que pasa por el punto A, que representa el estado inicial del cuerpo. MN es la sección de la superficie de energía disipada . Qε y Qη son secciones de los planos η = 0 y ε = 0, y por tanto paralelas a los ejes de ε ( energía interna ) y η ( entropía ) respectivamente. AD y AE son la energía y la entropía del cuerpo en su estado inicial, AB y AC su energía disponible ( energía de Gibbs ) y su capacidad de entropía (la cantidad en la que se puede aumentar la entropía del cuerpo sin cambiar la energía del cuerpo ni aumentar su volumen) respectivamente.

Existe una cantidad física estrechamente vinculada a la energía libre ( entalpía libre ), con una unidad de entropía e isomorfa a la negentropía conocida en estadística y teoría de la información. En 1873, Willard Gibbs creó un diagrama que ilustra el concepto de energía libre correspondiente a la entalpía libre . En el diagrama se puede ver la cantidad llamada capacidad de entropía . Esta cantidad es la cantidad de entropía que se puede aumentar sin cambiar una energía interna o aumentar su volumen. ^[9] En otras palabras, es una diferencia entre la entropía máxima posible, bajo condiciones supuestas, y su entropía real. Corresponde exactamente a la definición de negentropía adoptada en estadística y teoría de la información. Una cantidad física similar fue introducida en 1869 por Massieu para el proceso isotérmico ^{[10] [11] [12]} (ambas cantidades difieren solo con un signo de cifra) y luego Planck para el proceso isotérmico - isobárico . ^{[13] Más recientemente, se ha demostrado que el} potencial termodinámico Massieu-Planck , conocido también como entropía libre , juega un papel importante en la llamada formulación entrópica de la mecánica estadística , ^[14] aplicada entre otras cosas en biología molecular ^[15] y en procesos termodinámicos de no equilibrio. ^[16]

${\displaystyle J=S_{\max }-S=-\Phi =-k\ln Z\,}$

dónde:

${\displaystyle S}$es entropía

${\displaystyle J}$es negentropía (capacidad de entropía de Gibbs)

${\displaystyle \Phi }$¿Cuál es el potencial de Massieu?

${\displaystyle Z}$es la función de partición

${\displaystyle k}$La constante de Boltzmann

En particular, matemáticamente la negentropía (la función de entropía negativa, interpretada en física como entropía libre) es el conjugado convexo de LogSumExp (interpretada en física como energía libre).

Principio de negentropía de la información de Brillouin

En 1953, Léon Brillouin derivó una ecuación general ^[17] que establece que el cambio del valor de un bit de información requiere al menos energía. Esta es la misma energía que el trabajo que produce la máquina de Leó Szilárd en el caso idealista. En su libro ^[18] , exploró más a fondo este problema y concluyó que cualquier causa de este cambio de valor de bit (medición, decisión sobre una pregunta de sí/no, borrado, visualización, etc.) requerirá la misma cantidad de energía. ${\displaystyle kT\ln 2}$

Véase también

• Exergía
• Entropía libre
• Entropía en termodinámica y teoría de la información

Notas

1. Schrödinger, Erwin, ¿Qué es la vida? El aspecto físico de la célula viva , Cambridge University Press, 1944
2. Brillouin, Leon: (1953) "Principio de negentropía de la información", J. of Applied Physics , v. 24(9) , págs. 1152–1163
3. Léon Brillouin, La ciencia y la teoría de la información , Masson, 1959
4. Aapo Hyvärinen, Encuesta sobre análisis de componentes independientes, nodo 32: Negentropía, Laboratorio de informática y ciencias de la información de la Universidad Tecnológica de Heli
5. Aapo Hyvärinen y Erkki Oja, Análisis de componentes independientes: tutorial, nodo14: Negentropía, Laboratorio de Ciencias de la Información y la Computación de la Universidad Tecnológica de Helsinki
6. Ruye Wang, Análisis de componentes independientes, nodo 4: Medidas de no gaussianidad
7. P. Comon, Análisis de componentes independientes: ¿un nuevo concepto?, Procesamiento de señales , 36 287–314, 1994.
8. Didier G. Leibovici y Christian Beckmann, Introducción a los métodos multidireccionales para experimentos de fMRI con múltiples sujetos, Informe técnico FMRIB 2001, Centro Oxford para la obtención de imágenes por resonancia magnética funcional del cerebro (FMRIB), Departamento de Neurología Clínica, Universidad de Oxford, Hospital John Radcliffe, Headley Way, Headington, Oxford, Reino Unido.
9. Willard Gibbs, Un método de representación geométrica de las propiedades termodinámicas de las sustancias por medio de superficies, Transactions of the Connecticut Academy , 382–404 (1873)
10. Massieu, MF (1869a). Sur les fonctions caracteristiques des divers fluides. CR Acad. Ciencia. LXIX:858–862.
11. Massieu, MF (1869b). Adición de memoria de precedentes sobre las funciones características. CR Acad. Ciencia. LXIX:1057–1061.
12. Massieu, MF (1869), compt. Desgarrar. 69 (858): 1057.
13. Planck, M. (1945). Tratado de termodinámica . Dover, Nueva York.
14. Antoni Planes, Eduard Vives, Formulación entrópica de la mecánica estadística Archivado el 11 de octubre de 2008 en Wayback Machine , Variables entrópicas y funciones de Massieu-Planck 24 de octubre de 2000 Universitat de Barcelona
15. John A. Scheilman, Temperatura, estabilidad e interacción hidrofóbica, Biophysical Journal 73 (diciembre de 1997), 2960–2964, Instituto de Biología Molecular, Universidad de Oregón, Eugene, Oregón 97403, EE. UU.
16. Z. Hens y X. de Hemptinne, Enfoque termodinámico de no equilibrio para procesos de transporte en mezclas de gases, Departamento de Química, Universidad Católica de Lovaina, Celestijnenlaan 200 F, B-3001 Heverlee, Bélgica
17. Leon Brillouin, El principio de negentropía de la información, J. Applied Physics 24 , 1152–1163 1953
18. Leon Brillouin, Ciencia y teoría de la información , Dover, 1956