Negentropía

Medida de distancia a la normalidad

En teoría de la información y estadística , la negentropía se utiliza como medida de distancia a la normalidad. El concepto y la frase " entropía negativa " fueron introducidos por Erwin Schrödinger en su libro de divulgación científica de 1944 ¿ Qué es la vida? ^[1] Más tarde, el físico francés Léon Brillouin acortó la frase a néguentropie (negentropía). ^{[2] [3]} En 1974, Albert Szent-Györgyi propuso reemplazar el término negentropía por sintropía . Ese término puede haberse originado en la década de 1940 con el matemático italiano Luigi Fantappiè , quien intentó construir una teoría unificada de la biología y la física . Buckminster Fuller intentó popularizar este uso, pero la negentropía sigue siendo común.

En una nota a ¿Qué es la vida? Schrödinger explicó el uso de esta frase.

... si hubiera estado atendiendo solo a ellos [los físicos], debería haber dejado que la discusión girara en torno a la energía libre . Es la noción más familiar en este contexto. Pero este término altamente técnico parecía lingüísticamente demasiado cercano a energía para hacer que el lector promedio percibiera el contraste entre las dos cosas.

Teoría de la información

En teoría de la información y estadística , la negentropía se utiliza como medida de distancia a la normalidad. ^{[4] [5] [6]} De todas las distribuciones con una media y una varianza determinadas, la distribución normal o gaussiana es la que tiene la entropía más alta . La negentropía mide la diferencia de entropía entre una distribución determinada y la distribución gaussiana con la misma media y varianza. Por tanto, la negentropía siempre es no negativa, es invariante ante cualquier cambio lineal invertible de coordenadas y desaparece si y sólo si la señal es gaussiana.

La negentropía se define como

${\displaystyle J(p_{x})=S(\varphi _{x})-S(p_{x})\,}$

donde es la entropía diferencial de la densidad gaussiana con la misma media y varianza que y es la entropía diferencial de : ${\displaystyle S(\varphi _{x})}$ ${\displaystyle p_{x}}$ ${\displaystyle S(p_{x})}$ ${\displaystyle p_{x}}$

${\displaystyle S(p_{x})=-\int p_{x}(u)\log p_{x}(u)\,du}$

La negentropía se utiliza en estadística y procesamiento de señales . Está relacionado con la entropía de red , que se utiliza en el análisis de componentes independientes . ^{[7] [8]}

La negentropía de una distribución es igual a la divergencia de Kullback-Leibler entre una distribución gaussiana con la misma media y varianza (ver Entropía diferencial § Maximización en la distribución normal para una prueba). En particular, siempre es no negativo. ${\displaystyle p_{x}}$ ${\displaystyle p_{x}}$

Correlación entre la negentropía estadística y la energía libre de Gibbs

Gráfico de energía disponible ( energía libre ) de Willard Gibbs de 1873 , que muestra un plano perpendicular al eje de v ( volumen ) y que pasa por el punto A, que representa el estado inicial del cuerpo. MN es la sección de la superficie de energía disipada . Qε y Qη son secciones de los planos η = 0 y ε = 0, y por tanto paralelas a los ejes de ε ( energía interna ) y η ( entropía ) respectivamente. AD y AE son la energía y la entropía del cuerpo en su estado inicial, AB y AC su energía disponible ( energía de Gibbs ) y su capacidad de entropía (la cantidad en la que se puede aumentar la entropía del cuerpo sin cambiar la energía del cuerpo). cuerpo o aumentando su volumen) respectivamente.

Existe una magnitud física muy ligada a la energía libre ( entalpía libre ), con una unidad de entropía e isomorfa a la negentropía conocida en estadística y teoría de la información. En 1873, Willard Gibbs creó un diagrama que ilustra el concepto de energía libre correspondiente a la entalpía libre . En el diagrama se puede ver la cantidad llamada capacidad de entropía . Esta cantidad es la cantidad de entropía que se puede aumentar sin cambiar una energía interna o aumentar su volumen. ^[9] En otras palabras, es una diferencia entre la entropía máxima posible, bajo condiciones asumidas, y su entropía real. Corresponde exactamente a la definición de negentropía adoptada en estadística y teoría de la información. Massieu introdujo una cantidad física similar en 1869 para el proceso isotérmico ^{[10] [11] [12]} (ambas cantidades difieren sólo en un signo) y luego Planck para el proceso isotérmico - isobárico . ^{[13] Más recientemente, se ha demostrado que el} potencial termodinámico de Massieu-Planck , conocido también como entropía libre , juega un gran papel en la llamada formulación entrópica de la mecánica estadística , ^[14] aplicada entre otras en biología molecular ^{[15 ]} y procesos termodinámicos de desequilibrio. ^[dieciséis]

${\displaystyle J=S_{\max }-S=-\Phi =-k\ln Z\,}$

dónde:

${\displaystyle S}$es entropía

${\displaystyle J}$es la negentropía (Gibbs "capacidad de entropía")

${\displaystyle \Phi }$es el potencial de Massieu

${\displaystyle Z}$es la función de partición

${\displaystyle k}$la constante de Boltzmann

En particular, matemáticamente la negentropía (la función de entropía negativa, en física interpretada como entropía libre) es el conjugado convexo de LogSumExp (en física interpretada como energía libre).

Principio de negentropía de la información de Brillouin

En 1953, Léon Brillouin derivó una ecuación general ^[17] que afirmaba que el cambio de un valor de bit de información requiere al menos energía. Esta es la misma energía que el trabajo que produce el motor de Leó Szilárd en el caso idealista. En su libro, ^[18] Brillouin exploró más a fondo este problema y concluyó que cualquier causa de este cambio de valor de bit (medición, decisión sobre una pregunta de sí/no, borrado, visualización, etc.) requerirá la misma cantidad de energía. ${\displaystyle kT\ln 2}$

Ver también

• Exergía
• Entropía libre
• Entropía en termodinámica y teoría de la información.

Notas

1. Schrödinger, Erwin, ¿Qué es la vida? El aspecto físico de la célula viva , Cambridge University Press, 1944
2. Brillouin, Leon: (1953) "Principio de información de negentropía", J. of Applied Physics , v. 24 (9) , págs.
3. Léon Brillouin, La ciencia y la teoría de la información , Masson, 1959
4. Aapo Hyvärinen, Encuesta sobre análisis de componentes independientes, nodo32: Negentropía, Laboratorio de Ciencias de la Información y la Computación de la Universidad Tecnológica de Helsinki
5. Aapo Hyvärinen y Erkki Oja, Análisis de componentes independientes: tutorial, nodo 14: Negentropía, Laboratorio de Ciencias de la Información y la Computación de la Universidad Tecnológica de Helsinki
6. Ruye Wang, Análisis de componentes independientes, nodo4: Medidas de no gaussianidad
7. P. Comon, Análisis de componentes independientes: ¿un nuevo concepto? Procesamiento de señales , 36 287–314, 1994.
8. Didier G. Leibovici y Christian Beckmann, Introducción a los métodos multidireccionales para experimentos de resonancia magnética funcional de múltiples sujetos, Informe técnico FMRIB 2001, Centro de Oxford para imágenes por resonancia magnética funcional del cerebro (FMRIB), Departamento de Neurología clínica, Universidad de Oxford, John Hospital Radcliffe, Headley Way, Headington, Oxford, Reino Unido.
9. Willard Gibbs, Un método de representación geométrica de las propiedades termodinámicas de sustancias mediante superficies, Transactions of the Connecticut Academy , 382–404 (1873)
10. Massieu, MF (1869a). Sur les fonctions caracteristiques des divers fluides. CR Acad. Ciencia. LXIX:858–862.
11. Massieu, MF (1869b). Adición de memoria de precedentes sobre las funciones características. CR Acad. Ciencia. LXIX:1057–1061.
12. Massieu, MF (1869), compt. Desgarrar. 69 (858): 1057.
13. Planck, M. (1945). Tratado de Termodinámica . Dover, Nueva York.
14. Antoni Planes, Eduard Vives, Formulación entrópica de la mecánica estadística Archivado el 11 de octubre de 2008 en Wayback Machine , Variables entrópicas y funciones de Massieu-Planck 24 de octubre de 2000 Universitat de Barcelona
15. John A. Scheilman, Temperature, Stability, and the Hydrophobic Interaction, Biophysical Journal 73 (diciembre de 1997), 2960–2964, Instituto de Biología Molecular, Universidad de Oregon, Eugene, Oregon 97403 EE. UU.
16. Z. Hens y X. de Hemptinne, Enfoque de termodinámica de no equilibrio para procesos de transporte en mezclas de gases, Departamento de Química, Universidad Católica de Lovaina, Celestijnenlaan 200 F, B-3001 Heverlee, Bélgica
17. Leon Brillouin, El principio de negentropía de la información, J. Applied Physics 24 , 1152-1163 1953
18. Leon Brillouin, Teoría de la ciencia y la información , Dover, 1956