Las expresiones matemáticas para la entropía termodinámica en la formulación de termodinámica estadística establecida por Ludwig Boltzmann y J. Willard Gibbs en la década de 1870 son similares a la entropía de la información de Claude Shannon y Ralph Hartley , desarrollada en la década de 1940.
La expresión que define la entropía en la teoría de la mecánica estadística establecida por Ludwig Boltzmann y J. Willard Gibbs en la década de 1870 es de la forma:
donde es la probabilidad del microestado i tomado de un conjunto de equilibrio , y es la constante de Boltzmann .
La expresión que define la entropía en la teoría de la información establecida por Claude E. Shannon en 1948 es de la forma:
donde es la probabilidad del mensaje tomado del espacio de mensajes M y b es la base del logaritmo utilizado. Los valores comunes de b son 2, el número de Euler e y 10, y la unidad de entropía es shannon (o bit ) para b = 2, nat para b = e y hartley para b = 10. [1]
Matemáticamente , H también puede verse como una información promedio, tomada del espacio del mensaje, porque cuando cierto mensaje ocurre con probabilidad pi , se obtendrá la cantidad de información −log( pi ) (llamada contenido de información o autoinformación).
Si todos los microestados son equiprobables (un conjunto microcanónico ), la entropía termodinámica estadística se reduce a la forma, dada por Boltzmann,
donde W es el número de microestados que corresponde al estado termodinámico macroscópico . Por tanto S depende de la temperatura.
Si todos los mensajes son equiprobables, la entropía de la información se reduce a la entropía de Hartley.
¿Dónde está la cardinalidad del espacio de mensajes M ?
El logaritmo en la definición termodinámica es el logaritmo natural . Se puede demostrar que la fórmula de la entropía de Gibbs , con el logaritmo natural, reproduce todas las propiedades de la termodinámica clásica macroscópica de Rudolf Clausius . (Ver artículo: Entropía (vistas estadísticas) ).
El logaritmo también se puede llevar a la base natural en el caso de la entropía de la información. Esto equivale a elegir medir la información en nats en lugar de los bits habituales (o más formalmente, shannons). En la práctica, la entropía de la información casi siempre se calcula utilizando logaritmos de base 2, pero esta distinción no equivale a nada más que un cambio de unidades. Un nat equivale aproximadamente a 1,44 shannons.
Para un sistema compresible simple que sólo puede realizar trabajo volumétrico, la primera ley de la termodinámica se convierte en
Pero también se puede escribir esta ecuación en términos de lo que los físicos y químicos a veces llaman entropía "reducida" o adimensional, σ = S / k , de modo que
Así como S está conjugado con T , σ está conjugado con k B T (la energía característica de T a escala molecular).
Así, las definiciones de entropía en mecánica estadística (la fórmula de entropía de Gibbs ) y en termodinámica clásica ( y la relación termodinámica fundamental ) son equivalentes para conjuntos microcanónicos y conjuntos estadísticos que describen un sistema termodinámico en equilibrio con un depósito, como el conjunto canónico. , gran conjunto canónico , conjunto isotérmico-isobárico . Esta equivalencia se muestra comúnmente en los libros de texto. Sin embargo, la equivalencia entre la definición termodinámica de entropía y la entropía de Gibbs no es general sino una propiedad exclusiva de la distribución generalizada de Boltzmann . [2]
Además, se ha demostrado que las definiciones de entropía en mecánica estadística es la única entropía que es equivalente a la entropía de la termodinámica clásica bajo los siguientes postulados: [3]
A pesar de lo anterior, existe una diferencia entre ambas cantidades. La entropía de información Η se puede calcular para cualquier distribución de probabilidad (si se considera que el "mensaje" es que el evento i que tenía probabilidad p i ocurrió, fuera del espacio de los eventos posibles), mientras que la entropía termodinámica S se refiere a la termodinámica. probabilidades p i específicamente. Sin embargo, la diferencia es más teórica que real, porque algún sistema termodinámico puede aproximar arbitrariamente cualquier distribución de probabilidad. [ cita necesaria ]
Además, se puede establecer una conexión directa entre los dos. Si las probabilidades en cuestión son las probabilidades termodinámicas p i : la entropía de Gibbs (reducida) σ puede verse entonces simplemente como la cantidad de información de Shannon necesaria para definir el estado microscópico detallado del sistema, dada su descripción macroscópica. O, en palabras de GN Lewis al escribir sobre la entropía química en 1930, "La ganancia de entropía siempre significa pérdida de información, y nada más". Para ser más concretos, en el caso discreto que utiliza logaritmos de base dos, la entropía de Gibbs reducida es igual al promedio del número mínimo de preguntas de tipo sí o no que es necesario responder para especificar completamente el microestado , dado que conocemos el macroestado. .
Además, la prescripción de encontrar las distribuciones de equilibrio de la mecánica estadística, como la distribución de Boltzmann, maximizando la entropía de Gibbs sujeta a restricciones apropiadas (el algoritmo de Gibbs ) puede verse como algo no exclusivo de la termodinámica, sino como un principio de relevancia general. en inferencia estadística, si se desea encontrar una distribución de probabilidad máximamente no informativa , sujeta a ciertas restricciones en sus promedios. (Estas perspectivas se exploran más a fondo en el artículo Termodinámica de máxima entropía ).
La entropía de Shannon en la teoría de la información a veces se expresa en unidades de bits por símbolo. La entropía física puede ser "por cantidad" ( h ), lo que se denomina entropía " intensiva " en lugar de la entropía total habitual, que se denomina entropía "extensiva". Los "shannons" de un mensaje ( Η ) son su entropía de información "extensa" total y es h veces el número de bits del mensaje.
Se puede encontrar una relación directa y físicamente real entre h y S asignando un símbolo a cada microestado que ocurre por mol, kilogramo, volumen o partícula de una sustancia homogénea y luego calculando la 'h' de estos símbolos. Por teoría o por observación, los símbolos (microestados) ocurrirán con diferentes probabilidades y esto determinará h . Si hay N moles, kilogramos, volúmenes o partículas de la sustancia unitaria, la relación entre h (en bits por unidad de sustancia) y la entropía física extensiva en nats es:
donde ln(2) es el factor de conversión de la base 2 de la entropía de Shannon a la base natural e de la entropía física. N h es la cantidad de información en bits necesaria para describir el estado de un sistema físico con entropía S. El principio de Landauer demuestra la realidad de esto al establecer que la energía mínima E requerida (y por lo tanto el calor Q generado) por un cambio de memoria u operación lógica idealmente eficiente al borrar o fusionar irreversiblemente N h bits de información será S veces la temperatura que es
donde h está en bits informativos y E y Q están en julios físicos. Esto ha sido confirmado experimentalmente. [4]
La temperatura es una medida de la energía cinética promedio por partícula en un gas ideal (kelvins = 2/3 julios/ k B ) por lo que las unidades J/K de k B no tienen dimensiones (julio/julio). k b es el factor de conversión de energía en 3/2 kelvins a julios para un gas ideal. Si las mediciones de energía cinética por partícula de un gas ideal se expresaran como julios en lugar de kelvins, k b en las ecuaciones anteriores se reemplazaría por 3/2. Esto muestra que S es una verdadera medida estadística de microestados que no tiene una unidad física fundamental distinta de las unidades de información, en este caso nats, que es solo una declaración de qué base de logaritmo se eligió por convención.
Leó Szilárd estableció en 1929 un experimento mental físico que demuestra cómo la mera posesión de información podría, en principio, tener consecuencias termodinámicas , en un refinamiento del famoso escenario del demonio de Maxwell [5] (y una reversión del experimento mental de expansión de Joule ).
Considere la configuración de Maxwell, pero con una sola partícula de gas en una caja. Si el demonio sobrenatural sabe en qué mitad de la caja se encuentra la partícula (equivalente a un solo bit de información), puede cerrar una contraventana entre las dos mitades de la caja, cerrar un pistón sin oposición en la mitad vacía de la caja y luego extraiga julios de trabajo útil si se abre nuevamente la contraventana. Luego se puede dejar que la partícula se expanda isotérmicamente hasta su volumen ocupado en equilibrio original. Por lo tanto, en las circunstancias adecuadas, la posesión de un solo bit de información de Shannon (un solo bit de negentropía en términos de Brillouin) realmente corresponde a una reducción en la entropía del sistema físico. La entropía global no disminuye, pero es posible obtener información para liberar la conversión de energía.
Este experimento mental se ha demostrado físicamente utilizando un microscopio de contraste de fases equipado con una cámara de alta velocidad conectada a una computadora, actuando como el demonio . [6] En este experimento, la conversión de información a energía se realiza en una partícula browniana mediante control de retroalimentación ; es decir, sincronizar el trabajo dado a la partícula con la información obtenida sobre su posición. Calcular los balances de energía para diferentes protocolos de retroalimentación ha confirmado que la igualdad de Jarzynski requiere una generalización que tenga en cuenta la cantidad de información involucrada en la retroalimentación.
De hecho, se puede generalizar: cualquier información que tenga una representación física debe estar de alguna manera integrada en los grados de libertad mecánicos estadísticos de un sistema físico.
Así, Rolf Landauer argumentó en 1961, si uno imaginara comenzar con esos grados de libertad en un estado termalizado, habría una reducción real de la entropía termodinámica si luego se restablecieran a un estado conocido. Esto sólo puede lograrse bajo una dinámica microscópicamente determinista que preserva la información si la incertidumbre se descarga de alguna manera en otro lugar, es decir, si la entropía del entorno (o los grados de libertad que no contienen información) se incrementa en al menos una cantidad equivalente, como se requiere. por la Segunda Ley, ganando una cantidad apropiada de calor: específicamente kT ln 2 de calor por cada bit de aleatoriedad borrado.
Por otro lado, argumentó Landauer, no existe ninguna objeción termodinámica a que una operación lógicamente reversible se logre potencialmente de una manera físicamente reversible en el sistema. Sólo las operaciones lógicamente irreversibles (por ejemplo, borrar un bit a un estado conocido o fusionar dos rutas de cálculo) deben ir acompañadas del correspondiente aumento de entropía. Cuando la información es física, todo procesamiento de sus representaciones, es decir, generación, codificación, transmisión, decodificación e interpretación, son procesos naturales donde la entropía aumenta por el consumo de energía libre. [7]
Aplicado al escenario del demonio de Maxwell/motor Szilard, esto sugiere que podría ser posible "leer" el estado de la partícula en un aparato informático sin costo de entropía; pero sólo si el aparato ya ha sido CONFIGURADO en un estado conocido, en lugar de estar en un estado termalizado de incertidumbre. SET (o RESET ) el aparato a este estado costará toda la entropía que se pueda ahorrar conociendo el estado de la partícula de Szilard .
En 2008 y 2009, los investigadores demostraron que el principio de Landauer se puede derivar de la segunda ley de la termodinámica y el cambio de entropía asociado con la ganancia de información, desarrollando la termodinámica de los sistemas cuánticos y clásicos controlados por retroalimentación. [8] [9]
La entropía de Shannon ha sido relacionada por el físico Léon Brillouin con un concepto a veces llamado negentropía . En 1953, Brillouin derivó una ecuación general [10] que establecía que el cambio de un valor de bit de información requiere al menos kT ln(2) de energía. Esta es la misma energía que el trabajo que produce la máquina de Leo Szilard en el caso idealista, que a su vez equivale a la misma cantidad encontrada por Landauer . En su libro, [11] exploró más a fondo este problema y concluyó que cualquier causa de cambio de valor de un bit (medición, decisión sobre una pregunta de sí/no, borrado, visualización, etc.) requerirá la misma cantidad, kT ln(2) , de energía. En consecuencia, adquirir información sobre los microestados de un sistema está asociado con una producción de entropía , mientras que el borrado produce producción de entropía sólo cuando el valor del bit está cambiando. Configurar un poco de información en un subsistema originalmente en equilibrio térmico da como resultado una reducción de entropía local. Sin embargo, según Brillouin, no hay violación de la segunda ley de la termodinámica, ya que una reducción en la entropía termodinámica de cualquier sistema local da como resultado un aumento de la entropía termodinámica en otros lugares. De esta manera, Brillouin aclaró el significado de negentropía, que se consideró controvertido porque su comprensión anterior puede producir una eficiencia de Carnot superior a uno. Además, la relación entre energía e información formulada por Brillouin ha sido propuesta como una conexión entre la cantidad de bits que procesa el cerebro y la energía que consume: Collell y Fauquet [12] argumentaron que De Castro [13] encontró analíticamente el límite de Landauer. como el límite inferior termodinámico para los cálculos cerebrales. Sin embargo, aunque se supone que la evolución ha "seleccionado" los procesos energéticamente más eficientes, los límites físicos inferiores no son cantidades realistas en el cerebro. En primer lugar, porque la unidad mínima de procesamiento considerada en física es el átomo/molécula, lo cual dista mucho del funcionamiento real del cerebro; y, en segundo lugar, porque las redes neuronales incorporan importantes factores de redundancia y ruido que reducen en gran medida su eficiencia. [14] Laughlin y cols. [15] fue el primero en proporcionar cantidades explícitas para el costo energético del procesamiento de información sensorial. Sus hallazgos en moscas azules revelaron que, para los datos sensoriales visuales, el coste de transmitir un bit de información es de alrededor de 5 × 10 −14 julios, o equivalentemente 10 4 moléculas de ATP. Así, la eficiencia del procesamiento neuronal aún está lejos del límite de Landauer de kTln(2) J, pero como dato curioso, sigue siendo mucho más eficiente que las computadoras modernas.
En 2009, Mahulikar & Herwig redefinieron la negentropía termodinámica como el déficit de entropía específico del subsistema ordenado dinámicamente en relación con su entorno. [16] Esta definición permitió la formulación del Principio de Negentropía , que se muestra matemáticamente como resultado de la Segunda Ley de la Termodinámica, durante la existencia del orden.
Hirschman demostró, [17] cf. Incertidumbre de Hirschman , que el principio de incertidumbre de Heisenberg puede expresarse como un límite inferior particular en la suma de las entropías de distribución clásica de las distribuciones de probabilidad cuánticas observables de un estado mecánico cuántico, el cuadrado de la función de onda, en coordenadas, y también en el espacio de momento. , cuando se expresa en unidades de Planck . Las desigualdades resultantes proporcionan un límite más estricto a las relaciones de incertidumbre de Heisenberg.
Tiene sentido asignar una " entropía conjunta ", porque las posiciones y los momentos son variables cuánticas conjugadas y, por lo tanto, no son observables conjuntamente. Matemáticamente, deben tratarse como una distribución conjunta . Tenga en cuenta que esta entropía conjunta no es equivalente a la entropía de Von Neumann , −Tr ρ ln ρ = −⟨ln ρ ⟩. Se dice que la entropía de Hirschman explica todo el contenido de información de una mezcla de estados cuánticos . [18]
(Stotland, Pomeransky, Bachmat y Cohen han expresado su insatisfacción con la entropía de Von Neumann desde el punto de vista de la información cuántica, quienes han introducido una definición aún diferente de entropía que refleja la incertidumbre inherente de los estados de la mecánica cuántica. Esta definición permite distinguir entre los la entropía de incertidumbre mínima de los estados puros y el exceso de entropía estadística de las mezclas [19] ) .
Demostramos que la energía libre se obtiene mediante un control de retroalimentación utilizando la información sobre el sistema; la información se convierte en energía libre, como la primera realización del demonio de Maxwell tipo Szilard.
