Las expresiones matemáticas para la entropía termodinámica en la formulación de termodinámica estadística establecida por Ludwig Boltzmann y J. Willard Gibbs en la década de 1870 son similares a la entropía de la información de Claude Shannon y Ralph Hartley , desarrollada en la década de 1940.
La expresión definitoria de la entropía en la teoría de la mecánica estadística establecida por Ludwig Boltzmann y J. Willard Gibbs en la década de 1870 tiene la forma:
donde es la probabilidad del microestado i tomado de un conjunto de equilibrio , y es la constante de Boltzmann .
La expresión definitoria de la entropía en la teoría de la información establecida por Claude E. Shannon en 1948 es de la forma:
donde es la probabilidad del mensaje tomado del espacio de mensajes M y b es la base del logaritmo utilizado. Los valores comunes de b son 2, el número de Euler e y 10, y la unidad de entropía es shannon (o bit ) para b = 2, nat para b = e y hartley para b = 10. [1]
Matemáticamente, H también puede verse como una información promedio, tomada sobre el espacio del mensaje, porque cuando un determinado mensaje ocurre con probabilidad p i , se obtendrá la cantidad de información −log( p i ) (llamada contenido de información o autoinformación).
Si todos los microestados son equiprobables (un conjunto microcanónico ), la entropía termodinámica estadística se reduce a la forma dada por Boltzmann,
donde W es el número de microestados que corresponde al estado termodinámico macroscópico . Por lo tanto, S depende de la temperatura.
Si todos los mensajes son equiprobables, la entropía de la información se reduce a la entropía de Hartley.
donde es la cardinalidad del espacio de mensajes M .
El logaritmo en la definición termodinámica es el logaritmo natural . Se puede demostrar que la fórmula de entropía de Gibbs , con el logaritmo natural, reproduce todas las propiedades de la termodinámica clásica macroscópica de Rudolf Clausius . (Ver artículo: Entropía (perspectivas estadísticas) ).
El logaritmo también se puede llevar a la base natural en el caso de la entropía de la información. Esto es equivalente a elegir medir la información en nats en lugar de los bits habituales (o más formalmente, shannons). En la práctica, la entropía de la información casi siempre se calcula utilizando logaritmos de base 2, pero esta distinción no equivale a nada más que a un cambio de unidades. Un nat equivale aproximadamente a 1,44 shannons.
Para un sistema compresible simple que sólo puede realizar trabajo de volumen, la primera ley de la termodinámica se convierte en
Pero uno puede igualmente escribir esta ecuación en términos de lo que los físicos y químicos a veces llaman la entropía "reducida" o adimensional, σ = S / k , de modo que
Así como S es conjugado a T , entonces σ es conjugado a k B T (la energía que es característica de T a escala molecular).
Por lo tanto, las definiciones de entropía en mecánica estadística (la fórmula de entropía de Gibbs ) y en termodinámica clásica ( y la relación termodinámica fundamental ) son equivalentes para el conjunto microcanónico y los conjuntos estadísticos que describen un sistema termodinámico en equilibrio con un reservorio, como el conjunto canónico , el conjunto grancanónico y el conjunto isotérmico-isobárico . Esta equivalencia se muestra comúnmente en los libros de texto. Sin embargo, la equivalencia entre la definición termodinámica de entropía y la entropía de Gibbs no es general sino una propiedad exclusiva de la distribución generalizada de Boltzmann . [2]
Además, se ha demostrado que las definiciones de entropía en mecánica estadística son la única entropía que es equivalente a la entropía de la termodinámica clásica bajo los siguientes postulados: [3]
A pesar de lo anterior, existe una diferencia entre las dos cantidades. La entropía de información Η se puede calcular para cualquier distribución de probabilidad (si se toma como "mensaje" que el evento i que tenía probabilidad p i ocurrió, de entre el espacio de los eventos posibles), mientras que la entropía termodinámica S se refiere específicamente a las probabilidades termodinámicas p i . Sin embargo, la diferencia es más teórica que real, porque cualquier distribución de probabilidad puede ser aproximada de manera arbitraria mediante algún sistema termodinámico. [ cita requerida ]
Además, se puede hacer una conexión directa entre ambos. Si las probabilidades en cuestión son las probabilidades termodinámicas p i : la entropía de Gibbs (reducida) σ puede entonces verse simplemente como la cantidad de información de Shannon necesaria para definir el estado microscópico detallado del sistema, dada su descripción macroscópica. O, en palabras de GN Lewis escribiendo sobre la entropía química en 1930, "La ganancia de entropía siempre significa pérdida de información, y nada más". Para ser más concretos, en el caso discreto que utiliza logaritmos de base dos, la entropía de Gibbs reducida es igual al promedio del número mínimo de preguntas de sí o no que se necesitan responder para especificar completamente el microestado , dado que conocemos el macroestado.
Además, la prescripción de encontrar las distribuciones de equilibrio de la mecánica estadística —como la distribución de Boltzmann— maximizando la entropía de Gibbs sujeta a restricciones apropiadas (el algoritmo de Gibbs ) puede verse como algo no exclusivo de la termodinámica, sino como un principio de relevancia general en la inferencia estadística, si se desea encontrar una distribución de probabilidad máximamente no informativa , sujeta a ciertas restricciones en sus promedios. (Estas perspectivas se exploran más a fondo en el artículo Termodinámica de máxima entropía ).
La entropía de Shannon en la teoría de la información se expresa a veces en unidades de bits por símbolo. La entropía física puede expresarse en términos de "cantidad" ( h ), lo que se denomina entropía " intensiva ", en lugar de la entropía total habitual, que se denomina entropía "extensiva". Los "shannon" de un mensaje ( Η ) son su entropía de información "extensiva" total y son h multiplicados por el número de bits del mensaje.
Se puede encontrar una relación directa y físicamente real entre h y S asignando un símbolo a cada microestado que se presente por mol, kilogramo, volumen o partícula de una sustancia homogénea, y luego calculando la 'h' de estos símbolos. Por teoría o por observación, los símbolos (microestados) aparecerán con diferentes probabilidades y esto determinará h . Si hay N moles, kilogramos, volúmenes o partículas de la sustancia unitaria, la relación entre h (en bits por sustancia unitaria) y la entropía extensiva física en nats es:
donde ln(2) es el factor de conversión de la entropía de Shannon en base 2 a la entropía física en base natural e. N h es la cantidad de información en bits necesaria para describir el estado de un sistema físico con entropía S. El principio de Landauer demuestra la realidad de esto al afirmar que la energía mínima E requerida (y por lo tanto el calor Q generado) por un cambio de memoria o una operación lógica idealmente eficiente borrando o fusionando irreversiblemente N h bits de información será S multiplicado por la temperatura, que es
donde h se expresa en bits de información y E y Q en julios físicos. Esto ha sido confirmado experimentalmente. [4]
La temperatura es una medida de la energía cinética promedio por partícula en un gas ideal (kelvin = 2/3 julios/ k B ) por lo que las unidades J/K de k B son adimensionales (julio/julio). k b es el factor de conversión de energía en 3/2 kelvins a julios para un gas ideal. Si las mediciones de energía cinética por partícula de un gas ideal se expresaran en julios en lugar de kelvins, k b en las ecuaciones anteriores se reemplazaría por 3/2. Esto demuestra que S es una verdadera medida estadística de microestados que no tiene una unidad física fundamental más allá de las unidades de información, en este caso nats, que es solo una declaración de qué base logarítmica se eligió por convención.
En 1929, Leó Szilárd estableció un experimento mental físico que demostraba cómo la mera posesión de información podía, en principio, tener consecuencias termodinámicas , en un refinamiento del famoso escenario del demonio de Maxwell [5] (y una inversión del experimento mental de expansión de Joule ).
Consideremos el planteamiento de Maxwell, pero con una única partícula de gas en una caja. Si el demonio sobrenatural sabe en qué mitad de la caja se encuentra la partícula (equivalente a un único bit de información), puede cerrar un obturador entre las dos mitades de la caja, cerrar un pistón sin oposición en la mitad vacía de la caja y luego extraer julios de trabajo útil si el obturador se abre de nuevo. La partícula puede entonces expandirse isotérmicamente de nuevo a su volumen original de equilibrio ocupado. Por lo tanto, en las circunstancias adecuadas, la posesión de un único bit de información de Shannon (un único bit de negentropía en términos de Brillouin) realmente corresponde a una reducción de la entropía del sistema físico. La entropía global no disminuye, pero es posible la conversión de información en energía libre.
Este experimento mental se ha demostrado físicamente, utilizando un microscopio de contraste de fases equipado con una cámara de alta velocidad conectada a una computadora, que actúa como el demonio . [6] En este experimento, la conversión de información a energía se realiza en una partícula browniana por medio de control de retroalimentación ; es decir, sincronizando el trabajo dado a la partícula con la información obtenida sobre su posición. El cálculo de balances de energía para diferentes protocolos de retroalimentación ha confirmado que la igualdad de Jarzynski requiere una generalización que tenga en cuenta la cantidad de información involucrada en la retroalimentación.
De hecho, se puede generalizar: cualquier información que tenga una representación física debe estar de alguna manera incorporada a los grados de libertad mecánicos estadísticos de un sistema físico.
Así, Rolf Landauer argumentó en 1961 que, si uno se imaginara que se parte de esos grados de libertad en un estado termalizado, habría una reducción real de la entropía termodinámica si luego se los restableciera a un estado conocido. Esto solo se puede lograr bajo una dinámica microscópicamente determinista que preserve la información si la incertidumbre se descarga de alguna manera en otro lugar, es decir, si la entropía del entorno (o de los grados de libertad que no contienen información) se incrementa al menos en una cantidad equivalente, como lo requiere la Segunda Ley, al ganar una cantidad apropiada de calor: específicamente kT ln 2 de calor por cada bit de aleatoriedad borrado.
Por otra parte, Landauer argumentó que no hay objeción termodinámica a que una operación lógicamente reversible pueda lograrse potencialmente de una manera físicamente reversible en el sistema. Son sólo las operaciones lógicamente irreversibles –por ejemplo, el borrado de un bit a un estado conocido, o la fusión de dos caminos de computación– las que deben ir acompañadas de un aumento correspondiente de entropía. Cuando la información es física, todo el procesamiento de sus representaciones, es decir, generación, codificación, transmisión, decodificación e interpretación, son procesos naturales donde la entropía aumenta por el consumo de energía libre. [7]
Aplicado al escenario del demonio de Maxwell/motor de Szilard, esto sugiere que podría ser posible "leer" el estado de la partícula en un aparato informático sin costo de entropía; pero sólo si el aparato ya ha sido FIJADO en un estado conocido, en lugar de estar en un estado termalizado de incertidumbre. FIJAR ( o REINICIAR ) el aparato en este estado costará toda la entropía que se puede ahorrar conociendo el estado de la partícula de Szilard.
En 2008 y 2009, los investigadores demostraron que el principio de Landauer puede derivarse de la segunda ley de la termodinámica y del cambio de entropía asociado con la ganancia de información, desarrollando la termodinámica de los sistemas controlados por retroalimentación cuántica y clásica. [8] [9]
El físico Léon Brillouin relacionó la entropía de Shannon con un concepto a veces llamado negentropía . En 1953, Brillouin derivó una ecuación general [10] que establece que el cambio de un valor de bit de información requiere al menos kT ln(2) de energía. Esta es la misma energía que el trabajo que produce la máquina de Leo Szilard en el caso idealista, que a su vez es igual a la misma cantidad encontrada por Landauer . En su libro, [11] exploró más a fondo este problema y concluyó que cualquier causa de un cambio de valor de bit (medición, decisión sobre una pregunta de sí/no, borrado, visualización, etc.) requerirá la misma cantidad, kT ln(2), de energía. En consecuencia, la adquisición de información sobre los microestados de un sistema está asociada con una producción de entropía , mientras que el borrado produce producción de entropía solo cuando el valor de bit está cambiando. Establecer un bit de información en un subsistema originalmente en equilibrio térmico da como resultado una reducción de entropía local. Sin embargo, no hay violación de la segunda ley de la termodinámica, según Brillouin, ya que una reducción en la entropía termodinámica de cualquier sistema local resulta en un aumento de la entropía termodinámica en otra parte. De esta manera, Brillouin aclaró el significado de la negentropía que se consideró controvertida porque su comprensión anterior puede producir una eficiencia de Carnot superior a uno. Además, la relación entre energía e información formulada por Brillouin se ha propuesto como una conexión entre la cantidad de bits que procesa el cerebro y la energía que consume: Collell y Fauquet [12] argumentaron que De Castro [13] encontró analíticamente el límite de Landauer como el límite inferior termodinámico para los cálculos cerebrales. Sin embargo, aunque se supone que la evolución ha "seleccionado" los procesos energéticamente más eficientes, los límites inferiores físicos no son cantidades realistas en el cerebro. En primer lugar, porque la unidad mínima de procesamiento considerada en física es el átomo/molécula, que está lejos de la forma real en que opera el cerebro; y, en segundo lugar, porque las redes neuronales incorporan importantes factores de redundancia y ruido que reducen en gran medida su eficiencia. [14] Laughlin et al. [15] fue el primero en proporcionar cantidades explícitas para el costo energético del procesamiento de información sensorial. Sus hallazgos en moscas azules revelaron que para los datos sensoriales visuales, el costo de transmitir un bit de información es de alrededor de 5 × 10 −14 julios, o equivalentemente 10 4 moléculas de ATP. Por lo tanto, la eficiencia del procesamiento neuronal aún está lejos del límite de Landauer de kTln(2) J, pero como dato curioso, todavía es mucho más eficiente que las computadoras modernas.
En 2009, Mahulikar y Herwig redefinieron la negentropía termodinámica como el déficit de entropía específico del subsistema ordenado dinámicamente en relación con su entorno. [16] Esta definición permitió la formulación del Principio de Negentropía , que se desprende matemáticamente de la Segunda Ley de la Termodinámica, durante la existencia del orden.
Hirschman demostró, [17] cf. Incertidumbre de Hirschman , que el principio de incertidumbre de Heisenberg puede expresarse como un límite inferior particular para la suma de las entropías de distribución clásicas de las distribuciones de probabilidad observables cuánticas de un estado mecánico cuántico, el cuadrado de la función de onda, en coordenadas, y también en el espacio de momento, cuando se expresa en unidades de Planck . Las desigualdades resultantes proporcionan un límite más estricto para las relaciones de incertidumbre de Heisenberg.
Tiene sentido asignar una " entropía conjunta ", porque las posiciones y los momentos son variables cuánticas conjugadas y, por lo tanto, no son observables conjuntamente. Matemáticamente, deben tratarse como una distribución conjunta . Nótese que esta entropía conjunta no es equivalente a la entropía de Von Neumann , −Tr ρ ln ρ = −⟨ln ρ ⟩. Se dice que la entropía de Hirschman explica el contenido de información completo de una mezcla de estados cuánticos . [18]
(La insatisfacción con la entropía de Von Neumann desde el punto de vista de la información cuántica ha sido expresada por Stotland, Pomeransky, Bachmat y Cohen, quienes han introducido una definición diferente de entropía que refleja la incertidumbre inherente de los estados mecánicos cuánticos. Esta definición permite distinguir entre la entropía de incertidumbre mínima de los estados puros y el exceso de entropía estadística de las mezclas. [19] )
Demostramos que la energía libre se obtiene mediante un control de retroalimentación utilizando la información sobre el sistema; la información se convierte en energía libre, como la primera realización del demonio de Maxwell de tipo Szilard.
