En física , la termodinámica de máxima entropía (coloquialmente, termodinámica MaxEnt ) considera la termodinámica del equilibrio y la mecánica estadística como procesos de inferencia . Más específicamente, MaxEnt aplica técnicas de inferencia arraigadas en la teoría de la información de Shannon , la probabilidad bayesiana y el principio de máxima entropía . Estas técnicas son relevantes para cualquier situación que requiera predicción a partir de datos incompletos o insuficientes (por ejemplo, reconstrucción de imágenes , procesamiento de señales , análisis espectral y problemas inversos ). La termodinámica MaxEnt comenzó con dos artículos de Edwin T. Jaynes publicados en Physical Review de 1957. [1] [2]
El principio de máxima entropía es central para la tesis MaxEnt . Exige que se dé un modelo parcialmente especificado y algunos datos específicos relacionados con el modelo. Selecciona una distribución de probabilidad preferida para representar el modelo. Los datos dados indican "información comprobable" [3] [4] sobre la distribución de probabilidad , por ejemplo, valores de expectativa particulares , pero no son suficientes en sí mismos para determinarla de manera única. El principio establece que se debe preferir la distribución que maximice la entropía de información de Shannon .
Este algoritmo se conoce como el algoritmo de Gibbs y fue introducido por J. Willard Gibbs en 1878 para crear conjuntos estadísticos que permitieran predecir las propiedades de los sistemas termodinámicos en equilibrio. Es la piedra angular del análisis mecánico estadístico de las propiedades termodinámicas de los sistemas en equilibrio (véase función de partición ).
Se establece así una conexión directa entre la entropía termodinámica de equilibrio S Th , una función de estado de la presión, el volumen, la temperatura, etc., y la entropía de información para la distribución prevista con máxima incertidumbre condicionada únicamente a los valores esperados de esas variables:
k B , la constante de Boltzmann , no tiene aquí un significado físico fundamental, pero es necesaria para mantener la coherencia con la definición histórica previa de entropía de Clausius (1865) (véase constante de Boltzmann ).
Sin embargo, la escuela MaxEnt sostiene que el enfoque MaxEnt es una técnica general de inferencia estadística, con aplicaciones que van mucho más allá de esto. Por lo tanto, también se puede utilizar para predecir una distribución de "trayectorias" Γ "a lo largo de un período de tiempo" maximizando:
Esta "entropía de la información" no tiene necesariamente una correspondencia simple con la entropía termodinámica, pero puede utilizarse para predecir características de sistemas termodinámicos fuera de equilibrio a medida que evolucionan con el tiempo.
En el caso de los escenarios de no equilibrio, en una aproximación que supone un equilibrio termodinámico local , con el enfoque de máxima entropía, las relaciones recíprocas de Onsager y las relaciones de Green-Kubo se aplican directamente. El enfoque también crea un marco teórico para el estudio de algunos casos muy especiales de escenarios alejados del equilibrio, lo que hace que la derivación del teorema de fluctuación de la producción de entropía sea sencilla. En el caso de los procesos de no equilibrio, como ocurre con las descripciones macroscópicas, también falta una definición general de la entropía para las explicaciones mecánicas estadísticas microscópicas.
Nota técnica : Por las razones expuestas en el artículo sobre entropía diferencial , la definición simple de entropía de Shannon deja de ser directamente aplicable para variables aleatorias con funciones de distribución de probabilidad continuas . En cambio, la cantidad adecuada para maximizar es la "entropía relativa de la información".
H c es el negativo de la divergencia de Kullback–Leibler , o información de discriminación, de m ( x ) a partir de p ( x ), donde m ( x ) es una medida invariante previa para la(s) variable(s). La entropía relativa H c siempre es menor que cero, y puede considerarse como (el negativo de) la cantidad de bits de incertidumbre perdidos al fijarse en p ( x ) en lugar de m ( x ). A diferencia de la entropía de Shannon, la entropía relativa H c tiene la ventaja de permanecer finita y bien definida para x continua , e invariante bajo transformaciones de coordenadas 1 a 1. Las dos expresiones coinciden para distribuciones de probabilidad discretas , si se puede suponer que m ( x i ) es uniforme, es decir, el principio de probabilidad a priori igual , que subyace a la termodinámica estadística.
Los partidarios del punto de vista MaxEnt adoptan una postura clara sobre algunas de las cuestiones conceptuales y filosóficas de la termodinámica. Esta postura se esboza a continuación.
Jaynes (1985, [5] 2003, [6] et passim ) discutió el concepto de probabilidad. De acuerdo con el punto de vista MaxEnt, las probabilidades en mecánica estadística están determinadas conjuntamente por dos factores: por modelos particulares especificados respectivamente para el espacio de estados subyacente (por ejemplo, el espacio de fase de Liouvillian ); y por descripciones parciales particulares especificadas respectivamente del sistema (la descripción macroscópica del sistema utilizada para restringir la asignación de probabilidad MaxEnt). Las probabilidades son objetivas en el sentido de que, dadas estas entradas, resultará una distribución de probabilidad definida de manera única, la misma para cada investigador racional, independientemente de la subjetividad u opinión arbitraria de personas particulares. Las probabilidades son epistémicas en el sentido de que se definen en términos de datos especificados y se derivan de esos datos mediante reglas de inferencia definidas y objetivas, las mismas para cada investigador racional. [7] Aquí la palabra epistémico, que se refiere al conocimiento científico objetivo e impersonal, el mismo para todo investigador racional, se utiliza en el sentido que la contrasta con opinativo, que se refiere a las creencias subjetivas o arbitrarias de personas particulares; este contraste fue utilizado por Platón y Aristóteles , y sigue siendo confiable hoy en día.
Jaynes también utilizó la palabra "subjetivo" en este contexto porque otros la han utilizado en este contexto. Aceptó que, en cierto sentido, un estado de conocimiento tiene un aspecto subjetivo, simplemente porque se refiere al pensamiento, que es un proceso mental. Pero enfatizó que el principio de máxima entropía se refiere solo al pensamiento que es racional y objetivo, independiente de la personalidad del pensador. En general, desde un punto de vista filosófico, las palabras "subjetivo" y "objetivo" no son contradictorias; a menudo una entidad tiene aspectos tanto subjetivos como objetivos. Jaynes rechazó explícitamente la crítica de algunos escritores de que, solo porque uno puede decir que el pensamiento tiene un aspecto subjetivo, el pensamiento es automáticamente no objetivo. Rechazó explícitamente la subjetividad como base para el razonamiento científico, la epistemología de la ciencia; exigió que el razonamiento científico tenga una base completa y estrictamente objetiva. [8] Sin embargo, los críticos continúan atacando a Jaynes, alegando que sus ideas son "subjetivas". Un escritor llega incluso a etiquetar el enfoque de Jaynes como "ultrasubjetivista" [9] y a mencionar "el pánico que el término subjetivismo creó entre los físicos". [10]
Las probabilidades representan tanto el grado de conocimiento y falta de información en los datos y el modelo utilizado en la descripción macroscópica del sistema por parte del analista, como también lo que esos datos dicen sobre la naturaleza de la realidad subyacente.
La idoneidad de las probabilidades depende de si las restricciones del modelo macroscópico especificado son una descripción suficientemente precisa y/o completa del sistema para capturar todo el comportamiento reproducible experimentalmente. Esto no se puede garantizar a priori . Por esta razón, los defensores de MaxEnt también llaman al método mecánica estadística predictiva . Las predicciones pueden fallar. Pero si lo hacen, esto es informativo, porque señala la presencia de nuevas restricciones necesarias para capturar el comportamiento reproducible en el sistema, que no se habían tenido en cuenta.
La entropía termodinámica (en equilibrio) es una función de las variables de estado de la descripción del modelo. Por lo tanto, es tan "real" como las demás variables de la descripción del modelo. Si las restricciones del modelo en la asignación de probabilidad son una "buena" descripción, que contiene toda la información necesaria para predecir resultados experimentales reproducibles, entonces eso incluye todos los resultados que se podrían predecir utilizando las fórmulas que involucran la entropía de la termodinámica clásica. En esa medida, la MaxEnt S Th es tan "real" como la entropía en la termodinámica clásica.
Por supuesto, en realidad sólo existe un estado real del sistema. La entropía no es una función directa de ese estado, sino que es una función del estado real sólo a través de la descripción del modelo macroscópico (subjetivamente elegido).
El conjunto gibbsiano idealiza la noción de repetir un experimento una y otra vez en sistemas diferentes , no una y otra vez en el mismo sistema. Por lo tanto, los promedios temporales de largo plazo y la hipótesis ergódica , a pesar del intenso interés que despertaron en ellos durante la primera parte del siglo XX, estrictamente hablando no son relevantes para la asignación de probabilidad para el estado en el que uno podría encontrar el sistema.
Sin embargo, esto cambia si se tiene conocimiento adicional de que el sistema se está preparando de una manera particular algún tiempo antes de la medición. En ese caso, se debe considerar si esto proporciona información adicional que todavía sea relevante en el momento de la medición. La cuestión de cuán "rápidamente" se mezclan las diferentes propiedades del sistema se vuelve entonces muy interesante. La información sobre algunos grados de libertad del sistema combinado puede volverse inutilizable muy rápidamente; la información sobre otras propiedades del sistema puede seguir siendo relevante durante un tiempo considerable.
Como mínimo, las propiedades de correlación temporal del sistema a mediano y largo plazo son temas interesantes para la experimentación en sí mismas. El hecho de no predecirlas con precisión es un buen indicador de que el modelo puede estar omitiendo elementos físicos relevantes determinables macroscópicamente.
Según el teorema de Liouville para la dinámica hamiltoniana , el hipervolumen de una nube de puntos en el espacio de fases permanece constante a medida que el sistema evoluciona. Por lo tanto, la entropía de la información también debe permanecer constante, si condicionamos la información original y luego seguimos cada uno de esos microestados hacia adelante en el tiempo:
Sin embargo, a medida que pasa el tiempo, esa información inicial que teníamos se vuelve menos directamente accesible. En lugar de ser fácilmente resumible en la descripción macroscópica del sistema, cada vez se relaciona más con correlaciones muy sutiles entre las posiciones y los momentos de las moléculas individuales. (Compárese con el teorema H de Boltzmann ). Equivalentemente, significa que la distribución de probabilidad para todo el sistema, en un espacio de fases de 6N dimensiones, se vuelve cada vez más irregular, extendiéndose en dedos largos y delgados en lugar del volumen inicial de posibilidades estrictamente definido.
La termodinámica clásica se basa en el supuesto de que la entropía es una función de estado de las variables macroscópicas, es decir, que nada de la historia del sistema importa, por lo que todo puede ignorarse.
La distribución de probabilidad extendida, tenue y evolucionada, que aún tiene la entropía inicial de Shannon S Th (1) , debería reproducir los valores esperados de las variables macroscópicas observadas en el tiempo t 2 . Sin embargo, ya no será necesariamente una distribución de entropía máxima para esa nueva descripción macroscópica. Por otro lado, la nueva entropía termodinámica S Th (2) seguramente medirá la distribución de entropía máxima, por construcción. Por lo tanto, esperamos:
En un nivel abstracto, este resultado implica que parte de la información que teníamos originalmente sobre el sistema ya no es útil a nivel macroscópico. En el nivel de la distribución de probabilidad de 6 N dimensiones, este resultado representa una granulación gruesa , es decir, una pérdida de información al suavizar detalles de escala muy fina.
Con lo anterior se deben tener en cuenta algunas advertencias.
1. Como todos los resultados mecánicos estadísticos según la escuela MaxEnt, este aumento de la entropía termodinámica es sólo una predicción . Supone en particular que la descripción macroscópica inicial contiene toda la información relevante para predecir el estado macroscópico posterior. Esto puede no ser así, por ejemplo, si la descripción inicial no refleja algún aspecto de la preparación del sistema que más tarde se vuelve relevante. En ese caso, el "fracaso" de una predicción MaxEnt nos dice que hay algo más relevante que tal vez hayamos pasado por alto en la física del sistema.
También se sugiere a veces que la medición cuántica , especialmente en la interpretación de la decoherencia , puede dar una reducción aparentemente inesperada en la entropía según este argumento, ya que parece implicar que se disponga de información macroscópica que antes era inaccesible. (Sin embargo, la contabilidad de la entropía de la medición cuántica es complicada, porque para obtener una decoherencia completa uno puede estar asumiendo un entorno infinito, con una entropía infinita).
2. Hasta ahora, el argumento ha pasado por alto la cuestión de las fluctuaciones . También ha supuesto implícitamente que la incertidumbre predicha en el momento t 1 para las variables en el momento t 2 será mucho menor que el error de medición. Pero si las mediciones actualizan significativamente nuestro conocimiento del sistema, nuestra incertidumbre en cuanto a su estado se reduce, dando un nuevo S I (2) que es menor que S I (1) . (Obsérvese que si nos permitimos las capacidades del demonio de Laplace , las consecuencias de esta nueva información también se pueden mapear hacia atrás, por lo que nuestra incertidumbre sobre el estado dinámico en el momento t 1 ahora también se reduce de S I (1) a S I (2) ).
Sabemos que S Th (2) > S I (2) ; pero ya no podemos estar seguros de que sea mayor que S Th (1) = S I (1) . Esto deja abierta la posibilidad de fluctuaciones en S Th . La entropía termodinámica puede "bajar" así como subir. Un análisis más sofisticado lo proporciona el Teorema de fluctuación de la entropía , que puede establecerse como consecuencia de la imagen MaxEnt dependiente del tiempo.
3. Como se acaba de indicar, la inferencia MaxEnt funciona igualmente bien a la inversa. Así, dado un estado final particular, podemos preguntarnos, ¿qué podemos "retrodecir" para mejorar nuestro conocimiento sobre estados anteriores? Sin embargo, el argumento de la Segunda Ley anterior también funciona a la inversa: dada la información macroscópica en el momento t2 , deberíamos esperar que también se vuelva menos útil. Los dos procedimientos son simétricos en el tiempo. Pero ahora la información se volverá cada vez menos útil en momentos cada vez más tempranos. (Compárese con la paradoja de Loschmidt .) La inferencia MaxEnt predeciría que el origen más probable de un estado actual de baja entropía sería una fluctuación espontánea a partir de un estado anterior de alta entropía. Pero esto entra en conflicto con lo que sabemos que ha sucedido, es decir, que la entropía ha estado aumentando de manera constante, incluso en el pasado.
La respuesta de los defensores de MaxEnt a esto sería que un fallo sistemático de este tipo en la predicción de una inferencia MaxEnt es algo "bueno". [11] Esto significa que hay evidencia clara de que se ha pasado por alto alguna información física importante en la especificación del problema. Si es correcto que la dinámica "es" simétrica en el tiempo , parece que necesitamos introducir a mano una probabilidad previa de que las configuraciones iniciales con una entropía termodinámica baja sean más probables que las configuraciones iniciales con una entropía termodinámica alta. Esto no se puede explicar por la dinámica inmediata. Es muy posible que surja como un reflejo de la evidente evolución asimétrica en el tiempo del universo a escala cosmológica (véase la flecha del tiempo ).
La termodinámica de máxima entropía enfrenta cierta oposición importante, en parte debido a la relativa escasez de resultados publicados de la escuela MaxEnt, especialmente con respecto a nuevas predicciones comprobables lejos del equilibrio. [12]
La teoría también ha sido criticada por razones de consistencia interna. Por ejemplo, Radu Balescu ofrece una fuerte crítica a la Escuela MaxEnt y al trabajo de Jaynes. Balescu afirma que la teoría de Jaynes y sus colaboradores se basa en una ley de evolución no transitiva que produce resultados ambiguos. Aunque algunas dificultades de la teoría pueden solucionarse, la teoría "carece de una base sólida" y "no ha conducido a ningún resultado concreto nuevo". [13]
Aunque el enfoque de máxima entropía se basa directamente en la entropía informativa, es aplicable a la física solo cuando existe una definición física clara de entropía. No existe una definición física general única y clara de entropía para sistemas fuera de equilibrio, que son sistemas físicos generales considerados durante un proceso en lugar de sistemas termodinámicos en sus propios estados internos de equilibrio termodinámico. [14] De ello se desprende que el enfoque de máxima entropía no será aplicable a sistemas fuera de equilibrio hasta que se encuentre una definición física clara de entropía. Este problema está relacionado con el hecho de que el calor puede transferirse de un sistema físico más caliente a uno más frío incluso cuando el equilibrio termodinámico local no se mantiene, de modo que ninguno de los sistemas tiene una temperatura bien definida. La entropía clásica se define para un sistema en su propio estado interno de equilibrio termodinámico, que se define por variables de estado, sin flujos distintos de cero, de modo que las variables de flujo no aparecen como variables de estado. Pero para un sistema fuertemente fuera de equilibrio, durante un proceso, las variables de estado deben incluir variables de flujo distintas de cero. Las definiciones físicas clásicas de entropía no cubren este caso, especialmente cuando los flujos son lo suficientemente grandes como para destruir el equilibrio termodinámico local. En otras palabras, para la entropía de sistemas que no están en equilibrio en general, la definición necesitará al menos incluir la especificación del proceso, incluyendo flujos distintos de cero, más allá de las variables de estado termodinámicas estáticas clásicas. La "entropía" que se maximiza necesita ser definida adecuadamente para el problema en cuestión. Si se maximiza una "entropía" inapropiada, es probable que se obtenga un resultado erróneo. En principio, la termodinámica de máxima entropía no se refiere de manera restringida y exclusiva a la entropía termodinámica clásica. Se trata de la entropía informativa aplicada a la física, que depende explícitamente de los datos utilizados para formular el problema en cuestión. Según Attard, para los problemas físicos analizados mediante la termodinámica fuertemente fuera del equilibrio, se deben considerar varios tipos de entropía físicamente distintos, incluida lo que él llama segunda entropía. Attard escribe: "Maximizar la segunda entropía sobre los microestados en el macroestado inicial dado da como resultado el macroestado objetivo más probable". [15] La segunda entropía definida físicamente también se puede considerar desde un punto de vista informativo.
