Principio de energía libre

Hipótesis en neurociencia

El principio de energía libre es un marco teórico que sugiere que el cerebro reduce la sorpresa o la incertidumbre al hacer predicciones basadas en modelos internos y actualizarlos utilizando información sensorial . Destaca el objetivo del cerebro de alinear su modelo interno con el mundo externo para mejorar la precisión de la predicción . Este principio integra la inferencia bayesiana con la inferencia activa , donde las acciones están guiadas por predicciones y la retroalimentación sensorial las refina. Tiene implicaciones de amplio alcance para comprender la función , la percepción y la acción del cerebro . ^[1]

Descripción general

En biofísica y ciencia cognitiva , el principio de energía libre es un principio matemático que describe una explicación formal de las capacidades de representación de los sistemas físicos: es decir, por qué las cosas que existen parecen seguir las propiedades de los sistemas a los que están acopladas. ^[2]

Establece que la dinámica de los sistemas físicos minimiza una cantidad conocida como sorpresa (que no es más que la probabilidad logarítmica negativa de algún resultado); o de manera equivalente, su límite superior variacional, llamado energía libre . El principio se utiliza especialmente en los enfoques bayesianos de la función cerebral , pero también en algunos enfoques de la inteligencia artificial ; Está formalmente relacionado con los métodos bayesianos variacionales y fue introducido originalmente por Karl Friston como una explicación de los bucles de percepción-acción incorporados en la neurociencia . ^[3]

El principio de energía libre modela el comportamiento de sistemas que son distintos de otro sistema, pero que están acoplados a él (por ejemplo, un entorno integrado), donde los grados de libertad que implementan la interfaz entre los dos sistemas se conocen como manta de Markov . Más formalmente, el principio de la energía libre dice que si un sistema tiene una "partición particular" (es decir, en partículas, con sus mantas de Markov), entonces los subconjuntos de ese sistema seguirán la estructura estadística de otros subconjuntos (que se conocen como internos y externos). estados externos o caminos de un sistema).

El principio de la energía libre se basa en la idea bayesiana del cerebro como un " motor de inferencia ". Según el principio de energía libre, los sistemas siguen caminos de menor sorpresa o, de manera equivalente, minimizan la diferencia entre las predicciones basadas en su modelo del mundo y su sentido y percepción asociada . Esta diferencia se cuantifica mediante energía libre variacional y se minimiza mediante la corrección continua del modelo mundial del sistema, o haciendo que el mundo se parezca más a las predicciones del sistema. Al cambiar activamente el mundo para acercarlo al estado esperado, los sistemas también pueden minimizar la energía libre del sistema. Friston supone que éste es el principio de toda reacción biológica. ^[4] Friston también cree que su principio se aplica tanto a los trastornos mentales como a la inteligencia artificial . Las implementaciones de IA basadas en el principio de inferencia activa han mostrado ventajas sobre otros métodos. ^[4]

El principio de la energía libre es un principio matemático de la física de la información: al igual que el principio de máxima entropía o el principio de mínima acción, es cierto desde el punto de vista matemático. Intentar falsificar el principio de la energía libre es un error categorial, similar a intentar falsificar el cálculo mediante observaciones empíricas. (No se puede invalidar una teoría matemática de esta manera; en cambio, sería necesario derivar una contradicción formal de la teoría). En una entrevista de 2018, Friston explicó lo que implica que el principio de energía libre no esté sujeto a falsificación : "Yo Creo que es útil hacer una distinción fundamental en este punto, a la que podemos recurrir más adelante. La distinción es entre una teoría de estado y de proceso, es decir, la diferencia entre un principio normativo al que las cosas pueden ajustarse o no, y un proceso; teoría o hipótesis sobre cómo se realiza ese principio. Bajo esta distinción, el principio de la energía libre se distingue claramente de cosas como la codificación predictiva y la hipótesis del cerebro bayesiano. Esto se debe a que el principio de la energía libre es lo que es: un principio como el de Hamilton . principio de acción estacionaria , no se puede refutar. De hecho, no hay mucho que se pueda hacer con él, a menos que se pregunte si los sistemas mensurables se ajustan al principio. Los conceptos de inferencia bayesiana o codificación predictiva son lo que son: hipótesis. Estas hipótesis pueden o no estar respaldadas por evidencia empírica". ^[5] Hay muchos ejemplos de estas hipótesis respaldadas por evidencia empírica. ^[6]

Fondo

La noción de que los sistemas biológicos autoorganizados , como una célula o un cerebro, pueden entenderse como minimizando la energía libre variacional se basa en el trabajo de Helmholtz sobre la inferencia inconsciente ^[7] y los tratamientos posteriores en psicología ^[8] y aprendizaje automático. ^[9] La energía libre variacional es una función de las observaciones y de una densidad de probabilidad sobre sus causas ocultas. Esta densidad variacional se define en relación con un modelo probabilístico que genera observaciones predichas a partir de causas hipotéticas. En este contexto, la energía libre proporciona una aproximación a la evidencia del modelo bayesiano . ^[10] Por lo tanto, su minimización puede verse como un proceso de inferencia bayesiano. Cuando un sistema realiza activamente observaciones para minimizar la energía libre, implícitamente realiza inferencia activa y maximiza la evidencia de su modelo del mundo.

Sin embargo, la energía libre también es un límite superior en la autoinformación de los resultados, donde el promedio de sorpresa a largo plazo es la entropía. Esto significa que si un sistema actúa para minimizar la energía libre, implícitamente pondrá un límite superior a la entropía de los resultados (o estados sensoriales) que muestrea. ^{[11] [12]}

Relación con otras teorías

La inferencia activa está estrechamente relacionada con el teorema del buen regulador ^[13] y explicaciones relacionadas de la autoorganización , ^{[14] [15]} como el autoensamblaje , la formación de patrones , la autopoiesis ^[16] y la practopoiesis . ^[17] Aborda los temas considerados en cibernética , sinergética ^[18] y cognición encarnada . Debido a que la energía libre se puede expresar como la energía esperada de las observaciones bajo la densidad variacional menos su entropía, también está relacionada con el principio de máxima entropía . ^[19] Finalmente, debido a que el promedio temporal de la energía es acción, el principio de energía libre variacional mínima es un principio de acción mínima . La inferencia activa que permite la invariancia de escala también se ha aplicado a otras teorías y dominios. Por ejemplo, se ha aplicado a la sociología, ^{[20] [21] [22] [23]} la lingüística y la comunicación, ^{[24] [25] [26]} la semiótica, ^{[27] [28]} y la epidemiología ^[29], entre otras. .

La energía libre negativa es formalmente equivalente al límite inferior de evidencia , que se usa comúnmente en el aprendizaje automático para entrenar modelos generativos , como los codificadores automáticos variacionales .

Acción y percepción

Figura 1: Estos esquemas ilustran la división de estados en estados internos y estados externos (ocultos, latentes) que están separados por una manta de Markov, que comprende estados sensoriales y estados activos . El panel superior muestra exactamente las mismas dependencias, pero reorganizadas de modo que los estados internos se asocian con los estados intracelulares de una célula, mientras que los estados sensoriales se convierten en los estados superficiales de la membrana celular que se superponen a los estados activos (por ejemplo, los filamentos de actina del citoesqueleto). . El panel inferior muestra esta partición tal como se aplicaría a la acción y la percepción en el cerebro; donde los estados activos e internos minimizan la energía libre funcional de los estados sensoriales. La consiguiente autoorganización de los estados internos corresponde entonces a la percepción, mientras que la acción acopla los estados cerebrales a los estados externos. ${\displaystyle \mu (t)}$ ${\displaystyle \psi (t)}$ ${\displaystyle s(t)}$ ${\displaystyle a(t)}$

La inferencia activa aplica las técnicas de inferencia bayesiana aproximada para inferir las causas de los datos sensoriales a partir de un modelo "generativo" de cómo se causan esos datos y luego utiliza estas inferencias para guiar la acción. La regla de Bayes caracteriza la inversión probabilísticamente óptima de dicho modelo causal, pero su aplicación suele ser computacionalmente intratable, lo que lleva al uso de métodos aproximados. En la inferencia activa, la clase principal de tales métodos aproximados son los métodos variacionales , por razones tanto prácticas como teóricas: prácticas, ya que a menudo conducen a procedimientos de inferencia simples; y teóricos, porque están relacionados con principios físicos fundamentales, como se analizó anteriormente.

Estos métodos variacionales proceden minimizando un límite superior en la divergencia entre la inferencia óptima de Bayes (o ' posterior ') y su aproximación según el método. Este límite superior se conoce como energía libre y, en consecuencia, podemos caracterizar la percepción como la minimización de la energía libre con respecto a la información sensorial entrante y la acción como la minimización de la misma energía libre con respecto a la información de acción saliente. Esta optimización dual holística es característica de la inferencia activa, y el principio de energía libre es la hipótesis de que todos los sistemas que perciben y actúan pueden caracterizarse de esta manera.

Para ejemplificar la mecánica de la inferencia activa a través del principio de energía libre, se debe especificar un modelo generativo, y esto generalmente implica una colección de funciones de densidad de probabilidad que en conjunto caracterizan el modelo causal. Una de esas especificaciones es la siguiente. El sistema se modela como habitando un espacio de estados , en el sentido de que sus estados forman los puntos de este espacio. Luego, el espacio de estados se factoriza de acuerdo con , donde está el espacio de estados "externos" que están "ocultos" al agente (en el sentido de que no son percibidos o accesibles directamente), es el espacio de estados sensoriales que son percibidos directamente por el agente, es el espacio de sus posibles acciones y es un espacio de estados "internos" que son privados del agente. ${\displaystyle X}$ ${\displaystyle X=\Psi \times S\times A\times R}$ ${\displaystyle \Psi }$ ${\displaystyle S}$ ${\displaystyle A}$ ${\displaystyle R}$

Siguiendo con la Figura 1, tenga en cuenta que a continuación y son funciones del tiempo (continuo) . El modelo generativo es la especificación de las siguientes funciones de densidad: ${\displaystyle {\dot {\psi }},\psi ,s,a}$ ${\displaystyle \mu }$ ${\displaystyle t}$

• Un modelo sensorial, a menudo escrito como , que caracteriza la probabilidad de datos sensoriales dados estados y acciones externos; ${\displaystyle p_{S}:S\times \Psi \times A\to \mathbb {R} }$ ${\displaystyle p_{S}(s\mid \psi ,a)}$
• un modelo estocástico de la dinámica ambiental, a menudo escrito , que caracteriza cómo el agente espera que evolucionen los estados externos con el tiempo , dadas las acciones del agente; ${\displaystyle p_{\Psi }:\Psi \times \Psi \times A\to \mathbb {R} }$ ${\displaystyle p_{\Psi }({\dot {\psi }}\mid \psi ,a)}$ ${\displaystyle t}$
• un modelo de acción, escrito , que caracteriza cómo las acciones del agente dependen de sus estados internos y datos sensoriales; y ${\displaystyle p_{A}:A\times R\times S\to \mathbb {R} }$ ${\displaystyle p_{A}(a\mid \mu ,s)}$
• un modelo interno, escrito , que caracteriza cómo los estados internos del agente dependen de sus datos sensoriales. ${\displaystyle p_{R}:R\times S\to \mathbb {R} }$ ${\displaystyle p_{R}(\mu \mid s)}$

Estas funciones de densidad determinan los factores de un " modelo conjunto ", que representa la especificación completa del modelo generativo, y que puede escribirse como

${\displaystyle p_{\text{Bayes}}({\dot {\psi }},s,a,\mu \mid \psi )=p_{S}(s\mid \psi ,a)p_{\Psi }({\dot {\psi }}\mid \psi ,a)p_{A}(a\mid \mu ,s)p_{R}(\mu \mid s)}$.

La regla de Bayes luego determina la "densidad posterior" , que expresa una creencia probabilísticamente óptima sobre el estado externo dado el estado anterior y las acciones, señales sensoriales y estados internos del agente. Dado que la informática es computacionalmente intratable, el principio de energía libre afirma la existencia de una "densidad variacional" , donde es una aproximación a . Entonces se define la energía libre como ${\displaystyle p({\dot {\psi }}|s,a,\mu ,\psi )}$ ${\displaystyle \psi }$ ${\displaystyle p_{\text{Bayes}}}$ ${\displaystyle q({\dot {\psi }}|s,a,\mu ,\psi )}$ ${\displaystyle q}$ ${\displaystyle p_{\text{Bayes}}}$

${\displaystyle {\begin{aligned}{\underset {\mathrm {free-energy} }{\underbrace {F(\mu ,a\,;s)} }}&={\underset {\text{expected energy}}{\underbrace {\mathbb {E} _{q({\dot {\psi }})}[-\log p({\dot {\psi }},s,a,\mu \mid \psi )]} }}-{\underset {\mathrm {entropy} }{\underbrace {\mathbb {H} [q({\dot {\psi }}\mid s,a,\mu ,\psi )]} }}\\&={\underset {\mathrm {surprise} }{\underbrace {-\log p(s)} }}+{\underset {\mathrm {divergence} }{\underbrace {\mathbb {KL} [q({\dot {\psi }}\mid s,a,\mu ,\psi )\parallel p_{\text{Bayes}}({\dot {\psi }}\mid s,a,\mu ,\psi )]} }}\\&\geq {\underset {\mathrm {surprise} }{\underbrace {-\log p(s)} }}\end{aligned}}}$

y define la acción y la percepción como el problema de optimización conjunta

${\displaystyle {\begin{aligned}\mu ^{*}&={\underset {\mu }{\operatorname {arg\,min} }}\{F(\mu ,a\,;\,s))\}\\a^{*}&={\underset {a}{\operatorname {arg\,min} }}\{F(\mu ^{*},a\,;\,s)\}\end{aligned}}}$

donde normalmente se considera que los estados internos codifican los parámetros de la densidad 'variacional' y, por tanto, la "mejor suposición" del agente sobre la creencia posterior sobre . Tenga en cuenta que la energía libre también es un límite superior en una medida de la sorpresa sensorial ( marginal o promedio) del agente y, por lo tanto, la minimización de la energía libre a menudo está motivada por la minimización de la sorpresa. ${\displaystyle \mu }$ ${\displaystyle q}$ ${\displaystyle \Psi }$

Minimización de energía libre

Minimización de energía gratuita y autoorganización.

La minimización de la energía libre se ha propuesto como un sello distintivo de los sistemas autoorganizados cuando se los presenta como sistemas dinámicos aleatorios . ^[30] Esta formulación se basa en una manta de Markov (que comprende estados de acción y sensoriales) que separa los estados internos y externos. Si los estados internos y la acción minimizan la energía libre, entonces colocan un límite superior a la entropía de los estados sensoriales:

${\displaystyle \lim _{T\to \infty }{\frac {1}{T}}{\underset {\text{free-action}}{\underbrace {\int _{0}^{T}F(s(t),\mu (t))\,dt} }}\geq \lim _{T\to \infty }{\frac {1}{T}}\int _{0}^{T}{\underset {\text{surprise}}{\underbrace {-\log p(s(t)\mid m)} }}\,dt=H[p(s\mid m)]}$

Esto se debe a que –bajo supuestos ergódicos– el promedio de sorpresa a largo plazo es la entropía. Este límite resiste una tendencia natural al desorden, del tipo asociado con la segunda ley de la termodinámica y el teorema de la fluctuación . Sin embargo, formular un principio unificador para las ciencias de la vida en términos de conceptos de la física estadística, como sistema dinámico aleatorio, estado estacionario de no equilibrio y ergodicidad, impone limitaciones sustanciales al estudio teórico y empírico de los sistemas biológicos, con el riesgo de oscurecer todo. características que hacen que los sistemas biológicos sean tipos interesantes de sistemas autoorganizados. ^[31]

Minimización de energía libre e inferencia bayesiana.

Toda inferencia bayesiana puede expresarse en términos de minimización de energía libre ^{[32] [ verificación fallida ]} . Cuando se minimiza la energía libre con respecto a los estados internos, se minimiza la divergencia de Kullback-Leibler entre la densidad variacional y posterior sobre los estados ocultos. Esto corresponde a la inferencia bayesiana aproximada (cuando la forma de la densidad variacional es fija) y a la inferencia bayesiana exacta en caso contrario. Por lo tanto, la minimización de energía libre proporciona una descripción genérica de la inferencia y el filtrado bayesianos (por ejemplo, el filtrado de Kalman ). También se utiliza en la selección de modelos bayesianos , donde la energía libre se puede descomponer útilmente en complejidad y precisión:

${\displaystyle {\underset {\text{free-energy}}{\underbrace {F(s,\mu )} }}={\underset {\text{complexity}}{\underbrace {D_{\mathrm {KL} }[q(\psi \mid \mu )\parallel p(\psi \mid m)]} }}-{\underset {\mathrm {accuracy} }{\underbrace {E_{q}[\log p(s\mid \psi ,m)]} }}}$

Los modelos con energía libre mínima proporcionan una explicación precisa de los datos, bajo costos de complejidad (cf. la navaja de Occam y tratamientos más formales de los costos computacionales ^[33] ). Aquí, la complejidad es la divergencia entre la densidad variacional y las creencias previas sobre estados ocultos (es decir, los grados efectivos de libertad utilizados para explicar los datos).

Minimización de energía libre y termodinámica.

La energía libre variacional es una función teórica de la información y se diferencia de la energía libre termodinámica (Helmholtz) . ^[34] Sin embargo, el término de complejidad de la energía libre variacional comparte el mismo punto fijo que la energía libre de Helmholtz (bajo el supuesto de que el sistema está termodinámicamente cerrado pero no aislado). Esto se debe a que si se suspenden las perturbaciones sensoriales (durante un período de tiempo suficientemente largo), la complejidad se minimiza (porque se puede descuidar la precisión). En este punto, el sistema está en equilibrio y los estados internos minimizan la energía libre de Helmholtz, por el principio de energía mínima . ^[35]

Minimización de energía libre y teoría de la información.

La minimización de la energía libre equivale a maximizar la información mutua entre los estados sensoriales y los estados internos que parametrizan la densidad variacional (para una densidad variacional de entropía fija). Esto relaciona la minimización de la energía libre con el principio de redundancia mínima. ^{[36] [12]}

Minimización de energía libre en neurociencia.

La minimización de la energía libre proporciona una forma útil de formular modelos normativos (óptimo de Bayes) de inferencia neuronal y aprendizaje en condiciones de incertidumbre ^[37] y, por lo tanto, suscribe la hipótesis del cerebro bayesiano . ^[38] Los procesos neuronales descritos por la minimización de energía libre dependen de la naturaleza de los estados ocultos: que pueden comprender variables dependientes del tiempo, parámetros invariantes en el tiempo y la precisión (varianza inversa o temperatura) de fluctuaciones aleatorias. Minimizar variables, parámetros y precisión corresponden a la inferencia, el aprendizaje y la codificación de la incertidumbre, respectivamente. ${\displaystyle \Psi =X\times \Theta \times \Pi }$

Inferencia perceptiva y categorización.

La minimización de la energía libre formaliza la noción de inferencia inconsciente en la percepción ^{[7] [9]} y proporciona una teoría normativa (bayesiana) del procesamiento neuronal. La teoría del proceso asociada de la dinámica neuronal se basa en minimizar la energía libre mediante el descenso de gradiente. Esto corresponde al filtrado bayesiano generalizado (donde ~ denota una variable en coordenadas de movimiento generalizadas y es un operador matricial derivativo): ^[39] ${\displaystyle D}$

${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}-\partial _{\mu }F(s,\mu ){\Big |}_{\mu ={\tilde {\mu }}}}$

Normalmente, los modelos generativos que definen la energía libre son no lineales y jerárquicos (como las jerarquías corticales en el cerebro). Los casos especiales de filtrado generalizado incluyen el filtrado de Kalman , que formalmente equivale a la codificación predictiva ^[40] , una metáfora popular del paso de mensajes en el cerebro. Bajo modelos jerárquicos, la codificación predictiva implica el intercambio recurrente de errores de predicción ascendentes (de abajo hacia arriba) y predicciones descendentes (de arriba hacia abajo) ^[41] que es consistente con la anatomía y fisiología de los sistemas sensoriales ^[42] y motores. ^[43]

Aprendizaje perceptual y memoria.

En la codificación predictiva, la optimización de los parámetros del modelo mediante un descenso de gradiente en la integral de tiempo de la energía libre (acción libre) se reduce a la plasticidad asociativa o hebbiana y se asocia con la plasticidad sináptica en el cerebro.

Precisión perceptiva, atención y prominencia.

La optimización de los parámetros de precisión corresponde a la optimización de la ganancia de errores de predicción (cf. ganancia de Kalman). En implementaciones neuronalmente plausibles de codificación predictiva, ^[41] esto corresponde a optimizar la excitabilidad de las células piramidales superficiales y se ha interpretado en términos de ganancia de atención. ^[44]

Simulación de los resultados obtenidos a partir de una tarea de atención selectiva realizada mediante la reformulación bayesiana del SAIM denominada PE-SAIM en entorno de objetos múltiples. Los gráficos muestran el curso temporal de la activación de la FOA y las dos unidades de plantilla en la Red de Conocimiento.

Con respecto a la controversia de arriba hacia abajo versus abajo hacia arriba, que se ha abordado como un importante problema abierto de atención, un modelo computacional ha logrado ilustrar la naturaleza circular de la interacción entre los mecanismos de arriba hacia abajo y de abajo hacia arriba. Utilizando un modelo emergente de atención establecido, llamado SAIM, los autores propusieron un modelo llamado PE-SAIM que, a diferencia de la versión estándar, aborda la atención selectiva desde una posición de arriba hacia abajo. El modelo tiene en cuenta la transmisión de errores de predicción al mismo nivel o a un nivel superior, con el fin de minimizar la función de energía que indica la diferencia entre el dato y su causa, o lo que es lo mismo, entre el modelo generativo y el posterior. . Para aumentar la validez, también incorporaron a su modelo la competencia neuronal entre estímulos. Una característica notable de este modelo es la reformulación de la función de energía libre sólo en términos de errores de predicción durante la realización de la tarea:

${\displaystyle {\dfrac {\partial E^{total}(Y^{VP},X^{SN},x^{CN},y^{KN})}{\partial y_{mn}^{SN}}}=x_{mn}^{CN}-b^{CN}\varepsilon _{nm}^{CN}+b^{CN}\sum _{k}(\varepsilon _{knm}^{KN})}$

donde es la función de energía total que implican las redes neuronales y es el error de predicción entre el modelo generativo (anterior) y el posterior que cambia con el tiempo. ^[45] La comparación de los dos modelos revela una notable similitud entre sus respectivos resultados y al mismo tiempo destaca una notable discrepancia, por la cual – en la versión estándar del SAIM – el enfoque del modelo se centra principalmente en las conexiones excitatorias, mientras que en el PE-SAIM, las Se aprovechan las conexiones inhibidoras para hacer una inferencia. El modelo también ha demostrado ser apto para predecir con alta precisión los datos de EEG y fMRI extraídos de experimentos en humanos. En la misma línea, Yahya et al. También aplicó el principio de energía libre para proponer un modelo computacional para la coincidencia de plantillas en la atención visual selectiva encubierta que se basa principalmente en SAIM. ^[46] Según este estudio, la energía libre total de todo el espacio de estados se alcanza insertando señales de arriba hacia abajo en las redes neuronales originales, mediante lo cual derivamos un sistema dinámico que comprende errores de predicción tanto hacia adelante como hacia atrás. ${\displaystyle E^{total}}$ ${\displaystyle \varepsilon _{knm}^{KN}}$

Inferencia activa

Cuando se aplica el descenso de gradiente a la acción , el control motor puede entenderse en términos de arcos reflejos clásicos que se activan mediante predicciones descendentes (corticoespinales). Esto proporciona un formalismo que generaliza la solución del punto de equilibrio – al problema de los grados de libertad ^[47] – a las trayectorias de movimiento. ${\displaystyle {\dot {a}}=-\partial _{a}F(s,{\tilde {\mu }})}$

Inferencia activa y control óptimo.

La inferencia activa está relacionada con el control óptimo al reemplazar las funciones de valor o costo total con creencias previas sobre las transiciones de estado o el flujo. ^[48] ​​Esto explota la estrecha conexión entre el filtrado bayesiano y la solución de la ecuación de Bellman . Sin embargo, la inferencia activa comienza con el flujo (anterior) que se especifica con funciones de valor escalar y vectorial del espacio de estados (cf. la descomposición de Helmholtz ). Aquí, está la amplitud de las fluctuaciones aleatorias y el costo es . El sobreflujo a priori induce un sobreestado a priori que es la solución a las ecuaciones directas de Kolmogorov apropiadas . ^[49] Por el contrario, el control óptimo optimiza el flujo, dada una función de costos, bajo el supuesto de que (es decir, el flujo no tiene curvaturas o tiene un equilibrio detallado). Por lo general, esto implica resolver ecuaciones de Kolmogorov hacia atrás . ^[50] ${\displaystyle f=\Gamma \cdot \nabla V+\nabla \times W}$ ${\displaystyle V(x)}$ ${\displaystyle W(x)}$ ${\displaystyle \Gamma }$ ${\displaystyle c(x)=f\cdot \nabla V+\nabla \cdot \Gamma \cdot V}$ ${\displaystyle p({\tilde {x}}\mid m)}$ ${\displaystyle p(x\mid m)=\exp(V(x))}$ ${\displaystyle W=0}$

Teoría de la inferencia activa y la decisión óptima (juegos)

Los problemas de decisión óptima (generalmente formulados como procesos de decisión de Markov parcialmente observables ) se tratan dentro de la inferencia activa absorbiendo funciones de utilidad en creencias previas. En este contexto, los estados que tienen una alta utilidad (bajo costo) son estados que un agente espera ocupar. Al equipar el modelo generativo con estados ocultos que modelan el control, las políticas (secuencias de control) que minimizan la energía libre variacional conducen a estados de alta utilidad. ^[51]

Neurobiológicamente, se considera que los neuromoduladores como la dopamina informan la precisión de los errores de predicción al modular la ganancia de las células principales que codifican el error de predicción. ^[52] Esto está estrechamente relacionado con, pero formalmente distinto, el papel de la dopamina en la notificación de errores de predicción per se ^[53] y cuentas computacionales relacionadas. ^[54]

Inferencia activa y neurociencia cognitiva.

La inferencia activa se ha utilizado para abordar una variedad de cuestiones en neurociencia cognitiva , función cerebral y neuropsiquiatría, incluida la observación de la acción, ^[55] neuronas espejo, ^[56] movimientos sacádicos y búsqueda visual, ^{[57] [58]} movimientos oculares, ^[59] sueño, ^[60] ilusiones, ^[61] atención, ^[44] selección de acción, ^[52] conciencia, ^{[62] [63]} histeria ^[64] y psicosis. ^[65] Las explicaciones de la acción en la inferencia activa a menudo dependen de la idea de que el cerebro tiene "predicciones obstinadas" que no puede actualizar, lo que lleva a acciones que hacen que estas predicciones se hagan realidad. ^[66]

Ver también

• Percepción de acción específica  : teoría psicológica de que las personas perciben su entorno y los acontecimientos que ocurren dentro de él.Pages displaying wikidata descriptions as a fallback
• Asequibilidad  : posibilidad de una acción sobre un objeto o entorno.
• Autopoiesis  : concepto de sistemas que implica reproducción y mantenimiento automáticos.
• Enfoques bayesianos de la función cerebral  : explicación de las capacidades del cerebro a través de principios estadísticos
• Ley constructiva - Ley de evolución del diseño en la naturaleza, animada e inanimada.
• Teoría de la decisión  : rama de la teoría de la probabilidad aplicada
• Cognición encarnada  – Teoría interdisciplinaria
• Fuerza entrópica  : fuerza física que se origina en la termodinámica en lugar de interacciones fundamentales.
• Principio de energía mínima  – formulación termodinámica basada en la segunda leyPages displaying wikidata descriptions as a fallback
• Infometría  : enfoque interdisciplinario para el modelado científico y el procesamiento de información
• Control óptimo  : forma matemática de lograr el resultado deseado de un sistema dinámico
• Sistema adaptativo , también conocido como Practopoiesis – Sistema que puede adaptarse al medio ambiente.
• Codificación predictiva  – Teoría de la función cerebral
• Autoorganización  : proceso de creación de orden mediante interacciones locales.
• Sorpresa  : cantidad básica derivada de la probabilidad de que ocurra un evento particular a partir de una variable aleatoria.Pages displaying short descriptions of redirect targets
• Sinergética (Haken)  : una escuela de pensamiento sobre termodinámica y fenómenos de sistemas desarrollada por Hermann Haken.Pages displaying wikidata descriptions as a fallback
• Métodos bayesianos variacionales  : métodos matemáticos utilizados en la inferencia bayesiana y el aprendizaje automático

Referencias

1. Bruineberg, Jelle; Kiverstein, Julián; Rietveld, Erik (2018). "El cerebro anticipador no es un científico: el principio de energía libre desde una perspectiva ecológico-enactiva". Síntesis . 195 (6): 2417–2444. doi :10.1007/s11229-016-1239-1. PMC  6438652 . PMID  30996493.
2. Friston, Karl (2010). "El principio de la energía libre: ¿una teoría del cerebro unificada?". Reseñas de la naturaleza Neurociencia . 11 (2): 127-138. doi :10.1038/nrn2787. PMID  20068583. S2CID  5053247 . Consultado el 9 de julio de 2023 .
3. Friston, Karl; Kilner, James; Harrison, Lee (2006). "Un principio de energía libre para el cerebro" (PDF) . Revista de Fisiología-París . 100 (1–3): 70–87. doi :10.1016/j.jphysparis.2006.10.001. PMID  17097864. S2CID  637885.
4. Shaun Raviv: el genio neurocientífico que podría tener la clave de la verdadera IA. En: Wired, 13 de noviembre de 2018
5. Friston, Karl (2018). "De las cochinillas y los hombres: un relato bayesiano de la cognición, la vida y la conciencia. Una entrevista con Karl Friston (por Martin Fortier y Daniel Friedman)". Boletín ALIUS . 2 : 17–43.
6. Friston, Karl (2022). Inferencia activa: el principio de la energía libre en la mente, el cerebro y el comportamiento. Prensa del MIT. ISBN 9780262045353.
7. Helmholtz, H. (1866/1962). Respecto a las percepciones en general. En Tratado sobre óptica fisiológica (J. Southall, Trans., 3ª ed., Vol. III). Nueva York: Dover. Disponible en https://web.archive.org/web/20180320133752/http://poseidon.sunyopt.edu/BackusLab/Helmholtz/
8. Gregorio, RL (8 de julio de 1980). "Percepciones como hipótesis". Transacciones filosóficas de la Royal Society de Londres. B, Ciencias Biológicas . 290 (1038): 181–197. Código Bib : 1980RSPTB.290..181G. doi :10.1098/rstb.1980.0090. JSTOR  2395424. PMID  6106237.
9. Dayan, Pedro; Hinton, Geoffrey E.; Neal, Radford M.; Zemel, Richard S. (1995). «La máquina Helmholtz» (PDF) . Computación neuronal . 7 (5): 889–904. doi :10.1162/neco.1995.7.5.889. hdl : 21.11116/0000-0002-D6D3-E . PMID  7584891. S2CID  1890561.
10. Beal, MJ (2003). Algoritmos variacionales para inferencia bayesiana aproximada. Doctor. Tesis, University College de Londres.
11. Sakthivadivel, Dalton (2022). "Hacia una geometría y análisis para la mecánica bayesiana". arXiv : 2204.11900 [matemáticas-ph].
12. Ramstead, Maxwell; Sakthivadivel, Dalton; Heins, Conor; Koudahl, Magnus; Millidge, Beren; Da Costa, Lanzarote; Klein, Brennan; Friston, Karl (2023). "Sobre la mecánica bayesiana: una física de y por creencias". Enfoque de la interfaz . 13 (3). arXiv : 2205.11543 . doi :10.1098/rsfs.2022.0029. PMC 10198254 . PMID  37213925. S2CID  249017997. 
13. Conant, Roger C.; Ross Ashby, W. (1970). "Todo buen regulador de un sistema debe ser modelo de ese sistema". Revista Internacional de Ciencia de Sistemas . 1 (2): 89–97. doi :10.1080/00207727008920220.
14. Kauffman, S. (1993). Los orígenes del orden: autoorganización y selección en evolución. Oxford: prensa de la Universidad de Oxford.
15. Nicolis, G. y Prigogine, I. (1977). Autoorganización en sistemas en desequilibrio. Nueva York: John Wiley.
16. Maturana, HR y Varela, F. (1980). Autopoiesis: la organización de los vivos. En VF Maturana HR (Ed.), Autopoiesis y Cognición. Dordrecht, Países Bajos: Reidel.
17. Nikolic, Danko (2015). "Practopoiesis: o cómo la vida fomenta la mente". Revista de Biología Teórica . 373 : 40–61. arXiv : 1402.5332 . Código Bib : 2015JThBi.373...40N. doi :10.1016/j.jtbi.2015.03.003. PMID  25791287. S2CID  12680941.
18. Haken, H. (1983). Sinergética: una introducción. Transición de fase de no equilibrio y autoorganización en física, química y biología (3ª ed.). Berlín: Springer Verlag.
19. Jaynes, et (1957). «Teoría de la Información y Mecánica Estadística» (PDF) . Revisión física . 106 (4): 620–630. Código bibliográfico : 1957PhRv..106..620J. doi : 10.1103/PhysRev.106.620. S2CID  17870175.
20. Veissière, Samuel PL; Constante, Axel; Ramstead, Maxwell JD; Friston, Karl J.; Kirmayer, Laurence J. (2020). "Pensar a través de otras mentes: un enfoque variacional de la cognición y la cultura". Ciencias del comportamiento y del cerebro . 43 : e90. doi :10.1017/S0140525X19001213. ISSN  0140-525X. PMID  31142395. S2CID  169038428.
21. Ramstead, Maxwell JD; Constante, Axel; Badcock, Paul B.; Friston, Karl J. (1 de diciembre de 2019). "Ecología variacional y física de sistemas sensibles". Reseñas de Física de la Vida . Física de la mente. 31 : 188-205. Código Bib : 2019PhLRv..31..188R. doi :10.1016/j.plrev.2018.12.002. ISSN  1571-0645. PMC 6941227 . PMID  30655223. 
22. Albarracín, Mahault; Demekas, Dafne; Ramstead, Maxwell JD; Heins, Conor (abril de 2022). "Comunidades epistémicas bajo inferencia activa". Entropía . 24 (4): 476. Bibcode : 2022Entrp..24..476A. doi : 10.3390/e24040476 . ISSN  1099-4300. PMC 9027706 . PMID  35455140. 
23. Albarracín, Mahault; Constante, Axel; Friston, Karl J.; Ramstead, Maxwell James D. (2021). "Un enfoque variado de los guiones". Fronteras en Psicología . 12 : 585493. doi : 10.3389/fpsyg.2021.585493 . ISSN  1664-1078. PMC 8329037 . PMID  34354621. 
24. Friston, Karl J.; Parr, Thomas; Yufik, Yan; Sajid, Noor; Precio, Catalina J.; Holmes, Emma (1 de noviembre de 2020). "Modelos generativos, comunicación lingüística e inferencia activa". Reseñas de neurociencia y biocomportamiento . 118 : 42–64. doi :10.1016/j.neubiorev.2020.07.005. ISSN  0149-7634. PMC 7758713 . PMID  32687883. 
25. Tison, Remi; Poirier, Pierre (2 de octubre de 2021). "La comunicación como inferencia activa socialmente extendida: un enfoque ecológico del comportamiento comunicativo". Psicología Ecológica . 33 (3–4): 197–235. doi :10.1080/10407413.2021.1965480. ISSN  1040-7413. S2CID  238703201.
26. Friston, Karl J.; Frith, Christopher D. (1 de julio de 2015). "Inferencia activa, comunicación y hermenéutica". Corteza . Número especial: Predicción en el procesamiento del habla y el lenguaje. 68 : 129-143. doi :10.1016/j.cortex.2015.03.025. ISSN  0010-9452. PMC 4502445 . PMID  25957007. 
27. Kerusauskaite, Skaiste (1 de junio de 2023). "Papel de la cultura en la creación de significado: uniendo la psicología cultural semiótica y la inferencia activa". Ciencias Psicológicas y del Comportamiento Integrativas . 57 (2): 432–443. doi :10.1007/s12124-022-09744-x. ISSN  1936-3567. PMID  36585542. S2CID  255366405.
28. García, Adolfo M.; Ibáñez, Agustín (2022-11-14). El manual de Routledge sobre semiosis y el cerebro. Taylor y Francisco. ISBN 978-1-000-72877-4.
29. Bottemanne, Hugo; Friston, Karl J. (1 de diciembre de 2021). "Un relato de inferencia activa de conductas protectoras durante la pandemia de COVID-19". Neurociencia cognitiva, afectiva y conductual . 21 (6): 1117-1129. doi :10.3758/s13415-021-00947-0. ISSN  1531-135X. PMC 8518276 . PMID  34652601. 
30. Crauel, Hans; Flandoli, Franco (1994). "Atractores de sistemas dinámicos aleatorios". Teoría de la probabilidad y campos relacionados . 100 (3): 365–393. doi : 10.1007/BF01193705 . S2CID  122609512.
31. Colombo, Mateo; Palacios, Patricia (2021). "Termodinámica del desequilibrio y el principio de energía libre en biología". Biología y Filosofía . 36 (5). doi : 10.1007/s10539-021-09818-x . S2CID  235803361.
32. Roweis, Sam; Ghahramani, Zoubin (1999). "Una revisión unificadora de los modelos lineales gaussianos" (PDF) . Computación neuronal . 11 (2): 305–345. doi :10.1162/089976699300016674. PMID  9950734. S2CID  2590898.
33. Ortega, Pedro A.; Braun, Daniel A. (2013). "La termodinámica como teoría de la toma de decisiones con costes de procesamiento de información". Actas de la Royal Society A: Ciencias Matemáticas, Físicas y de Ingeniería . 469 (2153). arXiv : 1204.6481 . Código Bib : 2013RSPSA.46920683O. doi :10.1098/rspa.2012.0683. S2CID  28080508.
34. Evans, Denis J. (2003). "Un teorema de energía libre de desequilibrio para sistemas deterministas" (PDF) . Física Molecular . 101 (10): 1551-1554. Código Bib : 2003MolPh.101.1551E. doi : 10.1080/0026897031000085173. S2CID  15129000.
35. Jarzynski, C. (1997). "Igualdad de desequilibrio para diferencias de energía libre". Cartas de revisión física . 78 (14): 2690–2693. arXiv : cond-mat/9610209 . Código bibliográfico : 1997PhRvL..78.2690J. doi : 10.1103/PhysRevLett.78.2690. S2CID  16112025.
36. Sakthivadivel, Dalton (2022). "Hacia una geometría y análisis para la mecánica bayesiana". arXiv : 2204.11900 [matemáticas-ph].
37. Friston, Karl (2010). "El principio de la energía libre: ¿una teoría del cerebro unificada?" (PDF) . Reseñas de la naturaleza Neurociencia . 11 (2): 127-138. doi :10.1038/nrn2787. PMID  20068583. S2CID  5053247.
38. Knill, David C.; Pouget, Alexandre (2004). "El cerebro bayesiano: el papel de la incertidumbre en la codificación y la computación neuronal" (PDF) . Tendencias en Neurociencias . 27 (12): 712–719. doi :10.1016/j.tins.2004.10.007. PMID  15541511. S2CID  9870936. Archivado desde el original (PDF) el 4 de marzo de 2016 . Consultado el 31 de mayo de 2013 .
39. Friston, Karl; Stephan, Klaas; Li, Baojuan; Daunizeau, Jean (2010). "Filtrado generalizado". Problemas Matemáticos en Ingeniería . 2010 : 1–34. doi : 10.1155/2010/621670 .
40. Knill, David C.; Pouget, Alexandre (2004). "El cerebro bayesiano: el papel de la incertidumbre en la codificación y la computación neuronal" (PDF) . Tendencias en Neurociencias . 27 (12): 712–719. doi :10.1016/j.tins.2004.10.007. PMID  15541511. S2CID  9870936.
41. Mumford, D. (1992). "Sobre la arquitectura computacional de la neocorteza" (PDF) . Cibernética biológica . 66 (3): 241–251. doi :10.1007/BF00198477. PMID  1540675. S2CID  14303625.
42. Bastos, André M.; Usrey, W. Martín; Adams, Rick A.; Mangun, George R.; Papas fritas, Pascal; Friston, Karl J. (2012). "Microcircuitos canónicos para codificación predictiva". Neurona . 76 (4): 695–711. doi :10.1016/j.neuron.2012.10.038. PMC 3777738 . PMID  23177956. 
43. Adams, Rick A.; Shipp, Stewart; Friston, Karl J. (2013). "Predicciones, no comandos: inferencia activa en el sistema motor". Estructura y función del cerebro . 218 (3): 611–643. doi :10.1007/s00429-012-0475-5. PMC 3637647 . PMID  23129312. 
44. Friston, Karl J.; Feldman, Harriet (2010). "Atención, incertidumbre y energía libre". Fronteras de la neurociencia humana . 4 : 215. doi : 10.3389/fnhum.2010.00215 . PMC 3001758 . PMID  21160551. 
45. Abadi, Alireza Khatoon; Yahya, Keyvan; Amini, Masud; Friston, Karl; Heinke, Dietmar (2019). "Retroalimentación excitadora versus inhibidora en formulaciones bayesianas de construcción de escenas". Revista de la interfaz de la Royal Society . 16 (154). doi :10.1098/rsif.2018.0344. PMC 6544897 . PMID  31039693. 
46. "12ª Conferencia Bianual de la Sociedad Alemana de Ciencias Cognitivas (KogWis 2014)". Procesamiento cognitivo . 15 : 107. 2014. doi : 10.1007/s10339-013-0597-6 . S2CID  10121398.
47. Feldman, Anatol G.; Levin, Mindy F. (1995). "El origen y uso de marcos de referencia posicionales en el control motor" (PDF) . Ciencias del comportamiento y del cerebro . 18 (4): 723–744. doi :10.1017/S0140525X0004070X. S2CID  145164477. Archivado desde el original (PDF) el 29 de marzo de 2014 . Consultado el 31 de mayo de 2013 .
48. Friston, Karl (2011). "¿Qué es lo óptimo en el control de motores?" (PDF) . Neurona . 72 (3): 488–498. doi :10.1016/j.neuron.2011.10.018. PMID  22078508. S2CID  13912462.
49. Friston, Karl; Ao, Ping (2012). "Energía libre, valor y atractores". Métodos Computacionales y Matemáticos en Medicina . 2012 : 1–27. doi : 10.1155/2012/937860 . PMC 3249597 . PMID  22229042. 
50. Kappen, HJ (2005). "Integrales de trayectoria y ruptura de simetría para la teoría del control óptimo". Revista de Mecánica Estadística: Teoría y Experimento . 2005 (11): P11011. arXiv : física/0505066 . Código Bib : 2005JSMTE..11..011K. doi :10.1088/1742-5468/2005/11/P11011. S2CID  87027.
51. Friston, Karl; Samotrakis, Espiridón; Montague, Leer (2012). "Inferencia activa y agencia: control óptimo sin funciones de costes". Cibernética biológica . 106 (8–9): 523–541. doi : 10.1007/s00422-012-0512-8 . hdl : 10919/78836 . PMID  22864468.
52. Friston, Karl J.; Shiner, Tamara; Fitzgerald, Thomas; Galea, José M.; Adams, Rick; marrón, Harriet; Dolan, Raymond J.; Morán, Rosalyn ; Stephan, Klaas Enno; Bestmann, Sven (2012). "Dopamina, asequibilidad e inferencia activa". PLOS Biología Computacional . 8 (1): e1002327. Código Bib : 2012PLSCB...8E2327F. doi : 10.1371/journal.pcbi.1002327 . PMC 3252266 . PMID  22241972. 
53. Fiorillo, Christopher D.; Tobler, Philippe N.; Schultz, Wolfram (2003). "Codificación discreta de la probabilidad de recompensa y la incertidumbre por las neuronas de dopamina" (PDF) . Ciencia . 299 (5614): 1898-1902. Código Bib : 2003 Ciencia... 299.1898F. doi : 10.1126/ciencia.1077349. PMID  12649484. S2CID  2363255. Archivado desde el original (PDF) el 4 de marzo de 2016 . Consultado el 31 de mayo de 2013 .
54. Frank, Michael J. (2005). "Modulación dinámica de la dopamina en los ganglios basales: una explicación neurocomputacional de los déficits cognitivos en el parkinsonismo medicado y no medicado" (PDF) . Revista de neurociencia cognitiva . 17 (1): 51–72. doi :10.1162/0898929052880093. PMID  15701239. S2CID  7414727.
55. Friston, Karl; Mattout, Jérémie; Kilner, James (2011). "Comprensión de la acción e inferencia activa" (PDF) . Cibernética biológica . 104 (1–2): 137–160. doi :10.1007/s00422-011-0424-z. PMC 3491875 . PMID  21327826. 
56. Kilner, James M.; Friston, Karl J.; Frith, Chris D. (2007). "Codificación predictiva: una descripción del sistema de neuronas espejo" (PDF) . Procesamiento cognitivo . 8 (3): 159–166. doi :10.1007/s10339-007-0170-2. PMC 2649419 . PMID  17429704. 
57. Friston, Karl; Adams, Rick A.; Perrinet, Laurent; Lanza lanza, Michael (2012). "Percepciones como hipótesis: movimientos sacádicos como experimentos". Fronteras en Psicología . 3 : 151. doi : 10.3389/fpsyg.2012.00151 . PMC 3361132 . PMID  22654776. 
58. Mirza, M. Berk; Adams, Rick A.; Mathys, Christoph; Friston, Karl J. (2018). "La exploración visual humana reduce la incertidumbre sobre el mundo percibido". MÁS UNO . 13 (1): e0190429. Código Bib : 2018PLoSO..1390429M. doi : 10.1371/journal.pone.0190429 . PMC 5755757 . PMID  29304087. 
59. Perrinet, Laurent U.; Adams, Rick A.; Friston, Karl J. (2014). "Inferencia activa, movimientos oculares y retrasos oculomotores". Cibernética biológica . 108 (6): 777–801. doi :10.1007/s00422-014-0620-8. PMC 4250571 . PMID  25128318. 
60. Hobson, JA; Friston, KJ (2012). "Conciencia de vigilia y sueño: consideraciones neurobiológicas y funcionales". Avances en Neurobiología . 98 (1): 82–98. doi : 10.1016/j.pneurobio.2012.05.003 . PMC 3389346 . PMID  22609044. 
61. Marrón, Harriet; Friston, Karl J. (2012). "Energía libre e ilusiones: el efecto maíz dulce". Fronteras en Psicología . 3 : 43. doi : 10.3389/fpsyg.2012.00043 . PMC 3289982 . PMID  22393327. 
62. Rudrauf, David; Bennequín, Daniel; Granic, Isabela; Landini, Gregorio; Friston, Karl; Williford, Kenneth (7 de septiembre de 2017). "Un modelo matemático de conciencia encarnada" (PDF) . Revista de Biología Teórica . 428 : 106-131. Código Bib : 2017JThBi.428..106R. doi :10.1016/j.jtbi.2017.05.032. PMID  28554611.
63. K, Williford; D, Bennequín; K, Friston; D, Rudrauf (17 de diciembre de 2018). "El modelo de conciencia proyectiva y la personalidad fenomenal". Fronteras en Psicología . 9 : 2571. doi : 10.3389/fpsyg.2018.02571 . PMC 6304424 . PMID  30618988. 
64. Edwards, MJ; Adams, RA; Marrón, H.; Pares, I.; Friston, KJ (2012). "Un relato bayesiano de la 'histeria'" (PDF) . Cerebro . 135 (11): 3495–3512. doi : 10.1093/cerebro/aws129. PMC 3501967 . PMID  22641838. 
65. Adams, Rick A.; Perrinet, Laurent U.; Friston, Karl (2012). "Búsqueda suave y oclusión visual: inferencia activa y control oculomotor en la esquizofrenia". MÁS UNO . 7 (10): e47502. Código Bib : 2012PLoSO...747502A. doi : 10.1371/journal.pone.0047502 . PMC 3482214 . PMID  23110076. 
66. Ahí, Daniel; Lange, Floris P. de; Prensa, Clare (1 de enero de 2019). "El cerebro predictivo como un científico obstinado". Tendencias en Ciencias Cognitivas . 23 (1): 6–8. doi :10.1016/j.tics.2018.10.003. PMID  30429054. S2CID  53280000.

enlaces externos

• Ciencias del comportamiento y del cerebro (por Andy Clark)