Principe de l'énergie libre

Le codage prédictif est une théorie de neurosciences sur la manière dont le cerveau traite les informations sensorielles. Elle propose que le cerveau génère constamment des prévisions sur les entrées sensorielles qu'il est susceptible de recevoir, en fonction de son expérience passée et de son contexte actuel. Lorsque de nouvelles entrées sensorielles sont reçues, elles sont comparées à ces prévisions, et toutes les différences sont utilisées pour mettre à jour le modèle interne du cerveau à propos du monde. Ce processus permet au cerveau de traiter rapidement et efficacement les informations sensorielles, ce qui nous permet d'interagir avec notre environnement en temps réel.

L'inférence active est le cadre computationnel qui décrit comment un agent (comme une personne ou une intelligence artificielle) peut interagir avec son environnement pour atteindre un résultat souhaité. Il repose sur l'idée qu'un agent peut maximiser ses chances de réussite en recherchant activement des informations sur son environnement et en utilisant ces informations pour faire des prévisions sur les événements futurs. Ces prévisions peuvent alors être utilisées pour orienter les actions de l'agent de manière cohérente avec ses objectifs et ses préférences.

L'énergie libre est une mesure de l'incertitude ou de la surprise dans un système. Elle est définie comme la différence entre l'énergie attendue du système et l'énergie réelle du système.

Dans la théorie de Karl Friston, le but d'un système intelligent, tel que le cerveau, est de minimiser son énergie libre en réduisant l'incertitude et la surprise. Cela est réalisé en faisant des prédictions sur l'état futur du système, puis en utilisant les informations sensorielles pour mettre à jour ces prédictions et réduire l'erreur ou la discordance entre les états prédits et réels.

En d'autres termes est une mesure de l'écart ou de l'erreur entre les prédictions du système et les entrées sensorielles réelles qu'il reçoit. En minimisant son énergie libre le système peut réduire l'incertitude et la surprise, et s'adapter à son environnement de manière plus efficace.

Ces schémas illustrent la partition des états en états internes et en états cachés ou externes séparés par une couverture de Markov - comprenant des états sensoriels et actifs. Le panneau inférieur montre cette partition telle qu'elle serait appliquée à l'action et à la perception dans le cerveau, où les états actifs et internes minimisent une énergie libre fonctionnelle des états sensoriels. L'auto-organisation des états internes qui s'ensuit correspond alors à la perception, tandis que l'action couple les états du cerveau aux états externes. Le panneau supérieur montre exactement les mêmes dépendances mais réarrangées de sorte que les états internes sont associés aux états intracellulaires d'une cellule, tandis que les états sensoriels deviennent les états de surface de la membrane cellulaire recouvrant les états actifs (par exemple, les filaments d'actine du cytosquelette).

L'inférence active repose sur le tuple ${\displaystyle (\Omega ,\Psi ,S,A,R,q,p)}$,

• Un échantillon de l'espace ${\displaystyle \Omega }$ – à partir de laquelle les fluctuations aléatoires ${\displaystyle \omega \in \Omega }$ sont tirées
• États cachés ou externes ${\displaystyle \Psi$ :\Psi \times A\times \Omega \to \mathbb {R} } – qui provoquent des états sensoriels et dépendent de l'action
• États sensoriels ${\displaystyle S:\Psi \times A\times \Omega \to \mathbb {R} }$ – une cartographie probabiliste à partir de l'action et des états cachés
• Action ${\displaystyle A:S\times R\to \mathbb {R} }$ – qui dépend des états sensoriels et internes
• États internes ${\displaystyle R:R\times S\to \mathbb {R} }$ – qui provoquent l'action et dépendent des états sensoriels
• Densité générative ${\displaystyle p(s,\psi |m)}$ – sur des états sensoriels et cachés sous un modèle génératif ${\displaystyle m}$
• Densité variationnelle ${\displaystyle q(\psi |\mu )}$ – sur des états cachés ${\displaystyle \psi \in \Psi }$ paramétrée par des états internes ${\displaystyle \mu \in R}$

L'objectif est de maximiser la preuve du modèle ${\displaystyle p(s|m)}$ ou de minimiser la surprise ${\displaystyle -\log p(s|m)}$. Il s'agit généralement d'une marginalisation insoluble sur les états cachés, donc la surprise est remplacée par une énergie libre variationnelle supérieure liée. Cependant, cela signifie que les états internes doivent également minimiser l'énergie libre, car l'énergie libre est une fonction des états sensoriels et internes :

${\displaystyle a(t)={\underset {a}{\operatorname {arg\,min} }}\{F(s(t),\mu (t))\}}$

${\displaystyle \mu (t)={\underset {\mu }{\operatorname {arg\,min} }}\{F(s(t),\mu ))\}}$

${\displaystyle {\underset {\mathrm {energie-libre} }{\underbrace {F(s,\mu )} }}={\underset {\mathrm {energie} }{\underbrace {E_{q}[-\log p(s,\psi \mid m)]} }}-{\underset {\mathrm {entropie} }{\underbrace {H[q(\psi |\mu )]} }}={\underset {\mathrm {surprise} }{\underbrace {-\log p(s|m)} }}+{\underset {\mathrm {divergence} }{\underbrace {D_{\mathrm {KL} }[q(\psi |\mu )\|p(\psi \mid s,m)]} }}\geq {\underset {\mathrm {surprise} }{\underbrace {-\log p(s|m)} }}}$

Ceci induit une double minimisation par rapport à l'action et aux états internes qui correspondent respectivement à l'action et à la perception.

Cependant, l'énergie libre est aussi une limite supérieure sur l'auto-information (ou surprise) des résultats, où la moyenne à long terme de la surprise est l'entropie. Cela signifie que si un système agit pour minimiser l'énergie libre, il placera implicitement une limite supérieure sur l'entropie des résultats - ou états sensoriels - qu'il échantillonne[7].

La minimisation de l'énergie libre a été proposée comme caractéristique des systèmes auto-organisés, lorsqu'elle est présentée comme des systèmes dynamiques aléatoires[8]. Cette formulation repose sur une couverture de Markov (comprenant des états d'action et des états sensoriels) qui sépare les états internes et externes. Si les états internes et l'action minimisent l'énergie libre, alors ils placent une limite supérieure sur l'entropie des états sensoriels

${\displaystyle \lim _{T\to \infty }{\frac {1}{T}}{\underset {\mathrm {free-action} }{\underbrace {\int _{0}^{T}F(s(t),\mu (t))dt} }}\geq \lim _{T\to \infty }{\frac {1}{T}}\int _{0}^{T}{\underset {\mathrm {surprise} }{\underbrace {-\log p(s(t)|m)} }}dt=H[p(s|m)]}$

En effet, dans les hypothèses ergodiques, la moyenne à long terme des surprises est l'entropie. Cette limite résiste à une tendance naturelle au désordre - du type associé à la deuxième loi de la thermodynamique et au théorème de fluctuation.

Toutes les inférences bayésiennes peuvent être exprimées en termes de minimisation de l'énergie libre, par exemple[9] lorsque l'énergie libre est minimisée par rapport aux états internes, la divergence de Kullback-Leibler entre la densité variationnelle et la densité postérieure sur les états cachés est minimisée. Cela correspond à une inférence bayésienne approximative - lorsque la forme de la densité variationnelle est fixe - et à une inférence bayésienne exacte sinon. La minimisation de l'énergie libre fournit donc une description générique de l'inférence et du filtrage bayésiens (p. ex. filtre de Kalman). Elle est également utilisée dans la sélection de modèles bayésiens, où l'énergie libre peut être utilement décomposée en complexité et précision :

${\displaystyle {\underset {\mathrm {energie-libre} }{\underbrace {F(s,\mu )} }}={\underset {\mathrm {complexite} }{\underbrace {D_{\mathrm {KL} }[q(\psi |\mu )\|p(\psi |m)]} }}-{\underset {\mathrm {precision} }{\underbrace {E_{q}[\log p(s|\psi ,m)]} }}}$

Les modèles avec un minimum d'énergie libre fournissent une explication précise des données, sous les coûts de complexité (c.f., le rasoir d'Ockham et les traitements plus formels des coûts de calcul)[10]). Ici, la complexité est la divergence entre la densité variationnelle et les croyances antérieures sur les états cachés (c'est-à-dire les degrés effectifs de liberté utilisés pour expliquer les données).

L'énergie libre variationnelle est une information théorique fonctionnelle et se distingue de l'énergie libre thermodynamique (Helmholtz)[11]. Cependant, le terme de complexité de l'énergie libre variationnelle partage le même point fixe que l'énergie libre de Helmholtz (dans l'hypothèse où le système est fermé thermodynamiquement mais non isolé). En effet, si les perturbations sensorielles sont suspendues (pour une période de temps suffisamment longue), la complexité est minimisée (car la précision peut être négligée). À ce stade, le système est en équilibre et les états internes minimisent l'énergie libre de Helmholtz, par le principe de l'énergie minimale[12].

La minimisation de l'énergie libre équivaut à maximiser l'information mutuelle entre les états sensoriels et les états internes qui paramètrent la densité variationnelle (pour une densité variationnelle à entropie fixe). Ceci relie la minimisation de l'énergie libre au principe de la redondance minimale[13] et aux traitements connexes utilisant la théorie de l'information pour décrire le comportement optimal[14] - [15].

La minimisation de l'énergie libre fournit un moyen utile de formuler des modèles normatifs (optimaux de Bayes) d'inférence neuronale et d'apprentissage sous incertitude [23] et souscrit donc à l'hypothèse bayésienne du cerveau[24]. Les processus neuronaux décrits par la minimisation de l'énergie libre dépendent de la nature des états cachés : ${\displaystyle \Psi =X\times \Theta \times \Pi }$ qui peuvent comprendre des variables dépendantes du temps, des paramètres invariants dans le temps et la précision (variance inverse ou température) des fluctuations aléatoires. La minimisation des variables, des paramètres et de la précision correspond respectivement à l'inférence, à l'apprentissage et au codage de l'incertitude.

La minimisation de l'énergie libre formalise la notion d'inférence inconsciente dans la perception et fournit une théorie normative (bayésienne) du traitement neuronal. La théorie des processus associés de la dynamique neuronale est basée sur la minimisation de l'énergie libre par la descente de gradient. Ceci correspond au filtrage bayésien généralisé (où ~ désigne une variable en coordonnées de mouvement généralisées et ${\displaystyle D}$ est un opérateur de matrice dérivée)[25] :

${\displaystyle {\dot {\tilde {\mu }}}=D{\tilde {\mu }}-\partial _{\tilde {\mu }}F(s,{\tilde {\mu }})}$

Habituellement, les modèles génératifs qui définissent l'énergie libre sont non linéaires et hiérarchiques (comme les hiérarchies corticales dans le cerveau). Parmi les cas particuliers de filtrage généralisé, on peut citer le filtrage de Kalman, qui est formellement équivalent au codage prédictif[26] – une métaphore populaire pour le message qui passe dans le cerveau. Dans les modèles hiérarchiques, le codage prédictif implique l'échange récurrent d'erreurs de prédiction ascendantes (bottom-up) et descendantes (top-down)[27] qui est compatible avec l'anatomie et la physiologie des systèmes sensoriel[28] et moteur[29].

Dans le codage prédictif, l'optimisation des paramètres du modèle par une montée en gradient sur l'intégrale temporelle de l'énergie libre (action libre) se réduit à une plasticité associative ou Hebbienne et est associée à une plasticité synaptique dans le cerveau.

L'optimisation des paramètres de précision correspond à l'optimisation du gain des erreurs de prédiction (c.f. gain de Kalman). Dans les implémentations neuronalement plausibles du codage prédictif, cela correspond à l'optimisation de l'excitabilité des cellules pyramidales superficielles et a été interprété en termes de gain attentionnel[30].

L'inférence active a été utilisée pour aborder un éventail de questions en neuropsychiatrie, notamment l'observation de l'action[31], les neurones miroirs[32], les saccades et la recherche visuelle[33], les mouvements oculaires[34], le sommeil[35], les illusions[36], l'attention, la sélection des actions, l'hystérie[37] et la psychose[38]

Les problèmes de décision optimale (habituellement formulés comme des processus de décision de Markov partiellement observables) sont traités par inférence active en absorbant les fonctions d'utilité dans des croyances antérieures. Dans ce paramètre, les états qui ont une utilité élevée (faible coût) sont les états qu'un agent s'attend à occuper. En équipant le modèle générateur d'états cachés qui contrôlent le modèle, les politiques (séquences de contrôle) qui minimisent l'énergie libre variationnelle conduisent à des états d'utilité élevée[32].

Neurobiologiquement, les neuromodulateurs comme la dopamine sont considérés pour rapporter la précision des erreurs de prédiction en modulant le gain des cellules principales codant l'erreur de prédiction[39]. Cela est étroitement lié au rôle de la dopamine dans la déclaration des erreurs de prévision en soi, mais en est formellement distinct[40] et dans les comptes rendus informatiques connexes[41].

Lorsque la descente de gradient est appliquée à l'action ${\displaystyle {\dot {a}}=-\partial _{a}F(s,{\tilde {\mu }})}$ le contrôle moteur peut être compris en termes d'arcs réflexes classiques qui sont engagés par des prédictions descendantes (corticospinales). Ceci fournit un formalisme qui généralise la solution du point d'équilibre - au problème des degrés de liberté[42] - aux trajectoires de mouvement.

L'inférence active est liée au contrôle optimal en remplaçant les fonctions de valeur ou de coût à emporter par des croyances préalables sur les transitions d'état ou le débit[43]. Ceci exploite le lien étroit entre le filtrage bayésien et la solution à l'équation de Bellman. Cependant, l'inférence active commence par (prend le pas sur) le débit ${\displaystyle f=\Gamma \cdot \nabla V+\nabla \times W}$ qui sont spécifiés par des fonctions de valeur scalaire ${\displaystyle V(x)}$ et vectorielle ${\displaystyle W(x)}$ de l'espace d'état (c.f. la décomposition de Helmholtz). Ici, ${\displaystyle \Gamma }$ est l'amplitude des fluctuations aléatoires et le coût est ${\displaystyle c(x)=f\cdot \nabla V+\nabla \cdot \Gamma \cdot V}$. Les antécédents de dépassement du flux ${\displaystyle p({\tilde {x}}|m)}$ induisent une priorité sur les états ${\displaystyle p(x|m)=\exp(V(x))}$ qui est la solution aux équations de Kolmogorov avancées appropriées[44]. En revanche, la régulation optimale optimise le débit, compte tenu d'une fonction de coût, en supposant que ${\displaystyle W=0}$ (c'est-à-dire que le débit n'est pas bouclé ou qu'il présente un bilan détaillé). Habituellement, il s'agit de résoudre les équations de Kolmogorov rétrogrades[45]

• Affordance
• Autopoïèse
• Théorie de la décision
• Embodiment
• Énergie libre
• Commande optimale
• Auto-organisation

• Sciences du comportement et du cerveau (Andy Clark)