Jeux à champ moyen

Les MFG conviennent particulièrement pour décrire des situations dans lesquelles les agents (i.e. les joueurs) sont atomisés, c’est-à-dire que l’action individuelle d’un joueur n’impacte pas l’état global du système. L’étude de tels jeux, dits jeux non-atomiques, a vu le jour avec les travaux pionniers de Robert Aumann. La grande nouveauté qu’apportent les MFG est le traitement de l’aspect dynamique de tels jeux.

Une hypothèse centrale est l’anonymat des joueurs (invariance par permutation des joueurs). Autrement dit, les MFG supposent que les joueurs sont symétriques. Les joueurs sont caractérisés par une variable d’état, que nous appelons X(t) dont ils contrôlent la dynamique par le choix de leurs actions a(t). Chacun des joueurs cherche ensuite à maximiser son payoff (ou de façon équivalente à minimiser son coût). Ce dernier dépend classiquement de l’état et de l’action du joueur, mais intègre aussi, et c’est là le point clé de la modélisation MFG, un critère de champ moyen basé sur l’état global (qui doit être compris comme la distribution des états) de l’ensemble de la population de joueurs. La dynamique peut aussi contenir un terme similaire d’interaction de champ moyen. On comprend bien ici la dénomination « jeu à champ moyen », qui par les similitudes que présentent ce type d’interactions, s’inspire de la terminologie de la Théorie du champ moyen en physique. À ce propos, certaines équations classiques de la physique théorique se retrouvent comme étant des cas particuliers de jeux à champ moyen.

Les équilibres dans les jeux à champ moyen, dits équilibres Nash-MFG, sont l’approximation d’équilibres de Nash dans le jeu source à N joueurs, lorsque le nombre N est grand. Or il est bien connu qu'un équilibre de Nash dans les jeux différentiels avec un grand nombre de joueurs est numériquement fort coûteux à calculer. La simplification considérable de la calculabilité qu’offrent, au niveau macroscopique, les MFG, constitue un avantage majeur de cette théorie. Les MFG permettent ainsi une facilité de traitement propre au macroscopique, tout en reflétant la microstructure du problème étudié. Une telle approximation d’équilibres de Nash s’opère en deux temps. D’abord l’optimisation dans le jeu à N joueurs, puis le passage à la limite avec ${\displaystyle N\rightarrow \infty }$. Ces deux étapes ne sont pas commutatives.

Les jeux à champ moyen font l’hypothèse – classique et cruciale – que les joueurs ont des anticipations rationnelles, ce qui peut s’interpréter de la façon suivante. Les joueurs anticipent l’évolution de l’état global du système (i.e. du champ moyen) afin de définir leur stratégie (par le choix des actions). L’ensemble des stratégies résultantes aboutit à une évolution statistique du champ moyen qui doit, à l’équilibre, coïncider avec le champ moyen anticipé. On a ainsi un équilibre à anticipations rationnelles. Mathématiquement, on dira alors que les MFG sont une approche forward-backward : l’évolution du champ moyen est forward, mais la stratégie optimale des joueurs est choisie par raisonnement backward (ce qui est classique en théorie du contrôle optimal, et en théorie des jeux différentiels). L’association du forward avec le backward vient du fait que les joueurs intègrent le champ moyen, qui évolue forward, dans leur raisonnement backward, dont la stratégie optimale résulte. Dans la terminologie du contrôle optimal, ceci correspond à un contrôle en boucle fermée.

Les équilibres Nash-MFG sont dans certains cas stables au sens de l’éductivité[2]. Cette notion de stabilité est à relier aux anticipations rationnelles[3]. La stabilité éductive garantit qu’après déviation, un équilibre sera recouvré par un processus mental (indépendant de tout apprentissage temporel) des joueurs, s’il y a dans la population des joueurs un common knowledge d’un voisinage de l’équilibre en question.

La structure mathématique générale d’un équilibre Nash-MFG est un système d’équations aux dérivées partielles (EDPs) forward-backward couplées. L’équation de Fokker-Planck (aussi connue sous le nom de Kolmogorov), décrit l’évolution forward en temps du champ moyen (état global du système pour mémoire). L’équation backward est une équation de Hamilton-Jacobi, et donne les actions optimales des joueurs (contrôle en feedback).

Si les jeux à champ moyen n'offrent pas souvent une résolution avec des formules analytiques, ils permettent de calculer numériquement les équilibres Nash-MFG à moindre coût computationnel (en comparaison avec le coût de la simulation du jeu à N joueurs). Toutefois, la structure mathématique, à savoir le système d'EDPs couplées évoluant dans des sens différents – forward et backward, a nécessité le développement de nouvelles méthodes de calcul numérique[4] - [5].

La dynamique de l’état des joueurs est soumise à un bruit. Elle est ainsi décrite par un processus stochastique. Les bruits peuvent être indépendants ou couplés. Cependant, les équations caractérisant l’équilibre Nash-MFG sont bien plus compliquées lorsque les joueurs sont soumis à un bruit commun (Équation aux Dérivées Partielles en dimension infinie) .

La dynamique de l’état du joueur i est décrite par le processus suivant :

${\displaystyle dX_{t}^{i}=a_{t}^{i}dt+\sigma dW_{t}^{i},\;X_{0}^{i}=x^{i},}$

où ${\displaystyle a^{i}}$ désigne l’action du joueur i et ${\displaystyle x^{i}}$ est son état initial. La distribution empirique des états initiaux, connue de tous, est notée ${\displaystyle m_{0}}$. Les joueurs cherchent l'action ${\displaystyle a^{i}}$ qui minimise en horizon fini leur coût : ${\displaystyle J_{i}(a)=\mathbb {E} \left[\int _{0}^{T}f_{i}(t,X_{t}^{1},\cdots ,X_{t}^{N},a_{t}^{1},\cdots ,a_{t}^{N})dt+g_{i}(X_{T}^{1},\cdots ,X_{T}^{N})\right].}$

Certaines hypothèses doivent être faites sur la forme des coûts. Ils doivent typiquement être du type: ${\displaystyle f_{i}(t,x^{1},\cdots ,x^{N},a^{1},\cdots ,a^{N})=f(t,x^{i},h({\frac {1}{N-1}}\Sigma _{j\neq i}\delta _{x^{j}}),a^{i}),}$ et ${\displaystyle g_{i}(x^{1},\cdots ,x^{N})=g(x^{i},l({\frac {1}{N-1}}\Sigma _{j\neq i}\delta _{x^{j}})),}$ où ${\displaystyle \delta _{x}}$ désigne la masse de Dirac en x. Autrement dit ils sont fonction de la distribution empirique de l'ensemble des états des joueurs (le champ moyen créé par les autres sera, à la limite en nombre de joueurs grand, la distribution empirique, puisque l'influence d'un individu est négligeable [négligée] ).

Il est possible de considérer un problème de minimisation limite (à ne pas confondre toutefois avec le problème d'un agent représentatif qui n'aurait pas de sens dans un MFG) dans le but de dériver formellement les équations d'équilibre. Le problème a la forme suivante: ${\displaystyle v(o,x)=\min _{a}J(a)=\mathbb {E} \left[\int _{0}^{T}f(t,X_{t},m(t,X_{t}),a_{t})dt+g(X_{T},m(t,X_{t}))\right],}$ où la dynamique du joueur est ${\displaystyle dX_{t}=a_{t}dt+\sigma dW_{t},\;X_{0}=x,}$, ${\displaystyle X_{0}}$ a pour distribution ${\displaystyle m_{0}(x)}$, et ${\displaystyle m(t,x)}$ désigne l'évolution anticipée de la distribution des états des joueurs.

${\displaystyle \partial _{t}v(t,x)+{\frac {\sigma ^{2}}{2}}v''(t,x)+\min _{a}\left\{v'(t,x)\cdot a(t,x)-f(t,x,m(t,x),a)\right\}=0,\;v|_{t=T}=g(x,m(T,x)),}$

${\displaystyle \partial _{t}m(t,x)-{\frac {\sigma ^{2}}{2}}m''(t,x)+(m(t,x)\;a^{\star }(t,x))'=0,\;m|_{t=0}=m_{0}.}$

où ${\displaystyle a^{\star }(t,x))}$ est le minimiseur dans la première équation.

Dans ces équations, les termes faisant intervenir la dérivée seconde proviennent de la diffusion due au bruit. La première des deux équations ci-dessus est une équation de Hamilton-Jacobi-Bellman qui évolue backward en temps (condition de transversalité). La fonction valeur est solution de cette équation. La seconde équation est l'équation de Fokker-Planck qui décrit l'évolution forward de l'état global du système (distribution des états des joueurs). C'est une équation de transport (i.e. d'évolution) par drift et diffusion d'un processus.

Le système d'équilibre Nash-MFG est donc constitué de deux équations classiques et bien connues des spécialistes. En revanche, ce qui fait la richesse des MFG se dévoile, dans ce système, à travers le couplage de ces deux équations. Il est clair que l'évolution du champ moyen ${\displaystyle m(t,x)}$ intervient dans la première équation. Le couplage a lieu dans la seconde via le contrôle optimal ${\displaystyle a^{\star }}$, qui dépend de la fonction valeur v.

Dans ce cas standard en théorie des jeux différentiels stochastiques (dynamique linéaire, coûts quadratiques), il est possible de trouver des formules explicites d'équilibres Nash-MFG [9].

• Optimisation
• Théorie des jeux
• Classification des jeux
• Equations différentielles stochastiques
• Raisonnement rétrograde
• Contrôle optimal

• (fr) Cours de Pierre-Louis Lions au Collège de France, vidéos en ligne
• Une très brève introduction au concept sur le site Mathématiques de la planète Terre.
• (en) Un long billet de Terence Tao sur le sujet (sur son blog).

• Jean-Michel Lasry, Pierre-Louis Lions, Mean field games. Japanese Journal of Mathemathics 2 (1), 229–260, 2007
• Olivier Guéant, Jean-Michel Lasry, Pierre-Louis Lions, Mean Field Games and Applications, Paris-Princeton Lectures on Mathematical Finance 2010, Princeton University Press, 2011.