Jeu différentiel

Dans l'étude de la concurrence, les jeux différentiels sont employés depuis un article de 1925 de Charles F. Roos[3]. Le premier à étudier la théorie formelle des jeux différentiels fut Rufus Isaacs, publiant un manuel en 1965[4]. L'un des premiers jeux analysés était le "jeu du chauffeur homicide".

Les jeux différentiels sont étroitement liés aux problèmes de contrôle optimal. Dans un problème de contrôle optimal, il existe un contrôle unique ${\displaystyle u(t)}$ et un seul critère à optimiser ; la théorie des jeux différentiels généralise cela à des contrôles multiples ${\displaystyle u_{1}(t),\dots ,u_{p}(t)}$, un pour chaque joueur cherchant à optimiser un critère[5]. Chaque joueur tente de contrôler l'état du système afin d'atteindre son propre but ; le système répond aux entrées de tous les joueurs.

Soit ${\displaystyle {\mathcal {I}}=[0;T]}$ où ${\displaystyle T\in \,]0;+\infty ]}$. On note ${\displaystyle {\mathcal {P}}}$ l'ensemble des joueurs, de cardinal ${\displaystyle p}$, ${\displaystyle x:{\mathcal {I}}\to \Omega \subset \mathbb {R} ^{n}}$ l'état du système avec pour condition initiale ${\displaystyle x_{0}}$ et ${\displaystyle u_{i}:{\mathcal {I}}\to U_{i}}$ le contrôle (appelé stratégie) du ${\displaystyle i}$-ième joueur, pour ${\displaystyle 1\leq i\leq p}$. Un jeu différentiel est donné par le problème d'optimisation couplé suivant :

$${\displaystyle {\begin{cases}{\dot {x}}&=&f(t,x,u_{1}^{*},\dots ,u_{p}^{*})&x(0)=x_{0}\\u_{i}^{*}&\in &\arg \min \limits _{u_{i}}J_{i}(x,u_{1},\dots ,u_{p}),&1\leq i\leq p\end{cases}}}$$

où ${\displaystyle J_{i}:\Omega \times U_{1}\times \cdots \times U_{p}\to \mathbb {R} }$ est le critère (fonction-objectif) que le ${\displaystyle i}$-ième joueur cherche à optimiser. En l'état, un tel problème n'a pas un concept de solution bien défini. En théorie des jeux non coopératifs, les joueurs ne communiquent pas. Comme ils ne connaissent pas les stratégies choisies par les autres joueurs, ils ne peuvent que les anticiper. Dans ce cadre, le concept de solution adapté est l'équilibre de Nash, où chaque joueur optimise son propre critère au regard des stratégies effectivement choisies par les autres. Le problème s'écrit alors

$${\displaystyle {\begin{cases}{\dot {x}}&=&f(t,x,u_{1}^{*},\dots ,u_{p}^{*})&x(0)=x_{0}\\u_{i}^{*}&\in &\arg \min \limits _{u_{i}}J_{i}(x,u_{1}^{*},\dots ,u_{i-1}^{*},u_{i},u_{i+1}^{*},\dots ,u_{p}^{*}),&1\leq i\leq p\end{cases}}}$$

Une autre façon de formuler ce problème repose sur l'application de meilleure réponse. On note ${\displaystyle {\mathcal {R}}_{i}(u_{j\neq i})=\arg \min \limits _{u_{i}}J_{i}(x(u),u_{1},\dots ,u_{p})}$ la meilleure réponse pour ${\displaystyle i}$. Notons qu'elle dépend implicitement du système dynamique. On pose alors ${\displaystyle {\mathcal {R}}=({\mathcal {R}}_{1},\dots ,{\mathcal {R}}_{p})}$ l'application de meilleure réponse. Le problème revient alors à déterminer un point fixe de cette application multivaluée :

$${\displaystyle {\begin{cases}{\dot {x}}&=&f(t,x,u_{1}^{*},\dots ,u_{p}^{*})&x(0)=x_{0}\\u^{*}&\in &{\mathcal {R}}(u^{*})&\end{cases}}}$$

Le problème n'est pas nécessairement bien posé et ni l'existence, ni l'unicité d'un équilibre de Nash n'est garantie en général. Plusieurs types de problèmes existent selon l'horizon temporel du jeu ou les stratégies possibles pour les joueurs.

Par la suite on se place dans un cadre non coopératif. On suppose de plus que les joueurs connaissent la structure du problème, c'est-à-dire qu'ils ont connaissance de la fonction qui décrit l'évolution du système, de l'état initial, des fonctions-objectif, du temps (chacun possède une horloge).

Horizon temporel

Le système étant dynamique, on distingue plusieurs types de problème selon que l'horizon du jeux est fini, infini, ou aléatoire.

Dans le cas particulier des jeux différentiels où l'horizon temporel est aléatoire, c'est-à-dire variable aléatoire avec une fonction de distribution de probabilité donnée, les joueurs cherchent à maximiser l'espérance mathématique de la fonction de coût[6]. Il a été montré que le problème d'optimisation modifié peut être reformulé comme un jeu différentiel à horizon temporel infini, en introduisant une actualisation[7] - [8].

En horizon temporel fini, ${\displaystyle T<+\infty }$ est connu de tous les joueurs et leurs fonctions de coût s'écrivent

$${\displaystyle J_{i}(x,u_{1},\dots \dots ,u_{p})=\int _{0}^{T}L_{i}(x(t),u_{1}(t),\dots ,u_{p}(t))\,\mathrm {d} t+\Psi _{i}(x(T))}$$

où ${\displaystyle L_{i}}$ est le coût de fonctionnement et ${\displaystyle \Psi _{i}}$ est le coût final. En horizon temporel infini, ${\displaystyle T=\infty }$ est connu de tous les joueurs et leurs fonctions de coût s'écrivent

$${\displaystyle J_{i}(x,u_{1},\dots \dots ,u_{p})=\int _{0}^{+\infty }e^{-\rho _{i}t}L_{i}(x(t),u_{1}(t),\dots ,u_{p}(t))\,\mathrm {d} t}$$

où ${\displaystyle L_{i}}$ est le coût de fonctionnement et ${\displaystyle \rho _{i}}$ le taux d'actualisation

Stratégies en boucle ouverte

On considère le problème où les joueurs ne peuvent observer l'état du système :

$${\displaystyle {\begin{cases}{\dot {x}}&=&f(t,x,u_{1}^{*}(t),\dots ,u_{p}^{*}(t))&x(0)=x_{0}\\u_{i}^{*}&\in &\arg \min \limits _{u_{i}:\mathbb {R} _{+}\to U_{i}}J_{i}(x,u_{1}^{*},\dots ,u_{i-1}^{*},u_{i},u_{i+1}^{*},\dots ,u_{p}^{*}),&1\leq i\leq p\end{cases}}}$$

Supposons que pour tous ${\displaystyle t\in {\mathcal {I}},x\in \Omega ,\lambda _{1},\dots ,\lambda _{p}\in \mathbb {R} ^{n}}$, il existe un unique uplet ${\displaystyle (u_{1}^{\sharp }(t,x,\lambda ),\dots ,u_{p}^{\sharp }(t,x,\lambda ))}$ tel que ${\displaystyle u_{1}^{\sharp }(t,x,\lambda )=\arg \min \limits _{\omega \in U_{i}}\left\{L_{i}(t,x,u_{j\neq i}^{\sharp }(t,x,\lambda ),\omega )-\lambda \cdot f(t,x,u_{j\neq i}^{\sharp }(t,x,\lambda ),\omega )\right\}}$ Supposons que l'horizon du jeu soit fini. Lorsque les fonctions ${\displaystyle f,\psi _{i},L_{i}}$ sont continûment différentiables, d'après le principe du maximum de Pontriaguine, l'équilibre de Nash vérifie les conditions nécessaires suivantes :

$${\displaystyle u_{i}^{*}=u_{i}^{\sharp }(t,x(t),\lambda (t))}$$

où l'état ${\displaystyle x}$ et les co-états ${\displaystyle \lambda _{1},\dots ,\lambda _{p}}$ vérifient

$${\displaystyle {\begin{cases}{\dot {x}}&=&f(t,x,u_{1}^{*}(t),\dots ,u_{p}^{*}(t)))\\{\dot {\lambda }}_{i}&=&-\lambda _{i}\cdot {\partial f \over \partial x}(t,x(t),u^{*}(t))+{\partial L_{i} \over \partial x}(t,x(t),u^{*}(t))\end{cases}}}$$

avec les conditions initiales et finales

$${\displaystyle {\begin{cases}x(0)&=&x_{0}&\\\lambda _{i}(T)&=&-\nabla \psi _{i}(x(T)),&1\leq i\leq p\end{cases}}}$$

Ces conditions nécessaires ne sont cependant pas des conditions suffisantes.

Les jeux différentiels ont été appliqués à l'économie. Les développements récents incluent l'ajout de l'aléatoire aux jeux différentiels et la dérivation de l'équilibre de Nash à rétroaction stochastique (SFNE). Un exemple récent est le jeu différentiel stochastique du capitalisme de Leong et Huang (2010)[9]. En 2016, Yuliy Sannikov a reçu la médaille John Bates Clark de l' American Economic Association pour ses contributions à l'analyse des jeux dynamiques en temps continu à l'aide de méthodes de calcul stochastique[10] - [11].

De plus, les jeux différentiels ont des applications dans le guidage de missiles[12] - [13] et les systèmes autonomes[14]. Pour une étude des jeux différentiels de poursuite-évasion, voir Pachter[15].

• Équations de Lotka – Volterra
• Théorie des jeux à champ moyen

• Bressan, « Noncooperative Differential Games: A Tutorial », Department of Mathematics, Penn State University, 8 décembre 2010