Commande optimale

Nous considérons le problème de commande optimale sans contrainte sur l'état avec les hypothèses de différentiabilité habituelles. Le problème, ou plutôt sa solution, se complique considérablement en cas de contrainte sur l'état, car un des multiplicateurs de Lagrange est alors une mesure qui n'est pas absolument continue par rapport à la mesure de Lebesgue[17] - [18]. Pour simplifier les notations, nous considérons le cas où l'instant initial et l'état initial sont fixés. Soit le système :

${\displaystyle {\dot {x}}=f\left(t,x,u\right)}$,

${\displaystyle x\left(t_{0}\right)=x_{0},t\in {\mathcal {I}}}$

où ${\displaystyle {\mathcal {I}}}$ est un intervalle compact de la droite réelle contenant ${\displaystyle t_{0}}$ et où ${\displaystyle f}$ est une fonction continue de ${\displaystyle {\mathcal {I}}\times \Omega \times \mathbf {U} }$ dans ${\displaystyle \mathbf {X} }$, ${\displaystyle \mathbf {X} }$ étant un espace de Banach (le lecteur peut supposer que ${\displaystyle \mathbf {X} =\mathbb {R} ^{n}}$), ${\displaystyle \Omega }$ un ouvert de ${\displaystyle \mathbf {X} }$, et ${\displaystyle \mathbf {U} }$ un espace topologique (le plus souvent, un sous-ensemble de ${\displaystyle \mathbb {R} ^{m}}$). La variable ${\displaystyle x}$ est l'état et ${\displaystyle u}$ est la commande (voir l'article Représentation d'état). La fonction ${\displaystyle x\mapsto f(t,x,u)}$ est supposée continûment différentiable pour tout ${\displaystyle (t,u)\in {\mathcal {I}}\times \mathbf {U} }$.

Soit le critère de performance

${\displaystyle J(u)=K\left(t_{f},x_{f}\right)+\int _{t_{0}}^{t_{f}}{\mathcal {L}}\left(t,x\left(t\right),u\left(t\right)\right)dt}$

où le lagrangien ${\displaystyle {\mathcal {L}}}$ vérifie les mêmes conditions que ${\displaystyle f}$ et ${\displaystyle K}$ est continûment différentiable sur ${\displaystyle {\mathcal {V}}_{f}}$.

Soit ${\displaystyle {\mathcal {V}}_{f}}$ une sous-variété différentiable de ${\displaystyle {\mathcal {I}}\mathbf {\times } \mathbf {X} }$[19], appelée variété finale. Nous dirons qu'une fonction ${\displaystyle u:{\mathcal {I}}\rightarrow \mathbf {U} }$ est admissible si elle est continue par morceaux et transfère le couple ${\displaystyle \left(t,x\right)}$ de la condition initiale ${\displaystyle \left(t_{0},x_{0}\right)}$ à une condition finale ${\displaystyle \left(t_{f},x_{f}\right)\in {\mathcal {V}}_{f}}$ (avec ${\displaystyle x\left(t_{f}\right)=x_{f}}$ et ${\displaystyle t_{f}>t_{0}}$, ${\displaystyle t_{f}\in {\mathcal {I}}}$). L'ensemble des commandes admissibles est noté ${\displaystyle {\mathcal {U}}}$. Les hypothèses impliquent que ${\displaystyle f}$ est localement lipschitzienne, donc si ${\displaystyle u}$ est admissible, ${\displaystyle x}$ est absolument continue, et la notion de solution est donc classique (l'égalité ${\displaystyle {\dot {x}}(t)=f\left(t,x(t),u(t)\right)}$ étant vérifiée presque partout au sens de Lebesgue).

Soit ${\displaystyle u^{\ast }\in {\mathcal {U}}}$, et désignons par ${\displaystyle x^{\ast }}$ et ${\displaystyle t_{f}^{\ast }}$ l'état et l'instant final correspondants. Soit ${\displaystyle \varepsilon >0}$ et ${\displaystyle {\mathcal {U}}_{\varepsilon }}$ le sous-ensemble de ${\displaystyle {\mathcal {U}}}$ formé des commandes ${\displaystyle u\in {\mathcal {U}}}$ vérifiant la condition suivante : l'état ${\displaystyle x}$ et l'instant final ${\displaystyle t_{f}}$ correspondants sont tels que

${\displaystyle \left\vert t_{f}-t_{f}^{\ast }\right\vert <\varepsilon \quad }$ et ${\displaystyle \quad \left\Vert x\left(t\right)-x^{\ast }\left(t\right)\right\Vert <\varepsilon ,\forall t\in \left[t_{0},t_{f}\right]\cap \left[t_{0},t_{f}^{\ast }\right]}$.

La commande ${\displaystyle u^{\ast }}$ est dite optimale localement[20] s'il existe ${\displaystyle \varepsilon >0}$ tel que ${\displaystyle J(u)\leq J(u^{\ast }),\forall u\in {\mathcal {U}}_{\varepsilon }}$, et optimale globalement si ${\displaystyle J(u)\leq J(u^{\ast }),\forall u\in {\mathcal {U}}}$.

Pour ${\displaystyle \varepsilon }$ petit, on peut considérer ${\displaystyle {\mathcal {U}}_{\varepsilon }}$ comme un « petit voisinage » de ${\displaystyle u^{\ast }}$. On notera que dans un tel voisinage, ${\displaystyle u(t)}$ n'est pas nécessairement proche de ${\displaystyle u^{\ast }(t)}$ à chaque instant t. Si ${\displaystyle \mathbf {U} }$ est un sous-ensemble d'un espace vectoriel, une « petite variation » de u peut notamment être une variation ${\displaystyle \delta u}$ de grande amplitude mais de faible durée, de sorte qu'elle entraîne une « petite variation » de la fonction ${\displaystyle x:t\mapsto x(t)}$. Cette formulation est identique à celle de Weierstrass, et indique que l'on recherche un « extremum fort » (un « extremum faible » serait obtenu avec uniquement des variations de u qui seraient de faible amplitude).

On appelle pseudo-hamiltonien la fonction

${\displaystyle {\mathcal {H}}:{\mathcal {I}}\times \Omega \times \mathbf {U} \times \left\{0,1\right\}\times \mathbf {X} ^{\prime }\rightarrow \mathbb {R} }$

(où ${\displaystyle \mathbf {X} ^{\prime }}$ est le dual de ${\displaystyle \mathbf {X} }$) définie par

${\displaystyle {\mathcal {H}}\left(t,x,u,\lambda ,p^{\prime }\right)=\left\langle p^{\prime }|f\left(t,x,u\right)\right\rangle -\lambda {\mathcal {L}}\left(t,x,u\right)}$.

(où ${\displaystyle \left\langle .|.\right\rangle }$ est le crochet de dualité).

• Dans la grande majorité des applications, ${\displaystyle \mathbf {X} =\mathbb {R} ^{n}}$.

• Néanmoins, on peut supposer que ${\displaystyle \Omega }$ est une variété différentielle (éventuellement banachique), le champ de vecteurs f étant tel que ${\displaystyle f(t,x,u)}$ appartient à l'espace tangent ${\displaystyle T_{x}(\Omega )}$ ; ${\displaystyle p^{\prime }}$ appartient alors au fibré cotangent ${\displaystyle T^{\prime }(\Omega )}$, de sorte que dans le crochet ${\displaystyle \left\langle p^{\prime }|f(x,u,t)\right\rangle }$, ${\displaystyle p^{\prime }}$ est dans l'espace cotangent ${\displaystyle T_{x}^{\prime }(\Omega )}$. Cette formulation est indispensable, par exemple, pour le calcul des géodésiques dans un espace de Riemann.

• Si l'on suppose que ${\displaystyle \mathbf {U} }$ est un sous-ensemble de ${\displaystyle \mathbb {R} ^{m}}$, on peut envisager des commandes admissibles plus générales que des fonctions continues par morceaux, par exemple, des fonctions mesurables au sens de Lebesgue. On peut alors remplacer ${\displaystyle \mathbf {U} }$ par ${\displaystyle \mathbf {U} (t)}$ où ${\displaystyle t\mapsto \mathbf {U} (t)}$ est une fonction de ${\displaystyle {\mathcal {I}}}$ dans l'ensemble des sous-ensembles de ${\displaystyle \mathbb {R} ^{n}}$ (appelée « multifonction ») dont le graphe est ${\displaystyle {\mathcal {L}}\times {\mathcal {B}}}$-mesurable, où ${\displaystyle {\mathcal {L}}}$ est la tribu de Lebesgue de ${\displaystyle {\mathcal {I}}}$, ${\displaystyle {\mathcal {B}}}$ est la tribu borélienne de ${\displaystyle \mathbb {R} ^{n}}$, et ${\displaystyle {\mathcal {L}}\times {\mathcal {B}}}$ est la tribu engendrée par les ensembles ${\displaystyle A\times B,A\in {\mathcal {L}},B\in {\mathcal {B}}}$[8] - [9].

Le dual de ${\displaystyle \mathbb {R} \times \mathbf {X} }$ est identifié avec ${\displaystyle \mathbb {R} \times \mathbf {X} ^{\prime }}$. On note ${\displaystyle KC^{1}\left({\mathcal {I}};\mathbf {X} ^{\prime }\right)}$ l'espace vectoriel des fonctions continues par morceaux de ${\displaystyle {\mathcal {I}}}$ dans ${\displaystyle \mathbf {X} ^{\prime }}$. Soit d'autre part les deux équations canoniques

${\displaystyle {\dot {x}}^{\ast }={\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x^{\ast },u^{\ast },\lambda ^{\ast },p^{\prime \ast }\right)}$,

${\displaystyle {\dot {p}}^{\prime \ast }=-{\frac {\partial {\mathcal {H}}}{\partial x}}\left(t,x^{\ast },u^{\ast },\lambda ^{\ast },p^{\prime \ast }\right)}$.

Notons ${\displaystyle T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$ l'espace tangent à la variété ${\displaystyle {\mathcal {V}}_{f}}$ au point ${\displaystyle \left(t_{f}^{\ast },x_{f}^{\ast }\right)}$ et ${\displaystyle N_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$ l'orthogonal de ${\displaystyle T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$ dans ${\displaystyle \mathbb {R} \times \mathbf {X} ^{\prime }}$, c'est-à-dire l'ensemble des formes linéaires continues ${\displaystyle k^{\prime }\in \mathbb {R} \times \mathbf {X} ^{\prime }}$ telles que ${\displaystyle \left\langle k^{\prime }|h\right\rangle =0,\forall h\in T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$. On appelle condition de transversalité la relation

${\displaystyle 0\in \left(\lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)-{\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right),\lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)+p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)+N_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$.

Enfin, nous appellerons condition de non trivialité l'inégalité

${\displaystyle \left(\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)\neq 0}$.

On montre le résultat suivant[1] - [21] :

Théorème de Pontriaguine-Boltyansky — Supposons ${\displaystyle T_{\left(t_{f}^{\ast },x_{f}^{\ast }\right)}\left({\mathcal {V}}_{f}\right)}$ de codimension finie. Pour que la commande ${\displaystyle u^{\ast }\in {\mathcal {U}}}$ soit optimale localement, il est nécessaire qu'il existe un état adjoint ${\displaystyle p^{\prime \ast }\in KC^{1}\left({\mathcal {I}};\mathbf {X} ^{\prime }\right)}$ et un multiplicateur de Lagrange ${\displaystyle \lambda ^{\ast }\in \left\{0,1\right\}}$ pour lesquels les deux équations canoniques, la condition de transversalité et la condition de non trivialité soient satisfaites, que la fonction ${\displaystyle t\mapsto {\mathcal {H}}\left(t,x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)}$ soit continue, et que le Principe du maximum

${\displaystyle {\mathcal {H}}\left(t,x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)\geq {\mathcal {H}}\left(t,x^{\ast }\left(t\right),u,\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right),\forall u\in \mathbf {U} }$

soit vérifié en tout point ${\displaystyle t\in \left[t_{0},t_{f}^{\ast }\right]}$ auquel la commande ${\displaystyle u^{\ast }}$ est continue. On a en tout point auquel ${\displaystyle u^{\ast }}$ et ${\displaystyle p^{\prime \ast }}$ sont continues (donc sauf en un nombre fini de points)

${\displaystyle {\frac {d}{dt}}{\mathcal {H}}\left(t,x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)={\frac {\partial }{\partial t}}{\mathcal {H}}\left(t,x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)}$

et en particulier, si le pseudo-hamiltonien ${\displaystyle {\mathcal {H}}}$ ne dépend pas explicitement du temps,

${\displaystyle {\mathcal {H}}\left(x^{\ast }\left(t\right),u^{\ast }\left(t\right),\lambda ^{\ast },p^{\prime \ast }\left(t\right)\right)=C^{te}}$.

La démonstration de ce théorème (avec ${\displaystyle \mathbf {X} }$ de dimension finie) occupe près de 40 pages dans l'ouvrage de Pontriaguine et ses collaborateurs[1]. Lorsque l'état final est astreint à appartenir à une sous-variété de ${\displaystyle \mathbf {X} }$ de codimension infinie, des variations en aiguille de la commande ne suffisent plus (elles ne donnent pas suffisamment de degrés de liberté) et un contre-exemple construit par Yu Vladimirovich Egorov en 1963 montre que le Principe du maximum est inexact. Il existe une extension du principe du maximum pour les systèmes semi-linéaires dont l'état est à valeurs dans un espace de Banach quelconque ; ce résultat est obtenu en utilisant des « variations diffuses » (« diffuse variations » ou « patch variations ») de la commande[22].

Une justification du théorème de Pontriaguine-Boltyansky est donnée plus loin, à partir du théorème de Bellman. Voir également l'utilisation du Lemme de Du Bois-Reymond généralisé lorsque ${\displaystyle \mathbf {U} }$ est un ouvert de ${\displaystyle \mathbb {R} ^{m}}$ et qu'on ne fait que des « variations faibles » de la commande.

Supposons que l'instant initial ${\displaystyle t_{0}}$ et l'état initial ${\displaystyle x_{0}}$ ne soient plus fixés, et qu'on ait seulement une condition initiale ${\displaystyle \left(t_{0},x_{0}\right)\in {\mathcal {V}}_{0}}$ où ${\displaystyle {\mathcal {V}}_{0}}$ est une sous-variété différentiable de ${\displaystyle {\mathcal {I}}\mathbf {\times } \mathbf {X} }$ (variété initiale). On doit alors ajouter la condition de transversalité

${\displaystyle 0\in \left(-{\mathcal {H}}\left(t_{0}^{\ast },x_{0}^{\ast },u^{\ast }\left(t_{0}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{0}^{\ast }\right)\right),p^{\prime \ast }\left(t_{0}^{\ast }\right)\right)+N_{\left(t_{0}^{\ast },x_{0}^{\ast }\right)}\left({\mathcal {V}}_{0}\right)}$.

Nous supposons maintenant que la variété ${\displaystyle {\mathcal {V}}_{f}}$ est de la forme ${\displaystyle {\mathcal {T}}_{f}\times {\mathcal {X}}_{f}}$ où ${\displaystyle {\mathcal {T}}_{f}}$ et ${\displaystyle {\mathcal {X}}_{f}}$ sont des sous-variétés de ${\displaystyle {\mathcal {\mathbb {R} }}}$ et de ${\displaystyle \mathbf {X} }$, respectivement. L'équation de transversalité s'écrit donc

(a) ${\displaystyle 0\in \lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)-{\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)+N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)}$,

(b) ${\displaystyle 0\in \lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)+p^{\prime \ast }\left(t_{f}^{\ast }\right)+N_{t_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)}$.

Dans le cas d'un instant final libre, on a ${\displaystyle {\mathcal {T}}_{f}={\mathcal {\mathbb {R} }}}$, par conséquent ${\displaystyle N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)=0}$ et (a) devient

(a') ${\displaystyle \lambda ^{\ast }{\frac {\partial K}{\partial t}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)={\mathcal {H}}\left(t_{f}^{\ast },x_{f}^{\ast },u^{\ast }\left(t_{f}^{\ast }\right),\lambda ^{\ast },p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)}$

alors que dans le cas d'un instant final fixé, ${\displaystyle {\mathcal {T}}_{f}=\left\{t_{f}\right\}}$ et ${\displaystyle N_{t_{f}^{\ast }}\left({\mathcal {T}}_{f}\right)=\left\{0\right\}}$, donc (a) est trivialement vérifiée. Dans les deux cas on a une équation: (a') dans le premier, ${\displaystyle t_{f}^{\ast }=t_{f}}$ dans le second.

Dans le cas d'un état final libre, on a ${\displaystyle {\mathcal {X}}_{f}=\mathbf {X} }$, par conséquent ${\displaystyle N_{x_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)=0}$ et (b) devient

(b') ${\displaystyle p^{\prime \ast }\left(t_{f}^{\ast }\right)=-\lambda ^{\ast }{\frac {\partial K}{\partial x}}\left(t_{f}^{\ast },x_{f}^{\ast }\right)}$

et la condition de non trivialité entraîne ${\displaystyle \lambda =1}$. Dans le cas d'un état final fixé, ${\displaystyle {\mathcal {X}}_{f}=\left\{x_{f}\right\}}$ et ${\displaystyle N_{x_{f}^{\ast }}\left({\mathcal {X}}_{f}\right)=\left\{0\right\}}$, donc (b) est trivialement vérifiée. Dans les deux cas on a n équations, si ${\displaystyle \mathbf {X} }$ est de dimension n : (b') dans le premier, ${\displaystyle x_{f}^{\ast }=x_{f}}$ dans le second.

Considérons maintenant le problème de commande en temps minimal. L'espace topologique ${\displaystyle \mathbf {U} }$ est le sous-ensemble de ${\displaystyle \mathbb {R} ^{m}}$ défini par ${\displaystyle {\underline {u_{i}}}\leq u_{i}\leq {\overline {u_{i}}}\left(1\leq i\leq m\right)}$. Le critère est ${\displaystyle J=t_{f}-t_{0}}$, ce qui est un cas particulier de l'expression donnée plus haut avec ${\displaystyle K=0}$ et ${\displaystyle l=1}$. Le problème est évidemment à instant final libre, et il est à état final fixé: ${\displaystyle {\mathcal {X}}_{f}=\left\{0\right\}}$. On suppose que ${\displaystyle x=0}$, ${\displaystyle u=0}$ est un point d'équilibre et que le système est affine en la commande, donc de la forme indiquée avec ${\displaystyle f\left(t,x,u\right)=h\left(t,x\right)+g\left(t,x\right)u}$ où ${\displaystyle h\left(t,0\right)=0}$. Représentons ${\displaystyle p^{\prime }}$ par la ligne d'éléments ${\displaystyle p_{i}\left(1\leq i\leq n\right)}$ et ${\displaystyle g}$ par la matrice d'éléments ${\displaystyle g_{i,j}}$. Il vient

${\displaystyle {\mathcal {H}}\left(t,x,u,\lambda ,p^{\prime }\right)=\left\langle p^{\prime }|h\left(t,x\right)\right\rangle +\sum _{j=1}^{m}\left(\sum _{i=1}^{n}p_{i}g_{ij}\left(t,x\right)\right)u_{j}+\lambda }$.

Si ${\displaystyle \lambda ^{\ast }=0}$, on a également ${\displaystyle p^{\prime \ast }=0}$ d'après (b'), ce qui contredit la condition de non trivialité; donc, ${\displaystyle \lambda =1}$. Le Principe du maximum implique que

${\displaystyle u_{j}^{\ast }\left(t\right)={\overline {u_{j}}}}$ (resp. ${\displaystyle {\underline {u_{j}}}}$) si ${\displaystyle \sum _{i=1}^{n}p_{i}^{\prime \ast }\left(t\right)g_{ij}\left(t,x^{\ast }\left(t\right)\right)>0}$ (resp. <0).

Cette commande toujours égale (dans le cas où elle a une seule composante) à sa valeur minimale ou à sa valeur maximale, avec des commutations. Dans le cas de systèmes linéaires d'ordre 2, on peut trouver des solutions explicites fondées sur le portrait de phase[1]. D'autre part, supposons le système linéaire stationnaire d'ordre ${\displaystyle n}$ et commandable. Si les valeurs propres de la matrice d'état sont toutes réelles, le nombre de commutations est au plus égal à ${\displaystyle n-1}$. Si ces valeurs propres sont toutes dans le demi-plan gauche et 0 appartient à l'intérieur de ${\displaystyle \mathbf {U} }$, la commande optimale existe et est unique[1].

Supposons que le système soit linéaire et de dimension finie, soit

${\displaystyle f(t,x,u)=A(t)x+B(t)u}$

où les fonctions ${\displaystyle t\mapsto A(t)}$ et ${\displaystyle t\mapsto B(t)}$ sont continues, et que les fonctions K et l du critère soient continûment différentiables. Supposons également que la variété ${\displaystyle {\mathcal {V}}_{f}}$ soit affine et que l'instant final ${\displaystyle t_{f}}$ soit fixé. Supposons enfin que l'ensemble U et la fonction ${\displaystyle x_{f}\mapsto K(t_{f},x_{f})}$ soient convexes, ainsi que la fonction ${\displaystyle (x,u)\mapsto {\mathcal {L}}(t,x,u)}$ pour tout ${\displaystyle t\in {\mathcal {I}}}$. Dans ce cas, les conditions de Pontriaguine avec ${\displaystyle \lambda ^{\ast }=1}$ sont suffisantes pour que commande ${\displaystyle u^{\ast }}$ soit optimale globalement. Si de plus la fonction ${\displaystyle (x,u)\mapsto {\mathcal {L}}(t,x,u)}$ est convexe, strictement par rapport à u, alors il y a unicité de la commande optimale[13].

D'après le principe général de la programmation dynamique, la commande optimale minimise sur ${\displaystyle {\mathcal {U}}}$, pour tout ${\displaystyle \left(\tau ,\xi \right)\in \left[t_{0},t_{f}\right[\times \Omega }$, le critère

${\displaystyle J_{\tau }(u)=K\left(t_{f},x_{f}\right)+\int _{\tau }^{t_{f}}{\mathcal {L}}\left(t,x\left(t\right),u\left(t\right)\right)dt}$

avec

${\displaystyle x\left(\tau \right)=\xi }$.

Désignons par ${\displaystyle \omega \left(\tau ,\xi \right)}$ la valeur optimale de ce critère. En plus des hypothèses précédentes, nous supposons maintenant que les fonctions ${\displaystyle f,{\mathcal {L}}}$ et ${\displaystyle \omega }$ sont continûment différentiables. Nous supposons également que ${\displaystyle \lambda =1}$ et supprimons cette variable des arguments de ${\displaystyle {\mathcal {H}}}$, qui est donc maintenant une fonction

${\displaystyle {\mathcal {H}}:(t,x,u,p^{\prime })\mapsto {\mathcal {H}}(t,x,u,p^{\prime })}$.

L'équation de Hamilton-Jacobi-Bellman est l'équation aux dérivées partielles

(HJB)::${\displaystyle {\frac {\partial \omega }{\partial t}}\left(\tau ,\xi \right)=\max _{u\in U}{\mathcal {H}}\left(\tau ,\xi ,u,-{\frac {\partial \omega }{\partial \xi }}\left(\tau ,\xi \right)\right)}$

avec pour condition aux limites

(CL):: ${\displaystyle \omega \left(t_{f},x_{f}\right)=K\left(t_{f},x_{f}\right),\forall \left(t_{f},x_{f}\right)\in {\mathcal {V}}_{f}}$.

On dit que le pseudo-hamiltonien ${\displaystyle {\mathcal {H}}}$ est régulier si la fonction ${\displaystyle u\mapsto {\mathcal {H}}\left(\tau ,\xi ,u,p^{\prime }\right)}$ admet un maximum unique sur U, atteint pour une valeur ${\displaystyle u^{0}\left(\tau ,\xi ,p^{\prime }\right)}$ de u. Dans ce cas, soit la commande en boucle fermée ${\displaystyle {\hat {u}}\left(t,x\right)=u^{0}\left(t,x,-{\frac {\partial \omega }{\partial \xi }}\left(t,x\right)\right)}$. On a le résultat suivant[15]:

On déduit dans ce qui suit le théorème de Pontriaguine-Boltyansky du théorème de Bellman en supposant la fonction ${\displaystyle \omega$ :(t,x)\mapsto \omega (t,x)} deux fois continûment différentiable[1], bien que cette seconde hypothèse ne soit malheureusement pas satisfaite dans les cas les plus courants tels que celui de la commande Bang-Bang, où ${\displaystyle \omega }$ n'est pas même différentiable sur les trajectoires optimales (cette hypothèse est satisfaite, néanmoins, dans le cas du Calcul des variations, lorsque le lagrangien ${\displaystyle {\mathcal {L}}}$ et la fonction K sont analytiques, le temps final est fixé et l'état final est libre, comme on le verra plus loin).

Supposons donc l'équation de Hamilton-Jacobi-Bellman vérifiée avec ${\displaystyle \omega }$ de classe ${\displaystyle {\mathcal {C}}^{2}}$. On sait alors qu'une commande optimale existe ; soit ${\displaystyle x{^{\ast }}(t)}$ et ${\displaystyle u{^{\ast }}(t)}$ l'état optimal et la commande optimale à l'instant t, respectivement, et posons

${\displaystyle p^{\prime \ast }(t)=-{\frac {\partial \omega }{\partial x}}\left(t,x^{\ast }(t)\right)}$.

Il vient alors nécessairement

${\displaystyle {\dot {p}}^{\prime \ast }(t)=-{\frac {\partial ^{2}\omega }{\partial x\partial t}}\left(t,x^{\ast }(t)\right)-{\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x^{\ast }(t)\right){\dot {x}}^{\ast }\left(t\right)}$

avec ${\displaystyle {\dot {x}}^{\ast }\left(t\right)=f(t,x^{\ast }(t),u^{\ast }\left(t\right))}$, ce qui équivaut à la première équation canonique

${\displaystyle {\dot {x}}^{\ast }(t)={\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x^{\ast }(t),u^{\ast }(t),\lambda ^{\ast },p^{\prime \ast }(t)\right)}$.

L'équation de Hamilton-Jacobi-Bellman implique le Principe du maximum

${\displaystyle u^{\ast }\left(t\right)={\underset {u\in U}{\arg \max }}{\mathcal {H}}\left(t,x^{\ast }\left(t\right),u,p^{\ast }\left(t\right)\right)}$.

ainsi que l'égalité

${\displaystyle {\frac {\partial \omega }{\partial t}}(t,x)={\mathcal {H}}\left(t,x,u^{\ast }\left(t\right),-{\frac {\partial \omega }{\partial x}}\left(t,x\right)\right)}$.

On tire de cette dernière

${\displaystyle {\frac {\partial ^{2}\omega }{\partial t\partial x}}(t,x)={\frac {\partial {\mathcal {H}}}{\partial x}}\left(t,x,u^{\ast }\left(t\right),-{\frac {\partial \omega }{\partial x}}\left(t,x\right)\right)-{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x,u^{\ast }\left(t\right),-{\frac {\partial \omega }{\partial x}}\left(t,x\right)\right){\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x\right)}$.

En plongeant ${\displaystyle \mathbf {X} }$ dans son bidual, on a

${\displaystyle {\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}\left(t,x,u^{\ast },\left(t\right),p^{\ast }(t)\right)=f\left(x,u^{\ast }\left(t\right),t\right)}$

et on obtient finalement la seconde équation canonique

${\displaystyle {\dot {p}}^{\prime }(t)=-{\frac {\partial {\mathcal {H}}}{\partial x}}\left(t,x^{\ast }(t),u^{\ast }\left(t\right),p^{\ast }(t)\right)}$

car avec le plongement ci-dessus, et compte tenu du fait que la forme bilinéaire continue ${\displaystyle {\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x^{\ast }(t)\right)}$ est symétrique,

${\displaystyle f\left(t,x^{\ast }(t),u^{\ast }(t)\right){\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x^{\ast }(t)\right)}$ et ${\displaystyle {\frac {\partial ^{2}\omega }{\partial x^{2}}}\left(t,x^{\ast }(t)\right)f\left(t,x^{\ast }(t),u^{\ast }(t)\right)}$

sont deux écritures différentes de la même forme linéaire continue.

(En effet, soit B une forme linéaire continue symétrique sur ${\displaystyle \mathbf {X} \times \mathbf {X} }$ et ${\displaystyle h,k\in \mathbf {X} }$. On a alors ${\displaystyle B.k\in \mathbf {X} {^{\prime }}}$. Considérons le crochet ${\displaystyle \left\langle B.k|h\right\rangle }$. Il désigne le réel ${\displaystyle (B.k)h=B.(k,h)}$. Mais en considérant h comme élément du bidual de ${\displaystyle \mathbf {X} }$, il désigne également ${\displaystyle \left(h\circ B\right)\left(k\right)}$. Donc, ${\displaystyle \left(h\circ B\right)\left(k\right)=B.(k,h)}$, et puisque B est symétrique, ${\displaystyle \left(h\circ B\right)\left(k\right)=B.(h,k)}$, ce qui entraîne encore ${\displaystyle h\circ B=B.h}$. Dans le cas où ${\displaystyle \mathbf {X} }$ est de dimension finie, on peut vérifier cette égalité en développant les deux membres dans une base de ${\displaystyle \mathbf {X} }$ et la base duale.)

Pour démontrer l'égalité ${\displaystyle {\frac {\partial {\mathcal {H}}}{\partial t}}={\frac {d{\mathcal {H}}}{dt}}}$ (en notation abrégée) sur les trajectoires optimales, supposons pour simplifier que ${\displaystyle \mathbf {U} }$ soit un ouvert d'un espace de Banach. Le Principe du maximum implique alors la condition d'Euler ${\displaystyle {\frac {\partial {\mathcal {H}}}{\partial u}}=0}$ à l'optimum. Par conséquent,

${\displaystyle {\frac {d{\mathcal {H}}}{dt}}={\frac {\partial {\mathcal {H}}}{\partial t}}+{\frac {\partial {\mathcal {H}}}{\partial x}}{\dot {x}}+{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}{\dot {p}}^{\prime }+{\frac {\partial H}{\partial u}}={\frac {\partial {\mathcal {H}}}{\partial t}}+{\frac {\partial {\mathcal {H}}}{\partial x}}{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}-{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}{\frac {\partial {\mathcal {H}}}{\partial x}}}$.

Le même type de raisonnement que plus haut montre que ${\displaystyle {\frac {\partial {\mathcal {H}}}{\partial x}}{\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}={\frac {\partial {\mathcal {H}}}{\partial p^{\prime }}}{\frac {\partial {\mathcal {H}}}{\partial x}}}$, d'où le résultat.

Il reste à obtenir la condition de transversalité. Sur ${\displaystyle {\mathcal {V}}_{f}}$ on doit avoir ${\displaystyle \omega (t_{f},x(t_{f}))=K(t_{f},x(t_{f}))}$. Par conséquent, pour tout accroissement admissible infiniment petit ${\displaystyle \left(\delta t_{f},\delta x_{f}\right)\in T_{\left(t_{f}^{\ast },x_{f}^{\ast }\left(t_{f}^{\ast }\right)\right)}{\mathcal {V}}_{f}}$,

${\displaystyle \left({\frac {\partial K}{\partial t}}(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)-{\frac {\partial \omega }{\partial t}}(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)\right)\delta t_{f}+\left({\frac {\partial K}{\partial x}}(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)-{\frac {\partial \omega }{\partial x}}(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)\right)\delta x_{f}=0}$.

Or, on a

${\displaystyle {\frac {\partial \omega }{\partial t}}\left(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right)\right)={\mathcal {H}}\left(t_{f}^{\ast },x^{\ast }\left(t_{f}^{\ast }\right),u^{\ast }\left(t_{f}^{\ast }\right),p^{\prime \ast }\left(t_{f}^{\ast }\right)\right)}$ et