Séparation des convexes

On se place dans un espace affine E (de dimension finie), ou dans un espace vectoriel normé sur ${\displaystyle \mathbb {R} }$.

Étant donné un hyperplan affine H de E, il existe une forme linéaire (unique à un facteur multiplicatif près) qui puisse servir d'équation à ${\displaystyle H}$, c'est-à-dire pour laquelle il existe un ${\displaystyle c}$ réel tel que ${\displaystyle H=\{x\in E\,\mid \,f(x)=c\}}$. De plus, si ${\displaystyle H}$ est fermé, ${\displaystyle f}$ est continue. On pourra dès lors définir les deux « demi-espaces » limités par ${\displaystyle H}$ comme les ensembles ${\displaystyle E_{1}=\{x\in E\,\mid \,f(x)\leq c\}}$ et ${\displaystyle E_{2}=\{x\in E\,\mid \,f(x)\geq c\}}$[1].

Étant données deux parties ${\displaystyle A}$ et ${\displaystyle B}$ de ${\displaystyle E}$, on dit alors que ${\displaystyle H}$ sépare ${\displaystyle A}$ et ${\displaystyle B}$ lorsque, dans la subdivision de ${\displaystyle E}$ par ${\displaystyle H}$ en deux demi-espaces ${\displaystyle E_{1}}$ et ${\displaystyle E_{2}}$, l'un des ensembles ${\displaystyle A}$ et ${\displaystyle B}$ est inclus dans ${\displaystyle E_{1}}$ et l'autre dans ${\displaystyle E_{2}}$. Dans cette définition (séparation au sens « large »), on n'interdit pas à ${\displaystyle A}$ et à ${\displaystyle B}$ de contenir des points de ${\displaystyle H}$, voire de se rencontrer l'un l'autre à condition que ce soit sur ${\displaystyle H}$.

Sous certaines hypothèses, on peut obtenir des résultats de séparation plus précis et conclure que ${\displaystyle A}$ et ${\displaystyle B}$ sont de part et d'autre de ${\displaystyle H}$, dans les demi-plans stricts qu'il limite. De fait, on peut parfois faire encore un peu mieux, d'où la définition technique suivante : on dit que ${\displaystyle H}$ d'équation ${\displaystyle \{x\in E\,\mid \,f(x)=c\}}$ sépare strictement ${\displaystyle A}$ et ${\displaystyle B}$ lorsqu'il existe un ${\displaystyle \epsilon >0}$ tel que l'un des ensembles ${\displaystyle A}$ et ${\displaystyle B}$ soit inclus dans le demi-espace ${\displaystyle E_{1}'=\{x\in E\,\mid \,f(x)\leq c-\epsilon \}}$ et l'autre dans le demi-espace ${\displaystyle E_{2}'=\{x\in E\,\mid \,f(x)\geq c+\epsilon \}}$[1] - [2].

Deux jeux d'hypothèses permettent d'assurer la séparation au sens large. Le premier des théorèmes qui suit est parfois appelé « première forme géométrique du théorème de Hahn-Banach »[3].

En revanche, en dimension infinie, on ne peut pas toujours construire un hyperplan fermé de séparation large : il existe un exemple de deux convexes fermés non vides et disjoints mais qui ne peuvent être séparés par un hyperplan fermé[4].

On pourra remarquer que, dans le premier théorème, le convexe ouvert est nécessairement inclus dans un demi-espace strict. En particulier lorsque A et B sont tous les deux ouverts, on a réalisé une séparation où chacun des convexes est inclus dans un des demi-espaces stricts : c'est mieux qu'une séparation large, mais moins bien qu'une séparation stricte au sens qui a été choisi dans cet article.

Ce résultat est la « deuxième forme géométrique du théorème de Hahn-Banach »[5] :

Une application particulièrement importante en est la représentation des convexes fermés comme intersection de demi-espaces fermés. Lorsqu'on intersecte des demi-espaces fermés, le résultat de l'opération est de façon évidente un convexe fermé (puisque tant la convexité que la fermeture sont conservées par intersection, même infinie). Il se trouve que la réciproque est vraie[6] :

Un cas particulièrement important est celui où B est un singleton contenant un seul point ${\displaystyle x_{0}}$, choisi sur la frontière de ${\displaystyle A}$.

Commençons par une définition : pour ${\displaystyle A}$ partie d'un espace vectoriel sur ${\displaystyle \mathbb {R} }$ et ${\displaystyle x_{0}}$ élément de ${\displaystyle A}$, on dit qu'un hyperplan affine ${\displaystyle H}$ est un hyperplan d'appui de ${\displaystyle A}$ en ${\displaystyle x_{0}}$ lorsque ${\displaystyle x_{0}}$ appartient à ${\displaystyle H}$ et ${\displaystyle A}$ est inclus dans un des demi-espaces limités par ${\displaystyle H}$.

On peut alors énoncer[9] :

Pour le prouver, on se débarrasse d'abord du cas dégénéré où la dimension de ${\displaystyle C}$ serait plus petite que celle de l'espace ambiant : si c'est ainsi, n'importe quel hyperplan affine contenant l'enveloppe affine de ${\displaystyle C}$ convient. Une fois ce cas éliminé, l'intérieur ${\displaystyle \mathrm {int} (C)}$ n'est pas vide et l'on peut appliquer le théorème de séparation à l'ouvert ${\displaystyle \mathrm {int} (C)}$ et au singleton ${\displaystyle \{x_{0}\}}$, qu'on sépare par un hyperplan ${\displaystyle H}$. Comme ${\displaystyle C}$ est l'adhérence de son intérieur (voir l'article Adhérence, intérieur et frontière d'un convexe), il est lui aussi inclus dans un des demi-espaces délimités par ${\displaystyle H}$, et cet hyperplan répond donc au cahier des charges.

Les hyperplans d'appui sont des outils fondamentaux pour classifier les points au bord d'un polyèdre convexe en sommets, points des arêtes, points des faces, etc. et plus généralement pour distinguer et étudier des points et parties remarquables de la frontière d'un convexe.

Le résultat fondamental suivant, dû à Marshall Stone, est purement algébrique : l'espace ambiant est de dimension quelconque et n'est muni d'aucune topologie.

Dans un espace affine réel, pour tous convexes disjoints ${\displaystyle A}$ et ${\displaystyle B}$, il existe deux convexes ${\displaystyle C}$ et ${\displaystyle D}$, complémentaires l'un de l'autre, tels que ${\displaystyle A\subset C}$ et ${\displaystyle B\subset D}$.

Il suffit, pour le démontrer, d'appliquer le lemme de Zorn à l'ensemble inductif des convexes contenant ${\displaystyle A}$ et disjoints de ${\displaystyle B}$ (ordonné par inclusion)[10], ou encore, à celui des couples ${\displaystyle (C,D)}$ de convexes disjoints tels que ${\displaystyle A\subset C}$ et ${\displaystyle B\subset D}$[11].