Dixième problème de Hilbert

Il s'agit du seul des 23 problèmes de Hilbert qui est ce que l'on appelle aujourd'hui un problème de décision : il existe une infinité dénombrable d'équations diophantiennes, mais la solution du dixième problème demande de trouver une méthode universelle qui permette de statuer sur la résolubilité de n'importe quelle équation diophantienne[3]. Il existe de fait des méthodes très diverses et utilisant des techniques mathématiques très variées pour résoudre des équations diophantiennes spécifiques. Par exemple, le théorème de Fermat-Wiles résout une famille d'équations diophantiennes à trois inconnues[4].

Hilbert n'emploie pas le mot « algorithme », mais il n'y a aucun doute que c'est cela qu'il entend. À son époque, il n'existe pas de définition précise de ce qu'est un algorithme, ce qui n'aurait pas été gênant si la solution du problème avait été positive. Pour pouvoir envisager une solution négative, il fallait en proposer une définition mathématique, qui est le fruit de travaux dans les années 1930, et repose sur la thèse de Church, formulée en 1936[5].

Commençons par un exemple : considérons l'équation polynomiale (à deux inconnues) ${\displaystyle x^{2}-2y^{2}=0.}$ On sait depuis la découverte des irrationnels en Grèce Antique qu'il n'existe pas de nombre rationnel ${\displaystyle x/y}$ dont le carré vaut ${\displaystyle 2}$. On dira alors que l'équation diophantienne associée au polynôme ${\displaystyle D(x,y)=x^{2}-2y^{2}}$ ne possède aucune solution (on précise parfois « aucune solution non triviale », c’est-à-dire formée d’entiers strictement positifs). De manière générale, une équation diophantienne est une équation du type ${\displaystyle D(x_{1},\dots ,x_{k})=0}$ où ${\displaystyle D}$ est un polynôme à ${\displaystyle k}$ indéterminées à coefficients entiers, dont on cherche des solutions entières (ou parfois seulement entières positives, voir ci-dessous).

Un exemple de familles d'équations diophantiennes dont on sait trouver des solutions, est la famille des équations du type ${\displaystyle ax+by=c}$ d'inconnues ${\displaystyle x,y}$, où ${\displaystyle a,b,c}$ sont des entiers; par exemple l'équation ${\displaystyle 99x+56y=1}$. On peut bien sûr imaginer des exemples plus exotiques comme ${\displaystyle 4x^{2}+34zy-xy+(z-y-3x)^{4}=0}$ d'inconnues ${\displaystyle x,y,z}$.

Hilbert pose donc la question dans son dixième problème de savoir si l'on peut écrire un algorithme ${\displaystyle A}$, prenant en entrée un polynôme ${\displaystyle D(x_{1},\dots ,x_{k})}$, à coefficients entiers, et décidant si oui ou non l'équation ${\displaystyle D(x_{1},\dots ,x_{k})=0}$ possède des solutions entières (en particulier on ne demande pas à l'algorithme ${\displaystyle A}$ de donner ces solutions si elles existent).

Il est important de noter que la résolution de ${\displaystyle D(x_{1},\dots ,x_{k})=0}$ où ${\displaystyle x_{1},\dots ,x_{k}}$ sont des entiers quelconques, revient à résoudre ${\displaystyle D(y_{1}-z_{1},\dots ,y_{k}-z_{k})=0}$ où ${\displaystyle y_{1},z_{1},\dots ,y_{k},z_{k}}$ sont des entiers naturels. Ainsi, on peut donc ramener le dixième problème de Hilbert à un autre problème de décision, qui est de savoir si une équation diophantienne admet des solutions entières positives (on parle de réduction).

On ne va maintenant plus considérer une seule équation diophantienne ${\displaystyle D(x_{1},\dots ,x_{k})=0}$ mais une famille d'équations diophantiennes du type ${\displaystyle D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})=0}$, où ${\displaystyle a_{1},\dots ,a_{n}}$ sont des paramètres qui sont des entiers positifs.

Ceci peut donner l'impression que l'on complexifie le problème mais cette interprétation des équations diophantiennes va s'avérer très utile. En effet pour un polynôme ${\displaystyle D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})}$ à paramètres entiers ${\displaystyle a_{1},\dots ,a_{n}}$, on peut considérer l'ensemble ${\displaystyle M=\{\,(a_{1},\dots ,a_{n})\mid \exists x_{1},\dots ,x_{k}\in \mathbb {N} \ D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})=0\,\}}$, c'est-à-dire l'ensemble des ${\displaystyle n}$-uplets de paramètres ${\displaystyle (a_{1},\dots ,a_{n})}$ tels que l'équation ${\displaystyle D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})=0}$ possède au moins une solution entière positive. Réciproquement, on dit qu'un ensemble de ${\displaystyle n}$-uplets est diophantien s'il est de cette forme, et alors le polynôme ${\displaystyle D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})}$ est une représentation diophantienne de cet ensemble.

Par exemple l'ensemble des entiers naturels pairs est diophantien : en effet ${\displaystyle D(a,x)=a-2x}$ en est une représentation diophantienne. De même, le sous-ensemble de ${\displaystyle \mathbb {N} ^{2}}$ des couples d'entiers positifs premiers entre eux est diophantien puisque, par le théorème de Bézout, cet ensemble est représenté par le polynôme paramétré ${\displaystyle D(a,b,x_{1},x_{2},y_{1},y_{2})=a(x_{1}-x_{2})+b(y_{1}-y_{2})-1}$ toujours avec ${\displaystyle a,b,x_{1},x_{2},y_{1},y_{2}}$ des entiers positifs.

Comme dit dans la description, le dixième problème de Hilbert est un problème de décision, c'est-à-dire qu'on se pose la question de l'existence d'un algorithme ${\displaystyle A}$ qui, à chaque fois que l'on entre une équation diophantienne, renvoie « oui » ou « non » selon qu'elle possède ou non des solutions. S'il existe un tel algorithme, le problème de décision est dit décidable. On dira, de manière équivalente, que l'ensemble des instances positives d'un tel problème est alors récursif.

Un ensemble récursivement énumérable peut être énuméré par un ordinateur.

Un sous-ensemble ${\displaystyle S}$ de ${\displaystyle \mathbb {N} ^{n}}$est dit récursivement énumérable s’il existe un algorithme qui s'exécute indéfiniment et qui énumère exactement tous les membres de ${\displaystyle S}$.

Proposition - tout ensemble diophantien est récursivement énumérable.

En effet, considérons une équation diophantienne ${\displaystyle D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})=0}$ et imaginons un algorithme qui parcourt toutes les valeurs possibles des ${\displaystyle (n+k)}$-uplets ${\displaystyle a_{1},\dots ,a_{n},x_{1},\dots ,x_{k}}$ dans un ordre précis (par exemple un ordre lexicographique), et affiche ${\displaystyle a_{1},\dots ,a_{n}}$ chaque fois que ${\displaystyle D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})=0}$. Cet algorithme s'exécutera sans fin et énumérera exactement les ${\displaystyle k}$-uplets ${\displaystyle a_{1},\dots ,a_{n}}$ pour lesquels ${\displaystyle D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})=0}$ a une solution.

Proposition - Il existe des ensembles récursivement énumérables qui ne sont pas récursifs

Par exemple, le langage d'acceptation[6], c'est-à-dire l'ensemble des couples ${\displaystyle \langle M,w\rangle }$ où ${\displaystyle M}$ est une machine de Turing qui termine avec le mot ${\displaystyle w}$ comme donnée initiale, est récursivement énumérable mais pas récursif. Ainsi, on peut trouver un ensemble récursivement énumérable ${\displaystyle S}$ de ${\displaystyle n}$-uplets non récursif, c'est-à-dire tel que pour n'importe quel algorithme on puisse trouver un ${\displaystyle n}$-uplet pour lequel cet algorithme tourne indéfiniment sans jamais renvoyer de réponse. En vue des liens déjà établis entre ensembles diophantiens et ensembles récursivement énumérables, si l'ensemble ${\displaystyle S}$ précédent était diophantien, on aurait notre réponse au dixième problème de Hilbert.

Le théorème de Matiiassevitch, prouvant la conjecture de Martin Davis, lui-même est beaucoup plus fort que l'insolubilité du dixième problème. Cet énoncé aussi appelé « Théorème DPRM » (pour Martin Davis, Hilary Putnam, Julia Robinson et Matiiassevitch) affirme que :

Un ensemble est récursivement énumérable si et seulement s’il est diophantien.

Le fait que tout ensemble diophantien est récursivement énumérable a été expliqué ci-dessus dans la partie ensemble récursivement énumérable, est évidemment le sens de l'équivalence qui a posé le moins de problèmes. C'est l'implication « être récursivement énumérable ⇒ être diophantien » qui a pris vingt ans à être prouvée.

Ce théorème répond bien au problème puisqu'on peut trouver un ensemble récursivement énumérable non récursif, et par le théorème précédent, cet ensemble est diophantien. On a donc un ensemble diophantien non récursif et la théorie de la décidabilité nous dit donc que le problème de décision des équations diophantiennes a une réponse négative.

Le théorème de Matiiassevitch a été depuis employé pour démontrer l'indécidabilité de nombreux problèmes liés à l'arithmétique. De même, on peut également dériver la forme suivante plus forte du premier théorème d'incomplétude de Gödel :

Soit une axiomatisation finie (ou récursive) de l'arithmétique. On peut construire une équation diophantienne qui n'a aucune solution, mais tel que ce fait ne puisse pas être démontré dans l'axiomatisation en question.

Si ${\displaystyle n\in \mathbb {N} }$, on peut lister tous les ensembles récursivement énumérables de ${\displaystyle n}$-uplets de ${\displaystyle \mathbb {N} ^{n}}$:

${\displaystyle M_{0},\dots ,M_{k},\dots }$

Soit alors ${\displaystyle U_{n}}$ l'ensemble des ${\displaystyle (n+1)}$-uplets tel que:

${\displaystyle (a_{1},\dots ,a_{n},k)\in U_{n}\iff (a_{1},\dots ,a_{n})\in M_{k}}$

Il n'est alors pas compliqué de prouver que ${\displaystyle U_{n}}$ est récursivement énumérable, ainsi par le théorème de Matiiassevitch:

${\displaystyle \exists D_{n}\ (a_{1},\dots ,a_{n},a_{n+1})\in U_{n}\iff \exists (x_{1},\dots ,x_{k})\ D_{n}(a_{1},\dots ,a_{n},a_{n+1},x_{1},\dots ,x_{k})=0}$

On a donc, de façon analogue à la Machine de Turing universelle, pour tout ${\displaystyle n\in \mathbb {N} }$, l'existence d'un polynôme universel ${\displaystyle D_{n}}$, où l'universalité est à prendre de la façon suivante:

${\displaystyle \forall D\ \exists k_{D}\ \forall (a_{1},\dots ,a_{n})\ [\exists (x_{1},\dots ,x_{k})\ [D(a_{1},\dots ,a_{n},x_{1},\dots ,x_{k})=0\iff D_{n}(a_{1},\dots ,a_{n},k_{D},x_{1},\dots ,x_{k})=0]]}$

Ainsi, pour un nombre de paramètres fixes, une équation diophantienne, de degré et nombre d'inconnues quelconques, peut se ramener à la résolution d'une équation diophantienne de degré et nombre d'inconnues fixes.