Ensemble nulle part dense

Soit X un espace topologique et A un sous-ensemble de X. Les quatre propriétés suivantes sont équivalentes et A est dit nulle part dense (ou rare) dans X s'il les vérifie :

1. l'intérieur de l'adhérence de A est vide ;
2. tout ouvert de X inclus dans cette adhérence A est vide ;
3. A n'est « dense dans » aucun ouvert non vide de X ;
4. pour tout ouvert U non vide de X, il existe un ouvert V non vide inclus dans U et disjoint de A.

L'ordre dans 1. est important : il est possible de trouver des sous-ensembles dont (l'intérieur de) l'adhérence est X et (l'adhérence de) l'intérieur est vide (c'est le cas de l'ensemble des rationnels dans l'espace des réels).

• Tout sous-ensemble d'un ensemble nulle part dense est nulle part dense et l'union d'un nombre fini d'ensembles nulle part denses est nulle part dense. En revanche, l'union d'un nombre dénombrable d'ensembles nulle part denses n'est pas forcément nulle part dense. Une telle union s'appelle un ensemble maigre ou ensemble de première catégorie.
• Si Y est un ouvert de X, toute partie A de Y qui est nulle part dense dans Y (pour la topologie induite) est aussi nulle part dense dans X.En effet, soit U un ouvert inclus dans A. Alors (par hypothèse sur A) U∩Y = ∅, si bien que U est disjoint de A donc aussi (puisqu'il est ouvert) de A. Par conséquent, U est vide.

• L'ensemble des entiers relatifs est nulle part dense dans l'ensemble des réels muni de la topologie usuelle.
• L'ensemble des réels dont le développement décimal ne comporte que les chiffres 0 ou 1 est nulle part dense dans l'ensemble des réels.

Un ensemble nulle part dense n'est pas nécessairement de mesure nulle (pour la mesure de Lebesgue). Par exemple, si X est l'intervalle [0,1], il est non seulement possible de trouver un sous-ensemble dense négligeable (celui des nombres rationnels fournit un exemple), mais il existe aussi des sous-ensembles nulle part denses de mesure strictement positive, tels que l'ensemble de Smith-Volterra-Cantor. On peut également trouver un sous-ensemble de X de première catégorie de mesure égale à 1. Il suffit de prendre une réunion dénombrable d'ensembles de Cantor de mesure 1 – ¹⁄_n, n parcourant l'ensemble des entiers strictement positifs.