Distance en variation totale (probabilités)

• La distance en variation totale entre deux mesures de probabilité est une distance dont la valeur est toujours incluse dans [0,2].
• La distance en variation totale entre deux mesures de probabilité vaut 2 si et seulement si les supports des deux mesures sont disjoints.

On trouve parfois d'autres définitions pour la distance en variation totale.

• La formule suivante donne une définition équivalente à la première[1]

${\displaystyle d_{VT}(\mu ,\nu )=\sup _{f:\Omega \to [-1,1]{\text{ mes.}}}\left\{\int fd\mu -\int fd\nu \right\}}$

où le supremum est pris sur l'ensemble des fonctions mesurables à valeurs dans [-1,1].

De cette formule, on déduit la chose suivante. Si ${\displaystyle \mu }$ et ${\displaystyle \nu }$ sont absolument continues par rapport à une mesure commune sigma-finie ${\displaystyle \sigma }$ et si on note ${\displaystyle h}$ et ${\displaystyle g}$ leurs dérivées de Radon-Nikodym respectives par rapport à ${\displaystyle \sigma }$, alors

${\displaystyle d_{VT}(\mu ,\nu )=\int |h-g|d\sigma =||h-g||_{L^{1}(\sigma )}}$.

En d'autres termes, la distance en variation totale entre ${\displaystyle \mu }$ et ${\displaystyle \nu }$ correspond à la distance entre ${\displaystyle h}$ et ${\displaystyle g}$ pour la norme ${\displaystyle L^{1}}$.

• Lorsque ${\displaystyle \Omega }$ est dénombrable la formule suivante donne aussi une définition équivalente[2]

${\displaystyle d_{VT}(\mu ,\nu )=\sum _{\omega \in \Omega }|\mu (\omega )-\nu (\omega )|}$.

Pour tout couple de variables aléatoires ${\displaystyle (X,Y)}$ tel que ${\displaystyle X}$ suit la loi ${\displaystyle \mu }$ et ${\displaystyle Y}$ suit la loi ${\displaystyle \nu }$, on a l'inégalité

${\displaystyle d_{VT}(\mu ,\nu )\leq 2\mathbb {P} (X\neq Y)}$.

De plus, il existe un couple ${\displaystyle (X,Y)}$ tel que ${\displaystyle X\sim \mu }$ et ${\displaystyle Y\sim \nu }$ qui satisfait[3]

${\displaystyle d_{VT}(\mu ,\nu )=2\mathbb {P} (X\neq Y)}$.

Autrement dit, on a la caractérisation suivante de la distance en variation totale

${\displaystyle d_{VT}(\mu ,\nu )=2\min _{X\sim \mu ,Y\sim \nu }\mathbb {P} (X\neq Y)}$.

Si ${\displaystyle (\mu _{i})_{i\in I}}$ est une famille de mesures de probabilité toutes absolument continues par rapport à une mesure commune ${\displaystyle \sigma }$-finie, alors il existe des variables aléatoires ${\displaystyle (X_{i})_{i\in I}}$ telles que pour tout ${\displaystyle i\in I}$, ${\displaystyle X_{i}\sim \mu _{i}}$ et pour tout ${\displaystyle i\neq j}$[4]

${\displaystyle \mathbb {P} (X_{i}\neq X_{j})\geq {\frac {4d_{VT}(\mu _{i},\mu _{j})}{1+2d_{VT}(\mu _{i},\mu _{j})}}}$.

Pour une mesure signée ${\displaystyle \sigma }$ sur ${\displaystyle (\Omega ,{\mathcal {F}})}$ on définit sa norme en variation totale comme

${\displaystyle ||\sigma ||_{VT}:=\sigma ^{+}(\Omega )+\sigma ^{-}(\Omega )}$

où ${\displaystyle \sigma =\sigma ^{+}-\sigma ^{-}}$ est la décomposition de Jordan de la mesure ${\displaystyle \sigma }$.

De manière générale si ${\displaystyle \sigma (\Omega )=0}$ alors[5]

${\displaystyle ||\sigma ||_{VT}=2\sup _{A\in {\mathcal {F}}}\{|\sigma (A)|\}}$.

En appliquant ce résultat à ${\displaystyle \sigma =\nu -\mu }$ on obtient que

${\displaystyle d_{VT}(\nu ,\mu )=||\nu -\mu ||_{VT}}$.

• La distance en variation totale est reliée à la divergence de Kullback-Leibler par l'inégalité de Pinsker[6] :

${\displaystyle d_{VT}(\nu ,\mu )\leq {\sqrt {2D_{KL}(\nu ||\mu )}}}$.

• La distance en variation totale est aussi reliée à la distance de Hellinger par l'encadrement[7] :

${\displaystyle 2H^{2}(\mu ,\nu )\leq d_{VT}(\mu ,\nu )\leq 2{\sqrt {2}}H(\mu ,\nu )}$.

La convergence d'une suite de mesures pour la distance en variation totale implique la convergence faible (et les limites sont les mêmes le cas échéant). De manière équivalente, si une suite de variables aléatoires converge pour la distance en variation totale, alors elle converge en loi (et les limites sont les mêmes)[8].