Divergence (statistiques)

La divergence χ² de Pearson[1] est définie par ${\displaystyle D(\mu ,\mu ')=\sum _{x{\text{ dans le support de }}\mu }{\frac {(\mu '(x)-\mu (x))^{2}}{\mu (x)}}}$.

Soit ${\displaystyle M}$ une variété topologique et ${\displaystyle V\subseteq \mathbb {R} ^{n}}$ une carte locale. Une divergence est une fonction ${\displaystyle D:V\times V\rightarrow \mathbb {R} _{+}}$ (également définie sur ${\displaystyle M}$ au moyen de l'homéomorphisme associé), différentiable jusqu'à l'ordre 3 et satisfaisant les propriétés suivantes[2] :

• ${\displaystyle D(\xi _{p},\xi _{q})\geq 0\,\forall \,\xi _{p},\xi _{q}\in V}$ ;
• ${\displaystyle D(\xi _{p},\xi _{q})=0\,ssi\,\xi _{p}=\xi _{q}}$ ;
• Le développement limité de ${\displaystyle D}$ en ${\displaystyle \xi _{p}}$ s'écrit :

${\displaystyle D(\xi _{p},\xi _{p}+d\xi )={\frac {1}{2}}\sum g_{ij}(\xi _{p})d\xi _{i}d\xi _{j}+O(|d\xi |^{3})}$

où ${\displaystyle G(\xi _{p})=(g_{ij}(\xi _{p}))_{(1\leq i,j\leq n)}}$ est définie positive.

Il existe une grande variété de divergences, dont entre autres :

• La divergence euclidéenne, définie comme la moitié de la racine de la distance euclidéenne ;
• La divergence de Kullback-Leibler, qui est la seule à appartenir à la fois aux classes des f-divergences et des divergences de Bregman ;
• Parmi les autres f-divergences :
  • Les ${\displaystyle \alpha }$-divergences,
  • La distance de Hellinger ;
• Autres divergences de Bregman :
  • Les ${\displaystyle \beta }$-divergences,
  • Les ${\displaystyle \gamma }$-divergences,
  • La divergence d'Itakura-Saito.

Pour une bibliographie détaillée, voir Basseville 2013.