Divergence de Bregman

Soit ${\displaystyle U(x)}$ une fonction à valeurs réelles, strictement convexe et continûment différentiable définie sur un domaine convexe fermé ${\displaystyle \Omega }$. La divergence de Bregman d'un point ${\displaystyle x_{1}}$ de ${\displaystyle \Omega }$ par rapport à un autre point ${\displaystyle x_{0}}$ de ${\displaystyle \Omega }$ est :

${\displaystyle D_{U}(x_{1}:x_{0})=U(x_{1})-U(x_{0})-\langle \nabla U(x_{0}),(x_{1}-x_{0})\rangle }$

La divergence de Bregman possède certaines des propriétés d'une distance :

• Positivité : ${\displaystyle \forall x,y\in \Omega ,D_{U}(x:y)\geq 0}$.
• Séparation : ${\displaystyle \forall x,y\in \Omega ,D_{U}(x:y)=0\Leftrightarrow x=y}$.

Par contre, la symétrie et l'inégalité triangulaire ne sont pas vérifiées, ce qui fait qu'elle n'est pas une distance.

Autres propriétés :

• Convexité : la divergence est convexe par rapport à son premier argument.
• Linéarité : pour deux fonctions convexes U et V à valeur réelle et un réel ${\displaystyle \forall \lambda >0,D_{U+\lambda V}(x:y)=D_{U}(x:y)+\lambda D_{V}(x:y)}$.
• Dualité : la divergence de Bregman est de nature duale[2] : par transformation de Legendre de ${\displaystyle U}$, on obtient une fonction ${\displaystyle U^{*}}$ dont la divergence associée ${\displaystyle D_{U^{*}}}$ est symétrique par rapport à ${\displaystyle D_{U}}$ :

${\displaystyle D_{U}(x:y)=D_{U^{*}}(y^{*}:x^{*})}$.

Les points x et y étant exprimés selon deux systèmes de coordonnées duaux issus de la transformation de Legendre : ${\displaystyle x^{*}=\nabla U(x)}$ et ${\displaystyle x=\nabla U^{*}(x^{*})}$. La divergence peut être réécrite sous la forme :

${\displaystyle D_{U}(x:y)=U(x)+U^{*}(y^{*})-\langle x\cdot y^{*}\rangle }$.

• La distance de Mahalanobis (et donc la distance euclidienne) sont des divergences de Bregman auto-duales :

${\displaystyle D_{U}(p:q)={\frac {1}{2}}\sum _{ij}a_{ij}(p_{i}-q_{i})(p_{j}-q_{j})}$,

avec

${\displaystyle U(p)={\frac {1}{2}}\sum _{ij}a_{ij}p_{i}p_{j}}$.

• les α-divergences popularisées par Amari[3] sont un autre exemple.

La divergence entre une distribution p par rapport à une distribution q est définie par :

${\displaystyle D^{(\alpha )}(p:q)={\frac {4}{1-\alpha ^{2}}}\sum _{i}{\frac {1-\alpha }{2}}p_{i}+{\frac {1+\alpha }{2}}q_{i}-p_{i}^{\frac {1-\alpha }{2}}\cdot q_{i}^{\frac {1+\alpha }{2}}}$.

La divergence duale de ${\displaystyle D^{(\alpha )}}$ est ${\displaystyle D^{(-\alpha )}}$.

Par ailleurs, les α-divergences dérivent des fonctions potentiels :

${\displaystyle U^{(\alpha )}(p)={\frac {2}{1+\alpha }}\sum _{i}p_{i}}$

et des coordonnées associées :

${\displaystyle r_{i}^{(\alpha )}(p)={\frac {2}{1-\alpha }}p_{i}^{\frac {1-\alpha }{2}}}$.

On a alors la relation de dualité des transformées de Legendre :

${\displaystyle r_{i}^{(-\alpha )}=\nabla _{r^{(\alpha )}}U^{(\alpha )}}$.

Par ailleurs, avec les notations introduite, la divergence peut être écrite selon sa forme canonique :

${\displaystyle D^{(\alpha )}(p:q)=U^{(\alpha )}(p)+U^{(-\alpha )}(q)-\sum _{i}r_{i}^{(\alpha )}(p)r_{i}^{(-\alpha )}(q)}$.

Un cas particulier de α-divergence est la divergence de Kullback-Leibler

• La distance de Itakura-Sato :

${\displaystyle D_{U}(p:q)=\sum _{i}{\frac {p_{i}}{q_{i}}}-\log {\frac {p_{i}}{q_{i}}}-1}$,

avec

${\displaystyle U(p)=\sum _{i}\log p_{i}}$.