Entropie conjointe

Si chaque paire d'états possibles ${\displaystyle (x,y)}$ des variables aléatoires ${\displaystyle (X,Y)}$ ont une probabilité ${\displaystyle p_{x,y}}$ alors l'entropie conjointe est définie par :

${\displaystyle H(X,Y)=-\sum _{x,y}p_{x,y}\log _{2}(p_{x,y})\!}$

• L'entropie conjointe est supérieure ou égale à l'entropie d'une seule variable :

${\displaystyle H(X,Y)\geq H(X)}$

• L'entropie conjointe est positive ou nulle :

${\displaystyle H(X,Y)\geq 0}$

• Deux systèmes considérés ensemble ne peuvent pas apporter plus d'information que la somme des apports d'information de chacun :

${\displaystyle H(X,Y)\leq H(X)+H(Y)}$

avec égalité si X et Y sont des variables aléatoires indépendantes.

• Entropie conditionnelle
• Information mutuelle
• Divergence de Kullback-Leibler