Inégalité de Gibbs

Soient deux distributions de probabilités ${\displaystyle P=\{p_{1},p_{2},...p_{n}\}}$ et ${\displaystyle Q=\{q_{1},q_{2},...,q_{n}\}}$, alors

${\displaystyle -\sum _{i=1}^{n}p_{i}\log(p_{i})\leq -\sum _{i=1}^{n}p_{i}\log(q_{i})}$.

Le cas d'égalité se produit si et seulement si ${\displaystyle p_{i}=q_{i}}$ pour tout ${\displaystyle i}$.

D'après l'inégalité de Jensen, puisque le logarithme est concave,

${\displaystyle \sum _{i=0}^{n}p_{i}\log \left({\frac {q_{i}}{p_{i}}}\right)\leq \log \left(\sum _{i=0}^{n}p_{i}{\frac {q_{i}}{p_{i}}}\right)=\log(1)=0}$.

Cela équivaut à

${\displaystyle -\sum _{i=0}^{n}p_{i}\log(p_{i})\leq -\sum _{i=0}^{n}p_{i}\log(q_{i})}$

et montre donc l'inégalité.

Comme le logarithme n'est pas linéaire, le cas d'égalité dans l'inégalité de Jensen, et à fortiori dans la première inégalité ci-dessus, est réalisé si et seulement si tous les ${\displaystyle p_{i}/q_{i}}$ sont égaux, ce qui équivaut au fait que ${\displaystyle p_{i}=q_{i}}$ pour tout ${\displaystyle i}$ car ce sont des distributions de probabilités.

• Entropie de Shannon
• Inégalité de Fano

• D. MacKay, Information Theory, Inference and Learning Algorithms, Cambridge University Press, 2005, (ISBN 0-521-64298-1).
• O. Fawzi, Cours de théorie de l'information, ENS de Lyon, Automne 2018.