Accueil🇫🇷Chercher

Inégalité de Gibbs

En théorie de l'information, l'inégalité de Gibbs, nommée en l'honneur de Willard illard Gibbs.Gibbs, porte sur l'entropie d'une distribution de probabilités. Elle sert à prouver de nombreux résultats en théorie de l'information.

Willard Gibbs.

Enoncé

Soient deux distributions de probabilités et , alors

.

Le cas d'égalité se produit si et seulement si pour tout .

Démonstration

D'après l'inégalité de Jensen, puisque le logarithme est concave,

.

Cela équivaut à

et montre donc l'inégalité.

Comme le logarithme n'est pas linéaire, le cas d'égalité dans l'inégalité de Jensen, et à fortiori dans la première inégalité ci-dessus, est réalisé si et seulement si tous les sont égaux, ce qui équivaut au fait que pour tout car ce sont des distributions de probabilités.

Voir aussi

Bibliographie


Cet article est issu de wikipedia. Text licence: CC BY-SA 4.0, Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.