Accueil🇫🇷Chercher

Entropie de Rényi

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.

Définition

Étant donnés une variable aléatoire discrète à valeurs possibles , ainsi qu'un paramètre réel strictement positif et différent de 1, l' entropie de Rényi d'ordre de est définie par la formule :

Cas particuliers

L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de .

Entropie de Hartley

Le cas donne :

ce qui correspond au logarithme du cardinal de , qui correspond à l'entropie de Hartley.

Entropie de Shannon

D'après la règle de L'Hôpital, on peut trouver une limite à quand tend vers 1 :

Cette expression correspond à l'entropie de Shannon.

Entropie de collision

Dans le cas où , on trouve l'entropie dite de collision, appelée parfois simplement « entropie de Rényi » :

Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.

Entropie min

En faisant tendre vers l'infini, on trouve l'entropie min :

Propriétés

Décroissance selon α

est une fonction décroissante de .

Preuve

Soit une distribution de probabilité

avec la distribution de probabilité des et la Divergence de Kullback-Leibler de par rapport .

Puisque cette divergence est positive, la dérivée de l'entropie de Rényi en devient négative et donc est bien décroissante en .

Preuve alternative

Soit une distribution de probabilité,

L'inégalité provient de l'Inégalité de Jensen appliquée dans les cas suivants à , en notant :

  • Si, et donc est convexe et .
  • Si, donc est convexe et .
  • Si, donc est concave .
  • Si l'application de l'inégalité est immédiate.

Ce qui donne la croissance de .

Relations entre les entropies de différents ordres

L'entropie de Rényi est donc une fonction décroissante de son ordre.

De plus, on remarque que puisque .

Divergence de Rényi

Pour deux distributions de probabilités et , la divergence de Rényi de selon est définie comme :

La limite existe et correspond à la Divergence de Kullback-Leibler.

Voir aussi

Article connexe

Bibliographie

  • (en) A. Rényi, « On measures of entropy and information », dans Proc. 4th Berkeley Symposium on Mathematical Statistics and Probability', vol. 1, , p. 547-561.
  • (en) Christian Cachin, Entropy Measures and Unconditional Security in Cryptography, (lire en ligne [PDF])
Cet article est issu de wikipedia. Text licence: CC BY-SA 4.0, Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.