Entropie de Hartley

La fonction de Hartley coïncide avec l'entropie de Shannon (aussi bien qu'avec l'entropie de Rényi à tout ordre) dans le cas d'une distribution uniforme. C'est en fait un cas particulier de l'entropie de Rényi puisque:

${\displaystyle H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|X|}p_{i}^{0}=\log |X|.}$

Comme le soulignent Kolmogorov et Rényi (voir George, J. Klirr's "Uncertainty and information", p.423), la fonction de Hartley peut être définie sans introduire la moindre notion de probabilité.

La fonction de Hartley ne dépend que du nombre d'éléments dans l'ensemble, et peut donc être vue comme une fonction sur les entiers naturels. Rényi a montré que la fonction Hartley en base 2 est la seule fonction transformant les entiers naturels en nombres réels qui satisfait:

1. ${\displaystyle H(mn)=H(m)+H(n)}$ (additivité)
2. ${\displaystyle H(m)\leq H(m+1)}$ (monotone)
3. ${\displaystyle H(2)=1}$ (normalisation)

La condition 1 dit que l'incertitude d'un produit cartésien de deux ensembles fini A et B est la somme des incertitudes de A et B. La condition 2 dit qu'un ensemble plus grand a une plus grande incertitude.

Nous cherchons à montrer que la fonction de Hartley, log₂(n), est la seule fonction transformant les entiers naturels en nombres réels vérifiant les propriétés suivantes :

1. ${\displaystyle H(mn)=H(m)+H(n)\,}$ (additivité)
2. ${\displaystyle H(m)\leq H(m+1)\,}$ (monotonie)
3. ${\displaystyle H(2)=1\,}$ (normalisation)

Soit ƒ une fonction sur les entiers naturels qui satisfait les 3 propriétés ci-dessus. D'après la propriété d'additivité, nous pouvons montrer que pour tous les entiers n et k,

${\displaystyle f(n^{k})=kf(n)\qquad (1)\,}$

Soit a, b, et t des entiers naturels. Un seul entier s vérifie

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.}$

Ainsi,

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

et

${\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}$

De plus, par la propriété de monotonie,

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

En utilisant l'équation (1), on trouve

${\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}$

et

${\displaystyle {\frac {s}{t}}\leq {\frac {f(a)}{f(b)}}\leq {\frac {s+1}{t}}.}$

Ainsi,

${\displaystyle \left|{\frac {f(a)}{f(b)}}-{\frac {\log _{2}(a)}{\log _{2}(b)}}\right|\leq {\frac {1}{t}}.}$

Comme t peut être choisi arbitrairement grand, la valeur à gauche de l'inégalité doit être 0,

${\displaystyle {\frac {f(a)}{f(b)}}={\frac {\log _{2}(a)}{\log _{2}(b)}}.}$

Alors,

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

à une constante près μ, qui doit être égale à 1 d'après la propriété de normalisation.

• entropie de Rényi