Loi de probabilité d'entropie maximale

On suppose que S est un sous-ensemble fermé de nombres réels ${\displaystyle \mathbb {R} }$ et on choisit de spécifier n fonctions mesurables f₁, ... , f_n et n nombres a₁, ... , a_n. On considère la classe C de toutes les variables aléatoires à valeur réelle prises en charge sur S (c'est-à-dire dont la fonction de densité est nulle en dehors de S) et qui satisfont aux n conditions instantanées :

${\displaystyle \mathbb {E} [f_{j}(X)]\geq a_{j}\quad {\mbox{ pour }}j=1,\ldots ,n}$

S'il y a un membre dans C dont la fonction de densité est positive partout dans S, et s'il existe une distribution d'entropie maximale pour C, alors sa densité de probabilité p(x) a la forme suivante :

${\displaystyle p(x)=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\quad {\mbox{ pour tout }}x\in S}$

où l'on suppose que f₀(x) = 1. La constante λ₀ et les n multiplicateurs de Lagrange ${\displaystyle {\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$ résolvent le problème d'optimisation contrainte avec ${\displaystyle a_{0}=1}$ (cette condition assure que p soit d'intégrale égale à 1)[3]:

${\displaystyle \max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\int \exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\mathrm {d} x\right\}\quad \mathrm {avec:\;\;} {\boldsymbol {\lambda }}\geq \mathbf {0} }$

En utilisant les conditions de Karush-Kuhn-Tucker, on peut montrer que le problème d'optimisation a une solution unique car la fonction objectif de l'optimisation est concave en λ.

On note que si les conditions de moment sont des égalités (au lieu d'inégalités), c'est-à-dire

${\displaystyle \mathbb {E} [f_{j}(X)]=a_{j}\quad {\mbox{ pour }}j=1,\ldots ,n,}$

alors la condition de contrainte λ ≥ 0 est supprimée, ce qui rend l'optimisation sur les multiplicateurs de Lagrange sans contrainte.

On considère ${\displaystyle S=\{x_{1},x_{2},...\}}$ un sous-ensemble discret (fini ou infini) des réels et on choisit de spécifier n fonctions f₁, ... , f_n et n nombres a₁, ... , a_n. On considère la classe C de toutes les variables aléatoires discrètes X qui s'appuient sur S et qui satisfont les n conditions de moment

${\displaystyle \mathbb {E} (f_{j}(X))\geq a_{j}\quad {\mbox{ pour }}j=1,\ldots ,n}$

S'il existe un membre de C qui attribue une probabilité positive à tous les membres de S et s'il existe une distribution d'entropie maximale pour C, alors cette distribution a la forme suivante :

${\displaystyle \mathbb {P} (X=x_{k})=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\quad {\mbox{ pour }}k=1,2,\ldots }$

où l'on suppose que ${\displaystyle f_{0}=1}$ et les constantes ${\displaystyle \lambda _{0},\;{\boldsymbol {\lambda }}=(\lambda _{1},\ldots ,\lambda _{n})}$ sont solutions du problème d'optimisation contrainte avec ${\displaystyle a_{0}=1}$[4] :

${\displaystyle \max _{\lambda _{0};{\boldsymbol {\lambda }}}\left\{\sum _{j=0}^{n}\lambda _{j}a_{j}-\sum _{k\geq 1}\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x_{k})\right)\right\}\quad \mathrm {avec:\;\;} {\boldsymbol {\lambda }}\geq \mathbf {0} }$

Encore une fois, si les conditions de moment sont des égalités (au lieu d'inégalités), alors la condition de contrainte λ ≥ 0 n'est pas présent dans l'optimisation.

Dans le cas des contraintes d'égalité, ce théorème est démontré avec le calcul des variations et des multiplicateurs de Lagrange. Les contraintes peuvent s'écrire sous la forme

${\displaystyle \int _{-\infty }^{\infty }f_{j}(x)p(x)\mathrm {d} x=a_{j}}$

On considère la fonctionnelle

${\displaystyle J(p)=\int _{-\infty }^{\infty }p(x)\ln {p(x)}\mathrm {d} x-\eta _{0}\left(\int _{-\infty }^{\infty }p(x)\mathrm {d} x-1\right)-\sum _{j=1}^{n}\lambda _{j}\left(\int _{-\infty }^{\infty }f_{j}(x)p(x)\mathrm {d} x-a_{j}\right)}$

où ${\displaystyle \eta _{0}}$ et ${\displaystyle \lambda _{j},j\geq 1}$ sont les multiplicateurs de Lagrange. La contrainte zéro garantit le deuxième axiome de probabilité. Les autres contraintes sont que les mesures de la fonction soient des constantes données jusqu'à l'ordre ${\displaystyle n}$. L'entropie atteint un extremum lorsque la dérivée fonctionnelle s'annule :

${\displaystyle {\frac {\delta J}{\delta p}}\left(p\right)=\ln {p(x)}+1-\eta _{0}-\sum _{j=1}^{n}\lambda _{j}f_{j}(x)=0}$

On peut vérifier que cet extremum est bien un maximum. Par conséquent, la distribution de probabilité d'entropie maximale dans ce cas doit être de la forme ( ${\displaystyle \lambda _{0}:=\eta _{0}-1}$ )

${\displaystyle p(x)={\rm {e}}^{-1+\eta _{0}}\cdot {\rm {e}}^{\sum _{j=1}^{n}\lambda _{j}f_{j}(x)}=\exp \left(\sum _{j=0}^{n}\lambda _{j}f_{j}(x)\right)\;.}$

La preuve de la version discrète est essentiellement la même.

On suppose ${\displaystyle p}$, ${\displaystyle p'}$ sont des lois satisfaisant les contraintes attendues. Soit ${\displaystyle \alpha \in (0,1)}$ et compte tenu de la distribution ${\displaystyle q=\alpha \cdot p+(1-\alpha )\cdot p'}$ il est clair que cette distribution satisfait les mêmes contraintes et a de plus pour support ${\displaystyle \mathrm {supp} (q)=\mathrm {supp} (p)\cup \mathrm {supp} (p')}$ . Par les propriétés basiques de l'entropie, il vient que ${\displaystyle {\mathcal {H}}(q)\geq \alpha {\mathcal {H}}(p)+(1-\alpha ){\mathcal {H}}(p')}$ . COnsidérer les valeurs limites pour ${\displaystyle \alpha \longrightarrow 1}$ et ${\displaystyle \alpha \longrightarrow 0}$ donne respectivement ${\displaystyle {\mathcal {H}}(q)\geq {\mathcal {H}}(p),{\mathcal {H}}(p')}$ .

Il s'ensuit qu'une distribution satisfaisant les contraintes d'attente et maximisant l'entropie doit nécessairement avoir un support complet — c'est-à-dire que la distribution est presque partout positive. Il s'ensuit que la distribution maximisante doit être un point interne dans l'espace des distributions satisfaisant les contraintes d'espérance, c'est-à-dire qu'elle doit être un extremum local. Ainsi, il suffit de montrer que l'extremum local est unique, pour montrer à la fois que la distribution maximisant l'entropie est unique (et cela montre aussi que l'extremum local est le maximum global).

Supposons que ${\displaystyle p,p'}$ sont des extrema locaux. En reformulant les calculs ci-dessus, ceux-ci sont caractérisés par des paramètres ${\displaystyle {\vec {\lambda }},{\vec {\lambda }}'\in \mathbb {R} ^{n}}$ passant par ${\displaystyle p(x)={\frac {{\rm {e}}^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }}{C({\vec {\lambda }})}}}$ et de même pour ${\displaystyle p'}$, où ${\displaystyle C({\vec {\lambda }})=\int _{x\in \mathbb {R} }{\rm {e}}^{\langle {\vec {\lambda }},{\vec {f}}(x)\rangle }~\mathrm {d} x}$ . On note maintenant une série d'identités : par la satisfaction des contraintes d'attente et l'utilisation de gradients/dérivées directionnelles, on a ${\displaystyle D\log(C(\cdot ))\vert _{\vec {\lambda }}=\left.{\frac {DC(\cdot )}{C(\cdot )}}\right|_{\vec {\lambda }}=\mathbb {E} _{p}[{\vec {f}}(X)]={\vec {a}}}$ et de même pour ${\displaystyle {\vec {\lambda }}'}$ . En posant ${\displaystyle u={\vec {\lambda }}'-{\vec {\lambda }}\in \mathbb {R} ^{n}}$ on obtient :

${\displaystyle 0=\langle u,{\vec {a}}-{\vec {a}}\rangle =D_{u}\log(C(\cdot ))\vert _{{\vec {\lambda }}'}-D_{u}\log(C(\cdot ))\vert _{\vec {\lambda }}=D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}}$

où ${\displaystyle {\vec {\gamma }}=\theta {\vec {\lambda }}+(1-\theta ){\vec {\lambda }}'}$ pour certains ${\displaystyle \theta \in (0,1)}$ . En calculant plus loin on a

${\displaystyle {\begin{array}{rcl}0&=&D_{u}^{2}\log(C(\cdot ))\vert _{\vec {\gamma }}\\&=&\left.D_{u}\left({\frac {D_{u}C(\cdot )}{C(\cdot )}}\right)\right|_{\vec {\gamma }}\\&=&\left.{\frac {D_{u}^{2}C(\cdot )}{C(\cdot )}}\right|_{\vec {\gamma }}-\left.{\frac {(D_{u}C(\cdot ))^{2}}{C(\cdot )^{2}}}\right|_{\vec {\gamma }}\\&=&\mathbb {E} _{q}[(\langle u,{\vec {f}}(X)\rangle )^{2}]-\left(\mathbb {E} _{q}[\langle u,{\vec {f}}(X)\rangle ]\right)^{2}=\mathrm {Var} _{q}(\langle u,{\vec {f}}(X)\rangle )\\\end{array}}}$

où ${\displaystyle q}$ est similaire à la loi ci-dessus, uniquement paramétrée par ${\displaystyle {\vec {\gamma }}}$ . En supposant qu'aucune combinaison linéaire non triviale des observables n'est presque partout constante (ce qui, par exemple, est vrai si les observables sont indépendantes et non constantes presque partout), on considère que ${\displaystyle \langle u,{\vec {f}}(X)\rangle }$ a une variance non nulle, sauf si ${\displaystyle u=0}$. Par l'équation ci-dessus, il est donc clair que ce dernier doit être le cas. Ainsi ${\displaystyle {\vec {\lambda }}'-{\vec {\lambda }}=u=0}$, donc les paramètres caractérisant les extrema locaux ${\displaystyle p,p'}$ sont identiques, ce qui signifie que les lois elles-mêmes sont identiques. Ainsi, l'extremum local est unique et d'après la discussion ci-dessus, le maximum est unique, à condition qu'un extremum local existe réellement.

Il faut noter que toutes les classes de distributions ne contiennent pas une loi d'entropie maximale. Il est possible qu'une classe contienne des lois d'entropie arbitrairement grande (par exemple la classe de toutes les lois continues sur R avec une moyenne nulle mais un écart type arbitraire), ou que les entropies soient bornées au-dessus mais qu'aucune loi n'atteigne l'entropie maximale[Notes 1]. Il est également possible que les restrictions de valeur attendue pour la classe C forcent la loi de probabilité à être nulle dans certains sous-ensembles de S . Dans ce cas, ce théorème ne s'applique pas, mais on peut contourner ce problème en réduisant l'ensemble S.

La loi uniforme continue sur l'intervalle [a , b] est la loi d'entropie maximale parmi toutes les distributions continues qui sont prises en charge dans l'intervalle [a , b], et donc la densité de probabilité est de 0 en dehors de l'intervalle. Cette densité uniforme peut être mise en relation avec le principe d'indifférence (en) de Laplace, parfois appelé principe de raison insuffisante. Plus généralement, si on donne une subdivision a = a₀ < a₁ < ... < a_k = b de l'intervalle [a , b] et des probabilités p₁ , ... , p_k dont la somme vaut 1, alors on peut considérer la classe de toutes les lois continues telles que

${\displaystyle \mathbb {P} (a_{j-1}\leq X<a_{j})=p_{j}\quad {\mbox{ pour }}j=1,\ldots ,k}$

La densité de la loi d'entropie maximale pour cette classe est constante sur chacun des intervalles [a_j–1 , a_j[. La loi uniforme sur l'ensemble fini x₁ , ... , x_n (qui attribue une probabilité de 1/ n à chacune de ces valeurs) est la loi d'entropie maximale parmi toutes les distributions discrètes supportées sur cet ensemble.

La loi exponentielle, pour laquelle la fonction de densité est

${\displaystyle p(x|\lambda )=\lambda {\rm {e}}^{-\lambda x}1\!\!1_{x\geq 0}}$

est la loi d'entropie maximale parmi toutes les loi continues définies sur [0,+∞[ qui ont une moyenne fixée à 1/λ.

La loi normale ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$, pour laquelle la fonction de densité est

${\displaystyle p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}{\rm {e}}^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},}$

a une entropie maximale parmi toutes les distributions à valeurs réelles supportées sur ]−∞,∞[ avec une variance spécifiée σ² (un moment particulier). Par conséquent, l'hypothèse de normalité impose la contrainte structurelle a priori minimale au-delà de ce moment. (Voir l'article sur l'entropie différentielle pour une dérivation).

Dans le cas des lois définies sur [0,+∞[, la distribution d'entropie maximale dépend des relations entre le premier et le second moments. Dans des cas spécifiques, il peut s'agir de la distribution exponentielle, ou peut être une autre distribution, voire peut être indéfinissable[7].

Parmi toutes les lois discrètes supportées sur l'ensemble { x ₁ ,..., x _n } avec une moyenne spécifiée μ, la loi d'entropie maximale a la forme suivante :

${\displaystyle \mathbb {P} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ pour }}k=1,\ldots ,n}$

où les constantes positives C et r peuvent être déterminées par les exigences selon lesquelles la somme de toutes les probabilités doit être 1 et l'espérance doit valoir μ.

Par exemple, si un grand nombre N de dés sont lancés et qu'on dit que la somme de tous les nombres affichés est S . Sur la base de ces seules informations, quelle serait une hypothèse raisonnable pour le nombre de dés indiquant 1, 2, ..., 6 ? Ceci est un exemple de la situation considérée ci-dessus, avec {x₁ ,..., x₆} = {1,...,6} et μ = S / N .

Enfin, parmi toutes les distributions discrètes supportées sur l'ensemble infini ${\displaystyle \{x_{1},x_{2},...\}}$ de moyenne μ, la distribution d'entropie maximale a la forme :

${\displaystyle \mathbb {P} (X=x_{k})=Cr^{x_{k}}\quad {\mbox{ pour }}k=1,2,\ldots ,}$

où à nouveau les constantes C et r ont été déterminées par les exigences selon lesquelles la somme de toutes les probabilités doit être 1 et la valeur attendue doit être μ. Par exemple, dans le cas où x _k = k, cela donne

${\displaystyle C={\frac {1}{\mu -1}},\quad \quad r={\frac {\mu -1}{\mu }},}$

telle que la loi d'entropie maximale respective est la loi géométrique.

Pour une variable aléatoire continue ${\displaystyle \theta _{i}}$ distribuée autour du cercle unité, la loi de Von Mises maximise l'entropie lorsque les parties réelle et imaginaire du premier moment circulaire sont spécifiées[8] ou, de manière équivalente, la moyenne circulaire et la variance circulaire sont spécifiées.

Lorsque la moyenne et la variance des angles ${\displaystyle \theta _{i}}$ modulo ${\displaystyle 2\pi }$ sont spécifiées, la loi normale enveloppée maximise l'entropie[8].

Il existe une borne supérieure sur l'entropie des variables aléatoires continues sur ${\displaystyle \mathbb {R} }$ avec une moyenne, une variance et un biais spécifiés. Cependant, il n'y a pas de distribution qui atteint cette borne supérieure, car ${\displaystyle p(x)=c\exp {(\lambda _{1}x+\lambda _{2}x^{2}+\lambda _{3}x^{3})}}$ n'est pas borné lorsque ${\displaystyle \lambda _{3}\neq 0}$ (voir Cover & Thomas (2006 : chapitre 12)).

Cependant, l'entropie maximale est ε -atteignable : l'entropie d'une loi peut être arbitrairement proche de la borne supérieure. On commence avec une loi normale de moyenne et de variance spécifiées. Pour introduire un biais positif, on perturbe la loi normale vers le haut d'une petite quantité à une valeur plusieurs σ supérieure à la moyenne. L'asymétrie, étant proportionnelle au troisième moment, sera plus affectée que les moments d'ordre inférieur.

Il s'agit d'un cas particulier du cas général dans lequel l'exponentielle de tout polynôme d'ordre impair en x sera illimitée sur ${\displaystyle \mathbb {R} }$ . Par exemple, ${\displaystyle c{\rm {e}}^{\lambda x}}$ sera également illimité sur ${\displaystyle \mathbb {R} }$, mais lorsque le support est limité à un intervalle borné ou semi-borné, la borne supérieure d'entropie peut être atteinte (par exemple, si x se situe dans l'intervalle [0, ∞ ] et λ < 0, la loi exponentielle en résultera).

Chaque loi avec une densité log-concave est une distribution d'entropie maximale avec une moyenne spécifiée μ et une mesure de risque de déviation D[9].

En particulier, la loi d'entropie maximale avec une moyenne spécifiée ${\displaystyle \mathbb {E} (x)=\mu }$ et de déviation ${\displaystyle D(x)=d}$ est:

• La loi normale ${\displaystyle {\mathcal {N}}(m,d^{2})}$, si ${\displaystyle D(x)={\sqrt {\mathbb {E} [(x-\mu )^{2}]}}}$ est l'écart type ;
• La loi de Laplace, si ${\displaystyle D(x)=\mathbb {E} (|x-\mu |)}$ est l'écart absolu moyen[5] ;
• La loi avec densité de la forme ${\displaystyle f(x)=c\exp(ax+b{[x-\mu ]_{-}}^{2})}$ si ${\displaystyle D(x)={\sqrt {\mathbb {E} [{(x-\mu )_{-}}^{2}]}}}$ est le demi-écart inférieur standard, où ${\displaystyle [x]_{-}:=\max\{0,-x\}}$, et a,b,c sont des constantes[9].

Dans le tableau ci-dessous, chaque loi répertoriée maximise l'entropie pour un ensemble particulier de contraintes fonctionnelles répertoriées dans la troisième colonne, et la contrainte que x soit inclus dans le support de la densité de probabilité, qui est répertoriée dans la quatrième colonne[5] - [6]. Plusieurs exemples (Bernoulli, géométrique, exponentielle, Laplace, Pareto) listés sont trivialement vrais car leurs contraintes associées sont équivalentes à l'affectation de leur entropie. Ils sont inclus simplement parce que leur contrainte est liée à une quantité commune ou facilement mesurable. Pour référence, ${\displaystyle \Gamma (x)=\int _{0}^{\infty }{\rm {e}}^{-t}t^{x-1}{\rm {d}}t}$ est la fonction gamma, ${\displaystyle \psi (x)={\frac {\rm {d}}{{\rm {d}}x}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$ est la fonction digamma, ${\displaystyle B(p,q)={\frac {\Gamma (p)\Gamma (q)}{\Gamma (p+q)}}}$ est la fonction bêta, et γ_E est la constante d'Euler-Mascheroni.

Table de lois de probabilités et contraintes d'entropie maximale correspondantes

Distribution	Densité	Contrainte d'entropie maximale	Support
Uniforme (discrète)	${\displaystyle f(k)={\frac {1}{b-a+1}}}$	Aucune	${\displaystyle \{a,a+1,...,b-1,b\}\,}$
Uniforme (continue)	${\displaystyle f(x)={\frac {1}{b-a}}}$	Aucune	${\displaystyle [a,b]\,}$
Bernoulli	${\displaystyle f(k)=p^{k}(1-p)^{1-k}}$	${\displaystyle \mathbb {E} (k)=p\,}$	${\displaystyle \{0,1\}\,}$
Géométrique	${\displaystyle f(k)=(1-p)^{k-1}\,p}$	${\displaystyle \mathbb {E} (k)={\frac {1}{p}}\,}$	${\displaystyle \mathbb {N} \setminus \left\{0\right\}=\{1,2,3,...\}}$
Exponentielle	${\displaystyle f(x)=\lambda \exp \left(-\lambda x\right)}$	${\displaystyle \mathbb {E} (x)={\frac {1}{\lambda }}\,}$	${\displaystyle \mathbb {R} _{+}}$
Laplace	${\displaystyle f(x)={\frac {1}{2b}}\exp \left(-{\frac {|x-\mu |}{b}}\right)}$	${\displaystyle \operatorname {E} (|x-\mu |)=b\,}$	${\displaystyle \mathbb {R} }$
Laplace asymétrique	${\displaystyle f(x)={\frac {\lambda \,{\rm {e}}^{-(x-m)\lambda s\kappa ^{s}}}{\kappa +1/\kappa }}\,(s\!=\!\operatorname {sgn}(x\!-\!m))}$	${\displaystyle \mathbb {E} ((x-m)s\kappa ^{s})={\frac {1}{\lambda }}\,}$	${\displaystyle \mathbb {R} }$
Pareto	${\displaystyle f(x)={\frac {\alpha x_{m}^{\alpha }}{x^{\alpha +1}}}}$	${\displaystyle \mathbb {E} (\ln(x))={\frac {1}{\alpha }}+\ln(x_{m})\,}$	${\displaystyle [x_{m},+\infty [\,}$
Normale	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \mathbb {E} (x)=\mu ,\,\mathbb {E} \left[(x-\mu )^{2}\right]=\sigma ^{2}}$	${\displaystyle \mathbb {R} }$
Tronquée	(voir article dédié)	${\displaystyle \mathbb {E} (x)=\mu _{T},\,\mathbb {E} \left[(x-\mu _{T})^{2}\right]=\sigma _{T}^{2}}$	${\displaystyle [a,b]}$
von Mises	${\displaystyle f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}}$	${\displaystyle \mathbb {E} (\cos \theta )={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\cos \mu ,\,\mathbb {E} (\sin \theta )={\frac {I_{1}(\kappa )}{I_{0}(\kappa )}}\sin \mu }$	${\displaystyle [0,2\pi |\,}$
Rayleigh	${\displaystyle f(x)={\frac {x}{\sigma ^{2}}}\exp \left(-{\frac {x^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \mathbb {E} (x^{2})=2\sigma ^{2},\ \mathbb {E} (\ln(x))={\frac {\ln(2\sigma ^{2})-\gamma _{\mathrm {E} }}{2}}\,}$	${\displaystyle \mathbb {R} }$
Beta	${\displaystyle f(x)={\frac {x^{\alpha -1}(1-x)^{\beta -1}}{\mathrm {B} (\alpha ,\beta )}}}$ pour ${\displaystyle 0\leq x\leq 1}$	${\displaystyle \mathbb {E} (\ln(x))=\psi (\alpha )-\psi (\alpha +\beta )\,}$ ${\displaystyle \mathbb {E} (\ln(1-x))=\psi (\beta )-\psi (\alpha +\beta )\,}$	${\displaystyle [0,1]\,}$
Cauchy	${\displaystyle f(x)={\frac {1}{\pi (1+x^{2})}}}$	${\displaystyle \mathbb {E} (\ln(1+x^{2}))=2\ln 2}$	${\displaystyle \mathbb {R} }$
Chi	${\displaystyle f(x)={\frac {2}{2^{k/2}\Gamma (k/2)}}x^{k-1}\exp \left(-{\frac {x^{2}}{2}}\right)}$	${\displaystyle \mathbb {E} (x^{2})=k,\,\mathbb {E} (\ln(x))={\frac {1}{2}}\left[\psi \left({\frac {k}{2}}\right)\!+\!\ln(2)\right]}$	${\displaystyle \mathbb {R} _{+}}$
Chi-2	${\displaystyle f(x)={\frac {1}{2^{k/2}\Gamma (k/2)}}x^{{\frac {k}{2}}\!-\!1}\exp \left(-{\frac {x}{2}}\right)}$	${\displaystyle \mathbb {E} (x)=k,\,\mathbb {E} (\ln(x))=\psi \left({\frac {k}{2}}\right)+\ln(2)}$	${\displaystyle \mathbb {R} _{+}}$
Erlang	${\displaystyle f(x)={\frac {\lambda ^{k}}{(k-1)!}}x^{k-1}\exp(-\lambda x)}$	${\displaystyle \mathbb {E} (x)={\frac {k}{\lambda }},\,\mathbb {E} (\ln(x))=\psi (k)-\ln(\lambda )}$	${\displaystyle \mathbb {R} _{+}}$
Gamma	${\displaystyle f(x)={\frac {x^{k-1}\exp(-{\frac {x}{\theta }})}{\theta ^{k}\Gamma (k)}}}$	${\displaystyle \mathbb {E} (x)=k\theta ,\,\mathbb {E} (\ln(x))=\psi (k)+\ln(\theta )}$	${\displaystyle \mathbb {R} _{+}}$
Log-normale	${\displaystyle f(x)={\frac {1}{\sigma x{\sqrt {2\pi }}}}\exp \left(-{\frac {(\ln x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle \mathbb {E} (\ln(x))=\mu ,\ \mathbb {E} \left[(\ln(x)-\mu )^{2}\right]=\sigma ^{2}\,}$	${\displaystyle \mathbb {R} _{+}^{*}}$
Maxwell–Boltzmann	${\displaystyle f(x)={\frac {1}{a^{3}}}{\sqrt {\frac {2}{\pi }}}\,x^{2}\exp \left(-{\frac {x^{2}}{2a^{2}}}\right)}$	${\displaystyle \mathbb {E} (x^{2})=3a^{2},\,\mathbb {E} (\ln(x))\!=\!1\!+\!\ln \left({\frac {a}{\sqrt {2}}}\right)\!-\!{\frac {\gamma _{\mathrm {E} }}{2}}}$	${\displaystyle \mathbb {R} _{+}}$
Weibull	${\displaystyle f(x)={\frac {k}{\lambda ^{k}}}x^{k-1}\exp \left(-{\frac {x^{k}}{\lambda ^{k}}}\right)}$	${\displaystyle \mathbb {E} (x^{k})=\lambda ^{k},\ \mathbb {E} (\ln(x))=\ln(\lambda )-{\frac {\gamma _{\mathrm {E} }}{k}}\,}$	${\displaystyle \mathbb {R} _{+}}$
Normale miltidimensionnelle	${\displaystyle f_{X}({\vec {x}})=}$ ${\displaystyle {\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left|\Sigma \right|^{1/2}}}}$	${\displaystyle \mathbb {E} ({\vec {x}})={\vec {\mu }},\,\mathbb {E} \left[({\vec {x}}-{\vec {\mu }})({\vec {x}}-{\vec {\mu }})^{T}\right]=\Sigma \,}$	${\displaystyle \mathbb {R} ^{n}}$
Binomiale	${\displaystyle f(k)={n \choose k}p^{k}(1-p)^{n-k}}$	${\displaystyle \mathbb {E} (x)=\mu ,f\in {\text{loi binomiale}}\ n{\text{-généralisée}}}$	${\displaystyle \left\{0,{\ldots },n\right\}}$
Poisson	${\displaystyle f(k)={\frac {\lambda ^{k}\exp(-\lambda )}{k!}}}$	${\displaystyle \mathbb {E} (x)=\mu ,f\in {\text{loi binomiale}}\ {\infty }{\text{-généralisée}}}$[10]	${\displaystyle \mathbb {N} =\left\{0,1,{\ldots }\right\}}$
Logistique	${\displaystyle f(x)={\frac {{\rm {e}}^{-x}}{(1+{\rm {e}}^{-x})^{2}}}}$	${\displaystyle \mathbb {E} (x)=0,\ \mathbb {E} \left[\ln(1+{\rm {e}}^{-x})\right]=1}$	${\displaystyle \mathbb {R} }$

Le principe d'entropie maximale peut être utilisé pour majorer l'entropie des mélanges statistiques[11].