Entropie croisée

La minimisation de l'entropie croisée est souvent utilisée en optimisation et en estimation de probabilité d'événements rares ; voir méthode de l'entropie croisée.

Quand on compare une distribution ${\displaystyle q}$ avec une distribution de référence ${\displaystyle p}$, l'entropie croisée et la divergence de Kullback-Leibler sont identiques à une constante additive près (quand ${\displaystyle p}$ est fixé): les deux atteignent leur minimum lorsque ${\displaystyle p=q}$, ce qui donne ${\displaystyle 0}$ pour la divergence KL, et ${\displaystyle \mathrm {H} (p)}$ pour l'entropie croisée.

Cependant, comme expliqué dans l'article divergence de Kullback-Leibler, la distribution ${\displaystyle q}$ est parfois la loi fixée a priori, et la distribution ${\displaystyle p}$ est optimisée pour être la plus proche possible de ${\displaystyle q}$, sous certaines contraintes. Dans ce cas les deux minimisations ne sont pas équivalentes. Cela conduit à des ambiguïtés dans la littérature, avec des auteurs tentant de réduire la confusion en définissant l'entropie croisée par ${\displaystyle D_{KL}(p||q)}$ plutôt que par ${\displaystyle H(p,q)}$.

• Méthode de l'entropie croisée

• Entropie conditionnelle

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Cross entropy » (voir la liste des auteurs).