Maximum régularisé

Approximations dérivables de la valeur absolue

En utilisant la définition suivante du maximum de deux nombres :

${\displaystyle \max(x_{1},x_{2})={\frac {x_{1}+x_{2}+|x_{2}-x_{1}|}{2}}}$

on peut définir une fonction maximum régularisé en remplaçant le terme en valeur absolue par une fonction lisse équivalente, comme ${\textstyle {\sqrt {x^{2}+\alpha ^{2}}}}$ ou ${\textstyle x\,\mathrm {erf} (\alpha x)}$, où erf désigne la fonction d'erreur[1].

Softmax

Maximum régularisé appliqué aux fonctions –x et x pour plusieurs valeurs de coefficients. On voit que la fonction est très lisse pour α = 0,5 et plus raide pour α = 8.

Pour de grandes valeurs du paramètre α > 0, la fonction S_α définie ci-après, parfois appelée « α-softmax », est une approximation lisse et différentiable de la fonction maximum. Pour des valeurs négatives du paramètre grandes en valeur absolue, elle approche le minimum. La fonction α-softmax est définie par[2] :

${\displaystyle S_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}\mathrm {e} ^{\alpha x_{i}}}{\sum _{i=1}^{n}\mathrm {e} ^{\alpha x_{i}}}}}$

S_α a les propriétés suivantes :

1. ${\displaystyle S_{\alpha }{\underset {\alpha \to +\infty }{\longrightarrow }}\max }$
2. S₀ renvoie la moyenne arithmétique
3. ${\displaystyle S_{\alpha }{\underset {\alpha \to -\infty }{\longrightarrow }}\min }$

Le gradient de S_α est lié à la fonction softmax et vaut

${\displaystyle \nabla _{x_{i}}S_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\mathrm {e} ^{\alpha x_{i}}}{\sum _{j=1}^{n}\mathrm {e} ^{\alpha x_{j}}}}[1+\alpha (x_{i}-S_{\alpha }(x_{1},\ldots ,x_{n}))].}$

Ceci rend la fonction softmax intéressante pour des techniques d'optimisation utilisant la descente de gradient.[3]

Normes de Hölder

Une forme de maximum régularisé peut être basée sur une moyenne généralisée. Par exemple, pour des valeurs x₁, ..., x_n positives, on peut utiliser une moyenne d'ordre α > 1, soit

${\displaystyle S_{\alpha }(x_{1},\ldots ,x_{n})=\left({\frac {1}{n}}\sum _{j=1}^{n}x_{j}^{\alpha }\right)^{\frac {1}{\alpha }}.}$

LogSumExp

Un autre maximum régularisé est connu sous le nom « LogSumExp »:

${\displaystyle \mathrm {LSE} (x_{1},\ldots ,x_{n})=\ln(\exp(x_{1})+\ldots +\exp(x_{n}))}$

La fonction peut être normalisée si les x_i sont tous positifs, menant à une fonction définie sur [0 , +∞[ⁿ vers [0 , +∞[:

${\displaystyle g(x_{1},\ldots ,x_{n})=\ln(\exp(x_{1})+\ldots +\exp(x_{n})-(n-1))}$

Le terme (n – 1) est un coefficient de correction pour prendre en compte que exp(0) = 1, assurant ainsi qu'on ait bien g(0, ... ,0) = 0 si tous les x_i sont nuls.

La fonction LogSumExp peut être paramétrée pour éviter les artefacts de lissage. On appelle cette forme « α-quasimax », définie par[2]:

${\displaystyle {\mathcal {Q}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {1}{\alpha }}\mathrm {LSE} (\alpha x_{1},\ldots ,\alpha x_{n})={\frac {1}{\alpha }}\ln(\exp(\alpha x_{1})+\ldots +\exp(\alpha x_{n}))}$

Les maximums lisses ont un intérêt dans les recherches d'extrema sur des ensembles de données discrètes[4] ou des algorithmes d'optimisation par descente du gradient.

• LogSumExp
• Fonction softmax
• Moyenne généralisée

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Smooth maximum » (voir la liste des auteurs).