Redresseur (réseaux neuronaux)

Un désavantage de la fonction ReLU est que sa dérivée devient nulle lorsque l'entrée est négative ce qui peut empêcher la rétropropagation du gradient[1]. On peut alors introduire une version appelée Leaky ReLU définie par :

${\displaystyle f(x)=max(\epsilon x,x)}$ pour tout réel ${\displaystyle x}$

Le paramètre ${\displaystyle \epsilon }$ est un réel strictement positif et inférieur à 1 ${\displaystyle \epsilon \in ]0,1[}$ La dérivée est alors égale à ${\displaystyle \epsilon }$ lorsque x est strictement négatif, ce qui permet de conserver la mise à jour des poids d'un perceptron utilisant cette fonction d'activation.