Weight decay

La méthode de dégradation des pondérations ou weight decay en anglais est une technique de régularisation utilisée pour limiter le surapprentissage dans un réseau de neurones. Elle consiste à ajouter une pénalité à la fonction d'erreur qui dépend de la magnitude des poids qui relient les neurones entre eux. On utilise en général la pénalité suivante :

${\displaystyle \lambda \sum _{i}w_{i}^{2}}$

où ${\displaystyle w_{i}}$ est le i^e poids dans le réseau et ${\displaystyle \lambda }$ est un coefficient positif qui donne plus ou moins d'importance à la pénalité. Le paramètre ${\displaystyle \lambda }$ est en général très petit (0.0001 et moins), il tend vers zéro.

Cet article est issu de wikipedia. Text licence: CC BY-SA 4.0, Des conditions supplémentaires peuvent s’appliquer aux fichiers multimédias.