Modèles à base d’énergie
Les modèles à base d'énergies (EBMs en anglais Energy-based models) sont un cadre pour la définition des modèles d'apprentissage profond, qui permet de définir des modèles supervisés, non supervisés et autosupervisés. Il souligne les limites des réseaux à propagation avant pour certains types de calculs et problèmes. Les modèles à base d’énergie (EBMs) sont présentés comme offrant un meilleur cadre pour modéliser les modalités, notamment dans les domaines continus à haute dimension comme les images[1].
Cadre théorique
Problème
L'approche des modèles à base d'énergie consiste à prédire si une paire de s'assemble ou non, plutôt que de classer en .
Pour cela, on définit une fonction énergie qui décrit le niveau de dépendance entre les paires. L'inférence est donnée par l'équation [1].
Solution
Pour trouver des compatibles, on utilise la descente de gradient ou un autre algorithme d'optimisation pour rechercher une fonction d'énergie lisse et différenciable.[note 1]
Variables latentes
Les modèles à base d'énergie peuvent comporter une variable latente est utilisée pour capturer des informations cachées ou latentes dans les données d'entrée qui ne sont pas directement observables.
Notes et Références
Notes
- Les modèles graphiques sont un cas particulier des EBMs, où la fonction d'énergie se décompose en une somme de termes d'énergie, avec des algorithmes d'inférence efficaces pour trouver le minimum.
Références
- « Modèles à base d’énergie (EBMs) · Apprentissage Profond », sur atcold.github.io (consulté le )