Algorithme de Frank-Wolfe

On cherche à minimiser une fonction convexe ${\displaystyle f}$ définie sur un espace vectoriel ${\displaystyle D}$ ou une partie convexe de celui-ci.

On veut donc trouver ${\displaystyle x}$ tel que ${\displaystyle f(x)=\min\{f(y)|y\in D\}}$.

Initialisation : On initialise ${\displaystyle x}$ avec une valeur aléatoire de ${\displaystyle D}$ et ${\displaystyle k=0}$

Lancement de la boucle sur ${\displaystyle k}$

1. On cherche ${\displaystyle s}$ tel que ${\displaystyle \mathbf {s} ^{T}\nabla f(\mathbf {x} _{k})}$ est minimal (On cherche le vecteur ${\displaystyle s\in D}$ qui a le produit scalaire le plus faible avec ${\displaystyle \nabla f(\mathbf {x} _{k})}$ - donc qui va dans la direction la plus opposée.)
2. Classiquement, on utilise une variable ${\displaystyle \gamma ={\frac {2}{2+k}}}$
3. On met à jour ${\displaystyle \mathbf {x} _{k+1}\leftarrow \mathbf {x} _{k}+\gamma (\mathbf {s} -\mathbf {x} _{k})}$

Cet algorithme est notamment utilisé pour l'apprentissage des réseaux de neurones comme le codage parcimonieux