Optimisation aléatoire

Soit ${\displaystyle f:\mathbb {R} ^{n}\rightarrow \mathbb {R} }$ la fonction devant être minimisée. Soit ${\displaystyle x}$ la position courante dans l'espace de recherche. L'algorithme d'optimisation aléatoire de base peut être décrit comme suit :

• initialiser ${\displaystyle x}$ par une position au hasard dans l'espace ;
• tant que la condition d'arrêt n'est pas vérifiée (c'est-à-dire jusqu'à être suffisamment proche de la solution recherchée), répéter :
  • créer une nouvelle position ${\displaystyle y}$ en ajoutant à ${\displaystyle x}$ un vecteur aléatoire distribué normalement,
  • si ${\displaystyle f(y)<f(x)}$, se déplacer vers la nouvelle position : ${\displaystyle x\leftarrow y}$,
• fin de l'algorithme, ${\displaystyle x}$ est la solution recherchée.

Matyas a montré que la forme basique de l'OA converge vers l'optimum d'une fonction unimodale simple en utilisant une preuve par limite : la convergence vers l'optimum est garantie après un nombre virtuellement infini d'itérations. Cependant, cette preuve n'est pas utile en pratique, où seul un nombre fini d'itérations peut être exécuté. En fait, une telle preuve par limite montre aussi qu'un échantillonnage aléatoire de l'espace de recherche mène inévitablement à un choix d'échantillon arbitrairement proche de l'optimum.

Des analyses mathématiques conduites par Baba[2] ainsi que Solis et Wets[3] ont établi que la convergence vers une région approchant l'optimum est inévitable sous certaines conditions faibles, pour des variantes de l'OA utilisant d'autres lois de probabilité pour l'échantillonnage. Une estimation du nombre d'itérations nécessaire pour approcher l'optimum est donnée par Dorea[4]. Ces analyses ont été critiquées par Sarma[5] via des tests empiriques, en utilisant les variantes de Baba et Dorea sur deux problèmes pratiques : l'optimum est atteint très lentement, et les méthodes se sont révélées incapables de trouver une solution convenable à moins de démarrer le processus d'un point déjà proche de l'optimum.

• Recherche aléatoire (en)
• Luus-Jaakola (en)
• Recherche par motif (en)
• Optimisation stochastique (en)

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Random optimization » (voir la liste des auteurs).