Extreme learning machine

Le plus simple algorithme d'apprentissage ELM a un modèle de la forme

${\displaystyle \mathbf {\hat {Y}} =\mathbf {W} _{2}\sigma (\mathbf {W} _{1}x)}$

où W₁ est la matrice des pondérations d'entrée-à-couche cachée, σ est une fonction d'activation, et W₂ est la matrice des pondérations de couche cachée-à-sortie. L'algorithme fonctionne de la manière suivante:

1. Assignez W₁ avec du bruit aléatoire gaussien ;
2. Estimez W₂ par la méthode des moindres carrés pour faire correspondre la matrice réponse des variables Y, calculée en utilisant le pseudoinverse ⋅⁺, donnant une matrice de conception X:

   ${\displaystyle \mathbf {W} _{2}=\sigma (\mathbf {W} _{1}\mathbf {X} )^{+}\mathbf {Y} }$

La prétendue invention de l'ELM, en 2006, a provoqué des débats. En particulier, il a été souligné dans une lettre à l'éditeur de IEEE Transactions on Neural Networks que l'idée d'utiliser une couche cachée connectée à des poids d'entrée aléatoires avait déjà été suggérée dans des documents de RBF networks à la fin des années 1980, et que des expérimentations avec le perceptron multicouche avec une logique aléatoire similaire était apparu dans la même période de temps. Guang-Bin Huang a répondu en soulignant des différences subtiles[2].

Dans un document de 2015, Huang a répondu aux plaintes concernant son invention du nom ELM pour les méthodes déjà existantes, se plaignant de "commentaires très négatifs et inutiles sur l'ELM de manière ni académique ni professionnel en raison de divers motifs et intentions" et une «irresponsable attaque anonyme qui a l'intention de détruire l'harmonie de l'environnement de la recherche ", faisant valoir que son travail" fournit une plate-forme d'apprentissage fédérateur »de différents types de réseaux neuronaux[3].

• Machine à état liquide

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Extreme learning machine » (voir la liste des auteurs).