ADALINE
ADALINE (Adaptive Linear Neuron ou plus tard Adaptive Linear Element) est un réseau de neurones artificiels simple-couche.
Il a été développé par le professeur Bernard Widrow et un de ses étudiants, Ted Hoff, de l'université Stanford en 1960. Adaline s'appuie sur le neurone formel de McCulloch et Pitts. Il se compose d'un poids synaptique, d'un biais (une constante qu'on ajoute à l'entrée) et d'une fonction de sommation.
La différence entre Adaline et le modèle de McCulloch-Pitts réside dans la phase d'apprentissage, où les poids synaptiques sont ajustés en fonction de la somme pondérée des données en entrées. Dans le perceptron standard (McCulloch-Pitts), le réseau passe par la fonction d'activation (ou fonction de transfert) et la fonction de sortie est utilisée pour ajuster les poids synaptiques.
Il existe aussi une extension appelée Madaline.
Définition
Adaline est un réseau neuronal simple-couche, avec plusieurs nœuds, chacun acceptant plusieurs entrées et générant une sortie. Étant données les variables suivantes :
- x, le vecteur d'entrée
- w, le « vecteur poids »
- n, le nombre d'entrées
- , une constante
- y, la sortie
on a alors : .
Et si on suppose que :
alors la sortie se réduit au produit scalaire de x et w :
Algorithme d'apprentissage
Posons :
- , le taux d'apprentissage (une constante)
- d, la sortie désirée
- o, la sortie réelle,
alors les poids sont mis à jour comme suit : .
Adaline converge vers l'erreur des moindres carrés qui est :
