Réseau de neurones de Hopfield

Pour estimer les poids, on peut utiliser un apprentissage hebbien, inspiré de la règle de Hebb. Qui donne pour retenir ${\displaystyle p}$ motif d'entraînement :

${\displaystyle w_{ij}={\frac {1}{n}}\sum _{k=1}^{p}x_{i}^{k}x_{j}^{k}\,}$

où ${\displaystyle w_{ij}}$ est le poids de la connexion entre le neurone ${\displaystyle j}$ et le neurone ${\displaystyle i}$, ${\displaystyle n}$ est la dimension du vecteur d'entrée, et ${\displaystyle x_{i}^{k}}$ et ${\displaystyle x_{j}^{k}}$ sont respectivement la ${\displaystyle k}$ième entrée des neurones ${\displaystyle i}$ et ${\displaystyle j}$.

Si les bits correspondant aux neurones ${\displaystyle i}$ et ${\displaystyle j}$ sont égaux dans le motif ${\displaystyle \mu }$, alors le produit ${\displaystyle \epsilon _{i}^{\mu }\epsilon _{j}^{\mu }}$ sera sois positif. Cela aurait, à son tour, un effet positif sur le poids ${\displaystyle w_{ij}}$ et les valeurs de ${\displaystyle i}$ et ${\displaystyle j}$ auront tendance à devenir égales. L'inverse se produit si les bits correspondant aux neurones ${\displaystyle i}$ et ${\displaystyle j}$ sont différents.

L'apprentissage hebbien minimise la fonction d'énergie, c'est-à-dire que si deux unités sont actives simultanément, le poids de leurs connexions est augmenté ou diminué.

Cette règle a été introduite par Amos Storkey en 1997 et est à la fois locale et incrémentielle. Storkey a également montré qu'un réseau Hopfield entraîné à l'aide de cette règle a une plus grande capacité qu'un réseau correspondant entraîné à l'aide de la règle de Hebb[3]. Le réseaux suit la règle d'apprentissage de Storkey si il obéit :

${\displaystyle w_{ij}^{\nu }=w_{ij}^{\nu -1}+{\frac {1}{n}}\epsilon _{i}^{\nu }\epsilon _{j}^{\nu }-{\frac {1}{n}}\epsilon _{i}^{\nu }h_{ji}^{\nu }-{\frac {1}{n}}\epsilon _{j}^{\nu }h_{ij}^{\nu }}$

où ${\displaystyle h_{ij}^{\nu }=\sum _{k=1~:~i\neq k\neq j}^{n}w_{ik}^{\nu -1}\epsilon _{k}^{\nu }}$ est une forme de champ local[4] au niveau du neurone i.

Cette règle d'apprentissage est locale, puisque les synapses ne prennent en compte que les neurones à leurs côtés. La règle utilise plus d'informations provenant des modèles et des poids que la règle de Hebb généralisée, en raison de l'effet du champ local.

• Sciences cognitives
• Intelligence artificielle
• Connexionnisme
• Neurone formel
• Self Organising Map
• Réseau neuronal artificiel

• Neural Lab - interface graphique en Python et Gtk permettant de manipuler un reseaux de hopfield