Neurone formel

Le premier modèle mathématique et informatique du neurone biologique est proposé par Warren McCulloch et Walter Pitts en 1943[2]. En s'appuyant sur les propriétés des neurones biologiques connues à cette époque, issues d'observations neurophysiologiques et anatomiques, McCulloch et Pitts proposent un modèle simple de neurone formel. Il s'agit d'un neurone binaire, c'est-à-dire dont la sortie vaut 0 ou 1. Pour calculer cette sortie, le neurone effectue une somme pondérée de ses entrées (qui, en tant que sorties d'autres neurones formels, valent aussi 0 ou 1) puis applique une fonction d'activation à seuil : si la somme pondérée dépasse une certaine valeur, la sortie du neurone est 1, sinon elle vaut 0 (cf les sections suivantes).

McCulloch et Pitts étudiaient en fait l'analogie entre le cerveau humain et les machines informatiques universelles. Ils montrèrent en particulier qu'un réseau (bouclé) constitué des neurones formels de leur invention a la même puissance de calcul qu'une machine de Turing.

Malgré la simplicité de cette modélisation, ou peut-être grâce à elle, le neurone formel dit de McCulloch et Pitts reste aujourd’hui un élément de base des réseaux de neurones artificiels. De nombreuses variantes ont été proposées, plus ou moins biologiquement plausibles, mais s'appuyant généralement sur les concepts inventés par les deux auteurs. On sait néanmoins aujourd’hui que ce modèle n’est qu’une approximation des fonctions remplies par le neurone réel et, qu’en aucune façon, il ne peut servir pour une compréhension profonde du système nerveux.

On considère le cas général d'un neurone formel à ${\displaystyle m}$ entrées, auquel on doit donc soumettre les ${\displaystyle m}$ grandeurs numériques (ou signaux, ou encore stimuli) notées ${\displaystyle x_{1}}$ à ${\displaystyle x_{m}}$. Un modèle de neurone formel est une règle de calcul qui permet d'associer aux ${\displaystyle m}$ entrées une sortie : c'est donc une fonction à ${\displaystyle m}$ variables et à valeurs réelles.

Neurone formel avec 2 entrées et une fonction d'activation à seuil

Dans le modèle de McCulloch et Pitts, à chaque entrée est associé un poids synaptique, c'est-à-dire une valeur numérique notée de ${\displaystyle w_{1}}$ pour l'entrée ${\displaystyle 1}$ jusqu'à ${\displaystyle w_{m}}$ pour l'entrée ${\displaystyle m}$. La première opération réalisée par le neurone formel consiste en une somme des grandeurs reçues en entrées, pondérées par les coefficients synaptiques, c'est-à-dire la somme

${\displaystyle w_{1}x_{1}+\ldots +w_{m}x_{m}=\sum _{j=1}^{m}w_{j}x_{j}.}$

À cette grandeur s'ajoute un seuil ${\displaystyle w_{0}}$. Le résultat est alors transformé par une fonction d'activation non linéaire (parfois appelée fonction de sortie), ${\displaystyle \varphi }$. La sortie associée aux entrées ${\displaystyle x_{1}}$ à ${\displaystyle x_{m}}$ est ainsi donnée par

${\displaystyle \varphi \left(w_{0}+\sum _{j=1}^{m}w_{j}x_{j}\right)}$,

qu'on peut écrire plus simplement :

${\displaystyle \varphi \left(\sum _{j=0}^{m}w_{j}x_{j}\right)}$,

en ajoutant au neurone une entrée fictive ${\displaystyle x_{0}}$ fixée à la valeur ${\displaystyle 1}$.

Dans la formulation d'origine de McCulloch et Pitts, la fonction d'activation est la fonction de Heaviside (fonction en marche d'escalier), dont la valeur est 0 ou 1. Dans ce cas, on préfère parfois définir la sortie par la formule suivante

${\displaystyle \varphi \left(\sum _{j=1}^{m}w_{j}x_{j}-w_{0}\right)}$,

qui justifie le nom de seuil donné à la valeur ${\displaystyle w_{0}}$. En effet, si la somme ${\displaystyle \sum _{j=1}^{m}w_{j}x_{j}}$ dépasse ${\displaystyle w_{0}}$ la sortie du neurone est 1, alors qu'elle vaut 0 dans le cas contraire : ${\displaystyle w_{0}}$ est donc le seuil d'activation du neurone, si on considère que la sortie 0 correspond à un neurone « éteint ».

Les propriétés de la fonction d'activation influent en effet sur celle du neurone formel et il est donc important de bien choisir celle-ci pour obtenir un modèle utile en pratique.

Quand les neurones sont combinés en un réseau de neurones formels, il est important par exemple que la fonction d'activation de certains d'entre eux ne soit pas un polynôme sous réserve de limiter la puissance de calcul du réseau obtenu[3]. Un cas caricatural de puissance limitée correspond à l'utilisation d'une fonction d'activation linéaire, comme la fonction identité : dans une telle situation le calcul global réalisé par le réseau est lui aussi linéaire et il est donc parfaitement inutile d'utiliser plusieurs neurones, un seul donnant des résultats strictement équivalents.

Cependant, les fonctions de type sigmoïde sont généralement bornées. Dans certaines applications, il est important que les sorties du réseau de neurones ne soient pas limitées a priori : certains neurones du réseau doivent alors utiliser une fonction d'activation non bornée. On choisit généralement la fonction identité.

Il est aussi utile en pratique que la fonction d'activation présente une certaine forme de régularité. Pour calculer le gradient de l'erreur commise par un réseau de neurones, lors de son apprentissage, il faut que la fonction d'activation soit dérivable. Pour calculer la matrice hessienne de l'erreur, ce qui est utile pour certaines analyses d'erreur, il faut que la fonction d'activation soit dérivable deux fois. Comme elles comportent généralement des points singuliers, les fonctions linéaires par morceaux sont relativement peu utilisées en pratique.

La fonction sigmoïde (aussi appelée fonction logistique ou fonction en S) est définie par :

${\displaystyle f_{sig}(x)={\frac {1}{1+e^{-x}}}}$

Elle possède plusieurs propriétés qui la rendent intéressante comme fonction d’activation.

Elle n'est pas polynômiale

Elle est indéfiniment continûment dérivable et une propriété simple permet d'accélérer le calcul de sa dérivée. Ceci réduit le temps calcul nécessaire à l'apprentissage d'un réseau de neurones. On a en effet

${\displaystyle {\frac {d}{dx}}f_{sig}(x)=f_{sig}(x)\left(1-f_{sig}(x)\right)}$.

On peut donc calculer la dérivée de cette fonction en un point de façon très efficace à partir de sa valeur en ce point.

De plus, la fonction sigmoïde renvoie des valeurs dans l'intervalle ${\displaystyle [0;1]}$, ce qui permet d'interpréter la sortie du neurone comme une probabilité. Elle est aussi liée au modèle de régression logistique et apparaît naturellement quand on considère le problème de la séparation optimale de deux classes de distributions gaussiennes avec la même matrice de covariance.

Cependant, les nombres avec lesquels travaillent les ordinateurs rendent cette fonction difficile à programmer.

En effet, ${\displaystyle e^{-60}\simeq 10^{-26}}$, et avec la précision des nombres à virgule des ordinateurs, ${\displaystyle 1-10^{-26}=1}$, et donc ${\displaystyle f_{sig}(60)=1}$.

Lorsque vous essayez de coder un réseau de neurones en commettant cette erreur, après apprentissage, quelles que soient les valeurs que vous mettrez en entrée de votre réseau, vous obtiendrez toujours le même résultat.

Il existe heureusement de nombreuses solutions pour tout de même utiliser ${\displaystyle f_{sig}(x)={\frac {1}{1+e^{-x}}}}$ dans votre programme, et certaines d'entre elles sont dépendantes d'un langage. Elles reviennent toutes à utiliser une représentation des nombres flottants, plus précise que l'IEEE754. Parfois, normaliser les entrées entre 0 et 1 peut suffire à régler le problème[4].

La fonction tangente hyperbolique, définie par

${\displaystyle \tanh(x)={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$

est aussi très utilisée en pratique, car elle partage avec la fonction sigmoïde certaines caractéristiques pratiques :

• non polynomiale
• indéfiniment continûment dérivable
• calcul rapide de la dérivée par la formule

${\displaystyle {\frac {\mathrm {d} }{\mathrm {d} x}}\tanh(x)=1-\left(\tanh(x)\right)^{2}}$

C'est, à une transformation linéaire près, la fonction sigmoïde : ${\displaystyle \tanh(x)=1-2{\frac {1}{1+e^{-2x}}}}$

Un neurone à base radiale est construit à partir d'une fonction du même nom. Au lieu de réaliser une somme pondérée de ses entrées, un tel neurone compare chaque entrée à une valeur de référence et produit une sortie d'autant plus grande (proche de 1) que les entrées sont proches des valeurs de références.

Chaque entrée ${\displaystyle x_{i}}$ est donc associée à une valeur ${\displaystyle c_{i}}$. La comparaison entre les deux jeux de valeurs se fait généralement au sens de la norme euclidienne. Plus précisément, le neurone commence par calculer la grandeur suivante

${\displaystyle \left\|\mathbf {x} -\mathbf {c} \right\|={\sqrt {\sum _{i=1}^{m}\left(x_{i}-c_{i}\right)^{2}}}}$

Il est parfaitement possible d'utiliser une autre norme que la norme euclidienne, et plus généralement une distance quelconque, pour comparer les vecteurs ${\displaystyle \mathbf {x} =\left(x_{1},\ldots ,x_{m}\right)}$ et ${\displaystyle \mathbf {c} =\left(c_{1},\ldots ,c_{m}\right)}$.

Le neurone transforme ensuite la valeur obtenue grâce à une fonction d'activation. Sa sortie est donc finalement donnée par

${\displaystyle \varphi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)}$.

La fonction calculée par le neurone est dite à base radiale car elle possède une symétrie radiale autour du point de référence ${\displaystyle \mathbf {c} }$ : si on réalise une rotation quelconque autour de ce point, la sortie du neurone reste inchangée.

En pratique, il est très courant d'utiliser une fonction d'activation gaussienne définie par

${\displaystyle \varphi (u)=\exp \left(-\beta u^{2}\right)}$.

Le paramètre ${\displaystyle \beta }$ peut être interprété comme l'inverse de la sensibilité du neurone : plus il est grand, plus il faut que les entrées soient proches des valeurs de références pour que la sortie du neurone soit proche de 1.

Un neurone Sigma-Pi est obtenu en remplaçant la somme pondérée des entrées du modèle de McCulloch et Pitts par une somme pondérée de produits de certaines entrées.

Considérons par exemple le cas de deux entrées. La sortie d'un neurone de McCulloch et Pitts s'écrit sous la forme ${\displaystyle \varphi \left(w_{0}+w_{1}x_{1}+w_{2}x_{2}\right)}$, alors que celle d'un neurone Sigma-Pi est donnée par

${\displaystyle \varphi \left(w_{0}+w_{1}x_{1}+w_{2}x_{2}+w_{12}x_{1}x_{2}\right)}$,

la différence résidant donc dans la présence du terme produit ${\displaystyle x_{1}x_{2}}$.

Dans le cas général à ${\displaystyle m}$ entrées, on obtient une sortie de la forme suivante

${\displaystyle \varphi \left(w_{0}+\sum _{j=1}^{p}w_{j}\prod _{k\in I_{j}}x_{k}\right)}$.

Dans cette formule, ${\displaystyle p}$ est un entier quelconque qui désigne le nombre de produits d'entrées utilisés. L'ensemble ${\displaystyle I_{j}}$ est un sous-ensembles de ${\displaystyle \{1,\ldots ,m\}}$ qui précise les entrées à multiplier entre elles pour obtenir le terme numéro ${\displaystyle j}$. Selon cette notation, l'exemple donné plus haut pour 2 entrées correspond à ${\displaystyle p=3}$ (3 termes dans la somme), ${\displaystyle I_{1}=\{1\}}$ (entrée 1 utilisée seule), ${\displaystyle I_{2}=\{2\}}$ (entrée 2 utilisée seule) et ${\displaystyle I_{3}=\{1,2\}}$ (produit des entrées 1 et 2).

La formulation utilisée montre qu'il existe de nombreuses possibilités pour construire un neurone Sigma-Pi pour un nombre donné d'entrées. Ceci est lié à la croissance exponentielle avec le nombre d'entrées du nombre de sous-ensembles d'entrées utilisables pour construire un neurone Sigma-Pi : il existe en effet ${\displaystyle 2^{m}}$ combinaisons possibles (en considérant la combinaison vide comme celle correspondant au seuil ${\displaystyle w_{0}}$). En pratique, quand ${\displaystyle m}$ devient grand (par exemple à partir de 20), il devient quasi impossible d'utiliser tous les termes possibles et il faut donc choisir les produits à privilégier. Une solution classique consiste à se restreindre à des sous-ensembles de ${\displaystyle k}$ entrées pour une valeur faible de ${\displaystyle k}$.

La formulation générale de ces neurones est aussi à l'origine du nom Sigma-Pi qui fait référence aux lettres grecques capitales Sigma (Σ) et Pi (Π) utilisées en mathématiques pour représenter respectivement la somme et le produit.

Considérons par exemple un neurone formel à deux entrées dont on fixe les poids synaptiques à 1. En fonction de la valeur du seuil, le neurone réalise une fonction logique, telle le OU logique ou le ET logique. On remarque en effet que la sortie du neurone est donnée par:

${\displaystyle H\left(x_{1}+x_{2}+w_{0}\right)}$,

où ${\displaystyle H}$ désigne la fonction de Heaviside[5]. En fonction des valeurs des entrées, on a donc les résultats suivants :

${\displaystyle x_{1}}$/${\displaystyle x_{2}}$	0	1
0	${\displaystyle H(w_{0})}$	${\displaystyle H(1+w_{0})}$
1	${\displaystyle H(1+w_{0})}$	${\displaystyle H(2+w_{0})}$

On distingue quatre cas, selon la valeur de ${\displaystyle w_{0}}$.

Si le ${\displaystyle w_{0}}$ est positif ou nul, la sortie du neurone vaut toujours 1 (la fonction de Heaviside définissant ${\displaystyle H(0)=1}$ ).

Si ${\displaystyle -1\leq w_{0}<0}$, la table devient :

${\displaystyle x_{1}}$/${\displaystyle x_{2}}$	0	1
0	${\displaystyle 0}$	${\displaystyle 1}$
1	${\displaystyle 1}$	${\displaystyle 1}$

et le neurone calcule donc un OU logique.

Si ${\displaystyle -2\leq w_{0}<-1}$, la table devient :

${\displaystyle x_{1}}$/${\displaystyle x_{2}}$	0	1
0	${\displaystyle 0}$	${\displaystyle 0}$
1	${\displaystyle 0}$	${\displaystyle 1}$

et le neurone calcule donc un ET logique.

Enfin, si ${\displaystyle w_{0}<-2}$, le neurone donne toujours un résultat nul.

Par le même type de raisonnement, on constate qu'un neurone à une entrée peut n'avoir aucun effet (neurone identité) ou réaliser un NON logique.

Par linéarité de la somme pondérée, si on multiplie en même temps les poids synaptiques et le seuil d'un neurone par un nombre positif quelconque, le comportement du neurone est inchangé, et la modification est totalement indiscernable. En revanche, si on multiplie tout par un nombre négatif, le comportement du neurone est inversé, puisque la fonction d'activation est croissante.

En combinant des neurones de McCulloch et Pitts, c'est-à-dire en utilisant les sorties de certains neurones comme entrées pour d'autres neurones, on peut donc réaliser n'importe quelle fonction logique. Quand on autorise en outre des connexions formant des boucles dans le réseau, on obtient un système avec la même puissance qu'une machine de Turing.

Un neurone seul ne peut pas cependant représenter n'importe quelle fonction logique, mais seulement des fonctions logiques monotones. L'exemple le plus simple de fonction non calculable directement est le OU exclusif, en raison de son caractère non monotone.

• ADALINE
• Algèbre de Boole
• Automate
• Perceptron
• Réseau de neurones