Réseau de Hopfield — Wikipédia

Réseau de neurones de Hopfield

Un réseau de Hopfield à 4 neurones.

Type	Réseau de neurones récurrents, mémoire adressable par contenu
Date d'invention	1974
Nommé en référence à	John Joseph Hopfield

modifier - modifier le code - modifier Wikidata

Le réseau de Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul neurone est mis à jour à chaque unité de temps). Il a été popularisé par le physicien John Hopfield en 1982^[1]. Sa découverte a permis de relancer l'intérêt dans les réseaux de neurones, qui s'était essoufflé durant les années 1970 à la suite d'un article de Marvin Minsky et Seymour Papert. Les réseaux de Hopfield entrent dans le cadre des modèles à base d'énergie^[2].

Un réseau de Hopfield est une mémoire adressable par son contenu : une forme mémorisée est retrouvée par une stabilisation du réseau, s'il a été stimulé par une partie adéquate de cette forme.

Ce modèle de réseau est constitué de N neurones à états binaires (–1, 1 ou 0, 1 suivant les versions) tous interconnectés. L'entrée totale d'un neurone i est donc :

${\displaystyle I_{i}=\sum _{j}w_{ij}V_{j}}$

où :

• ${\displaystyle w_{ij}}$ est le poids de la connexion du neurone i au neurone j ;
• ${\displaystyle V_{j}}$ est l'état du neurone j.

L'état du réseau peut être caractérisé par un mot de N bits correspondant à l'état de chaque neurone.

Le fonctionnement du réseau est séquencé par une horloge. On notera :

• ${\displaystyle V_{i}(t)}$ ou ${\displaystyle V_{i}}$ l'état du neurone i à l'instant t ;
• ${\displaystyle V_{i}(t+1)}$ l'état du neurone i à l'instant t + dt où dt désigne l'intervalle de temps entre 2 tops d'horloge.

Il existe plusieurs alternatives assez équivalentes pour la mise à jour de l'état des neurones :

• le mode stochastique original de Hopfield où chaque neurone modifie son état à un instant aléatoire selon une fréquence moyenne égale pour tous les neurones. Plus simplement on peut considérer qu'à chaque top d'horloge, on tire au hasard un neurone afin de le mettre à jour ;
• un mode synchrone où tous les neurones sont mis à jour simultanément ;
• un mode séquentiel où les neurones sont mis à jour selon un ordre défini.

Le calcul du nouvel état du neurone i se fait ainsi :

${\displaystyle V_{i}(t+1)=\left\{{\begin{matrix}1&\mathrm {si} \sum _{j}{w_{ij}V_{j}}>0,\\-1&\mathrm {sinon} \end{matrix}}\right.}$

L'apprentissage dans un réseau de Hopfield consiste à faire en sorte que chacun des prototypes à mémoriser soit :

• un état stable du réseau ;
• un état attracteur permettant de le retrouver à partir d'états légèrement différents.

Pour estimer les poids, on peut utiliser un apprentissage hebbien, inspiré de la règle de Hebb. Qui donne pour retenir ${\displaystyle p}$ motif d'entraînement :

${\displaystyle w_{ij}={\frac {1}{n}}\sum _{k=1}^{p}x_{i}^{k}x_{j}^{k}\,}$

où ${\displaystyle w_{ij}}$ est le poids de la connexion entre le neurone ${\displaystyle j}$ et le neurone ${\displaystyle i}$, ${\displaystyle n}$ est la dimension du vecteur d'entrée, et ${\displaystyle x_{i}^{k}}$ et ${\displaystyle x_{j}^{k}}$ sont respectivement la ${\displaystyle k}$ième entrée des neurones ${\displaystyle i}$ et ${\displaystyle j}$.

Si les bits correspondant aux neurones ${\displaystyle i}$ et ${\displaystyle j}$ sont égaux dans le motif ${\displaystyle \mu }$, alors le produit ${\displaystyle x_{i}^{\mu }x_{j}^{\mu }}$ sera positif. Cela aurait, à son tour, un effet positif sur le poids ${\displaystyle w_{ij}}$ et les valeurs de ${\displaystyle i}$ et ${\displaystyle j}$ auront tendance à devenir égales. L'inverse se produit si les bits correspondant aux neurones ${\displaystyle i}$ et ${\displaystyle j}$ sont différents.

L'apprentissage hebbien minimise la fonction d'énergie, c'est-à-dire que si deux unités sont actives simultanément, le poids de leurs connexions est augmenté ou diminué.

Cette règle a été introduite par Amos Storkey en 1997 et est à la fois locale et incrémentielle. Storkey a également montré qu'un réseau de Hopfield entraîné à l'aide de cette règle a une plus grande capacité qu'un réseau correspondant entraîné à l'aide de la règle de Hebb^[3]. Le réseau suit la règle d'apprentissage de Storkey s'il obéit :

${\displaystyle w_{ij}^{\nu }=w_{ij}^{\nu -1}+{\frac {1}{n}}x_{i}^{\nu }x_{j}^{\nu }-{\frac {1}{n}}x_{i}^{\nu }h_{ji}^{\nu }-{\frac {1}{n}}x_{j}^{\nu }h_{ij}^{\nu }}$

où ${\displaystyle h_{ij}^{\nu }=\sum _{k=1~:~i\neq k\neq j}^{n}w_{ik}^{\nu -1}x_{k}^{\nu }}$ est une forme de champ local^[4] au niveau du neurone i.

Cette règle d'apprentissage est locale, puisque les synapses ne prennent en compte que les neurones à leurs côtés. La règle utilise plus d'informations provenant des modèles et des poids que la règle de Hebb généralisée, en raison de l'effet du champ local.

Le réseau de Hopfield a cependant des limites bien connues : il ne peut stocker qu'environ 0,14 ${\displaystyle n}$ motifs avec ${\displaystyle n}$ le nombre de neurones. Des modèles ultérieurs, s'inspirant du réseau de Hopfield mais en modifiant les règles de stockage et d'accès, permettent d'agrandir cette limite de stockage^[5].

• Sciences cognitives
• Intelligence artificielle
• Connexionnisme
• Neurone formel
• Self Organising Map
• Réseau neuronal artificiel

• Neural Lab - interface graphique en Python et Gtk permettant de manipuler un reseaux de hopfield

• Portail de l'informatique théorique