A mathematical approach to unsupervised learning in recurrent neural networks

Mathieu Galtier 1
1 NEUROMATHCOMP
INRIA Rocquencourt, CRISAM - Inria Sophia Antipolis - Méditerranée , CNRS - Centre National de la Recherche Scientifique : UMR8548, UNS - Université Nice Sophia Antipolis, ENS Paris - École normale supérieure - Paris
Résumé : Dans cette thèse nous tentons de donner un sens mathématique à la proposition : le néocortex se construit un modèle de son environnement. Nous considérons que le néocortex est un réseau de neurones spikants dont la connectivité est soumise à une lente évolution appelée apprentissage. Dans le cas où le nombre de neurones est proche de l'infini, nous proposons une nouvelle méthode de champ-moyen afin de trouver une équation décrivant l'évolution du taux de décharge de populations de neurones. Nous étudions donc la dynamique de ce système moyennisé avec apprentissage. Dans le régime où l'apprentissage est beaucoup plus lent que l'activité du réseau nous pouvons utiliser des outils de moyennisation temporelle pour les systèmes lents/rapides. Dans ce cadre mathématique nous montrons que la connectivité du réseau converge toujours vers une unique valeur d'équilibre que nous pouvons calculer explicitement. Cette connectivité regroupe l'ensemble des connaissances du réseau à propos de son environnement. Nous comparons cette connectivité à l'équilibre avec les stimuli du réseau. Considérant que l'environnement est solution d'un système dynamique quelconque, il est possible de montrer que le réseau encode la totalité de l'information nécessaire à la définition de ce système dynamique. En effet nous montrons que la partie symétrique de la connectivité correspond à la variété sur laquelle est définie le système dynamique de l'environnement, alors que la partie anti-symétrique de la connectivité correspond au champ de vecteur définissant le système dynamique de l'environnement. Dans ce contexte il devient clair que le réseau agit comme un prédicteur de son environnement.
Type de document :
Thèse
Neural and Evolutionary Computing [cs.NE]. École Nationale Supérieure des Mines de Paris, 2011. English. <NNT : 2011ENMP0057>


https://pastel.archives-ouvertes.fr/pastel-00667368
Contributeur : Doriane Ibarra <>
Soumis le : mardi 7 février 2012 - 14:54:53
Dernière modification le : jeudi 29 septembre 2016 - 01:13:11
Document(s) archivé(s) le : mardi 8 mai 2012 - 02:31:41

Fichier

Identifiants

  • HAL Id : pastel-00667368, version 1

Collections

Citation

Mathieu Galtier. A mathematical approach to unsupervised learning in recurrent neural networks. Neural and Evolutionary Computing [cs.NE]. École Nationale Supérieure des Mines de Paris, 2011. English. <NNT : 2011ENMP0057>. <pastel-00667368>

Exporter

Partager

Métriques

Consultations de
la notice

719

Téléchargements du document

529