Modélisation probabiliste et inférence par l'algorithme Belief Propagation

Victorin Martin 1, 2, 3
3 TAO - Machine Learning and Optimisation
LRI - Laboratoire de Recherche en Informatique, UP11 - Université Paris-Sud - Paris 11, Inria Saclay - Ile de France, CNRS - Centre National de la Recherche Scientifique : UMR8623
Résumé : On s'intéresse à la construction et l'estimation - à partir d'observations incomplètes - de modèles de variables aléatoires à valeurs réelles sur un graphe. Ces modèles doivent être adaptés à un problème de régression non standard où l'identité des variables observées (et donc celle des variables à prédire) varie d'une instance à l'autre. La nature du problème et des données disponibles nous conduit à modéliser le réseau sous la forme d'un champ markovien aléatoire, choix justifié par le principe de maximisation d'entropie de Jaynes. L'outil de prédiction choisi dans ces travaux est l'algorithme Belief Propagation - dans sa version classique ou gaussienne - dont la simplicité et l'efficacité permettent son utilisation sur des réseaux de grande taille. Après avoir fourni un nouveau résultat sur la stabilité locale des points fixes de l'algorithme, on étudie une approche fondée sur un modèle d'Ising latent où les dépendances entre variables réelles sont encodées à travers un réseau de variables binaires. Pour cela, on propose une définition de ces variables basée sur les fonctions de répartition des variables réelles associées. Pour l'étape de prédiction, il est nécessaire de modifier l'algorithme Belief Propagation pour imposer des contraintes de type bayésiennes sur les distributions marginales des variables binaires. L'estimation des paramètres du modèle peut aisément se faire à partir d'observations de paires. Cette approche est en fait une manière de résoudre le problème de régression en travaillant sur les quantiles. D'autre part, on propose un algorithme glouton d'estimation de la structure et des paramètres d'un champ markovien gaussien, basé sur l'algorithme Iterative Proportional Scaling. Cet algorithme produit à chaque itération un nouveau modèle dont la vraisemblance, ou une approximation de celle-ci dans le cas d'observations incomplètes, est supérieure à celle du modèle précédent. Cet algorithme fonctionnant par perturbation locale, il est possible d'imposer des contraintes spectrales assurant une meilleure compatibilité des modèles obtenus avec la version gaussienne de Belief Propagation. Les performances des différentes approches sont illustrées par des expérimentations numériques sur des données synthétiques.
Type de document :
Thèse
Autre. Ecole Nationale Supérieure des Mines de Paris, 2013. Français. 〈NNT : 2013ENMP0020〉
Liste complète des métadonnées

Littérature citée [98 références]  Voir  Masquer  Télécharger

https://pastel.archives-ouvertes.fr/tel-00867693
Contributeur : Abes Star <>
Soumis le : vendredi 18 octobre 2013 - 16:47:08
Dernière modification le : lundi 12 novembre 2018 - 10:54:48
Document(s) archivé(s) le : dimanche 19 janvier 2014 - 04:29:47

Fichier

2013ENMP0020.pdf
Version validée par le jury (STAR)

Identifiants

  • HAL Id : tel-00867693, version 2

Citation

Victorin Martin. Modélisation probabiliste et inférence par l'algorithme Belief Propagation. Autre. Ecole Nationale Supérieure des Mines de Paris, 2013. Français. 〈NNT : 2013ENMP0020〉. 〈tel-00867693v2〉

Partager

Métriques

Consultations de la notice

1600

Téléchargements de fichiers

427