Towards efficient learning of graphical models and neural networks with variational techniques

Vers un apprentissage efficace des modèles graphiques et des réseaux de neurones avec des techniques variationnelles

Xu Hu (1)

1 LIGM - Laboratoire d'Informatique Gaspard-Monge

In this thesis, I will mainly focus on variational inference and probabilistic models. In particular, I will cover several projects I have been working on during my PhD about improving the efficiency of AI/ML systems with variational techniques. The thesis consists of two parts. In the first part, the computational efficiency of probabilistic graphical models is studied. In the second part, several problems of learning deep neural networks are investigated, which are related to either energy efficiency or sample efficiency

Dans cette thèse, je me concentrerai principalement sur l’inférence variationnelle et les modèles probabilistes. En particulier, je couvrirai plusieurs projets sur lesquels j'ai travaillé pendant ma thèse sur l'amélioration de l'efficacité des systèmes AI / ML avec des techniques variationnelles. La thèse comprend deux parties. Dans la première partie, l’efficacité des modèles probabilistes graphiques est étudiée. Dans la deuxième partie, plusieurs problèmes d’apprentissage des réseaux de neurones profonds sont examinés, qui sont liés à l’efficacité énergétique ou à l’efficacité des échantillons

Mots clés: Variational inference; Probabilistic graphical models; Deep neural networks; Convex optimization; Information theory

Mots clés: Inférence variationnelle; Modèles graphiques probabilistes; Réseaux de neurones profonds; Optimisation convexe; Théorie de l'information

Domaines: Intelligence artificielle [cs.AI]

Xu Hu. Towards efficient learning of graphical models and neural networks with variational techniques. Artificial Intelligence [cs.AI]. Université Paris-Est, 2019. English. ⟨NNT : 2019PESC1037⟩. ⟨tel-02919022⟩