Optimization of deep neural network : a functional perspective with applications in image classification

Optimisation des réseaux de neurones profonds : une perspective fonctionnelle et applications en classification d'image

Simon Roburin (1)

1 LIGM - Laboratoire d'Informatique Gaspard-Monge

Despite numerous successes in a wide range of industrial and scientific applications, the learning process of deep neural networks is poorly understood. Loosely speaking, learning aims at finding the network parameters that not only minimize the network errors on a set of training examples but also yield correct predictions on unseen data. Under the prism of optimization, it boils down to minimizing a high dimensional non-convex function. Generalization can generally be expected when one has access to very large datasets and assumes that both training examples and unseen data are sampled from identically independently distributed random variables. The goal of this thesis is to develop analytical tools to better understand neural network optimization and to improve the design of training algorithms in the context of image classification.

Au cours des dernières décennies, l'apprentissage automatique a trouvé un nouveau souffle grâce au développement foudroyant de l'apprentissage profond. Discipline construite sur une classe de modèles paramétrés, les réseaux de neurones profonds, le processus d'apprentissage consiste à trouver des paramètres permettant au réseau de minimiser ses erreurs sur une base d'exemples dans le but de généraliser ses prédictions à de nouvelles données. Il s'agit de l'optimisation des réseaux de neurones profonds. Bien qu'ayant conduit à des améliorations notoires dans de nombreux domaines d'applications, comme la reconnaissance d'image, vocale ou de texte, la compréhension des mécanismes mis en jeu lors de l'apprentissage reste très superficielle. Les progrès techniques et pratiques du domaine sont fulgurants alors qu'un cadre théorique unifié peine à voir le jour. L'objectif de cette thèse est d'élaborer différents outils d'analyse pour améliorer notre compréhension de l'optimisation des réseaux de neurones d'une part, et l'améliorer d'autre part.

Mots clés: Deep Learning; Machine Learning; Optimization; Applied Mathematics; Computer vision

Mots clés: Apprentissage Profond; Apprentissage statistique; Optimisation; Mathématiques appliquées; Vision par ordinateur

Domaines: Réseau de neurones [cs.NE]

Simon Roburin. Optimization of deep neural network : a functional perspective with applications in image classification. Neural and Evolutionary Computing [cs.NE]. École des Ponts ParisTech, 2022. English. ⟨NNT : 2022ENPC0038⟩. ⟨tel-03968114⟩