Model Averaging in Large Scale Learning

Estimateur par agrégat en apprentissage statistique en grande dimension

Edwin Grappin (1)

1 CREST - Centre de Recherche en Économie et Statistique

This thesis explores properties of estimations procedures related to aggregation in the problem of high-dimensional regression in a sparse setting. The exponentially weighted aggregate (EWA) is well studied in the literature. It benefits from strong results in fixed and random designs with a PAC-Bayesian approach. However, little is known about the properties of the EWA with Laplace prior. Chapter 2 analyses the statistical behaviour of the prediction loss of the EWA with Laplace prior in the fixed design setting. Sharp oracle inequalities which generalize the properties of the Lasso to a larger family of estimators are established. These results also bridge the gap from the Lasso to the Bayesian Lasso. Chapter 3 introduces an adjusted Langevin Monte Carlo sampling method that approximates the EWA with Laplace prior in an explicit finite number of iterations for any targeted accuracy. Chapter 4 explores the statisctical behaviour of adjusted versions of the Lasso for the transductive and semi-supervised learning task in the random design setting.

Les travaux de cette thèse explorent les propriétés de procédures d'estimation par agrégation appliquées aux problèmes de régressions en grande dimension. Les estimateurs par agrégation à poids exponentiels bénéficient de résultats théoriques optimaux sous une approche PAC-Bayésienne. Cependant, le comportement théorique de l'agrégat avec extit{prior} de Laplace n'est guère connu. Ce dernier est l'analogue du Lasso dans le cadre pseudo-bayésien. Le Chapitre 2 explicite une borne du risque de prédiction de cet estimateur. Le Chapitre 3 prouve qu'une méthode de simulation s'appuyant sur un processus de Langevin Monte Carlo permet de choisir explicitement le nombre d'itérations nécessaire pour garantir une qualité d'approximation souhaitée. Le Chapitre 4 introduit des variantes du Lasso pour améliorer les performances de prédiction dans des contextes partiellement labélisés.

Mots clés: Statistical learning; Regression; Machine learning; Estimation by aggregation; Supervized; Semi-Supervized and Transductive learning; PAC-Bayesian

Mots clés: Apprentissage statistique; Régression; Apprentissage automatique; Estimation par agrégation; Apprentissage supervisé, semi-supervisé et transductif; PAC-Bayésien

Domaines: Statistiques [math.ST]; Probabilités [math.PR]

Edwin Grappin. Model Averaging in Large Scale Learning. Statistics [math.ST]. Université Paris Saclay (COmUE), 2018. English. ⟨NNT : 2018SACLG001⟩. ⟨tel-01735320⟩