Transductive and Inductive Adaptative Inference for Regression and Density Estimation - Archive ouverte HAL Access content directly
Theses Year : 2006

Transductive and Inductive Adaptative Inference for Regression and Density Estimation

Inférence Adaptative, Inductive et Transductive, pour l'Estimation de la Regression et de la Densité

(1, 2)
1
2

Abstract

The aim of this thesis is the study of statistical properties of
learning algorithm in the case of regression and density estimation.
It is divided into three parts.

In the first part, the idea is to generalize Olivier Catoni's
PAC-Bayesian theorems about classification to the
case of regression estimation with a general loss function.

In the second part, we focus more particularly on the least square
regression and propose a new iterative algorithm for feature
selection. This method can be applied to the case of orthonormal
function basis, leading to optimal rates of convergences, as well as
to kernel type functions, leading to some variants of the well-known
SVM method.

In the third part, we generalize the method proposed in the second
part to the density estimation setting with quadratic loss.
Cette thèse a pour objet l'étude des
propriétés statistiques d'algorithmes d'apprentissage dans le cas de
l'estimation de la régression et de la densité. Elle est divisée en
trois parties.

La première partie consiste en une généralisation des théorèmes
PAC-Bayésiens, sur la classification, d'Olivier Catoni, au cas de la régression avec une fonction de perte
générale.

Dans la seconde partie, on étudie plus particulièrement le cas de la
régression aux moindres carrés et on propose un nouvel algorithme de
sélection de variables. Cette méthode peut être appliquée notamment
au cas d'une base de fonctions orthonormales, et conduit alors à des
vitesses de convergence optimales, mais aussi au cas de fonctions de
type noyau, elle conduit alors à une variante des méthodes dites
"machines à vecteurs supports" (SVM).

La troisième partie étend les résultats de la seconde au cas de
l'estimation de densité avec perte quadratique.
Fichier principal
Vignette du fichier
these.pdf (1.49 Mo) Télécharger le fichier

Dates and versions

tel-00119593 , version 1 (11-12-2006)

Identifiers

  • HAL Id : tel-00119593 , version 1

Cite

Pierre Alquier. Transductive and Inductive Adaptative Inference for Regression and Density Estimation. Mathematics [math]. ENSAE ParisTech, 2006. English. ⟨NNT : ⟩. ⟨tel-00119593⟩
467 View
807 Download

Share

Gmail Facebook Twitter LinkedIn More