Fast learning methods adapted to the user specificities: application to earth observation image information mining - Archive ouverte HAL Access content directly
Theses Year : 2011

Fast learning methods adapted to the user specificities: application to earth observation image information mining

Apprentissage rapide adapté aux spécificités de l'utilisateur : application à l'extraction d'informations d'images de télédétection

(1, 2)
1
2

Abstract

An important emerging topic in satellite image content extraction and classification is building retrieval systems that automatically learn high-level semantic interpretations from images, possibly under the direct supervision of the user. Indeed, because of the increased resolution of sensors, the content of satellite images has diversified enormously: it is not uncommon to see details such as cars, streets, technological artefacts, and sometimes people. Thus, retrieval techniques developed initially for multimedia databases are becoming increasingly more relevant to mining data from Earth Observation repositories. The goal of these techniques is to discover new and unexpected patterns, trends, and relationships embedded within large and diverse geographic data sets. Manual annotation is sometimes employed, but is extremely expensive and often subjective. Instead, systems which allow to perform visual content mining from large-scale image databases as well as indexing of high-dimensional database for fast relevant imagery retrieval have been proposed over the past few years. The main contributions of this work are inscribed in the direct continuation of the ideas developed in these systems. We envisage successively the two very broad categories of auto-annotation systems and interactive image search engine to propose our own solutions to the recurring problem of learning from small and non-exhaustive training datasets and of generalizing over a very high-volume of unlabeled data. We first look into the problem of exploiting the huge volume of unlabeled data to discover ''unknown'' semantic structures, that is, semantic classes which are not represented in the training dataset. We among others propose a semi-supervised algorithm able to build an auto-annotation model over non-exhaustive training datasets and to point out to the user new interesting semantic structures in the purpose of guiding him in his database exploration task. In our second contribution, we envisage the problem of speeding up the learning in interactive image search engines. Minimizing the number of iterations in the relevance feedback loop is indeed a crucial issue to build systems which are well-adapted to a human user. With this purpose in mind, we derive a semi-supervised active learning algorithm which exploits the intrinsic data distribution to achieve faster identification of the target category. Our last contribution deals with the problem of retrieving objects in large satellite image scenes. We describe an active learning algorithm which relies on a coarse-to-fine strategy to handle large volumes of data while keeping a satisfying level of accuracy. The proposed algorithm leads to a reduction by more than two orders of magnitude in the number computations necessary at each active learning iteration in standard state-of-the-art interactive image retrieval tools which do not allow to search for complex classes/objects in a really interactive way because of the computational overload inherent to multiple evaluations of the decision function of complex classifiers. We assess each time our results on Spot5 and QuickBird panchromatic imagery and we show that the methods we propose significantly outperform state-of-the-art techniques while adding interesting new features such as the "unknown'' semantic structures discovery feature in the auto-annotation case or the interactive search scheme in the object retrieval part.
Le but des systèmes de recherche d'images est de diriger rapidement l'utilisateur vers des contenus qui sont pertinents par rapport à la requête qu'il a formulée. Après une présentation de la problématique et un état d'art du domaine, cette thèse présente nos contributions dans le cadre de l'apprentissage avec très peu d'exemples qui est propre à l'imagerie satellitaire. Ces contributions se situent principalement autour de l'utilisation de méthodes semi-supervisées pour exploiter l'information contenue dans les données non-labellisées et pallier en quelque sorte la faiblesse et la non-exhaustivité des bases d'apprentissage. Nous présentons deux scénarios d'utilisation de méthodes semi-supervisées. Le premier se place dans le cadre d'un système d'annotation automatique d'images. Le but est alors de détecter les structures inconnues, c'est à dire les ensembles cohérents de données qui ne sont pas représentées dans la base d'apprentissage et ainsi de guider l'utilisateur dans son exploration de la base. Le second scénario concerne les systèmes de recherche interactive d'images. L'idée est d'exploiter une structuration des données, sous la forme d'un clustering par exemple, pour accélérer l'apprentissage (i.e. minimiser le nombre d'itérations de feedback) dans le cadre d'un système avec boucle de pertinence. La nouveauté de nos contributions se situe autour du fait que la plupart des méthodes semi-supervisées ne permettent pas de travailler avec de gros volumes de données comme on en rencontre en imagerie satellitaire ou alors ne sont pas temps-réel ce qui est problématique dans un système avec retour de pertinence où la fluidité des interactions avec l'utilisateur est à privilégier. Un autre problème qui justifie nos contributions est le fait que la plupart des méthodes semi-supervisées font l'hypothèse que la distribution des données labellisées suit la distribution des données non labellisées, hypothèse qui n'est pas vérifiée dans notre cas du fait de la non-exhaustivité des bases d'apprentissage et donc de l'existence de structures inconnues au niveau des données non labellisées. La dernière partie de cette thèse concerne un système de recherche d'objets à l'intérieur d'un schéma de type apprentissage actif. Une stratégie de type "coarse-to-fine" est introduite pour autoriser l'analyse de la base d'images à une taille de patch beaucoup plus "fine" tout en maintenant un nombre raisonnable d'évaluations de la fonction de décision du classificateur utilisé à chaque itération de la boucle d'apprentissage actif. L'idée est d' élaguer de grandes parties de la base de données à une échelle d'analyse dite "grossière'', afin de réserver un traitement plus complexe et plus coûteux sur des zones restreintes et plus prometteuses des images.
Fichier principal
Vignette du fichier
These_blanchart.pdf (17.45 Mo) Télécharger le fichier
Vignette du fichier
presentationPHD.pdf (3.66 Mo) Télécharger le fichier
Format : Other

Dates and versions

pastel-00662747 , version 1 (25-01-2012)

Identifiers

  • HAL Id : pastel-00662747 , version 1

Cite

Pierre Blanchart. Fast learning methods adapted to the user specificities: application to earth observation image information mining. Engineering Sciences [physics]. Télécom ParisTech, 2011. English. ⟨NNT : ⟩. ⟨pastel-00662747⟩
403 View
456 Download

Share

Gmail Facebook Twitter LinkedIn More