Semantic hierarchies for multi-faceted image annotation
Hiérarchies sémantiques pour l'annotation multifacette d'images
Résumé
In this thesis, we address the problem of automatic image annotation. For a more flexible system, we build multi-faceted annotations organized in a semantic hierarchy. Thus, an annotation is defined by a set of multilabels coupled with confidence levels. A tradeoff between reliability and semantic precision allows greater flexibility. The proposed algorithm proceeds in two stages. First, informative image features are extracted. Second, normalized probabilities are computed on a set of multilabels. Both rely on statistical learning machines. We evaluate the approach on two datasets : a set of car images and a generic database, Caltech-101. Results show different behaviour depending on the data, suggesting that the vocabulary structure is useful at different stages of the algorithm.
Cette thèse a pour sujet l'annotation automatique d'images. Pour plus de souplesse, nous utilisons un vocabulaire structuré, permettant de construire des annotations multifacettes et à différents niveaux d'interprétation. Une annotation prend alors la forme d'un ensemble de multilabels associés à des indices de confiance et permet d'exprimer un compromis fiabilité/précision sémantique. Le traitement proposé se déroule en deux phases : extraction de caractéristiques informatives et calcul de probabilités normalisées sur un espace de multilabels. Chacune exploite des mécanismes d'apprentissage. La démarche est évaluée sur deux jeux de données : un ensemble d'images de voitures et la base d'objets génériques Caltech-101. Les résultats suggèrent d'utiliser le vocabulaire structuré à différentes étapes selon la nature des données.