Construction et utilisation de la sémantique dans le cadre de l'annotation automatique d'images

Christophe Millet (1)

1 LTCI - Laboratoire Traitement et Communication de l'Information

L'annotation automatique d'images est un domaine du traitement d'images permettant d'associer automatiquement des mots-clés ou du texte à des images à partir de leur contenu afin de pouvoir ensuite rechercher des images par requête textuelle. L'annotation automatique d'images cherche à combler les lacunes des deux autres approches actuelles permettant la recherche d'images à partir de requête textuelle. La première consiste à annoter manuellement les images, ce qui n'est plus envisageable avec le nombre croissant d'images numériques, d'autant que différentes personnes annotent les images différemment. La seconde approche, adoptée par les moteurs de recherche d'images sur le web, est d'utiliser les mots de la page web contenant l'image comme annotation de cette image, avec l'inconvénient de ne pas prendre du tout en compte le contenu de l'image. Quelques systèmes d'annotation automatique d'images commencent à émerger, avec certaines limites : le nombre d'objets reconnus reste de l'ordre de 10 à 100, alors que les humains sont capables de reconnaître de l'ordre de 10000 objets ; les mots-clés générés comme annotation pour une image sont parfois en contradiction entre eux, par exemple "éléphant" et "ours polaire" peuvent être détectés dans une même image ; la base de données pour l'apprentissage des objets est construite manuellement. Les travaux effectués au cours de cette thèse visent à proposer des solutions à ces problèmes, d'une part en introduisant de la connaissance dans l'annotation automatique d'images, d'autre part en proposant un système complètement automatique, où notamment la base d'images pour l'apprentissage est construite automatiquement à partir des images du Web. Cette thèse est constituée de trois parties : La première partie concerne la catégorisation d'une image en fonction de son type (photo, carte, peinture, clipart) puis pour les photographies, on s'intéresse à savoir quel est le contexte de la scène photographiée : est-ce une photographie d'intérieur ou d'extérieur, une photographie prise de nuit ou de jour, une photographie de nature ou de ville ? Y a-t-il des visages dans la photo ? Y a-t-il du ciel, de l'herbe, de l'eau, de la neige, une route,

Mots clés: Désambigüisation; Annotation d'images; Base d'apprentissage

Christophe Millet. Construction et utilisation de la sémantique dans le cadre de l'annotation automatique d'images. domain_other. Télécom ParisTech, 2008. English. ⟨NNT : ⟩. ⟨pastel-00003602⟩