Tree-based shape spaces: Definition and applications in image processing and computer vision
Espaces des formes basés sur des arbres : définition et applications en traitement d'images et vision par ordinateur
Résumé
In a large number of applications, the processing relies on objects or areas of interest, therefore the pixel-based image representation is not well adapted. These applications would benefit from a region-based processing. Early examples of region-based processing can be found in the field of image segmentation, such as the quadtree. Recently, in mathematical morphology, the connected operators have received much attention. They are region-based filtering tools that act by merging flat zones. They have good contour preservation properties in the sense that they do not create any new boundaries, neither do they shift the existing ones. One popular implementation for connected operators relies on tree-based image representations, especially threshold decomposition representations and hierarchical representations. These tree-based image representations are widely used in many image processing and computer vision applications. Tree-based connected operators consist in constructing a set of nested or disjoint connected components, followed by a filtering of these connected components based on an attribute function characterizing each connected component. Finally, the filtered image is reconstructed from the simplified tree composed of the remaining connected components. In the work presented in this thesis, we propose to expand ideas about tree-based connected operators. We introduce the notion of tree-based shape spaces, built from tree-based image representations. Many state-of-the-art methods relying on tree-based image representations consist of analyzing this shape space. A first consequence of this change of point of view is our proposition of a local feature detector, called the tree-based Morse regions (TBMR). It can be seen as a variant of the MSER method. The selection of TBMRs is based on topological information, and hence it extracts the regions independently of the contrast, which makes it truly contrast invariant and quasi parameter free. The accuracy and robustness of the TBMR approach are demonstrated by the repeatability test and by applications to image registration and 3D reconstruction, as compared to some state-of-the-art methods. The basic idea of the main proposition in this thesis is to apply connected filters to the shape space. Such processing is called the framework of shape-based morphology. It is a versatile framework that deals with region-based image representations. It has three main consequences. 1) For filtering purposes, the classical existing tree-based connected operators are generalized. Indeed, the framework encompasses classical existing connected operators by attributes. Besides, this also allows us to propose two classes of novel connected operators: shape-based lower/upper levelings and shapings. 2) This framework can be used for object detection/segmentation by selecting relevant points in the shape space. 3) We can also employ this framework to transform the hierarchies using the extinction values, in order to obtain a hierarchical simplification or segmentation. Some applications are developed using the framework of shape-based morphology to demonstrate its usefulness. The applications of the shape-based filtering for retinal image analysis show that a mere filtering step, which we compare to more evolved processings, achieves state-of-the-art results. An efficient shaping used for image simplification is proposed by minimizing Mumford-Shah functional subordinated to the topographic map. For object detection/segmentation, we proposed a context-based energy estimator that is suitable to characterize object meaningfulness. Eventually, we extend the hierarchy of constrained connectivity using the aspect of hierarchy transformation.
Dans un grand nombre d'applications, le traitement repose sur des objets ou des zones d'intérêt, et la représentation d'image à base de pixels n'est pas bien adaptée. Ces applications pourraient bénéficier d'un traitement basé sur régions. Les premiers exemples de traitement basé sur région peuvent être trouvés dans le domaine de la segmentation d'image, par exemple, le quadtree. Récemment, en morphologie mathématique, les opérateurs connexes ont reçu beaucoup d'attention. Ce sont des outils de filtrage basé sur région qui agissent en fusionnant des zones plates. Ils ont de bonnes propriétés de conservation de contour dans le sens qu'ils ne créent pas de nouveaux contours, et qu'ils ne déplacent pas les contours existants. Une implémentation populaire des opérateurs connexes repose sur une représentation d'image à base d'arbres, notamment les représentations basées sur la décomposition par seuillage et les représentations hiérarchiques. Ces représentations d'image à base d'arbres sont largement utilisées dans de nombreuses applications de traitement d'image et de vision par ordinateur. Les opérateurs connexes à base d'arbres sont construites par la construction d'un ensemble de composantes connexes emboîtées ou disjointes, suivi d'un filtrage de ces composantes connexes basé sur une fonction d'attribut caractérisant chaque composante connexe. Finalement, l'image filtrée est reconstruite à partir de l'arbre simplifié, composé des composantes connexes restantes. Dans le travail présenté dans cette thèse, nous proposons d'élargir les idées des opérateurs connexes à base d'arbres. Nous introduisons la notion d'espaces de formes à base d'arbres, construit à partir des représentations d'image à base d'arbres. De nombreuses méthodes de l'état de l'art, s'appuyant sur ces représentations d'images à base d'arbres, consistent à analyser cet espace de forme. Une première conséquence de ce changement de point de vue est notre proposition d'un détecteur de caractéristiques locales, appelé les ''tree-based Morse regions'' (TBMR). Cette approche peut être considérée comme une variante de la méthode des MSER. La sélection des TBMRs est basé sur des informations topologiques, et donc extrait les régions indépendamment du contraste, ce qui la rend vraiment invariante aux changements de contraste; de plus, la méthode peut être considérée sans paramètres. La précision et la robustesse de l'approche TBMR sont démontrées par le test de reproductibilité et par des applications au recalage d'image et à la reconstruction 3D, en comparaison des méthodes de l'état de l'art. L'idée de base de la proposition principale dans cette thèse est d'appliquer les opérateurs connexes à l'espace des formes. Un tel traitement est appelé la morphologie basée sur la forme. Ce cadre polyvalent traite des représentations d'images à base de région. Il a trois conséquences principales. 1) Dans un but de filtrage, il s'agit d'une généralisation des opérateurs connexes à base d'arbres. En effet, le cadre englobe les opérateurs connexes classiques par attributs. En outre, il permet également de proposer deux nouvelles classes d'opérateurs connexes: nivellements inférieurs/supérieurs à base de forme et ''shapings''. 2) Ce cadre peut être utilisé pour la détection/segmentation d'objets en sélectionnant les points pertinents dans l'espace des formes. 3) Nous pouvons également utiliser ce cadre pour transformer les hiérarchies en utilisant les valeurs d'extinction, obtenant ainsi une simplification/segmentation hiérarchique. Afin de montrer l'utilité de l'approche proposée, plusieurs applications sont développées. Les applications à l'analyse d'images rétinenne de filtrage basé sur la forme montrent qu'une simple étape de filtrage, comparée à des traitements plus évolués, réalise des résultats au niveau de l'état de l'art. Une application de ''shaping'' pour la simplification d'image est proposée, fondée sur une minimisation de la fonctionnelle de Mumford-Shah subordonnée à l'arbre de formes. Pour la détection/segmentation d'objets, nous proposons un estimateur de l'énergie basée sur le contexte. Cet estimateur est approprié pour caractériser la signification d'objet. Enfin, nous étendons le cadre de la connectivité contrainte en utilisant l'aspect de transformation de hiérarchie.