Learning surface elements for shape representation
Apprentissage d’éléments de surface pour la représentation de formes
Résumé
In this thesis, we focus we aim to represent the surfaces of 3D shapes using deformable elements. Many works from recent years have inspired this thesis. The most important is AtlasNet, a neural network architecture that learns how to deform a set of square patches to reconstruct the surface of any given shape in a “papier maché” like approach. We chose to start this thesis from AtlasNet, building upon its design to extend the philosophy of this approach to new tasks such as element discovery and joint shape collection parameterization. Our work was motivated by a range of industrial 3D-related challenges such as generating 3D representation, texturing, and many more. This thesis presents two main technical contributions. The first one is to represent a collection of objects by a set of joint deformable elements that we call elementary structures. We designed these elementary structures to learn and represent consistent and meaningful parts of the objects in the collection. They are similar to primitives. We propose two models of elementary structures : (i) patch deformation and (ii) point leaning. The first learns parametric surfaces that enable us to generate a continuous surface representation of the collection of shapes. The second learns a parametric set of points not constrained by topology, allowing us to generate more complex and interpretable elementary structures. An adjustment module learns to position and deform the elementary structures to reconstruct any shape of the collection. Using the elementary structures and the adjustment modules, we can generate an accurate reconstruction that preserves correspondences between shapes. The shape of those elements can evolve during training from a simple initialization to more complex shapes that describe the semantic part of the collection. This reconstruction strategy enables us to understand the underlying parts that best describe the collection’s objects. We see it as an analysis-by-synthesis strategy. The second technical contribution of this thesis builds upon elementary structures to learn a parameterization of a single shape or a collection’s shapes. We combine the best features of the point learning and patch deformation modules in order to build a method that generates continuous surfaces not constrained by topology. This representation is conceptually similar to an atlas, i.e., a set of compatible homeomorphisms between a 3D shape and a 2D domain. We created a pipeline whose components mimic the defining elements of atlases. Namely, we learn a 2D domain homeomorphic to the surface, a parameterization which maps it to the surface and a chart which maps on it the surface. We show that we can merge the continuous surface aspect of the patch deformation modules and the flexibility of the point learning modules by representing the 2D domain as a probability density function. Our pipeline can represent several shapes using a single joint 2D domain while producing a joint atlas representation of a collection’s shapes. Our method could allow using existing parameterization techniques such as texture mapping, displacement, roughness, ambient occlusion, height maps and many more on a collection of shapes. Both methods presented in this thesis improve the reconstruction quality as measured on benchmarks with shapes of our collection and improved the coherence of the reconstruction.
Dans cette thèse, nous cherchons à représenter la surface de formes 3D en utilisant des éléments déformantes. De nombreux travaux de ces dernières années ont inspiré cette thèse. Le plus important est AtlasNet, une architecture de réseau de neurones profond qui apprend à déformer un ensemble de patches carrés pour reconstruire la surface d’une forme donnée; une approche similaire au "papier mâché". Nous avons choisi de construire cette thèse à partir de ce travail. Nous nous sommes appuyé sur cette approche et nous avons étendu sa philosophie à de nouvelles tâches telles que la découverte d’éléments et la paramétrisation de collections de formes conjointes. Ces travaux ont été motivés par une série de défis technologiques liés à la 3D, tels que la génération de représentations 3D, le texturage de modèle 3D et bien d’autres encore.La première contribution technique de cette thèse est de représenter une collection d’objets par un ensemble conjoint d’éléments déformables que nous appelons structures élémentaires. Ces structures élémentaires sont conçues pour apprendre et représenter une partie cohérente et significative des objets de la collection. Elles peuvent être considérées comme des primitives des représentations existantes. Au cours de l’apprentissage, la forme de ces structures élémentaires peut évoluer d’une simple initialisation à des formes plus complexes qui décrivent la partie sémantique de la collection. Nous proposons deux modèles de structures élémentaires : (i) module de déformation de patch et (ii) module d’apprentissage de points. Le premier apprend des surfaces paramétriques qui nous permettent de générer une représentation surfacique continue de la collection de formes. Le second apprend un ensemble paramétrique de points qui ne sont pas contraints par la topologie, ce qui nous permet de générer des structures élémentaires plus complexes et interprétables. Un module d’ajustement apprend à positionner et déformer les structures élémentaires afin de reconstruire chaque forme de la collection. En utilisant les structures élémentaires et les modules d’ajustement à l’unisson, nous sommes capables de générer une reconstruction précise qui préserve les correspondances entre les formes. Initialement, cette stratégie de reconstruction nous permet de comprendre les parties sous-jacentes qui décrivent le mieux les objets de la collection, et peut être comprise comme une stratégie d’analyse par synthèse La deuxième contribution technique de cette thèse s’appuie sur des structures élémentaires pour apprendre une représentation en deux dimensions d’une forme unique ou d’une collection de formes. Nous combinons les meilleures caractéristiques des modules d’apprentissage de points et de déformation de patchs, c’est-à-dire que nous voulons une méthode qui génère des surfaces continues non contraintes par la topologie. Cette représentation est conceptuellement similaire à un atlas, c’est-à-dire un ensemble d’homéomorphisme avec raccords entre une forme 3D et un domaine 2D. Nous avons créé un pipeline dont les composants imitent les éléments de définition des atlas, à savoir, pour une surface donnée, un domaine 2D homéomorphe à la surface, une paramétrisation qui fait correspondre le domaine 2D à la surface et une carte qui fait correspondre la surface au domaine 2D. Nous montrons que nous pouvons fusionner l’aspect surfacique continu des modules de déformation de patchs et la flexibilité des modules d’apprentissage de points en représentant le domaine 2D comme une fonction de densité de probabilité. Notre pipeline peut représenter plusieurs formes à l’aide d’un seul domaine 2D conjoint, produisant ainsi une représentation atlasique conjointe d’une collection de formes. Puisque la méthode préserve les correspondances entre les formes de la collection, notre méthode pourrait permettre d’utiliser des techniques de paramétrisation existantes simultanément sur toute la collection.
Origine : Version validée par le jury (STAR)