Geometric and semantic joint approach for the reconstruction of digital models of buildings - Archive ouverte HAL Access content directly
Theses Year : 2021

Geometric and semantic joint approach for the reconstruction of digital models of buildings

Approche conjointe géométrique et sémantique pour la reconstruction de maquettes numériques de bâtiments

(1)
1

Abstract

The advent of Building Information Models (BIM) in the field of construction and city management revolutionizes the way we design, build, operate and maintain our buildings. BIM models not only include the geometric aspect of the buildings but also semantic information which identifies its logical components (walls, slabs, windows, doors, etc..). While this information is fairly reasonable to create during the building design, only 1% of the building stock is renewed each year. There is therefore an increasing need for automated methods to generate BIM models on existing buildings from sensors such as simple RGB cameras or more advanced Lidar sensors which directly provide a point cloud.In this context, the goal of this thesis is to develop approaches for BIM reconstruction, including both geometric reconstruction and semantic analysis.These tasks have been explored, but an important research effort is conducted to make them more robust to the variety of use cases found in practice.3D reconstruction is usually operated based on direct 3D acquisitions such as Lidars or using photogrammetry, i.e., using pictures to triangulate key point locations and reconstruct the surface afterward. In the context of buildings, the later case is usually limited by the presence of textureless areas which make it hard for the algorithms to find key points and to triangulate them. Moreover, some parts of the buildings might be missing from the input data because of occlusions or omission from the acquisition operator.Regarding semantics in point clouds, important ambiguities exist between semantic classes: the discontinuity between a wall and a door can be hard to distinguish; a slab, a roof and a ceiling sometimes need additional context to be disentangled.In this thesis, we present three technical contributions to address these issues.First, for 3D reconstruction of building scenes, we propose the first method to reconstruct piecewise-planar scenes from images using line segments as primitives. While wide textureless areas exist in indoor scenes (e.g., walls), making it particularly difficult to detect key points, lines are often more visible and easier to detect (e.g., change of illumination at the intersection of two walls) and therefore should be used to ensure robustness of image-based reconstruction approaches. We leverage the presence of these line segments and the possibility to detect and triangulate them. This makes the method robust to textureless surfaces, and we show that we can reconstruct scenes on which point-based methods fail.The second contribution is more theoretical and addresses the problem of mesh reconstruction from multiple calibrated images of low resolution. In this context, traditional methods completely fail and directly learning priors on a large scale dataset of 3D shapes allows us to still perform reconstruction. More specifically, our method uses the learned priors to provide an initial rough shape which is further refined by incorporating geometric constraints. Our method directly outputs a mesh and competes with state of the art methods which can only output a noisy point cloud.Finally, the third technical contribution is VASAD, a dataset for volumetric and semantic reconstruction, which we created from raw BIM models available online. It is the first large scale dataset (62000m²) to offer both geometric and semantic annotation at point and mesh level. With this dataset, we propose two methods to jointly reconstruct both geometry and semantics from a point cloud and we show that the proposed dataset is challenging enough to stimulate research.
L’émergence du Building Information Model (BIM) dans les domaines de l’industrie du BTP et de la gestion de la ville révolutionnent notre manière de concevoir, construire, gérer et entretenir nos bâtiments. Les modèles BIM rassemblent à la fois des informations géométriques sur le bâtiment, mais également des informations sémantiques permettant d’identifier chaque composant logique (mur, dalle, fenêtre, etc…). Cette information est généralement entrée manuellement à la conception d’un nouveau bâtiment; cependant, seul 1% du parc immobilier est renouvelé chaque année. La génération automatique de maquettes BIM à partir de capteurs tels que des appareils photos ou des Lidars (générant directement des nuages de points) constitue dans ce contexte un besoin de plus en plus important. L’objectif de cette thèse est le développement de nouvelles méthodes pour la reconstruction de maquettes BIM, qui incluent à la fois les informations géométriques et sémantiques. Un important effort de recherche existe pour rendre les méthodes existantes plus robustes aux contraintes présentes dans les différents cas d’usage pratiques. La reconstruction 3D débute généralement par l’acquisition de nuages de points par Lidars ou par photogrammétrie, c'est-à-dire la triangulation de points clés mis en correspondance entre différentes photographies d’un même lieu, avant la reconstruction de la surface sous-jacente. Dans le contexte du bâtiment, la triangulation est rendue difficile par la présence de zones sans texture dans lesquelles les algorithmes peinent à détecter des points-clés. De plus, certaines parties du bâtiment peuvent être absentes des données d’entrée en raison des occlusions ou d’erreurs imputées à l’opérateur. En ce qui concerne la sémantique au sein des nuages de points, il existe d’importantes ambiguïtés entre les différentes classes: il peut par exemple être ardu de repérer la séparation entre une porte et un mur. Dans cette thèse, nous proposons trois contributions techniques afin de traiter ces limitations. Tout d’abord, nous proposons la première méthode permettant la reconstruction planaire par morceaux de bâtiments à partir d’images utilisant des segments de lignes comme primitives. En effet, bien que les vastes zones sans texture dans les bâtiments (murs blancs par exemple) rendent difficile la détection de points clés, les segments de lignes restent visibles et détectables (par exemple grâce au changement d’illumination à l’intersection entre deux murs). L’utilisation de ces segments de ligne rend notre méthode robuste aux surfaces sans texture, et nous sommes en mesure de reconstruire des scènes pour lesquelles les méthodes basées sur les points-clé échouent. La seconde contribution traite le problème de la reconstruction de maillage à partir d’un ensemble d’images calibrées de basse résolution. Dans ce contexte, les méthodes traditionnelles échouent, et apprendre des a priori directement sur de grandes bases de données de formes 3D nous permet tout de même d’effectuer une reconstruction. Plus précisément, notre méthode apprend des a priori afin de fournir une première approximation de la forme à reconstruire que nous affinons ensuite en ajoutant des contraintes géométriques. Notre méthode fournit directement un maillage et se compare positivement avec les méthodes de l’état de l’art dont la sortie est limitée à un nuage de point bruité. Notre troisième contribution est VASAD, un jeu de données pour la reconstruction volumique et sémantique, que nous avons créé à partir de modèles BIM bruts disponibles en ligne. C’est le premier jeu de données de cette taille (62000m²) à fournir simultanément des annotations géométriques et sémantiques. En plus de ce jeu de données, nous proposons 2 méthodes pour reconstruire de manière conjointe la géométrie et la sémantique à partir d’un nuage de point et nous démontrons que notre jeu de données propose des défis susceptibles de fortement influencer les recherches futures.
Fichier principal
Vignette du fichier
TH2021ENPC0037.pdf (74.16 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03637158 , version 1 (11-04-2022)

Identifiers

  • HAL Id : tel-03637158 , version 1

Cite

Pierre-Alain Langlois. Geometric and semantic joint approach for the reconstruction of digital models of buildings. Computer Aided Engineering. École des Ponts ParisTech, 2021. English. ⟨NNT : 2021ENPC0037⟩. ⟨tel-03637158⟩
97 View
31 Download

Share

Gmail Facebook Twitter LinkedIn More