Tracking of hidden parts in video sequences and other problems raised by the 3D reconstruction of the urban environment
Suivi des parties cachées dans une séquence vidéo et autres problèmes soulevés par la reconstruction tridimensionelle d'un environnement urbain
Résumé
This thesis deals with the urban environment reconstruction through the use of cameras and telemetric sensors. First, we focus on the spatiotemporal segmentation of video sequences in order to treat photographic data. We present a new technique of layer segmentation which extracts regions of similar parametric motion in a video sequence. It is based on temporal constraints defined and optimized over all images simultaneously and not successively, without any a priori on the observed scene. Taking advantage of temporal continuity, our framework considers both the visible and the hidden parts of each layer in order to increase robustness. The hidden parts of the layers are recovered, which could be of a great help in many high level vision tasks. Modeling the problem as a labeling task, we state it in a MRF-optimization framework and solve it with a graph-cut algorithm. Both synthetic and real video sequences show a visible layers extraction comparable to the one usually performed by state of the art methods, as well as a novel and successful segmentation of hidden layers. Secondly, we consider the use of heterogeneous telemetric and photographic data, in the same framework to obtain a 3D and textural reconstruction of the urban scenes. It has proved to be a powerful technique. A necessary condition to obtain good results is to calibrate accurately the single-row based telemetric sensor and the cameras together. We present a study of this calibration process and propose an improved extrinsic calibration technique. It is based on an existing technique which consists in scanning a planar pattern in several poses, giving a set of relative position and orientation constraints. The innovation is the use of a more appropriate laser beam distance between telemetric points and the planar target. Moreover, we use robust methods to manage outliers at several steps of the algorithm. Improved results on both theoretical and experimental data are given.
La thèse se place dans le cadre de la reconstruction de l'environnement urbain via l'utilisation de caméras et d'un télémètre laser. En premier lieu, nous nous intéressons à la segmentation spatiotemporelle des séquences vidéos en vue de traiter les données photographiques fournies par les caméras. Nous présentons une nouvelle technique de segmentation en couches qui extrait les régions de même mouvement paramétrique d'une séquence vidéo. Elle s'appuie sur les contraintes temporelles définies et optimisées sur toutes les images simultanément et non successivement, sans a priori sur la scène. De surcroît, nous considérons dorénavant les parties cachées des couches (parties qui disparaissent et qui réapparaissent). Notre algorithme les extrait et les suit explicitement tout au long de la séquence en s'appuyant sur l'utilisation des graph cuts et de l'alpha-expansion. Les résultats obtenus sont très satisfaisants: la segmentation est cohérente temporellement et spatialement et robuste aux difficultés inhérentes à l'analyse du mouvement (ambiguités, présence de surfaces non lambertiennes, etc.). En second lieu, nous nous intéressons à l'utilisation des données hétérogènes, ici télémétriques et photographiques, dans un même référentiel afin d'obtenir un modèle tridimensionnel texturé de l'environnement urbain. Le télémètre laser 2D, embarqué sur un véhicule en déplacement, fournit un nuage de points de la structure extérieure de la scène urbaine observée. Les photographies ont, quand à elles, deux finalités: 1) texturer le nuage de points et 2) en faciliter sa segmentation via l'extraction des couches afin d'obtenir un modèle de qualité. Ce dernier doit notamment être correctement triangulé et exempt d'objets indésirables tels que les piétons, voitures, etc. Nous proposons ainsi une nouvelle technique de calibration des capteurs afin de projeter avec précision les données photographiques sur le nuage de points.
Loading...