Contributions to direct methods of estimation and control from visual data   - PASTEL - Thèses en ligne de ParisTech Accéder directement au contenu
Thèse Année : 2008

Contributions to direct methods of estimation and control from visual data  

Contributions aux méthodes directes d'estimation et de commande basées sur la vision

Résumé

The overwhelming majority of vision-based techniques for both estimation and control consider a feature-based scheme. This thesis investigates how to appropriately exploit pixel intensities directly, i.e. without having to resort to image features. The fact of using all image information, even where no features exist, can considerably increase their accuracy and flexibility. To this end, we propose generic photo-geometric transformation models and optimization methods for directly and efficiently registering images (including color ones) of rigid and deformable objects, all in a unified manner. In particular, the new photometric model ensures robustness to arbitrary illumination changes, are independent of the object's attributes and of the camera's characteristics, and naturally encompasses gray-level images. We then show that the framework can effectively be formulated using uncalibrated or calibrated pinhole cameras. The differences mainly regard to the needed parametrization. A robust visual tracking technique is constructed by directly registering a reference image with successive frames. Then, using the optimal parameters that relate the two images, a vision-based control strategy is proposed to drive all six degrees-of-freedom of a robot to the (desired) pose where the reference image was taken. This new technique does not require either precise parameters of the vision system or any metric structure of the observed rigid scene, leading to a flexible and reliable system. If a calibrated camera is used, then the proposed robust visual tracking technique directly provides the optimal camera pose and scene structure. Since they are simultaneously and causally recovered, the technique represents a new solution to the visual Simultaneous Localization and Mapping (SLAM) problem. Finally, we propose a new visual servoing method that uses the estimates from this visual SLAM approach. Hence, this controlled visual SLAM scheme allows for autonomous navigation of mobile robots over previously unexplored scenes. Comparisons results with existing techniques demonstrate significant improvements in the system performance. Various real-world experiments and simulations are reported to show that the proposed methods can indeed be highly accurate and robust despite unknown objects and unknown imaging conditions. The trade-offs to attain real-time efficiency are discussed in the text.
Dans leur grande majorité les techniques d'estimation et de contrôle basées sur la vision s'appuient sur l'extraction d'informations géométriques dans les images. L'objectif de cette thèse est de développer une nouvelle approche exploitant directement l'intensité des pixels dans l'image en s'affranchissant de l'étape d'extraction de ces informations. Nous espèrons montrer que le fait d'utiliser toute l'information contenue dans l'image permet en outre d'augmenter la précision et le domaine d'application. Dans ce but, nous proposons un modèle générique de transformation prenant à la fois en compte les aspects géométriques et photométriques que l'on associe à une méthode efficace d'optimisation pour le recalage d'images, qui est valide pour des modes d'acquisition variés (incluant les images couleurs) et pour des classes d'objets rigides ou déformables. En particulier, le nouveau modèle photométrique assure une robustes aux variations d'éclairage quelconques, et il est indépendants des attributs des objets et des caractéristiques de la caméra. Ce cadre méthodologique est formulé, dans le cas d'un modèle sténopé, à la fois dans le cas calibré et non calibré, les différences portant principalement sur la nature de la paramétrisation choisie. Une méthode robuste de suivi visuel est proposée permettant le recalage d'une image de référence tout au long de la séquence. A partir des paramètres estimés liant l'image de référence à l'image courante, nous proposons une nouvelle stratégie d'asservissement visuel permettant de contrôler les six degrés de liberté du mouvement de la caméra pour l'amener dans la pose où a été acquise l'image de référence. Cette nouvelle approche ne nécessite pas de connaissance précise sur les paramètres de la caméra ni sur la géométrie de l'objet observé, permettant ainsi d'obtenir une méthode générique et fiable. Dans le cas de l'utilisation d'une caméra calibrée, la méthode de suivi robuste permet d'accéder directement à la pose de la caméra et à la structure géométrique de la scène. Elle peut donc être appliquée pour proposer une nouvelle solution au problème de SLAM (Simultaneous Localization and Mapping) visuel. Enfin, nous présentons une méthode d'asservissement visuel intégrant directement les estimées fournies par la méthode de suivi et permettant ainsi la navigation autonome de robot dans un environnement inconnu a priori. Les méthodes développées tout au long de cette thèse ont été confrontées aux approches classiques de la littérature, et ont montré des avantages certains. Elles ont également été testée en condition réelle sur des séquences caractéristiques de différentes applications et dans des conditions variées. Les conditions et compromis à faire pour obtenir performances temps réel et précision, sont également discutés dans le document.
Fichier principal
Vignette du fichier
phd_silveira.pdf (5.98 Mo) Télécharger le fichier
Loading...

Dates et versions

pastel-00005340 , version 1 (07-08-2009)

Identifiants

  • HAL Id : pastel-00005340 , version 1

Citer

Geraldo Silveira Filho. Contributions to direct methods of estimation and control from visual data  . domain_other. École Nationale Supérieure des Mines de Paris, 2008. English. ⟨NNT : ⟩. ⟨pastel-00005340⟩
193 Consultations
433 Téléchargements

Partager

Gmail Facebook X LinkedIn More