Design and evaluation of a markerless hand motion capture system for 3d real time interaction in virtual environments
Conception et évaluation d'un système transparent de capture de mouvements des mains pour l'interaction 3D temps réel en environnements virtuels
Résumé
The purpose of this thesis is to propose and evaluate a markerless system for capturing hand movements in real time to allow 3D interactions in virtual environment (VE). Tools such as keyboard and mouse are not enough for interacting in 3D VE; current motion capture systems are expensive and require wearing equipments. Systems based on cameras and image processing partially fill these gaps, but do not yet allow an accurate, efficient and real-time 3D motion capture. Our system provides a solution to this problem with a 3D camera. We have implemented modalities that allow a more natural interaction with objects and VE. The goal of our system is to obtain performances at least equal to those of common tools in virtual reality while providing a better overall acceptability (i.e., usefulness, usability, immersion). To achieve this goal, we conducted three experimental studies involving over 100 participants. With the first study, we compared the first version of our system (based on a 3D Camera MESA SwissRanger) to a traditional mouse, for a selection task. The second experiment was focused on the study of the realization of objects-manipulation tasks (position, orientation, scaling) and navigation tasks in VE. For this study, we compared the improved version of our system (based on Microsoft Kinect) with data gloves associated with magnetic sensors. An additional study concerns the evaluation of new modalities of interaction, implemented based on participants' feedback of the second study.
Le but de cette thèse est de proposer et d'évaluer un système transparent de capture de mouvements des mains en temps réel pour permettre la réalisation d'interactions 3D en environnement virtuel (E.V.). Les outils tels que le clavier et la souris ne suffisent plus lorsque l'on travaille dans des E.V. 3D et les systèmes de capture de mouvements actuels ont l'inconvénient du coût et du port de matériel. Les systèmes basés sur des caméras et le traitement d'images comblent en partie ces lacunes, mais ne permettent pas encore une capture de mouvements 3D précise, efficace et temps réel. Notre système propose une solution à ce problème grâce à une caméra 3D. Nous avons implémenté des modalités qui permettent une interaction plus naturelle avec les objets et l'E.V. L'objectif de notre système est d'obtenir des performances au moins égales à celles d'outils couramment utilisés en réalité virtuelle tout en offrant une meilleure acceptabilité globale, mesurée sous l'angle de l'utilité, de l'utilisabilité et du sentiment d'immersion. Pour répondre à cet objectif, nous avons mené 3 études expérimentales impliquant plus de 100 participants. L'étude 1 a comparé, pour une tâche de sélection, la première version de notre système (basé sur une Camera 3D MESA SwissRanger) à une souris classique. L'expérimentation 2 est axée sur l'étude de la réalisation de tâches de manipulation d'objets (positionnement, orientation, redimensionnement) et de navigation en E.V. Pour cette étude, nous avons comparé la version améliorée de notre système (basée sur la Microsoft Kinect) à des gants de données associés à des capteurs magnétiques. La 3ème étude, complémentaire, porte sur l'évaluation de nouvelles modalités d'interaction, implémentées d'après les commentaires recueillis auprès des participants de la seconde étude.
Loading...