Facial motion analysis on monocular images for telecom applications: Coupling expression and pose understanding
Analyse de mouvement facial dur des images monoculaires avec application aux télécommunications: Couplage de la compréhension de l'expression et du suivi de la pose du visage
Résumé
Facial animation has become an active research topic in telecommunications. This field aims at replacing traditional communication systems by more human oriented solutions based on virtual reality technology. This work exposes in detail novel techniques to study non-rigid facial motion coupled with head pose tracking. Specific feature analysis methods have been developed to study each one of the features that we believe to be the most relevant while communicating: eye, eyebrows and mouth. We have designed image-processing algorithms based on the physiognomy of the speaker and individual motion models that exploit the correlation existing among the analyzed features. The analysis techniques have been first developed for faces being analyzed from a frontal point of view and then, using the pose parameters derived from the tracking and the 3D data of the clone, they have been adapted to allow the speaker more freedom of movement in front of the camera. This adaptation is possible by redefining the 2D analysis models over the the clone (3D head model), in 3D, and reinterpreting the analyzed data in accordance with the 3D location of the head. This report contains experimental results, main contributions and relevant bibliographic references of the overall research
Les techniques d'animation faciale sont devenues un sujet actif de recherche dans la communauté des télécommunications. Ce domaine a pour but de remplacer les systèmes traditionnels de communications par des solutions plus adaptées aux besoins humains, en utilisant, par exemple, la réalité virtuelle. Cette thèse doctorale se situe dans le cadre du développement d'un système d'analyse/synthèse qui étudie les expressions et la pose des visages sur des séquences vidéo monoculaires. Le mouvement analysé est utilisé pour animer le clone du visage associé à l'utilisateur, tout en générant des paramètres d'animation faciale. Le noyau central du système mentionné est l'algorithme de suivi du visage qui est capable de générer les paramètres qui déterminent la pose du visage. Le filtre de Kalman utilisé pendant le suivi prédit les angles de rotation et les valeurs de translation qui sont ensuite appliqués sur le clone du locuteur. Ces données nous permettent de profiter de l'image virtuelle de l'animation du clone obtenue pour rétro-alimenter l'analyse. Ce rapport expose minutieusement une nouvelle approche pour étudier les expressions faciales couplées avec le suivi du visage. Nous avons développé des méthodes d'analyse spécifiques pour chaque trait caractéristique du visage que nous avons considéré comme les éléments les plus importants pendant la communication: les yeux, les sourcils et la bouche. Nous avons conçu des algorithmes basés sur la physionomie du locuteur et qui utilisent des modèles de mouvement individuels pour chacun des traits. Les algorithmes font une double vérification de la cohérence des résultats en utilisant la corrélation existant entre les traits analysés. D'abord, ces algorithmes ont été développés et testés pour fonctionner sur des visages analysés depuis un point de vue frontal. Ensuite, ils ont été adaptés pour travailler avec n'importe quelle pose en utilisant des paramètres de la pose et des données 3D du clone. Cette solution permet une plus grande liberté de mouvement du locuteur face à la camera. L'adaptation est possible en redéfinissant les modèles d'analyse des traits sur le clone (le modèle 3D), et en réinterprétant l'information analysée en relation avec les paramètres 3D qui indiquent la pose du visage. Ce travail contient les résultats expérimentaux, les contributions principales et les références bibliographiques pertinentes sur l'ensemble des travaux de recherche.
Loading...