Analyse de mouvement facial dur des images monoculaires avec application aux télécommunications: Couplage de la compréhension de l'expression et du suivi de la pose du visage

Résumé : Les techniques d'animation faciale sont devenues un sujet actif de recherche dans la communauté des télécommunications. Ce domaine a pour but de remplacer les systèmes traditionnels de communications par des solutions plus adaptées aux besoins humains, en utilisant, par exemple, la réalité virtuelle. Cette thèse doctorale se situe dans le cadre du développement d'un système d'analyse/synthèse qui étudie les expressions et la pose des visages sur des séquences vidéo monoculaires. Le mouvement analysé est utilisé pour animer le clone du visage associé à l'utilisateur, tout en générant des paramètres d'animation faciale. Le noyau central du système mentionné est l'algorithme de suivi du visage qui est capable de générer les paramètres qui déterminent la pose du visage. Le filtre de Kalman utilisé pendant le suivi prédit les angles de rotation et les valeurs de translation qui sont ensuite appliqués sur le clone du locuteur. Ces données nous permettent de profiter de l'image virtuelle de l'animation du clone obtenue pour rétro-alimenter l'analyse. Ce rapport expose minutieusement une nouvelle approche pour étudier les expressions faciales couplées avec le suivi du visage. Nous avons développé des méthodes d'analyse spécifiques pour chaque trait caractéristique du visage que nous avons considéré comme les éléments les plus importants pendant la communication: les yeux, les sourcils et la bouche. Nous avons conçu des algorithmes basés sur la physionomie du locuteur et qui utilisent des modèles de mouvement individuels pour chacun des traits. Les algorithmes font une double vérification de la cohérence des résultats en utilisant la corrélation existant entre les traits analysés. D'abord, ces algorithmes ont été développés et testés pour fonctionner sur des visages analysés depuis un point de vue frontal. Ensuite, ils ont été adaptés pour travailler avec n'importe quelle pose en utilisant des paramètres de la pose et des données 3D du clone. Cette solution permet une plus grande liberté de mouvement du locuteur face à la camera. L'adaptation est possible en redéfinissant les modèles d'analyse des traits sur le clone (le modèle 3D), et en réinterprétant l'information analysée en relation avec les paramètres 3D qui indiquent la pose du visage. Ce travail contient les résultats expérimentaux, les contributions principales et les références bibliographiques pertinentes sur l'ensemble des travaux de recherche.
Type de document :
Thèse
domain_other. Télécom ParisTech, 2003. Français
Liste complète des métadonnées

Littérature citée [108 références]  Voir  Masquer  Télécharger

https://pastel.archives-ouvertes.fr/pastel-00000578
Contributeur : Ecole Télécom Paristech <>
Soumis le : vendredi 26 novembre 2010 - 11:25:52
Dernière modification le : mercredi 24 janvier 2018 - 14:51:32
Document(s) archivé(s) le : jeudi 1 décembre 2016 - 18:50:48

Identifiants

  • HAL Id : pastel-00000578, version 1

Citation

Ana C. Andrés del Valle. Analyse de mouvement facial dur des images monoculaires avec application aux télécommunications: Couplage de la compréhension de l'expression et du suivi de la pose du visage. domain_other. Télécom ParisTech, 2003. Français. 〈pastel-00000578〉

Partager

Métriques

Consultations de la notice

452

Téléchargements de fichiers

951