Skip to Main content Skip to Navigation
Theses

Modeling, recognition of finger gestures and upper-body movements for musical interaction design

Résumé : Cette thèse présente un nouvel instrument de musique, appelé Embodied Musical Instrument (EMI), qui a été conçu pour répondre à deux problèmes : comment pouvons-nous “capturer” et modéliser des gestes musicaux et comment utiliser ce modèle afin de contrôler des paramètres de synthèse sonore de manière expressive. L'EMI est articulé autour d'une stratégie de “mapping explicite” qui s'inspire de techniques du jeu pianistique, mais aussi du potentiel gestuel de certains objets. Le système que nous proposons utilise des caméras 3D et des algorithmes de vision par ordinateur afin de libérer le geste de dispositifs intrusifs, tout en facilitant le processus de capture et de performance. Nous utilisons différentes caméras 3D pour le suivi de geste et exploitons pleinement leur potentiel en ajoutant une plaque transparente. Cette plaque créer un seuil de détection pour les doigtés, mais fournit aussi une rétroaction haptique, simple mais nécessaire. Nous avons examiné les gestes des doigts par rapport à la surface de l’EMI et nous avons décomposé leurs trajectoires en phases élémentaires, ce qui nous a permis de modéliser et d'analyser des gestes de type pianistique. Une étude préliminaire sur les gestes musicaux a porté notre intérêt non seulement sur les gestes “effectifs” opérés par les doigts - dans le cas des instruments à claviers - mais aussi sur les gestes “d’accompagnements” et “figuratifs”, caractérisés principalement par les mouvements des bras et de la tête. Par conséquent, nous distinguons deux niveaux d'interactions, délimités par deux volumes d’interaction: un volume englobant dit “micro” inclut les micro-gestes opérés par les doigts, tandis qu’un volume englobant dit “macro” comprend des mouvements plus importants du haut du corps. À partir de cela, nous étendons notre modèle de jeu pianistique à un paradigme d'interaction 3D, où les paramètres musicaux de haut niveau, tels que les effets sonores (filtres, réverbération, spatialisation), peuvent être contrôlés en continu par des mouvements du haut du corps. Nous avons exploré un ensemble de scénarios réels pour cet instrument, à savoir la pratique, la composition et la performance. L'EMI introduit un cadre pour la capture et l'analyse de gestes musicaux spécifiques. Une analyse hors ligne des fonctionnalités gestuelles peut révéler des tendances, des défauts et des spécificités d'une interprétation musicale. Plusieurs œuvres musicales ont été créées pour l’EMI, réalisées en solo, accompagnées d'un quatuor à cordes, et d’autres ensembles musicaux. Un retour d'expérience montre que l'instrument peut être facilement enseigné - sinon de manière autodidacte - grâce aux paradigmes gestuels intuitifs tirés de gestes pianistiques et d'autres gestes métaphoriques.
Document type :
Theses
Complete list of metadatas

Cited literature [278 references]  Display  Hide  Download

https://pastel.archives-ouvertes.fr/tel-02119395
Contributor : Abes Star :  Contact
Submitted on : Friday, May 3, 2019 - 5:15:09 PM
Last modification on : Thursday, April 9, 2020 - 5:08:13 PM
Document(s) archivé(s) le : Wednesday, October 9, 2019 - 1:05:50 PM

File

2017PSLEM075_archivage.pdf
Version validated by the jury (STAR)

Identifiers

  • HAL Id : tel-02119395, version 1

Citation

Edgar Hemery. Modeling, recognition of finger gestures and upper-body movements for musical interaction design. Automatic. PSL Research University, 2017. English. ⟨NNT : 2017PSLEM075⟩. ⟨tel-02119395⟩

Share

Metrics

Record views

175

Files downloads

100