La soutenance de thèse est en anglais devant un jury composé de :

Pr. Cathy CRAIG - Queen’s University Belfast - Rapporteur
Pr. Roberto BRESIN - KTH Royal Institute of Technology - Stockholm - Rapporteur
Pr. Vincent HAYWARD - UPMC - Paris - Examinateur
Dr. Bruno GIORDANO - Center for Neuroimaging - Glasgow - Examinateur
Pr. Olivier GAPENNE - UTC - Compiègne - Examinateur
Dr. Patrick SUSINI - IRCAM - Directeur de Thèse
Dr. Sylvain HANNETON - Université Paris Descartes - Directeur de Thèse
Dr. Frédéric BEVILACQUA - IRCAM - Encadrant

Our sensorimotor system has developed a specific relationship between our actions and their sonic outcomes, which it interprets as auditory feedback. The development of motion sensing and audio technologies allows emphasizing this relationship through interactive sonification of movement. We propose several experimental frameworks (visual, non-visual, tangible, virtual) to assess the contribution of sonification to sensorimotor control and learning in interactive systems. First, we show that the auditory system integrates dynamic auditory cues for online motor control, either from head or hand movements. Auditory representations of space and of the scene can be built from audio features and transformed into motor commands. Second, we measure that continuous auditory feedback in a tracking task helps significantly the performance. We also observe that sonification of user’s movement can increase the energy of produced motion and prevent feedback dependency. Finally, we present the concept of sound-oriented task, where the target is expressed as acoustic features to match. We show that motor adaptation can be driven by interactive audio cues only. In this work, we highlight important guidelines for sonification design in auditory-motor coupling research, as well as applications through original setups we developed, like perceptual and physical training, and playful gesture-sound interactive scenarios for rehabilitation.

Résumé:

Notre système sensorimoteur a développé une relation particulière entre nos actions et le retour sonore qui en découle. Les systèmes de captation gestuelle et les technologies audio permettent de manipuler ce retour sonore par la sonification interactive du mouvement. Nous explorons dans divers cadres expérimentaux la contribution de la sonification à l’apprentissage moteur dans les systèmes interactifs. Tout d’abord, nous montrons que le système auditif intègre des indices acoustiques issus du mouvement pour le contrôle moteur. Des représentations de l’espace émergent de ces indices et sont transformées en commandes motrices. Ensuite, nous mesurons qu’un retour sonore continu permet d’améliorer significativement la performance à une tâche de poursuite. Nous observons également que la sonification du mouvement de l’utilisateur augmente l’énergie contenue dans le geste et prévient la dépendance au retour sonore. Enfin, nous présentons le concept de tâche sonore dans lequel la cible est présentée et s’exprime sous forme de paramètres sonores à reproduire. Les résultats montrent qu’une adaptation motrice peut être provoquée par des indices acoustiques seuls. Ce travail permet de dégager des principes importants du design de l’interaction geste-son, et présente des applications originales comme des scénarios interactifs pour la rééducation.