L’objectif du projet Legos est d’étudier de manière systématique l’évaluation de la qualité du couplage geste-son dans des systèmes sonores basés sur une interface gestuelle.
Pour cela, nous évaluerons l’apprentissage sensori moteur, et en particulier son évolution dans le temps, dans divers dispositifs interactifs. Il s’agit donc à la fois de développer, d’évaluer et comparer des systèmes interactifs afin de proposer à moyen terme des nouvelles interfaces gestuelles de contrôle de médias numériques (dont les jeux vidéos et le design sonore) ainsi que des applications médicales comme la rééducation.

Le projet s’appuie sur des méthodes expérimentales, considérant les trois éclairages suivants :

1. « contrôle sonore» : Ce premier point correspond à un cas d’apprentissage sensori-moteur où la finalité est de produire un son donné grâce à la manipulation d’une interface gestuelle, comme dans le cas des instruments de musique numérique. L’apprentissage sensori-moteur est évalué au niveau de la qualité du son produit.
2. «apprentissage de geste avec retour sonore » : Ce deuxième point correspond à l’apprentissage sensori-moteur dans le cas où la finalité est d’effectuer un geste donné en s’aidant d’un retour sonore. L’apprentissage sensori-moteur est dans ce cas observé au niveau de la qualité du geste reproduit.
   3)« de design sonore interactif » : Ce troisième point correspond à l’apprentissage sensori-moteur dans le cas d’interfaces tangibles, où la finalité est la manipulation correcte d’un objet. Dans ce dernier cas l’apprentissage sensori-moteur est jugé à travers la manipulation de l’objet interactif.
   Une synthèse sera effectuée sur la base des différentes expériences afin de proposer une ou des méthodologies spécifiques pour la création de nouvelles interfaces gestuelles.

---

The objective of the LEGOS project is to study systematically the coupling quality in gesture-sound systems using gestural interfaces. For this, we will evaluate the sensori-motor learning, and particularly its evolution over time, in various interactive devices. The aims are therefore to develop, evaluate and compare interactive systems, with the mid-term goal of offering renewed paradigms for gestural interfaces control of digital media (including video games and sound design), as well as prototypes for medical applications such as rehabilitation.The project will use extensively an experimental approach, considering these three perspectives

1. “Sound control”: the first point corresponds to a case of sensori-motor learning where the goal is to produce a given sound through the manipulation of a gestural interface, as in the case of digital musical instruments. The sensori-motor learning is assessed in terms of the quality of the sound production.
2. “Learning to gesture with audio feedback”: this second point corresponds to the sensori-motor learning where the goal is to make a gesture guided by an audio feedback. The sensori-motor learning in this case is assessed in terms of the gesture repeatability
3. “Interactive Sound Design”: this third point corresponds to sensori-motor learning in the case of tangible interfaces, where the goal is the proper handling of an object. The sensori-motor learning in this case is assessed through the quality of the objet manipulation.

Legos project

L’objectif du projet Legos est d’étudier de manière systématique l’évaluation de la qualité du couplage geste-son dans des systèmes sonores basés sur une interface gestuelle. Pour cela, nous évaluerons l’apprentissage sensori moteur, et en particulier son évolution dans le temps, dans divers dispositifs interactifs. Il s’agit donc à la fois de développer, d’évaluer et comparer des systèmes interactifs afin de proposer à moyen terme des nouvelles interfaces gestuelles de contrôle de médias numériques (dont les jeux vidéos et le design sonore) ainsi que des applications médicales comme la rééducation. Le projet s’appuie sur des méthodes expérimentales, considérant les trois éclairages suivants : 1) « contrôle sonore» : Ce premier point correspond à un cas d’apprentissage sensori-moteur où la finalité est de produire un son donné grâce à la manipulation d’une interface gestuelle, comme dans le cas des instruments de musique numérique. L’apprentissage sensori-moteur est évalué au niveau de la qualité du son produit. 2) «apprentissage de geste avec retour sonore » : Ce deuxième point correspond à l’apprentissage sensori-moteur dans le cas où la finalité est d’effectuer un geste donné en s’aidant d’un retour sonore. L’apprentissage sensori-moteur est dans ce cas observé au niveau de la qualité du geste reproduit. 3)« de design sonore interactif » : Ce troisième point correspond à l’apprentissage sensori-moteur dans le cas d’interfaces tangibles, où la finalité est la manipulation correcte d’un objet. Dans ce dernier cas l’apprentissage sensori-moteur est jugé à travers la manipulation de l’objet interactif. Une synthèse sera effectuée sur la base des différentes expériences afin de proposer une ou des méthodologies spécifiques pour la création de nouvelles interfaces gestuelles. ------- The objective of the LEGOS project is to study systematically the coupling quality in gesture-sound systems using gestural interfaces. For this, we will evaluate the sensori-motor learning, and particularly its evolution over time, in various interactive devices. The aims are therefore to develop, evaluate and compare interactive systems, with the mid-term goal of offering renewed paradigms for gestural interfaces control of digital media (including video games and sound design), as well as prototypes for medical applications such as rehabilitation. The project will use extensively an experimental approach, considering these three perspectives 1) "Sound control": the first point corresponds to a case of sensori-motor learning where the goal is to produce a given sound through the manipulation of a gestural interface, as in the case of digital musical instruments. The sensori-motor learning is assessed in terms of the quality of the sound production. 2) "Learning to gesture with audio feedback": this second point corresponds to the sensori-motor learning where the goal is to make a gesture guided by an audio feedback. The sensori-motor learning in this case is assessed in terms of the gesture repeatability 3) "Interactive Sound Design": this third point corresponds to sensori-motor learning in the case of tangible interfaces, where the goal is the proper handling of an object. The sensori-motor learning in this case is assessed through the quality of the objet manipulation.