Hugo SCURTO soutient en français sa thèse de doctorat réalisée au sein de l’équipe Interaction Son Musique Mouvement (STMS - CNRS/Ircam/Sorbonne Université), intitulée :

“Design de l’apprentissage machine pour les dispositifs interactifs musicaux”

devant le jury composé de :

Sergi Jordà, Rapporteur, Universitat Pompeu Fabra
Wendy Mackay, Rapportrice, Université Paris-Saclay

Samuel Bianchini, Examinateur,
Catherine Pélachaud, Examinatrice, Sorbonne Université
Anne Sèdes, Examinatrice, Université Paris 8
Frédéric Bevilacqua, Directeur de thèse, Ircam

Résumé :
La musique est une pratique culturelle permettant aux êtres humains d’exprimer sensiblement leurs intentions à travers le son. L’apprentissage machine définit un ensemble de modèles permettant de nouvelles formes d’expression au sein desdits systèmes interactifs musicaux. Cependant, en tant que discipline informatique, l’apprentissage machine demeure essentiellement appliquée à la musique du point de vue des sciences de l’ingénieur, qui, très souvent, conçoit les modèles d’apprentissage sans tenir compte des interactions musicales prenant place entre humains et systèmes.

Dans cette thèse, j’envisage la possibilité de mener des pratiques de design avec l’apprentissage machine pour les systèmes interactifs musicaux. Je soutiens que l’apprentissage machine doit avant tout être situé au sein d’un contexte humain afin d’être conçu et appliqué au design de systèmes interactifs musicaux. Pour défendre cette thèse, je présente quatre études interdisciplinaires, dans lesquelles j’introduis des modèles intermédiaires d’apprentissage, dits modèles-prototype, au sein de méthodes de conception centrées humain, afin d’appliquer l’apprentissage machine à quatre tâches musicales situées : le mapping mouvement-son, l’exploration sonore, l’exploration de la synthèse, et l’interaction musicale collective.

À travers ces études, je montre que les modèles-prototype permettent de générer des idées de design pour l’apprentissage machine en amont de la phase d’ingénierie desdits modèles, ce en lien étroit avec les utilisateurs potentiels de ces systèmes. Je montre également que les systèmes d’apprentissage machine centrés humain résultant de ce processus de conception rendent possible des processus dynamiques d’expression entre les humains et les machines, allant au-delà de la création d’artefacts musicaux statiques. Je propose de nommer co-expression ces processus d’interaction musicale entre des êtres humains—faisant preuve d’un élan expressif et créatif quelque soit leur expertise musicale—et des machines—dont les capacités d’apprentissage peuvent être perçues comme expressives du point de vue de l’humain.

En outre, je présente cinq systèmes interactifs musicaux conçus avec lesdits modèles-prototypes, et relate leurs restitutions publiques au sein d’ateliers, expositions, installations et performances. Par une approche réflexive, je montre que les contributions musicales apportées par des pratiques de design avec l’apprentissage machine peuvent, à terme, complémenter les contributions scientifiques apportées par les méthodes de conception centrées humain. Ainsi, je suggère que la recherche musicale peut être menée par le design de dispositifs interactifs musicaux, c’est-à-dire, par la réalisation technique d’artefacts esthétiquement fonctionnels remettant en cause les normes culturelles régissant l’informatique et la musique.

“Designing With Machine Learning for Interactive Music Dispositifs”
Abstract :
Music is a cultural and creative practice that enables humans to express a variety of feelings and intentions through sound. Machine learning opens many prospects for designing human expression in interactive music systems. Yet, as a Computer Science discipline, machine learning remains mostly studied from an engineering sciences perspective, which often exclude humans and musical interaction from the loop of the created systems.

In this dissertation, I argue in favour of designing with machine learning for interactive music systems. I claim that machine learning must be first and foremost situated in human contexts to be researched and applied to the design of interactive music systems. I present four interdisciplinary studies that support this claim, using human-centred methods and model prototypes to design and apply machine learning to four situated musical tasks: motion-sound mapping, sonic exploration, synthesis exploration, and collective musical interaction.

Through these studies, I show that model prototyping helps envision designs of machine learning with human users before engaging in model engineering. I also show that the final human-centred machine learning systems not only helps humans create static musical artifacts, but supports dynamic processes of expression between humans and machines. I call co-expression these processes of musical interaction between humans—who may have an expressive and creative impetus regardless of their expertise—and machines—whose learning abilities may be perceived as expressive by humans.

In addition to these studies, I present five applications of the created model prototypes to the design of interactive music systems, which I publicly demonstrated in workshops, exhibitions, installations, and performances. Using a reflexive approach, I argue that the musical contributions enabled by such design practice with machine learning may ultimately complement the scientific contributions of human-centred machine learning. I claim that music research can thus be led through dispositif design, that is, through the technical realization of aesthetically-functioning artifacts that challenge cultural norms on computer science and music.