Soutenance de thèse de Pierre Donat-Bouillud : Models, Analysis and Execution of Audio Graphs in Interactive Multimedia Systems

Pierre DONAT-BOUILLUD soutient en anglais sa thèse de doctorat réalisée au sein de l’équipe Représentations Musicales (STMS - CNRS/Ircam/Sorbonne Université), intitulée : "Models, Analysis and Execution of Audio Graphs in Interactive Multimedia Systems" devant le jury composé de : - Florent Jacquemard, Inria, Paris (directeur de thèse) - Jean-Louis Giavitto, Ircam, Paris (co-encadrant) - Pierre Jouvelot, Ecole des Mines de Paris (rapporteur) - Myriam Descente-Catherine, ENSEIRB, LaBRI, Bordeaux (rapportrice) Examinateurs - Alain Girault, Inria, Grenoble - Christoph Kirsch, Salzburg University - Yann Orlarey, Grame, Lyon - Dumitru Potop-Butucaru, Inria, Paris Abstract : Interactive Multimedia Systems (IMS) are used in concert for interactive performances, which combine in real time acoustic instruments, electronic instruments, data from various sensors (gestures, midi interface, etc.) and the control of different media (video, light, etc.). This thesis presents a formal model of audio graphs, via a type system and a denotational semantics, with multirate timestamped bufferized data streams that make it possible to represent with more or less precision the interleaving of the control (for example a low frequency oscillator, velocities from an accelerometer) and audio processing. An audio extension of Antescofo, an IMS that acts as a partition tracker and includes a dedicated synchronous timed language, has motivated the development of this model. This extension makes it possible to connect Faust effects and native effects on the fly safely. The approach has been validated on a mixed music piece and an example of audio and video interaction. Finally, this thesis proposes offline optimizations based on the automatic resampling of parts of the audio graph to be executed. A quality and execution time model in the graph has been defined. Its experimental study was carried out using a prototype IMS based on the automatic generation of audio graphs, which has also made it possible to characterize resampling strategies proposed for the online case in real time. = - = - = - = - = - = - = - = - = - = -= - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - = - Résumé : Les Systèmes Interactifs Multimédia (SMI) sont utilisés en concert pour des spectacles interactifs, qui mêlent en temps réel instruments acoustiques, instruments électroniques, des données issues de divers capteurs (gestes, interface midi, etc) et le contrôle de différents media (vidéo, lumière, etc). Cette thèse présente un modèle formel de graphe audio, via un système de types et une sémantique dénotationnelle, avec des flux de données bufferisés datés multipériodiques qui permettent de représenter avec plus ou moins de précisions l'entrelacement du contrôle (par exemple un oscillateur basse fréquence, des vitesses issues d’un accéléromètre) et des traitements audio. Une extension audio d’Antescofo, un SMI qui fait office de suiveur de partition et qui comporte un langage synchrone temporisé dédié, a motivé le développement de ce modèle. Cette extension permet de connecter des effets Faust et des effets natifs, à la volée, de façon sure. L’approche a été validée sur une pièce de musique mixte et un exemple d'interaction audio et vidéo. Enfin, cette thèse propose des optimisations hors-ligne à partir du réééchantillonnage automatique de parties du graphe audio à exécuter. Un modèle de qualité et de temps d'exécution dans le graphe a été défini. Son étude expérimentale a été réalisée grâce à un SMI prototype à partir de la génération automatique de graphes audio, ce qui a permis aussi de caractériser des stratégies de rééchantillonnage proposés pour le cas en ligne en temps réel.