Jules Françoise : “Apprentissage automatique du couplage geste–son dans des systèmes interactifs”

Mon projet de thèse s’attache à modéliser le couplage geste–son dans les systèmes interactifs sonores et musicaux. Les domaines d’applications de tels systèmes s’étendent aujourd’hui au-delà du contexte musical, concernant par exemple des applications aux jeu, à la sonification interactive ou à la rééducation.

La conception du couplage geste–son (mapping) est centrale au design de tels systèmes, en ce qu’elle conditionne les possibilités d’interaction. Cette thèse vise à développer des méthodes d’apprentissage automatique permettant la définition d’un tel mapping de manière interactive et par démonstration (c’est-à-dire à partir d’exemples d’associations geste–son fournis par l’utilisateur).

Deux exemples de développements récents seront présentés. Le premier concerne l’extension des méthodes de suivi de gestes à des structures temporelles complexes par le biais d’un modèle hiérarchique. Le second présente un modèle statistique multimodal (HMM multimodal), permettant la modélisation conjointe de séquences geste–son.

Ianis Lallemand : “Structuration automatique et semi-automatique de signaux”

Je présenterai deux directions de travail récemment abordées durant ma thèse, liées à la structuration automatique ou semi-automatique de signaux sonores. Cette problématique s’inscrit notamment dans le contexte applicatif de la synthèse concaténative par corpus, dont il s’agit ici d’étendre les méthodes de traitement et de contrôle interactif.

Dans un premier temps, mon travail s’est porté sur la représentation multi-échelles de textures sonores. La problématique afférente est celle du développement d’une description « agnostique », susceptible d’être adaptée à des textures variées. Nous inspirant de méthodes développées dans le domaine des textures visuelles, j’ai présenté à la conférence SMC 2012 une mesure quantitative de similarité entre textures basée sur la décomposition en ondelettes. J’ai également constitué une base de données d’évaluation à partir de la banque de sons Sound Ideas, susceptible d’être utilisée dans d’autres travaux de recherches.

Je présenterai ensuite mes directions de travail actuelles, relatives à la problématique d’apprentissage interactif. Je détaillerai les perspectives de développement de mes travaux au sein de ce domaine récent de l’apprentissage automatique, visant à prendre explicitement en compte la nature humaine de l’«entraîneur» dans l’apprentissage d’un agent informatique.

Structuration automatique et semi-automatique de signaux

Ianis LALLEMAND et Jules FRANÇOISE de l'équipe Interactions musicales temps réel, présentent : 1/ Jules Françoise : "Apprentissage automatique du couplage geste–son dans des systèmes interactifs" Mon projet de thèse s’attache à modéliser le couplage geste–son dans les systèmes interactifs sonores et musicaux. Les domaines d’applications de tels systèmes s’étendent aujourd’hui au-delà du contexte musical, concernant par exemple des applications aux jeu, à la sonification interactive ou à la rééducation. La conception du couplage geste–son (mapping) est centrale au design de tels systèmes, en ce qu’elle conditionne les possibilités d’interaction. Cette thèse vise à développer des méthodes d’apprentissage automatique permettant la définition d’un tel mapping de manière interactive et par démonstration (c’est-à-dire à partir d’exemples d’associations geste–son fournis par l’utilisateur). Deux exemples de développements récents seront présentés. Le premier concerne l’extension des méthodes de suivi de gestes à des structures temporelles complexes par le biais d’un modèle hiérarchique. Le second présente un modèle statistique multimodal (HMM multimodal), permettant la modélisation conjointe de séquences geste–son. 2/ Ianis Lallemand : "Structuration automatique et semi-automatique de signaux" Je présenterai deux directions de travail récemment abordées durant ma thèse, liées à la structuration automatique ou semi-automatique de signaux sonores. Cette problématique s'inscrit notamment dans le contexte applicatif de la synthèse concaténative par corpus, dont il s'agit ici d'étendre les méthodes de traitement et de contrôle interactif. Dans un premier temps, mon travail s'est porté sur la représentation multi-échelles de textures sonores. La problématique afférente est celle du développement d'une description « agnostique », susceptible d'être adaptée à des textures variées. Nous inspirant de méthodes développées dans le domaine des textures visuelles, j'ai présenté à la conférence SMC 2012 une mesure quantitative de similarité entre textures basée sur la décomposition en ondelettes. J'ai également constitué une base de données d'évaluation à partir de la banque de sons Sound Ideas, susceptible d'être utilisée dans d'autres travaux de recherches. Je présenterai ensuite mes directions de travail actuelles, relatives à la problématique d'apprentissage interactif. Je détaillerai les perspectives de développement de mes travaux au sein de ce domaine récent de l'apprentissage automatique, visant à prendre explicitement en compte la nature humaine de l'«entraîneur» dans l'apprentissage d'un agent informatique. Je présenterai ensuite mes directions de travail actuelles, relatives à la problématique d'apprentissage interactif. Je détaillerai les perspectives de développement de mes travaux au sein de ce domaine récent de l'apprentissage automatique, visant à prendre explicitement en compte la nature humaine de l'«entraîneur» dans l'apprentissage d'un agent informatique.