Exformation Trilogy est un cycle de trois pièces mixtes que le compositeur suédois Jesper Nordin projette de composer entre 2014 et 2017 en utilisant Gestrument, une interface de contrôle gestuel qu’il a lui-même développée. Sculpting the Air (sous titrée « Gestural exformation »), est la première pièce de ce triptyque (les suivantes, destinées au Quatuor Diotima et à l’Ensemble Recherche, seront composées en 2016 et 2017). Commandée par l’Ircam-Centre Pompidou et le Statens musikverk, Sculpting the Air a été créée le 22 juin 2015 à Nanterre dans le cadre du festival Manifeste par l’ensemble TM + dirigé à l’occasion par Marc Desmons. L’œuvre, dont nous avons eu le privilège de pouvoir suivre les étapes de production, a été imaginée comme un concerto pour chef d’orchestre, ce dernier devant contrôler gestuellement l’électronique, via l’application Gestrument.

Le dispositif technologique, destiné à enrichir la direction d’orchestre, se compose de deux caméras Kinect reliées à l’application Gestrument hébergée sur deux tablettes tactiles. Initialement conçues pour être couplées à la console de jeu Xbox 360 et disponibles depuis novembre 2010, ces caméras reconnaissent la profondeur de champ des gestes ainsi que les couleurs et ne nécessitent pas la pose de marqueurs sur les vêtements ou le corps. Elles sont fournies avec un Software Development Kit, permettant aux utilisateurs d’en faire un usage détourné et adapté à leurs besoins, hors du domaine vidéoludique. Les musiciens se sont très vite appropriés les caméras Kinect pour en faire des contrôleurs gestuels [5] comme en témoignent certaines applications et projets musicaux récents ou en cours (Synapse, Synekine, The V-Motion Project, Kin Hackt) et les communautés qui se construisent autour de ce produit, à l’instar de « Kinect Hacks ».

Gestrument a été développé par Jesper Nordin en 2007 sous la forme d’un patch Max. Avec le concours de Jonatan Liljedahl, il réalise ensuite une application pour iOS qui remporte le Prix de l’Innovation de la ville de Stockholm. Vendue à plus de 25 000 exemplaires, cette application consiste à « plonger dans l’ADN de la musique – un son unique, défini par les instruments, les rythmes, les échelles et les gestes musicaux employés ». En pratique, il s’agit de balayer du doigt la zone tactile de la tablette pour « jouer » des événements sonores modulables en densité, durée et hauteur. Le travail du compositeur part du constat selon lequel il existe une certaine déconnection entre les musiciens et les traitements électroniques appliqués sur leurs instruments.
Dans Sculpting the Air, les Kinect sont disposées dans l’espace scénographique de telle sorte que les mains du chef d’orchestre puissent entrer dans la zone de captation sans pour autant interférer avec la direction traditionnelle. Elles transmettent les coordonnées de la captation à l’application Gestrument (la tablette tactile n’est jamais manipulée directement par le chef d’orchestre mais lui sert de retour visuel). Si le compositeur a une idée précise de la forme de l’œuvre et de la manière dont il va explorer certaines caractéristiques du dispositif à travers la gestique du chef, il doit faire face à certains compromis en fonction des contraintes technologiques et humaines. Le chef ne connaissait pas l’application du compositeur et n’avait jamais utilisé les caméras Kinect dans sa pratique de musicien. L’intégration de la technologie dans l’écriture instrumentale doit tenir compte des limites humaines, le chef devant diriger simultanément un ensemble de musiciens et contrôler l’électronique. Le compositeur proposa différents systèmes de notation pour décrire, à des degrés variés, les gestes à accomplir. Ils ont alors dû trouver un consensus pour les décrire et les représenter graphiquement sur la version finale du conducteur.

Au cours de cette communication, nous reviendrons d’une part sur l’évolution de la composition de l’œuvre en analysant les changements de stratégies opérés par le compositeur au fil des séances de travail. Nous nous concentrerons d’autre part sur la manière dont le chef d’orchestre s’est approprié le dispositif et sur l’impact de ce dernier quant à sa manière de diriger. Sa pratique ne peut être dissociée du processus de création de l’œuvre. Le suivi d’un tel projet artistique s’avère extrêmement intéressant puisqu’il propose un cas unique de
contrôle de l’électronique par le chef d’orchestre. Cette recherche porte non seulement sur le processus créateur mais concerne aussi les performance studies. Au-delà des textes autoanalytiques des chefs eux-mêmes sur leur pratique [3], elle s’inscrit dans la lignée de quelques études empiriques éclairant cette activité [1] et plus généralement dans le champ des investigations concernant les liens entre geste, technologie et musique [2, 4] .

Les deux premières phases de production avec le chef ont eu lieu à l’IRCAM en novembre 2014 puis en février-mars 2015. Cela a été l’occasion pour le chef d’orchestre de se familiariser avec les aspects technologiques de l’œuvre et de faire les premiers essais de contrôle gestuel du son. Le concert a été précédé d’une semaine de répétition avec les musiciens à Nanterre. Une captation vidéo et audio des séances de travail a été réalisée, ainsi que des entretiens avec le compositeur, le RIM et le chef d’orchestre. Nous sommes aussi en possession des différentes versions de la partition. C’est à partir de ces données que nous analyserons l’évolution du processus créateur de la pièce et la pratique du chef d’orchestre.