Grab-and-play est un logiciel qui utilise l'apprentissage supervisé pour le prototypage rapide de mappings geste-son.
Il permet d'esquisser des mappings geste-son en enregistrant uniquement un exemple de la plage de mouvements envisagée pour le mapping, à l'aide d'un dispositif de captation gestuelle donné. Un modèle d'apprentissage supervisé est ensuite utilisé pour générer rapidement une variété de mappings alternatifs qui satisfont aux contraintes encodées dans le mouvement des personnes.
Grab-and-play résulte d'un processus de design centré sur l'humain de l'apprentissage supervisé mené en parallèle avec des musicien·nes et des musicothérapeutes. Nous avons cherché à comprendre comment l'apprentissage supervisé interactif pouvait favoriser des modes similaires d'expression chez des musicien·nes experts comme non-experts. La version finale du logiciel a été pratiquée au sein du projet de recherche-action Sound Control ainsi que lors de la performance du projet de musique expérimentale yug .
Le logiciel existe comme extension Java du Wekinator, ajoutant quatre méthodes avec différents degrés de contrôle et d'exploration de mappings à l'apprentissage supervisé. Il utilise le protocole OSC pour faire le pont entre des contrôleurs gestuels et des modèles de synthèse sonore tels que ChucK ou Max/MSP.
Année
2016
Crédits
Le projet a été développé avec Rebecca Fiebrink en collaboration avec le Department of Computing de Goldsmiths University of London, dans le cadre du programme de recherche pré-doctorale de ENS Paris-Saclay.
Publications
Article à ICMC (2016)
Rapport pré-doctoral (2016)
Évènements
Médiation @ BBC Radio 1 Academy, Exeter Phoenix, Exeter, UK (Avril 2016)
Code
GitHub