Grab-and-play est un logiciel qui utilise l'apprentissage supervisé pour le prototypage rapide de mappings geste-son.
Il permet d'esquisser des mappings geste-son en enregistrant uniquement un exemple de la plage de mouvements envisagée pour le mapping, à l'aide d'un dispositif de captation gestuelle donné. Un modèle d'apprentissage supervisé est ensuite utilisé pour générer rapidement une variété de mappings alternatifs qui satisfont aux contraintes encodées dans le mouvement des personnes.
Grab-and-play résulte d'un processus de design centré sur l'humain de l'apprentissage supervisé mené en parallèle avec des musicien·nes et des musicothérapeutes. Nous avons cherché à comprendre comment l'apprentissage supervisé interactif pouvait favoriser des modes similaires d'expression chez des musicien·nes experts comme non-experts. La version finale du logiciel a été pratiquée au sein du projet de recherche-action Sound Control ainsi que lors de la performance du projet de musique expérimentale yug .
Le logiciel existe comme extension Java du Wekinator, ajoutant quatre méthodes avec différents degrés de contrôle et d'exploration de mappings à l'apprentissage supervisé. Il utilise le protocole OSC pour faire le pont entre des contrôleurs gestuels et des modèles de synthèse sonore tels que ChucK ou Max/MSP.