entrain est un séquenceur connecté qui utilise l'apprentissage actif pour stimuler l'interaction sociale lors d'activités musicales mobiles.
Le public peut se rendre sur une page web via leur smartphone afin de créer des boucles rythmiques et prendre spontanément part au jeu musical. En fonction de leur comportement individuel, la machine peut désigner des membres spécifiques du public en générant des retours audiovisuels de manière adaptative. Le workflow expressif ainsi produit tire parti de l'entraînement rythmique pour stimuler l'interaction sociale entre les humains, ainsi qu'avec la machine.
entrain a été développé à l'aide d'une méthode de design participatif. Nous avons commencé par réfléchir à des scénarios d'interaction avec des parties prenantes du séquenceur avant d'envisager un type particulier d'apprentissage machine. Nous avons ensuite implémenté un prototype d'apprentissage actif, appelé Bayesian Information Gain, qui permet d'orienter le public vers de nouvelles configurations musicales, tout en restant suffisamment complexe pour ne pas être complètement interprétable par le public.
entrain se base sur Coloop, un séquenceur connecté conçu en collaboration avec Nodesign.net. Il tire parti de soundworks, une bibliothèque JavaScript pour l'interaction collective sur le web, qui prend en charge la synchronisation temporelle des mobiles. Le haut-parleur contient un RaspberryPi responsable de l'envoi d'informations au haut-parleur et à ses LED intégrées.
Année
2019
Crédits
Le projet a été développé avec Abby Wanyu Liu, Benjamin Matuszewski et Frédéric Bevilacqua, en collaboration avec ISMM (groupe de Ircam), ainsi que Jean-Louis Fréchin et Uros Petrevski de Nodesign.net, et Norbert Schnell du Collaborative Mobile Music Lab de Furtwangen University, dans le cadre d'une thèse de doctorat menée à Sorbonne Université.
Événements/Publications
Exposition @ SIGGRAPH 2019 Studio, Los Angeles Convention Center, USA (Juillet 2019)
Papier à ACM SIGGRAPH Studio (2019)
Code
GitHub