Mon mémoire de Master étudie la façon dont les humains incarnent les sons en combinant gestes et vocalisations, via une approche de psychologie cognitive.
Nous avons souvent recours à des gestes pour communiquer sur des sons, les combinant souvent avec des vocalisations pour exprimer des sentiments ou des caractéristiques à leur sujet. En nous inspirant des études sur la parole, nous avons voulu étudier les liens potentiels entre les gestes et les vocalisations dans la communication sonore.
Nous avons d'abord annoté qualitativement une base de données audio-visuelles d'imitations gestuelles et vocales de sons pour établir un ensemble d'hypothèses. Nous avons ensuite mené une expérience contrôlée et effectué une analyse quantitative des données de mouvement et de son récoltées.
Nos résultats suggèrent que les gens incarnent les sons en utilisant des gestes qui expriment métaphoriquement une caractéristique saillante du son, ainsi que des vocalisations qui tentent de reproduire toutes les caractéristiques du son aussi fidèlement que possible.
Année
2015
Crédits
Le projet a été développé avec Guillaume Lemaitre, Frédéric Bevilacqua, Patrick Susini et Jules Françoise, en collaboration avec PDS et ISMM (groupes de Ircam), dans le cadre du projet de recherche européen SkAT-VG, et du Master en Ingénierie de Sorbonne Université.
Publications
Article à PLOS One (2017)
Présentation at ISGS (2016)
Poster à JASA (2015)
Mémoire de Master (2015)