Mon mémoire de Master étudie la façon dont les humains incarnent les sons en combinant gestes et vocalisations, via une approche de psychologie cognitive.
Nous avons souvent recours à des gestes pour communiquer sur des sons, les combinant souvent avec des vocalisations pour exprimer des sentiments ou des caractéristiques à leur sujet. En nous inspirant des études sur la parole, nous avons voulu étudier les liens potentiels entre les gestes et les vocalisations dans la communication sonore.
Nous avons d'abord annoté qualitativement une base de données audio-visuelles d'imitations gestuelles et vocales de sons pour établir un ensemble d'hypothèses. Nous avons ensuite mené une expérience contrôlée et effectué une analyse quantitative des données de mouvement et de son récoltées.
Nos résultats suggèrent que les gens incarnent les sons en utilisant des gestes qui expriment métaphoriquement une caractéristique saillante du son, ainsi que des vocalisations qui tentent de reproduire toutes les caractéristiques du son aussi fidèlement que possible.