[论文解读] Music Gesture for Visual Sound Separation

Chuang Gan, Deng Huang+3 more|arXiv (Cornell University)|Apr 20, 2020

Speech and Audio Processing参考文献 56被引用 6

一句话总结

本文提出 Music Gesture，一种基于关键点的视觉表征方法，通过建模演奏者身体与手部动作来提升视觉音源分离性能。通过整合上下文感知图网络与音视频融合模块，该方法在异类乐器分离任务上达到最先进性能，并首次在同种乐器分离任务上取得突破——尤其在钢琴、长笛和小号二重奏中表现优异。

ABSTRACT

Recent deep learning approaches have achieved impressive performance on visual sound separation tasks. However, these approaches are mostly built on appearance and optical flow like motion feature representations, which exhibit limited abilities to find the correlations between audio signals and visual points, especially when separating multiple instruments of the same types, such as multiple violins in a scene. To address this, we propose "Music Gesture," a keypoint-based structured representation to explicitly model the body and finger movements of musicians when they perform music. We first adopt a context-aware graph network to integrate visual semantic context with body dynamics, and then apply an audio-visual fusion model to associate body movements with the corresponding audio signals. Experimental results on three music performance datasets show: 1) strong improvements upon benchmark metrics for hetero-musical separation tasks (i.e. different instruments); 2) new ability for effective homo-musical separation for piano, flute, and trumpet duets, which to our best knowledge has never been achieved with alternative methods. Project page: http://music-gesture.csail.mit.edu.

研究动机与目标

• 解决现有视觉音源分离模型依赖外观或光流特征的局限性，这些特征难以区分相似乐器（如多把小提琴）
• 实现对同种乐器类型（如两台钢琴）音频源的有效分离，这是以往方法未能解决的任务
• 通过关键点追踪利用结构化的身体与手部动作线索，增强音视频对齐与源分离效果
• 设计一种鲁棒的音视频融合机制，基于动态视觉关键点条件化预测音频特征
• 在多种乐器上实现泛化能力，包括具有细微手势特征的乐器（如长笛和小号）

提出的方法

• 使用上下文感知图神经网络，联合建模视频帧中的视觉语义上下文与人体动态
• 通过姿态估计主干网络提取演奏者身体与手部的2D关键点坐标，构建音乐动作的结构化表征
• 设计一种音视频融合模块，关注相关身体关键点，并根据视觉运动线索调制音频特征
• 采用自监督的混合与分离训练框架进行训练，先在多乐器分离任务上预训练，再在同种乐器二重奏任务上微调
• 采用课程学习策略，逐步从较简单的（异类）到较难的（同种）分离任务进行学习
• 结合自动 SDR 分数与 Amazon Mechanical Turk 上的人工评估，综合评估分离质量

实验结果

研究问题

• RQ1 基于结构化关键点的肢体与手部动作表征，是否能在外观与光流特征之外，进一步提升视觉音源分离性能？
• RQ2 对音乐动作的显式建模，是否能实现对同种乐器类型（如钢琴或长笛二重奏）音频源的有效分离？
• RQ3 在音源分离过程中，音视频融合模块中的注意力机制如何在不同身体部位之间分配关注？
• RQ4 所提出方法是否能在具有不同物理动作复杂度的多样化乐器上实现良好泛化？
• RQ5 在存在摄像机视角变化与部分遮挡的真实场景下，模型性能如何？

主要发现

• 与 SoM [56] 相比，所提出的 Music Gesture 模型在钢琴二重奏中实现 3.8 dB 的 SDR 提升，在长笛二重奏中实现 5.3 dB 的提升，表明其在同种乐器分离任务中表现强劲
• 人工评估显示，在钢琴二重奏中 70% 的受试者偏好本方法，长笛二重奏中偏好比例达 86%，表明其在感知质量上更优
• 在小提琴二重奏中取得 6.7 SDR，小号二重奏中取得 6.1 SDR，分别优于 SoM 的 6.3 和 5.4，表明在异类任务中也保持一致的性能提升
• 注意力图可视化显示，对于长笛和吉他等乐器，模型主要关注手部关键点；而对于大提琴和小提琴等弓弦乐器，模型则更关注肘部关键点
• 在真实混合音频上，本模型比 SoM 更具鲁棒性，尽管 SDR 分数相近，但人工评估显示其输出显著更受青睐
• 该方法首次成功实现对钢琴、长笛和小号同种乐器二重奏的有效分离，此前此类任务在现有方法下均难以解决