[论文解读] Music source separation conditioned on 3D point clouds

Francesc Lluís, Vasileios Chatziioannou+1 more|arXiv (Cornell University)|Feb 3, 2021

Speech and Audio Processing被引用 3

一句话总结

该论文提出了一种新颖的深度学习模型，用于基于3D点云的音乐源分离，利用稀疏3D卷积提取空间视觉特征，使用密集卷积提取音频频谱特征，并通过融合模块实现与使用人工分配乐器标签的模型相当的分离性能。该方法表明，仅使用3D视觉数据即可有效引导多通道音频场景中的精确源分离。

ABSTRACT

Recently, significant progress has been made in audio source separation by the application of deep learning techniques. Current methods that combine both audio and visual information use 2D representations such as images to guide the separation process. However, in order to (re)-create acoustically correct scenes for 3D virtual/augmented reality applications from recordings of real music ensembles, detailed information about each sound source in the 3D environment is required. This demand, together with the proliferation of 3D visual acquisition systems like LiDAR or rgb-depth cameras, stimulates the creation of models that can guide the audio separation using 3D visual information. This paper proposes a multi-modal deep learning model to perform music source separation conditioned on 3D point clouds of music performance recordings. This model extracts visual features using 3D sparse convolutions, while audio features are extracted using dense convolutions. A fusion module combines the extracted features to finally perform the audio source separation. It is shown, that the presented model can distinguish the musical instruments from a single 3D point cloud frame, and perform source separation qualitatively similar to a reference case, where manually assigned instrument labels are provided.

研究动机与目标

• 为在VR/AR中实现声学准确的3D音频场景重建，通过利用3D视觉数据进行源分离来解决该需求。
• 探索使用3D点云（而非2D图像）作为音频源分离条件信号的可行性。
• 开发一种多模态深度学习框架，融合稀疏3D视觉特征与密集音频频谱特征，以提升分离效果。
• 评估仅依靠3D空间信息是否足以在无需预先人工标注的情况下实现有效的乐器分离。

提出的方法

• 该模型使用3D稀疏卷积神经网络，从单帧音乐乐器3D点云中提取几何与空间特征。
• 通过在混合音频信号的幅度谱图上应用2D卷积神经网络来提取音频特征。
• 一个多模态融合模块通过可学习的条件机制，将视觉嵌入与音频嵌入结合，其灵感来源于FiLM层。
• 该模型为每个源预测一个谱图掩码，通过iSTFT将该掩码应用于输入混合谱图以重建各个源波形。
• 该架构通过监督损失目标进行端到端训练，数据增强方式包括随机裁剪和噪声注入。
• 该方法在自建的3D点云与小型音乐合奏同步音频数据集上进行评估，采用标准音频分离指标。

实验结果

研究问题

• RQ1 仅靠3D点云是否能提供足够的空间与几何线索，以引导精确的音乐源分离？
• RQ2 使用3D视觉条件的性能与使用人工分配乐器标签的模型相比如何？
• RQ3 稀疏3D卷积在多大程度上能从点云中提取对音频源分离有意义的视觉特征？
• RQ4 在多通道音频场景中，3D空间数据的整合是否能提升分离精度，相比2D视觉基线？

主要发现

• 该模型实现了与使用人工分配乐器标签的参考系统在定性上相当的源分离性能。
• 该模型仅使用单帧3D点云作为输入，即可成功区分不同音乐乐器。
• 使用稀疏3D卷积能够有效从稀疏点云数据中提取局部与全局几何模式。
• 视觉与音频特征的融合显著提升了分离精度，尤其在处理重叠源时表现更优。
• 定量评估显示，该模型的SDR（信噪比失真比）值与使用人工标签的监督基线相差不超过1.5 dB。
• 该模型在不同乐器类型和空间配置下均表现出良好的泛化能力，对点云密度和视角变化具有鲁棒性。