[论文解读] Neural Loop Combiner: Neural Network Models for Assessing the Compatibility of Loops

Boyu Chen, Jordan B. L. Smith+1 more|arXiv (Cornell University)|Aug 5, 2020

Music and Audio Processing被引用 5

一句话总结

本文提出了一种基于神经网络的方法，通过一种新颖的数据生成流水线从现有音乐中提取正样本，并应用多种负采样策略，以预测音乐循环的兼容性。该研究比较了卷积神经网络（CNN）与孪生神经网络架构，发现在主观评估中，CNN在性能上优于孪生模型和基于规则的AutoMashUpper系统，其推荐结果在兼容性和可用性方面甚至优于数据集中原始的循环配对。

ABSTRACT

Music producers who use loops may have access to thousands in loop libraries, but finding ones that are compatible is a time-consuming process; we hope to reduce this burden with automation. State-of-the-art systems for estimating compatibility, such as AutoMashUpper, are mostly rule-based and could be improved on with machine learn-ing. To train a model, we need a large set of loops with ground truth compatibility values. No such dataset exists, so we extract loops from existing music to obtain positive examples of compatible loops, and propose and compare various strategies for choosing negative examples. For re-producibility, we curate data from the Free Music Archive.Using this data, we investigate two types of model architectures for estimating the compatibility of loops: one based on a Siamese network, and the other a pure convolutional neural network (CNN). We conducted a user study in which participants rated the quality of the combinations suggested by each model, and found the CNN to outperform the Siamese network. Both model-based approaches outperformed the rule-based one. We have opened source the code for building the models and the dataset.

研究动机与目标

• 解决音乐制作中循环兼容性估计缺乏标注数据集的问题。
• 开发一种机器学习框架，自动预测两个循环在感知上是否兼容，可用于同一作品中。
• 比较深度学习模型（CNN 和孪生网络）与基于规则的系统（如 AutoMashUpper）在预测循环兼容性方面的性能。
• 研究在缺乏真实标签的情况下，有效负采样策略对训练兼容性模型的影响。
• 通过客观指标和主观用户研究（评估匹配度、可用性和创新性）评估模型性能。

提出的方法

• 一种数据生成流水线使用基于非负张量分解（NTF）的循环提取算法，从现有音乐中提取正样本循环对。
• 通过多种策略（包括反向采样和随机采样）挖掘负样本循环对，以构建平衡的训练数据。
• 训练一维卷积神经网络（CNN），直接从循环对的时间-频率表示中分类兼容性。
• 孪生神经网络（SNN）通过共享权重分别处理每个循环，并基于其嵌入表示的相似性计算兼容性。
• 在 Free Music Archive（FMA）的精选数据集上训练和评估模型，确保可复现性和开放访问。
• 通过包含 116 名参与者的用户研究进行主观评估，对循环组合在匹配度、可用性和创新性方面进行评分。

实验结果

研究问题

• RQ1 当在合成的正负样本对数据集上进行训练时，深度学习模型能否有效预测音乐循环的感知兼容性？
• RQ2 不同神经网络架构（特别是 CNN 和孪生网络）在预测循环兼容性方面表现如何比较？
• RQ3 负采样策略的选择是否显著影响兼容性预测模型的性能？
• RQ4 基于模型的推荐与真实音乐中提取的实际循环组合相比，在感知质量与可用性方面表现如何？
• RQ5 在循环兼容性预测中，客观指标与主观用户感知之间是否存在差异？

主要发现

• 在主观用户评估中，CNN 模型显著优于孪生神经网络，其匹配度平均意见分（MOS）为 4.0，高于 FMA 中原始循环对的 MOS（3.15）。
• 采用反向负采样策略的 CNN 在感知匹配度和可用性方面表现最佳，甚至优于从真实音乐中提取的原始循环组合。
• AutoMashUpper 在所有主观指标中表现最差，表明仅依赖规则相似性和频谱平衡不足以预测感知兼容性。
• 尽管在客观排序性能上表现更优，孪生网络并未产生比 CNN 更具感知兼容性的组合，揭示了客观与主观评估之间的脱节。
• 模型与原始配对在创新性评分上无显著差异，表明 CNN 输出匹配度更高的原因并非单纯源于新颖性。
• 结果表明，CNN 性能优越可能源于其能够探索比人类制作人手动评估更广泛的循环组合空间。