[论文解读] Representation Learning of Music Using Artist, Album, and Track Information

Jongpil Lee, Jiyoung Park+1 more|arXiv (Cornell University)|Jun 27, 2019

Music and Audio Processing参考文献 8被引用 7

一句话总结

本文提出了一种基于事实性元数据（艺术家、专辑和曲目信息）的自监督音乐表征学习方法，而非昂贵的语义标签。通过在音频片段上使用带有对比学习的孪生卷积神经网络（CNN），模型联合学习这些元数据类型，在下游流派分类任务中实现了最先进性能，尤其是在结合全部三种元数据来源时表现更优。

ABSTRACT

Supervised music representation learning has been performed mainly using semantic labels such as music genres. However, annotating music with semantic labels requires time and cost. In this work, we investigate the use of factual metadata such as artist, album, and track information, which are naturally annotated to songs, for supervised music representation learning. The results show that each of the metadata has individual concept characteristics, and using them jointly improves overall performance.

研究动机与目标

• 探索使用事实性、自然存在的音乐元数据（艺术家、专辑、曲目）作为监督表征学习可行性的目标。
• 解决使用流派或情绪等语义标签对音乐进行标注所面临的高成本与模糊性问题。
• 评估从多个元数据层级联合学习是否相比单源学习能提升表征质量。
• 研究负样本数量和训练数据规模对模型性能的影响。
• 通过在外部流派数据集上进行迁移学习，评估所学表征的泛化能力。

提出的方法

• 使用孪生结构的卷积神经网络（CNN）从3秒音频片段中学习音频表征。
• 模型采用带有多个负样本的对比学习方法，以区分正样本对（同一概念）与负样本对（不同概念）。
• 定义了三种独立的相似性概念：艺术家（同一艺术家）、专辑（同一专辑）和曲目（同一曲目），每种概念均采用独立的正/负样本采样策略。
• 联合学习模型将三种概念的损失函数相结合，三个任务间共享参数。
• 模型在Million Song Dataset上进行训练，使用Bertin-Mahieux等人（2011）提供的元数据，采用平衡划分进行训练、验证和测试。
• 通过网格搜索调整超参数，如边距值（艺术家：0.4，专辑：0.25，曲目：0.1）。

实验结果

研究问题

• RQ1 事实性元数据（如艺术家、专辑和曲目信息）能否作为音乐表征学习的有效监督信号？
• RQ2 从多个元数据层级联合学习与分别从每种元数据类型学习相比，性能如何？
• RQ3 负样本数量对对比学习中模型性能有何影响？
• RQ4 训练样本数量如何影响所学表征的质量？
• RQ5 从元数据中学到的表征在多大程度上能泛化到下游流派分类任务？

主要发现

• 联合模型优于单个模型，在曲目概念的保留集正/负对预测中达到0.945的准确率，而单曲目模型为0.922。
• 艺术家模型在迁移学习中表现最佳，在GTZAN数据集上达到0.745的F1分数，优于专辑模型（0.763）和曲目模型（0.745）。
• 联合学习全部三种元数据类型相比最佳单模型略有提升，在GTZAN上达到0.745的F1分数，在NAVER韩语数据集上达到0.686。
• 增加负样本数量可提升性能：GTZAN上的F1分数从1个负样本时的0.665提升至16个负样本时的0.711。
• 更大的训练数据可改善结果：GTZAN上的F1分数从500位艺术家时的0.638提升至10,000位艺术家时的0.755，FMA小数据集和NAVER韩语数据集也呈现类似趋势。
• 迁移学习在GTZAN和FMA小数据集上效果最佳，但在NAVER韩语数据集上效果较弱，原因在于源数据集与目标数据集之间存在跨文化分布差异。