[论文解读] Multitask Learning for Fundamental Frequency Estimation in Music

Rachel Bittner|arXiv (Cornell University)|Sep 2, 2018

Music and Audio Processing参考文献 38被引用 12

一句话总结

本文提出一种多任务深度学习模型，通过共享主干网络与任务特定分支，联合估计多种音乐任务中的基频（f0）——包括多F0、旋律、人声和低音线条估计。该模型在单任务基线模型上表现更优，且随着任务数量增加，性能进一步提升，包括在合成数据上训练的模型，表明共享表征学习在多音音乐f0估计中的优势。

ABSTRACT

Fundamental frequency (f0) estimation from polyphonic music includes the tasks of multiple-f0, melody, vocal, and bass line estimation. Historically these problems have been approached separately, and only recently, using learning-based approaches. We present a multitask deep learning architecture that jointly estimates outputs for various tasks including multiple-f0, melody, vocal and bass line estimation, and is trained using a large, semi-automatically annotated dataset. We show that the multitask model outperforms its single-task counterparts, and explore the effect of various design decisions in our approach, and show that it performs better or at least competitively when compared against strong baseline methods.

研究动机与目标

• 通过在相关f0估计任务间采用多任务学习，缓解音乐中f0标注数据稀缺的问题。
• 通过在旋律、人声、低音和多F0任务间共享表征，提升f0估计的泛化能力和性能。
• 探究在训练中引入合成音频（钢琴/吉他）对提升真实多音音乐泛化能力的影响。
• 研究尽管采用共享表征学习，多任务训练是否仍能超越任务特定模型。
• 识别当前f0估计中的局限性，特别是音节判别与音色区分问题，并提出改进建议。

提出的方法

• 共享的卷积神经网络主干网络处理原始音频，提取所有任务的分层特征。
• 在共享特征上附加任务特定分支，以预测旋律、人声、低音和多F0估计的f0。
• 对谐波CQT（HCQT）进行掩码处理，以抑制非谐波成分，使模型聚焦于与音高相关的特征。
• 使用真实数据、半自动标注数据以及钢琴和吉他生成的合成音频，端到端训练模型。
• 损失函数设计用于优化f0准确性，分别针对音节判别和音高追踪设定目标。
• 采用数据增强和合成数据生成技术，提升音乐音色和多音程度的多样性与覆盖范围。

实验结果

研究问题

• RQ1 与单任务模型相比，多任务学习是否在多个音乐任务中均提升f0估计性能？
• RQ2 在多任务模型中引入合成音频数据如何影响其性能？
• RQ3 在多任务学习框架中增加任务数量对整体f0估计准确率有何影响？
• RQ4 为何模型在音节检测方面表现欠佳，尤其是人声和低音部分，应如何缓解？
• RQ5 共享表征学习在多音f0估计任务间的泛化能力提升程度如何？

主要发现

• 该多任务模型在多个数据集和任务（包括旋律、人声和低音f0估计）中均优于所有单任务基线模型。
• 随着任务数量的增加，性能持续提升，即使部分任务仅在合成数据上训练，也表明知识迁移有效。
• 引入合成钢琴和吉他数据显著提升了多F0估计性能，且未降低其他任务的性能。
• 模型在旋律和多F0任务上表现优异，但在音节检测方面表现较弱，尤其在人声和低音部分，原因在于音色建模不足。
• 模型在低音f0估计方面性能较弱，可能由于自动音高追踪器产生的标注存在八度错误和音节错误。
• 模型依赖掩码后的HCQT特征，限制了其捕捉非谐波起音瞬态的能力，表明需引入额外的起音建模机制。