[论文解读] Semi-supervised learning using teacher-student models for vocal melody extraction

Sangeun Kum, Jing-Hua Lin+2 more|arXiv (Cornell University)|Aug 14, 2020

Speech Recognition and Synthesis参考文献 36被引用 16

一句话总结

本文提出一种基于教师-学生模型的半监督学习框架，旨在利用有限的标注数据提升人声旋律提取性能。通过利用大规模未标注音频，并结合一致性正则化的迭代自训练方法，该方法显著提升了模型表现——达到与最先进（SOTA）模型相当的性能，尤其在采用带噪声学生的设置、配合适当的音频增强和未标注数据选择策略时效果更佳。

ABSTRACT

The lack of labeled data is a major obstacle in many music information retrieval tasks such as melody extraction, where labeling is extremely laborious or costly. Semi-supervised learning (SSL) provides a solution to alleviate the issue by leveraging a large amount of unlabeled data. In this paper, we propose an SSL method using teacher-student models for vocal melody extraction. The teacher model is pre-trained with labeled data and guides the student model to make identical predictions given unlabeled input in a self-training setting. We examine three setups of teacher-student models with different data augmentation schemes and loss functions. Also, considering the scarcity of labeled data in the test phase, we artificially generate large-scale testing data with pitch labels from unlabeled data using an analysis-synthesis method. The results show that the SSL method significantly increases the performance against supervised learning only and the improvement depends on the teacher-student models, the size of unlabeled data, the number of self-training iterations, and other training details. We also find that it is essential to ensure that the unlabeled audio has vocal parts. Finally, we show that the proposed SSL method enables a baseline convolutional recurrent neural network model to achieve performance comparable to state-of-the-arts.

研究动机与目标

• 为解决音乐信息检索中，特别是人声旋律提取任务因需昂贵专家标注而导致的标注数据稀缺问题。
• 开发一种半监督学习框架，有效利用大规模未标注音频数据，提升模型泛化能力与性能表现。
• 评估不同教师-学生模型设置、数据增强策略及训练迭代次数在人声旋律提取任务中的有效性。
• 通过分析-合成方法从未标注音频中生成大规模合成测试数据，以缓解标注测试数据不足的问题。

提出的方法

• 采用教师-学生框架，预训练的教师模型通过一致性正则化在未标注数据上指导学生模型。
• 对比三种教师-学生设置：标准学生、一致性正则化（带噪声学生）与模型蒸馏，其中带噪声学生设置表现最佳。
• 应用音高偏移与时间拉伸等数据增强技术，提升学生模型的鲁棒性与泛化能力。
• 执行迭代自训练，即学生模型在伪标签标注的未标注数据上重新训练，并在多轮迭代中监控性能变化。
• 通过分析-合成流水线从多轨音频中提取音高标签，人工生成大规模测试数据，实现在多样化、大规模测试集上的评估。
• 基于原始卷积循环神经网络基线模型，采用所提出的自监督学习方法进行微调，性能达到与最先进模型相当的水平。

实验结果

研究问题

• RQ1 教师-学生半监督学习框架在标注数据有限条件下，对提升人声旋律提取性能的有效性如何？
• RQ2 在真实音乐中存在噪声的场景下，哪种教师-学生设置（标准、一致性正则化或蒸馏）能实现最佳性能与鲁棒性？
• RQ3 数据增强、未标注数据规模及自训练迭代次数对模型性能有何影响？
• RQ4 从未标注音频中生成的合成大规模测试数据，能否提升低资源场景下模型评估的可靠性？
• RQ5 在所提出的自监督学习方法下，简单基线模型在多大程度上可达到最先进水平的性能？

主要发现

• 采用一致性正则化的带噪声学生模型在两次自训练迭代后达到最高平均整体准确率（OA）81.1%，优于其他设置。
• 所提出的自监督学习方法使基线模型在多个测试集（包括MedleyDB与AST218）上的OA提升4.5%至8.5%。
• 在AST218等具有挑战性的数据集上性能提升最为显著，表明模型对复杂音频混音与多样的人声音色具有强鲁棒性。
• 迭代自训练在两次迭代内持续提升性能，之后性能趋于平稳或轻微下降，表明过度迭代存在错误放大的风险。
• 该方法使原始卷积循环神经网络基线模型达到与最先进模型相当的性能，尤其在MedleyDB与MIREX05数据集上表现突出。
• 从多轨音频分析-合成流程生成的合成测试数据在评估中表现有效，进一步验证了该方法在低标注数据场景下的可靠性。