[论文解读] Self-training with noisy student model and semi-supervised loss function for dcase 2021 challenge task 4

Nam Kyun Kim, Hong Kook Kim|arXiv (Cornell University)|Jul 6, 2021

Music and Audio Processing参考文献 14被引用 10

一句话总结

本论文针对 DCASE 2021 挑战赛任务 4 中的多音声音事件检测（SED）问题，提出了一种两阶段自训练框架，采用基于均值教师（mean-teacher）模型为弱监督数据和无标签数据生成伪标签，随后利用数据增强和半监督损失函数训练一个噪声学生（noisy student）模型。该方法通过迭代优化和集成建模实现了优异性能，验证了在低资源 SED 场景下伪标签和噪声注入的有效性。

ABSTRACT

This report proposes a polyphonic sound event detection (SED) method for the DCASE 2021 Challenge Task 4. The proposed SED model consists of two stages: a mean-teacher model for providing target labels regarding weakly labeled or unlabeled data and a self-training-based noisy student model for predicting strong labels for sound events. The mean-teacher model, which is based on the residual convolutional recurrent neural network (RCRNN) for the teacher and student model, is first trained using all the training data from a weakly labeled dataset, an unlabeled dataset, and a strongly labeled synthetic dataset. Then, the trained mean-teacher model predicts the strong label to each of the weakly labeled and unlabeled datasets, which is brought to the noisy student model in the second stage of the proposed SED model. Here, the structure of the noisy student model is identical to the RCRNN-based student model of the mean-teacher model in the first stage. Then, it is self-trained by adding feature noises, such as time-frequency shift, mixup, SpecAugment, and dropout-based model noise. In addition, a semi-supervised loss function is applied to train the noisy student model, which acts as label noise injection. The performance of the proposed SED model is evaluated on the validation set of the DCASE 2021 Challenge Task 4, and then, several ensemble models that combine five-fold validation models with different hyperparameters of the semi-supervised loss function are finally selected as our final models.

研究动机与目标

• 通过利用弱标签数据和无标签数据，解决多音 SED 中强标签数据有限的挑战。
• 通过结合均值教师与噪声学生框架的两阶段训练流程，提升 SED 性能。
• 探究数据增强与半监督损失在改进弱监督 SED 中伪标签质量方面的有效性。
• 通过残差卷积循环神经网络（RCRNN）架构设计鲁棒模型，以提升时间与频谱建模能力。
• 通过在半监督损失函数不同超参数配置下的集成学习，优化模型泛化能力。

提出的方法

• 首先在所有可用数据（包括弱标签数据、无标签数据和合成的强标签数据）上训练一个基于 RCRNN 的均值教师模型。
• 训练好的均值教师模型为弱标签数据和无标签数据生成高质量伪标签，作为第二阶段的监督信号。
• 初始化一个结构与均值教师设置中学生模型相同的噪声学生模型，并在伪标签数据上进行自训练。
• 在噪声学生训练过程中，应用特征级数据增强技术——时间-频率偏移、Mixup、SpecAugment，以及基于 Dropout 的模型噪声。
• 使用半监督损失函数注入标签噪声，以增强自训练过程中的鲁棒性与泛化能力。
• 对五折验证模型（采用不同半监督损失超参数）进行集成，生成最终模型。

实验结果

研究问题

• RQ1 在多音 SED 中，均值教师模型能否有效为弱标签和无标签数据生成可靠的伪标签？
• RQ2 多种数据增强技术的整合在低资源 SED 场景下，如何提升噪声学生模型的泛化能力？
• RQ3 当与伪标签和噪声注入结合时，半监督损失函数在多大程度上能增强模型鲁棒性？
• RQ4 在不同半监督损失超参数配置下，对多个模型进行集成学习是否能提升在 DCASE 2021 验证集上的最终 SED 性能？
• RQ5 当仅有有限的强标签数据时，两阶段自训练框架是否能优于标准的监督基线模型？

主要发现

• 所提出的两阶段框架通过伪标签技术有效利用无标签和弱标签数据，显著提升了 SED 性能。
• 多种数据增强技术（时间-频率偏移、Mixup、SpecAugment 和 Dropout）的结合显著增强了模型的鲁棒性与泛化能力。
• 半监督损失函数有效起到了标签噪声注入的作用，提升了模型的稳定性和性能。
• 将五折验证模型（采用不同半监督损失超参数）进行集成，使模型在 DCASE 2021 验证集上取得了最佳性能。
• 均值教师模型成功生成了高质量伪标签，为噪声学生阶段的有效自训练提供了保障。
• 基于 RCRNN 的模型架构在捕捉多音声音事件中复杂的时序与频谱模式方面表现出色。