[论文解读] Weakly supervised CRNN system for sound event detection with large-scale unlabeled in-domain data

Dezhi Wang, Lilun Zhang+4 more|arXiv (Cornell University)|Nov 1, 2018

Music and Audio Processing被引用 6

一句话总结

本文提出了一种弱监督CRNN系统，利用大规模未标注的领域内音频数据来提升声音事件检测（SED）性能。通过使用预训练的音频标记模型为未标注数据生成伪标签，并应用集成策略以减轻噪声标签的影响，该方法在DCASE 2018 SED挑战赛中取得了21.0%的F1分数，相较于基线模型提升了10%。

ABSTRACT

Sound event detection (SED) is typically posed as a supervised learning problem requiring training data with strong temporal labels of sound events. However, the production of datasets with strong labels normally requires unaffordable labor cost. It limits the practical application of supervised SED methods. The recent advances in SED approaches focuses on detecting sound events by taking advantages of weakly labeled or unlabeled training data. In this paper, we propose a joint framework to solve the SED task using large-scale unlabeled in-domain data. In particular, a state-of-the-art general audio tagging model is first employed to predict weak labels for unlabeled data. On the other hand, a weakly supervised architecture based on the convolutional recurrent neural network (CRNN) is developed to solve the strong annotations of sound events with the aid of the unlabeled data with predicted labels. It is found that the SED performance generally increases as more unlabeled data is added into the training. To address the noisy label problem of unlabeled data, an ensemble strategy is applied to increase the system robustness. The proposed system is evaluated on the SED dataset of DCASE 2018 challenge. It reaches a F1-score of 21.0%, resulting in an improvement of 10% over the baseline system.

研究动机与目标

• 通过利用大规模未标注的领域内音频数据，解决声音事件检测（SED）中强时间标签的高标注成本问题。
• 开发一种联合学习框架，结合弱监督CRNN与伪标签未标注数据，以提升SED性能。
• 通过集成策略减轻弱标签数据中伪标签带来的噪声影响，提升模型鲁棒性。
• 在真实世界的SED基准上，展示无监督预训练与领域内数据自训练的有效性。

提出的方法

• 使用最先进的音频标记模型为大规模未标注的领域内音频数据预测弱标签。
• 利用预测的伪标签训练弱监督CRNN架构，以实现具有强时间标注的声音事件定位。
• 在多个模型之间应用集成策略，以降低噪声伪标签的影响并提升泛化能力。
• 联合优化CRNN以进行SED，同时利用弱标签数据和原始标注训练集。
• 通过结合CRNN输出与伪标签置信度的联合损失，端到端训练该框架。

实验结果

研究问题

• RQ1 当与弱监督结合时，大规模未标注的领域内音频数据是否能显著提升SED性能？
• RQ2 从预训练音频标记模型生成的伪标签在多大程度上可减少对昂贵强标注的需求？
• RQ3 集成策略在多大程度上能缓解弱监督SED中由伪标签引入的噪声？
• RQ4 与仅使用监督训练相比，联合使用标注数据与伪标签数据是否能带来更好的泛化性能？

主要发现

• 所提出的系统在DCASE 2018声音事件检测评估集上实现了21.0%的F1分数。
• 相较于基线系统，性能提升了10个百分点，证明了所提方法的有效性。
• 随着更多未标注数据被引入训练过程，系统性能持续提升。
• 集成策略显著增强了鲁棒性，尤其在处理音频标记模型产生的噪声伪标签方面表现突出。