[论文解读] PSLA: Improving Audio Event Classification with Pretraining, Sampling, Labeling, and Aggregation.

Yuan Gong, Yu-An Chung+1 more|arXiv (Cornell University)|Feb 2, 2021

Music and Audio Processing被引用 13

一句话总结

该论文提出了PSLA，一种训练技术框架——ImageNet预训练、均衡采样、数据增强、标签增强和模型聚合——显著提升了音频事件分类性能。通过在AudioSet数据集上将这些方法应用于EfficientNet模型，PSLA在mAP指标上达到0.474的新SOTA结果，超越了此前最佳结果0.439。

ABSTRACT

Audio event classification is an active research area and has a wide range of applications. Since the release of AudioSet, great progress has been made in advancing the classification accuracy, which mostly comes from the development of novel model architectures and attention modules. However, we find that appropriate training techniques are equally important for building audio event classification models with AudioSet, but have not received the attention they deserve. To fill the gap, in this work, we present PSLA, a collection of training techniques that can noticeably boost the model accuracy including ImageNet pretraining, balanced sampling, data augmentation, label enhancement, model aggregation and their design choices. By training an EfficientNet with these techniques, we obtain a model that achieves a new state-of-the-art mean average precision (mAP) of 0.474 on AudioSet, outperforming the previous best system of 0.439.

研究动机与目标

• 为解决训练技术在音频事件分类中被低估的作用，尽管其对模型性能具有关键影响。
• 识别并评估可显著提升模型在AudioSet基准上准确率的关键训练组件。
• 证明系统性训练改进可超越仅依赖架构创新，在音频事件分类中实现更优性能。
• 建立一个实用、高效且可复现的音频事件分类模型训练流水线。

提出的方法

• 使用ImageNet预训练初始化音频模型主干网络，利用视觉到音频表征学习的迁移学习。
• 实施均衡采样，确保训练过程中所有音频事件类别得到均衡表示，缓解类别不平衡问题。
• 应用数据增强技术以增加训练数据多样性并提升泛化能力。
• 通过伪标签或置信度过滤等方法增强弱监督标签，提升监督质量。
• 对多个训练好的模型进行模型聚合，以降低方差并提升鲁棒性。
• 将所有技术整合为统一流水线（PSLA），并在AudioSet数据集上以mAP为主要指标进行评估。

实验结果

研究问题

• RQ1 不同训练技术对AudioSet上音频事件分类模型性能的影响如何？
• RQ2 在ImageNet上进行预训练能否提升下游音频事件分类任务的音频表征学习能力？
• RQ3 均衡采样与数据增强在多大程度上能提升模型泛化能力和mAP？
• RQ4 标签增强与模型聚合能否在单个技术基础上进一步提升性能？
• RQ5 当所有技术整合到单一训练流水线中时，其综合效应如何？

主要发现

• PSLA框架通过整合预训练、采样、标签优化与模型聚合，在AudioSet验证集上实现了0.474的新SOTA mAP。
• ImageNet预训练显著改善了初始特征学习，有助于更快收敛并提升性能。
• 均衡采样有效缓解了低频类音频事件的性能下降问题。
• 数据增强提升了模型鲁棒性与泛化能力，尤其在低资源场景下表现突出。
• 标签增强提升了监督质量，尤其对AudioSet中的弱标签数据效果显著。
• 对多个训练模型进行聚合可带来一致的性能增益并降低方差。