[论文解读] SoundCLR: Contrastive Learning of Representations For Improved Environmental Sound Classification

Alireza Nasiri, Jianjun Hu|arXiv (Cornell University)|Mar 2, 2021

Music and Audio Processing参考文献 44被引用 16

一句话总结

SoundCLR 提出了一种结合监督对比学习与交叉熵损失的混合损失训练框架，用于环境声音分类，通过在原始音频和对数梅尔频谱图上应用强数据增强，实现了在 ESC-10 上 99.75%、ESC-50 上 93.4%、US8K 上 86.49% 的最先进准确率，通过解耦类别表征并提升对噪声的鲁棒性。

ABSTRACT

Environmental Sound Classification (ESC) is a challenging field of research in non-speech audio processing. Most of current research in ESC focuses on designing deep models with special architectures tailored for specific audio datasets, which usually cannot exploit the intrinsic patterns in the data. However recent studies have surprisingly shown that transfer learning from models trained on ImageNet is a very effective technique in ESC. Herein, we propose SoundCLR, a supervised contrastive learning method for effective environment sound classification with state-of-the-art performance, which works by learning representations that disentangle the samples of each class from those of other classes. Our deep network models are trained by combining a contrastive loss that contributes to a better probability output by the classification layer with a cross-entropy loss on the output of the classifier layer to map the samples to their respective 1-hot encoded labels. Due to the comparatively small sizes of the available environmental sound datasets, we propose and exploit a transfer learning and strong data augmentation pipeline and apply the augmentations on both the sound signals and their log-mel spectrograms before inputting them to the model. Our experiments show that our masking based augmentation technique on the log-mel spectrograms can significantly improve the recognition performance. Our extensive benchmark experiments show that our hybrid deep network models trained with combined contrastive and cross-entropy loss achieved the state-of-the-art performance on three benchmark datasets ESC-10, ESC-50, and US8K with validation accuracies of 99.75\%, 93.4\%, and 86.49\% respectively. The ensemble version of our models also outperforms other top ensemble methods. The code is available at https://github.com/alireza-nasiri/SoundCLR.

研究动机与目标

• 通过学习解耦的表征，分离不同类别的样本，以提升环境声音分类（ESC）的性能。
• 通过引入监督对比损失，增强类间边界，解决标准交叉熵损失泛化能力有限的问题。
• 利用迁移学习和强数据增强，提升小规模 ESC 数据集上的性能。
• 评估混合损失训练（对比损失 + 交叉熵损失）在提升模型准确率和鲁棒性方面的有效性。
• 证明对比学习可增强模型在真实世界音频中对背景噪声的鲁棒性。

提出的方法

• 模型使用在 ImageNet 上预训练的 ResNet-50 主干网络进行特征提取，并在音频频谱图上进行微调。
• 混合损失函数结合了监督对比损失与交叉熵损失，通过超参数 α 平衡两者的贡献。
• 对比损失在表征空间中拉近正样本对（同一样本的增强视图），并推开负样本对（不同类别的样本）。
• 在原始音频信号及其对数梅尔频谱图上应用数据增强，包括在频谱图上进行掩码操作，以提升鲁棒性。
• 使用组合损失端到端训练模型，α = 0.5 在所有数据集上均被确定为最优值。
• 通过平均五个独立训练的 ResNet-50 模型（使用混合损失）的预测结果，构建集成模型。

实验结果

研究问题

• RQ1 与标准交叉熵训练相比，监督对比学习是否能提升环境声音分类中的表征学习？
• RQ2 将对比损失与交叉熵损失结合，对小规模音频数据集的分类准确率有何影响？
• RQ3 基于掩码的数据增强对对数梅尔频谱图的影响如何，是否显著提升模型泛化能力？
• RQ4 混合损失框架如何提升测试集中对背景噪声的鲁棒性？
• RQ5 所提出的方法是否能在 ESC-10、ESC-50 和 US8K 等标准 ESC 基准上实现最先进性能？

主要发现

• 当 α = 0.5 时，混合损失在所有三个数据集上均达到最高验证准确率，证实了两种优化目标的互补性。
• SoundCLR 在 ESC-10 上达到 99.75% 的准确率，在 ESC-50 上达到 93.4%，在 US8K 上达到 86.49%，创下新的最先进结果。
• 使用混合损失训练的五个 ResNet-50 模型的集成模型在 ESC-50 上达到 93.6% 的准确率，在 US8K 上达到 88.01%，优于以往的集成方法。
• 采用对比损失训练的模型在白噪声环境下表现出更慢的准确率下降速度，表明其因更大的类间边界而具备更强的鲁棒性。
• 在对数梅尔频谱图上应用基于掩码的数据增强显著提升了识别性能，尤其在噪声环境下效果更明显。
• 混合训练策略优于仅使用交叉熵损失或仅使用对比损失的训练方式，证明了联合监督的优势。