[论文解读] Urban Sound Classification : striving towards a fair comparison

Augustin Arnault, Baptiste Hanssens+1 more|arXiv (Cornell University)|Oct 22, 2020

Music and Audio Processing参考文献 25被引用 4

一句话总结

本文提出了一种在 DCASE 2020 任务 5 中获奖的城市声音分类解决方案，在验证数据集上实现了粗分类的宏平均 AUPRC 为 0.82，细分类为 0.62，在 ESC-50 和 US8k 数据集上的准确率分别为 89.7% 和 85.41%。该方法提出了一套公平的比较框架，通过统一的输入表示、指标和优化器，实现了跨数据集模型的可复现评估。

ABSTRACT

Urban sound classification has been achieving remarkable progress and is still an active research area in audio pattern recognition. In particular, it allows to monitor the noise pollution, which becomes a growing concern for large cities. The contribution of this paper is two-fold. First, we present our DCASE 2020 task 5 winning solution which aims at helping the monitoring of urban noise pollution. It achieves a macro-AUPRC of 0.82 / 0.62 for the coarse / fine classification on validation set. Moreover, it reaches accuracies of 89.7% and 85.41% respectively on ESC-50 and US8k datasets. Second, it is not easy to find a fair comparison and to reproduce the performance of existing models. Sometimes authors copy-pasting the results of the original papers which is not helping reproducibility. As a result, we provide a fair comparison by using the same input representation, metrics and optimizer to assess performances. We preserve data augmentation used by the original papers. We hope this framework could help evaluate new architectures in this field. For better reproducibility, the code is available on our GitHub repository.

研究动机与目标

• 提出一种在城市声音分类任务中表现领先的技术方案，该方案在 DCASE 2020 任务 5 比赛中获奖。
• 通过标准化输入表示、指标和优化过程，解决音频模式识别中缺乏公平且可复现的模型比较问题。
• 利用统一的评估框架，在多个数据集（ESC-50、US8k、SONYC-UST）上评估模型性能，确保客观比较。
• 通过发布代码并指出频谱图计算与指标实现中的不一致性，提升模型的可复现性。
• 研究标签质量以及重标注策略对模型性能的影响，尤其在 SONYC-UST 等噪声较大的数据集上。

提出的方法

• 模型使用原始音频输入，通过 Librosa 将其转换为对数梅尔频谱图，以确保特征提取的一致性。
• 采用混合架构，结合基于改进 TALNet 的全局特征提取器（含 10 个卷积块和一个 Bi-GRU 层）与具有残差连接的特定特征提取器。
• 模型引入多头自注意力机制，以捕捉长程时间依赖关系，提升细粒度分类性能。
• 数据增强技术包括时间扭曲、频率掩码、时间掩码以及随机缩放，源自 SpecAugment 和 Argus。
• 针对 SONYC-UST 应用了重标注策略，以纠正志愿者标注中不一致的标签，提升模型鲁棒性。
• 所有模型均使用相同的优化器（Adam）、损失函数（二元交叉熵）和指标（宏平均 AUPRC、准确率），确保公平比较。

实验结果

研究问题

• RQ1 统一的评估框架（包含一致的输入表示、指标和优化器）在城市声音分类中如何提升模型比较的可复现性与公平性？
• RQ2 标签质量对模型性能有何影响，尤其是在 SONYC-UST 等可能存在不可靠志愿者标注的数据集上？
• RQ3 自注意力增强的架构是否能在捕捉城市声音事件的长程时间模式方面超越卷积模型？
• RQ4 不同的频谱图计算方法（如 Librosa 与 PyTorch）对模型性能和可复现性有何影响？
• RQ5 数据增强技术及其实施细节（如 Mixup 变体）的差异在多大程度上影响模型泛化能力与报告结果？

主要发现

• 所提出的模型在 DCASE 2020 任务 5 验证集上，粗分类的宏平均 AUPRC 达到 0.82，细分类为 0.62。
• 在 ESC-50 数据集上，模型准确率达到 89.7%，优于多个基线模型。
• 在 US8k 数据集上，模型准确率达到 85.41%，展现出优异的跨数据集泛化能力。
• 在 SONYC-UST 上，该模型在粗分类任务中优于 CNN10，但在细分类任务中被 CNN10 超越。
• 重标注策略显著提升了 SONYC-UST 上的性能，表明标签噪声是现实世界数据集中主要的混淆因素。
• 在不同框架中观察到指标计算（尤其是 AUC 和 F1）存在差异，凸显了标准化评估的必要性。