[论文解读] Sample Mixed-Based Data Augmentation for Domestic Audio Tagging

Shengyun Wei, Kele Xu+4 more|arXiv (Cornell University)|Aug 12, 2018

Music and Audio Processing参考文献 21被引用 23

一句话总结

本文提出了一种基于样本混合的数据增强方法——具体为 mixup、SamplePairing 和外推法——以提升使用带有注意力机制的 CRNN 在国内音频标记任务中的泛化能力。在 DCASE 2016 Task 4 数据集上，mixup 在 α=1.5 时实现了最先进的等错误率（EER）0.10，优于基线模型，展现出更优的稳定性和泛化能力。

ABSTRACT

Audio tagging has attracted increasing attention since last decade and has various potential applications in many fields. The objective of audio tagging is to predict the labels of an audio clip. Recently deep learning methods have been applied to audio tagging and have achieved state-of-the-art performance, which provides a poor generalization ability on new data. However due to the limited size of audio tagging data such as DCASE data, the trained models tend to result in overfitting of the network. Previous data augmentation methods such as pitch shifting, time stretching and adding background noise do not show much improvement in audio tagging. In this paper, we explore the sample mixed data augmentation for the domestic audio tagging task, including mixup, SamplePairing and extrapolation. We apply a convolutional recurrent neural network (CRNN) with attention module with log-scaled mel spectrum as a baseline system. In our experiments, we achieve an state-of-the-art of equal error rate (EER) of 0.10 on DCASE 2016 task4 dataset with mixup approach, outperforming the baseline system without data augmentation.

研究动机与目标

• 为解决因训练数据有限，特别是在 DCASE 2016 这类小数据集上导致的过拟合问题。
• 通过在输入的时间-频率表示上应用基于样本混合的数据增强技术，提升模型的泛化能力。
• 评估 mixup、SamplePairing 和外推法在提升音频标记任务性能方面的有效性。
• 确定最优超参数（如 mixup 的 α 系数），以提升模型稳定性和性能。
• 比较不同数据增强策略对少数类别的影响以及整体模型鲁棒性。

提出的方法

• 通过使用由 α 参数化的 Beta 分布，在输入空间中线性组合两个训练样本，实现 mixup 数据增强。
• 利用 SamplePairing 方法通过将一个音频频谱图叠加到另一个上生成新样本，同时保留第一个样本的标签。
• 采用基于外推的增强方法生成超出训练分布的样本，以增强多样性。
• 采用包含 7 个卷积模块、批量归一化、最大池化、Dropout 和 ELU 激活函数的 CRNN 架构进行特征提取。
• 集成注意力机制以聚焦于相关的时间段，减少噪声影响。
• 使用二元交叉熵损失函数训练模型，并基于验证损失采用早停策略，防止过拟合。

实验结果

研究问题

• RQ1 基于样本混合的数据增强是否能提升在小数据集（如 DCASE 2016 Task 4）上的音频标记任务中的泛化能力？
• RQ2 与其它样本混合方法（如 SamplePairing、外推法）相比，mixup 在性能和稳定性方面表现如何？
• RQ3 在 EER 和方差方面，mixup 超参数 α 的最优值是多少？
• RQ4 不同增强策略如何影响少数类别（如“成年男性语音 (m)”）的分类表现？
• RQ5 数据增强是否能缩小训练与验证性能之间的差距，表明更好的泛化能力？

主要发现

• 在 DCASE 2016 Task 4 的评估集上，α=1.5 的 mixup 方法实现了最先进的 EER 0.10，优于无增强的基线 CRNN 模型。
• 在 α=1.5 时，mixup 方法实现了最低的 EER 方差（4.11×10⁻³），表明模型具有更优的稳定性。
• 未经微调的 SamplePairing 在少数类别上表现较差，尤其是“成年男性语音 (m)”，这是由于固定插值导致的标签混淆。
• 随着 α 增大，训练准确率下降，但验证损失在 α=1.5 时最小化，表明泛化能力更优。
• 未使用 mixup 的模型在训练过程中，训练与验证损失的差距随训练轮次增加而扩大，表明存在过拟合；而 mixup 有效减小了这一差异。
• 所提出的带 mixup 的 CRNN 模型在泛化能力上优于基线模型（DAE-DNN、CGRNN、ATT-LOC），其 EER 分别为 0.15、0.13 和 0.13。