[论文解读] SpecAugment++: A Hidden Space Data Augmentation Method for Acoustic Scene Classification

Helin Wang, Yuexian Zou+1 more|arXiv (Cornell University)|Mar 31, 2021

Music and Audio Processing被引用 8

一句话总结

该论文提出了一种新颖的数据增强方法——SpecAugment++，通过在深度神经网络的输入频谱图和中间隐藏状态上应用特征掩码，用于声学场景分类。通过采用零值掩码和基于小批量的掩码方案（MM 和 CM），该方法提升了模型的泛化能力和鲁棒性，在 DCASE 2018 和 2019 数据集上分别相对于强基线模型实现了 3.6% 和 4.7% 的准确率提升。

ABSTRACT

In this paper, we present SpecAugment++, a novel data augmentation method for deep neural networks based acoustic scene classification (ASC). Different from other popular data augmentation methods such as SpecAugment and mixup that only work on the input space, SpecAugment++ is applied to both the input space and the hidden space of the deep neural networks to enhance the input and the intermediate feature representations. For an intermediate hidden state, the augmentation techniques consist of masking blocks of frequency channels and masking blocks of time frames, which improve generalization by enabling a model to attend not only to the most discriminative parts of the feature, but also the entire parts. Apart from using zeros for masking, we also examine two approaches for masking based on the use of other samples within the minibatch, which helps introduce noises to the networks to make them more discriminative for classification. The experimental results on the DCASE 2018 Task1 dataset and DCASE 2019 Task1 dataset show that our proposed method can obtain 3.6% and 4.7% accuracy gains over a strong baseline without augmentation (i.e. CP-ResNet) respectively, and outperforms other previous data augmentation methods.

研究动机与目标

• 解决因训练数据有限导致声学场景分类中过拟合的问题。
• 通过增强输入频谱图以及中间隐藏特征表示，提升模型泛化能力。
• 探索隐藏空间中的掩码策略，以增强鲁棒性，同时不改变标签监督。
• 评估零值掩码和基于小批量的掩码（MM/CM）对模型性能的影响。
• 确定隐藏空间增强中最佳的掩码比例和层选择。

提出的方法

• 在卷积神经网络层的输入对数梅尔频谱图和中间特征图上应用时间掩码和频率掩码。
• 采用三种掩码方案：零值掩码（ZM）、基于小批量的混合掩码（MM）和基于小批量的剪切掩码（CM）。
• MM 使用同一批次中其他样本的时间/频率分量替换被掩码区域，引入自然干扰。
• CM 使用来自其他样本的不连续片段替换被掩码区域，可能引入伪影。
• 该方法在多个网络层上应用，其中高层的增强带来的性能提升小于输入层或早期层的增强。
• 增强过程中标签保持不变，与 mixup 或 BC 学习相比，确保了训练稳定性。

实验结果

研究问题

• RQ1 在输入空间增强之外，增强中间隐藏状态是否能进一步提升声学场景分类的泛化能力？
• RQ2 不同的掩码策略——零值掩码、基于小批量的混合掩码和基于小批量的剪切掩码——如何影响模型的鲁棒性和准确率？
• RQ3 在输入空间和隐藏空间中，时间掩码和频率掩码的最佳掩码比例是多少？
• RQ4 在性能增益方面，哪些网络层从隐藏空间增强中受益最多？
• RQ5 结合输入空间和隐藏空间增强是否优于现有的最先进数据增强技术？

主要发现

• SpecAugment++ 在 DCASE 2018 数据集上相对于 CP-ResNet 基线模型实现了 3.6% 的准确率提升，在 DCASE 2019 数据集上实现了 4.7% 的提升，优于先前方法。
• 基于小批量的混合掩码（MM）方案始终优于零值掩码（ZM），表明使用批次中真实数据可提升模型鲁棒性。
• 时间掩码和频率掩码的最佳掩码比例在 10% 至 25% 之间，超过此范围性能会因信息过度损失而下降。
• 在早期层（如第 0 层或第 1 层）进行增强带来的性能增益大于后期层，因为这些层捕获了更多感知相关的特征。
• 在所有层（输入 + 隐藏状态）上应用增强可获得最佳性能，其中 MM 在 DCASE 2019 上达到 82.6% 的准确率。
• 该方法计算效率高且稳定，因其保留了原始标签，与 mixup 或 BC 学习不同，后者需要标签插值。