[论文解读] SpecMix : A Mixed Sample Data Augmentation method for Training withTime-Frequency Domain Features

Gwantae Kim, David K. Han+1 more|arXiv (Cornell University)|Aug 6, 2021

Speech and Audio Processing参考文献 25被引用 11

一句话总结

本文提出SpecMix，一种专为音频处理中时频域特征设计的混合样本数据增强方法。通过应用自适应的时间-频率掩码，将两个音频频谱图混合，同时保留频谱相关性，SpecMix在声学场景分类、声音事件分类和语音增强任务中提升了模型泛化能力，相较于基线模型最高实现2.7%的准确率提升。

ABSTRACT

A mixed sample data augmentation strategy is proposed to enhance the performance of models on audio scene classification, sound event classification, and speech enhancement tasks. While there have been several augmentation methods shown to be effective in improving image classification performance, their efficacy toward time-frequency domain features of audio is not assured. We propose a novel audio data augmentation approach named "Specmix" specifically designed for dealing with time-frequency domain features. The augmentation method consists of mixing two different data samples by applying time-frequency masks effective in preserving the spectral correlation of each audio sample. Our experiments on acoustic scene classification, sound event classification, and speech enhancement tasks show that the proposed Specmix improves the performance of various neural network architectures by a maximum of 2.7%.

研究动机与目标

• 解决现有数据增强方法（最初为图像设计）在应用于音频时频特征（如频谱图）时的局限性。
• 开发一种混合样本数据增强策略，在训练过程中保留频谱相关性和显著的音频特征。
• 在不增加模型复杂度的前提下，提升深度神经网络在音频处理任务中的泛化能力和鲁棒性。
• 实现与现有训练流程的无缝集成，适用于ResNet、U-Net等在音频分类和增强中使用的架构。

提出的方法

• SpecMix通过使用可学习的二值掩码M，将两个输入频谱图组合生成增强样本，该掩码选择性地保留或替换来自每个输入的区域。
• 该方法通过掩码M及其补集(1-M)的逐元素乘法，混合来自两个不同音频样本的特征：x̃ = M ⊙ xA + (1-M) ⊙ xB。
• 混合样本的标签为原始标签的加权平均：ỹ = λyA + (1-λ)yB，其中λ为来自第一张样本的像素比例。
• 掩码策略专为时频特征设计，避免任意裁剪或零掩码，防止频谱内容失真。
• 该方法兼容分类和回归任务，包括语音增强任务，其中干净和噪声频谱图可联合增强。
• 该方法计算效率高，可轻松集成到音频应用中深度学习模型的标准训练工作流中。

实验结果

研究问题

• RQ1 为图像设计的混合样本数据增强策略能否有效适应音频频谱图中的时频相关性？
• RQ2 在音频分类和增强任务中，SpecMix相较于Mixup、Cutmix和Specaugment等现有增强方法的性能如何？
• RQ3 何种掩码策略最能保留频谱结构，同时实现在时频表示中的有效数据混合？
• RQ4 SpecMix是否能在声学场景分类、声音事件分类和语音增强等多样化音频任务中提升泛化能力？
• RQ5 在不同音频任务中，最大化性能的最优混合比例γ是多少？

主要发现

• 在TAU Urban Acoustic Scenes 2020 Mobile基准上，SpecMix将声学场景分类准确率提升2.7%，优于Mixup（71.29%）和Cutmix（70.92%）。
• 在SECL_UMONS声音事件分类基准上，SpecMix达到97.11%的准确率，较无增强基线（96.07%）提升1.04%。
• 在VoiceBank + DEMAND数据集的语音增强任务中，SpecMix取得最高的PESQ分数（2.54）和SSNR（9.57），优于Cutmix（2.52，9.48）和无增强（2.50，9.26）。
• 最优混合比例γ = 0.3在语音增强任务中表现最佳，表明对源信号平衡的敏感性。
• 在所有评估任务中，SpecMix始终优于Mixup、Cutmix和Specaugment，展现出更优的泛化能力和频谱保真度。
• 消融研究证实，SpecMix的性能对掩码策略敏感，时间与频率联合掩码效果最佳（TAU Urban上准确率为70.79%）。