[论文解读] SubSpectralNet - Using Sub-Spectrogram based Convolutional Neural Networks for Acoustic Scene Classification

Sai Samarth R Phaye, Emmanouil Benetos+1 more|arXiv (Cornell University)|Oct 30, 2018

Music and Audio Processing参考文献 21被引用 10

一句话总结

SubSpectralNet 提出了一种新型的 CNN 架构，通过处理频带范围内的子频谱图（sub-spectrograms）——即梅尔频谱图的频率带裁剪区域——来增强声学场景分类的特征学习。通过在频率带-wise 特征上分别训练子分类器，并在全局层面进行融合，该模型相较于 DCASE 2018 基线模型实现了 14% 的准确率提升，表明频带特定的判别性特征显著提升了性能。

ABSTRACT

Acoustic Scene Classification (ASC) is one of the core research problems in the field of Computational Sound Scene Analysis. In this work, we present SubSpectralNet, a novel model which captures discriminative features by incorporating frequency band-level differences to model soundscapes. Using mel-spectrograms, we propose the idea of using band-wise crops of the input time-frequency representations and train a convolutional neural network (CNN) on the same. We also propose a modification in the training method for more efficient learning of the CNN models. We first give a motivation for using sub-spectrograms by giving intuitive and statistical analyses and finally we develop a sub-spectrogram based CNN architecture for ASC. The system is evaluated on the public ASC development dataset provided for the "Detection and Classification of Acoustic Scenes and Events" (DCASE) 2018 Challenge. Our best model achieves an improvement of +14% in terms of classification accuracy with respect to the DCASE 2018 baseline system. Code and figures are available at https://github.com/ssrp/SubSpectralNet

研究动机与目标

• 探究频谱图中的特定频率带是否携带对声学场景分类具有判别性的信息。
• 开发一种显式建模子频谱图的 CNN 架构，以增强特征表示能力。
• 证明与标准全局频谱图处理相比，从局部频率带学习可提升分类准确率。
• 在 DCASE 2018 ASC 开发数据集上验证方法，并与基线模型进行定量比较。

提出的方法

• 该方法以对数梅尔频谱图为输入，引入一种新型卷积层，根据用户定义的频率带大小和步长将输入分割为子频谱图。
• 每个子频谱图由独立的子分类器（小型 CNN）处理，实现在不同频率带上的局部化特征学习。
• 所有子分类器的输出被拼接后输入全局分类器，完成最终的场景预测。
• 采用改进的训练策略，使子分类器的梯度独立反向传播，以增强各频带的特征判别能力。
• 模型使用立体输入进行训练，第一卷积层采用 7×7 的卷积核大小，该设置通过卷积核大小的消融实验确定。
• 超参数如子频谱图大小和梅尔频bin步长通过经验调优以最大化性能。

实验结果

研究问题

• RQ1 梅尔频谱图中的特定频率带是否对某些声学场景比其他频带携带更多判别性信息？
• RQ2 在子频谱图（频率带裁剪区域）上分别训练 CNN 是否能带来比在完整频谱图上使用单一全局 CNN 更好的特征学习效果？
• RQ3 SubSpectralNet 在准确率和收敛速度方面与 DCASE 2018 基线系统相比表现如何？
• RQ4 子分类器的训练对整体模型性能有何影响，是否显著提升了结果？
• RQ5 SubSpectralNet 是否能在参数量更少的情况下实现优于更大基线模型的准确率？

主要发现

• SubSpectralNet 在使用 200 个梅尔频bin的 DCASE 2018 开发数据集上实现了 74.08% 的测试准确率，相较于 DCASE 2018 基线模型提升了 +14%。
• 在使用 40 个梅尔频bin和 20 个子频谱图大小的设置下，准确率达到 72.18%，优于一个参数量为 434K 的更大基线模型。
• 若排除子分类器的反向传播，准确率下降至 68.79%，证实了频带特定学习的重要性。
• 在训练过程中，SubSpectralNet 模型收敛更快且达到的测试准确率高于 DCASE 2018 基线模型。
• 使用 200 个梅尔频bin、最优子频谱图大小（30）和步长（10）时性能最佳，验证了频率带感知特征学习的有效性。
• 参数量为 331K 的模型优于参数量为 434K 的更大基线模型，表明模型架构设计的重要性超过参数数量本身。