[论文解读] Sample-level CNN Architectures for Music Auto-tagging Using Raw Waveforms

Tae‐Jun Kim, Jongpil Lee+1 more|arXiv (Cornell University)|Oct 28, 2017

Music and Audio Processing参考文献 17被引用 13

一句话总结

该论文提出了一种基于原始波形的样本级1D CNN架构用于音乐自动标记，结合了ResNet跳跃连接和挤压-激励（SE）模块以增强特征学习。通过将多层级特征聚合与先进模块相结合，该模型在MagnaTagATune数据集上达到最先进性能，并在Million Song Dataset上取得具有竞争力的结果，可视化结果表明网络各层对音频特征实现了分层处理。

ABSTRACT

Recent work has shown that the end-to-end approach using convolutional neural network (CNN) is effective in various types of machine learning tasks. For audio signals, the approach takes raw waveforms as input using an 1-D convolution layer. In this paper, we improve the 1-D CNN architecture for music auto-tagging by adopting building blocks from state-of-the-art image classification models, ResNets and SENets, and adding multi-level feature aggregation to it. We compare different combinations of the modules in building CNN architectures. The results show that they achieve significant improvements over previous state-of-the-art models on the MagnaTagATune dataset and comparable results on Million Song Dataset. Furthermore, we analyze and visualize our model to show how the 1-D CNN operates.

研究动机与目标

• 使用原始波形而非手工制作的频谱图来提升音乐自动标记性能。
• 将先进的2D图像分类模块——ResNets与SENet——适配至1D CNN用于音频任务。
• 研究多层级特征聚合对标签预测性能的影响。
• 分析并可视化SE模块如何在不同网络深度上重新校准特征。

提出的方法

• 采用样本级1D CNN架构，使用固定3×1卷积核滤波器，直接处理原始波形。
• 引入SE模块，通过全局平均池化和一个扩展比α=16的两层全连接门控机制，对通道特征图进行重新校准。
• 应用残差跳跃连接（Res-n）以支持更深网络的训练，其中Res-2模块中引入Dropout以防止过拟合。
• 采用ReSE-n模块，结合残差与SE机制以增强表征能力。
• 通过在最终全连接层之前拼接最后三个残差模块的输出，实现多层级特征聚合。
• 在MagnaTagATune和Million Song Dataset上训练模型，并使用平均精确率（mAP）评估性能。

实验结果

研究问题

• RQ1 ResNet风格跳跃连接与SE模块在原始波形上的1D CNN音乐自动标记任务中如何提升性能？
• RQ2 多层级特征聚合对不同架构的标签预测准确率有何影响？
• RQ3 SE模块激活在不同音乐流派中如何随网络深度变化？
• RQ4 所提出的模块在具有不同数据分布的数据集上是否具有良好泛化能力？
• RQ5 SE模块中学习到的激励模式如何反映分层音频表征学习过程？

主要发现

• ReSE-2模块结合了残差与SE机制，在MagnaTagATune数据集上表现最佳，优于先前最先进模型。
• 多层级特征聚合显著提升了所有架构的性能，当与SE或ReSE模块结合时达到最佳效果。
• 与基础模块相比，SE模块使训练时间增加8%，而ReSE-2模块使训练时间增加80%，表明性能与效率之间存在权衡。
• 图形化与定量分析显示，早期层中的SE模块对音频音量进行归一化处理（例如，对安静的古典音乐有高激活），而深层则表现出更具区分性、更嘈杂的激活模式，用于识别流派特异性特征。
• 激励激活的标准差从中间层到最终层逐渐增大，表明判别性特征在深度方向上逐步精细化。
• 模型展现出分层处理机制：早期层处理通用特征（如音量），中间层提取共享模式，深层则专注于流派特异性区分。