[论文解读] Music Artist Classification with Convolutional Recurrent Neural Networks

Zain Nasrullah, Yue Zhao|arXiv (Cornell University)|Jan 14, 2019

Music and Audio Processing参考文献 36被引用 6

一句话总结

本论文提出一种卷积循环神经网络（CRNN）用于音乐艺人分类，利用原始音频语谱图捕捉时序与频谱特征，优于传统基线模型。最佳模型在使用三秒音频片段和歌曲级别评估的artist20数据集上实现了0.937的平均F1分数，可视化结果证实了学习表征中按艺人分类的聚类现象。

ABSTRACT

Previous attempts at music artist classification use frame level audio features which summarize frequency content within short intervals of time. Comparatively, more recent music information retrieval tasks take advantage of temporal structure in audio spectrograms using deep convolutional and recurrent models. This paper revisits artist classification with this new framework and empirically explores the impacts of incorporating temporal structure in the feature representation. To this end, an established classification architecture, a Convolutional Recurrent Neural Network (CRNN), is applied to the artist20 music artist identification dataset under a comprehensive set of conditions. These include audio clip length, which is a novel contribution in this work, and previously identified considerations such as dataset split and feature level. Our results improve upon baseline works, verify the influence of the producer effect on classification performance and demonstrate the trade-offs between audio length and training set size. The best performing model achieves an average F1 score of 0.937 across three independent trials which is a substantial improvement over the corresponding baseline under similar conditions. Additionally, to showcase the effectiveness of the CRNN's feature extraction capabilities, we visualize audio samples at the model's bottleneck layer demonstrating that learned representations segment into clusters belonging to their respective artists.

研究动机与目标

• 建立使用端到端音频表征的音乐艺人分类深度学习基线。
• 研究音频片段长度、数据集划分方式（按专辑 vs. 按歌曲）以及评估层级（帧级 vs. 歌曲级）对模型性能的影响。
• 验证CRNN是否能有效建模音频中的时序结构，从而在艺人分类任务中优于基于帧级特征的基线方法。
• 通过可视化学习表征，展示模型作为特征提取器的能力，实现按艺人聚类。
• 通过开源代码、结果和可视化，提供可复现的框架。

提出的方法

• 本研究采用CRNN架构，通过卷积层处理原始音频语谱图，以提取局部频谱模式，再通过循环层建模长程时序依赖性。
• 从语谱图中将音频切分为固定长度的片段（1–10秒），并探索使用重叠窗口作为潜在增强手段。
• 通过多数投票法将帧级预测聚合至歌曲级别，以提升鲁棒性与性能。
• 在多种配置下进行模型训练与评估：包括不同的音频片段长度（1–10秒）、数据集划分方式（按专辑或歌曲）以及特征层级（原始语谱图 vs. MFCCs）。
• 对瓶颈层激活值应用t-SNE可视化，以分析类别可分性及按艺人形成的聚类。
• 使用交叉熵损失与Adam优化器进行模型训练，超参数通过验证性能进行调优。

实验结果

研究问题

• RQ1 音频片段长度如何影响CRNN在音乐艺人分类中的性能？
• RQ2 与按专辑划分相比，按歌曲级别进行训练和评估是否能提升分类性能？
• RQ3 在歌曲级别对帧级预测进行聚合在多大程度上可减少噪声并提升准确率？
• RQ4 CRNN瓶颈层学习到的表征是否能有效将样本按艺人分离，表明其具备有效的特征学习能力？
• RQ5 与使用MFCC和帧级特征的传统基线方法相比，CRNN在F1分数和泛化能力方面表现如何？

主要发现

• 在使用三秒音频片段和歌曲级别评估时，最佳CRNN模型在三次独立实验中实现了0.937的平均F1分数。
• 性能随音频片段长度增加而提升，但达到一定点后增益减弱，表明时序上下文与训练集大小之间存在权衡。
• 通过多数投票法在歌曲级别聚合帧级预测，显著提升了性能，证实其在降噪方面的有效性。
• 瓶颈层特征的t-SNE可视化显示出对应于各独立艺人的清晰且分明的聚类，证明模型具备学习有意义、判别性表征的能力。
• 在相似条件下，CRNN优于可比基线方法，尤其在使用原始语谱图和较长片段时表现更优。
• 本研究证实了“制作人效应”对分类性能的影响，表明制作质量与风格差异会影响模型泛化能力。