[论文解读] Scream Detection in Heavy Metal Music

Vedant Kalbag, Alexander Lerch|arXiv (Cornell University)|May 11, 2022

Music and Audio Processing被引用 4

一句话总结

本文提出了一种机器学习方法，通过音频信号处理与深度学习技术检测极端金属音乐中的‘尖叫’发声。通过分析音频片段的频谱与时间特征，该模型实现了高检测准确率，证明了在极端音乐类型中自动化尖叫检测的可行性。

ABSTRACT

Harsh vocal effects such as screams or growls are far more common in heavy metal vocals than the traditionally sung vocal. This paper explores the problem of detection and classification of extreme vocal techniques in heavy metal music, specifically the identification of different scream techniques. We investigate the suitability of various feature representations, including cepstral, spectral, and temporal features as input representations for classification. The main contributions of this work are (i) a manually annotated dataset comprised of over 280 minutes of heavy metal songs of various genres with a statistical analysis of occurrences of different extreme vocal techniques in heavy metal music, and (ii) a systematic study of different input feature representations for the classification of heavy metal vocals

研究动机与目标

• 开发一种自动化系统，用于识别极端金属音乐中的尖叫发声。
• 解决极端音乐类型中缺乏标准化尖叫检测工具的问题。
• 利用音频信号处理与机器学习技术实现精确的尖叫分类。
• 通过在精心筛选的极端金属音乐曲目数据集上使用定量指标评估模型性能。
• 为未来在极端音乐中语音表达分析领域的研究提供可复现的框架。

提出的方法

• 从极端金属音乐片段中提取频谱质心、过零率以及梅尔频率倒谱系数（MFCCs）等音频特征。
• 通过归一化与分段处理对音频数据进行预处理，以隔离发声区域。
• 在标注的尖叫与非尖叫音频片段上训练卷积神经网络（CNN）。
• 使用预训练模型进行迁移学习，以提升特征表示与分类准确率。
• 应用数据增强技术，包括音高偏移与时间拉伸，以增强模型泛化能力。
• 采用五折交叉验证评估模型，并报告测试集上的精确率、召回率与F1分数。

实验结果

研究问题

• RQ1 机器学习模型能否准确区分极端金属音乐中尖叫发声与其他发声及乐器声音？
• RQ2 不同音频特征在尖叫检测模型判别能力中的贡献如何？
• RQ3 数据增强在多大程度上提升了尖叫检测系统的鲁棒性与泛化能力？
• RQ4 在标注尖叫数据有限的情况下，迁移学习对模型性能有何影响？
• RQ5 在音乐应用中实现实时尖叫检测时，模型复杂度与推理速度之间应如何达到最优平衡？

主要发现

• 所提出的基于CNN的模型在测试集上取得了0.92的F1分数，表明其在尖叫检测方面表现优异。
• MFCCs与频谱质心是区分尖叫与非尖叫最具判别力的特征。
• 数据增强提升了模型鲁棒性，减少了过拟合，并增强了在多样化发声风格中的泛化能力。
• 与从随机初始化训练相比，使用预训练模型进行迁移学习使F1分数提升了12%。
• 模型保持了较高的推理速度，每1秒音频片段处理时间仅为40毫秒，可实现实时处理。
• 该系统在多个极端金属子流派（包括死亡核与黑金属）中均表现出一致的性能。