[论文解读] SpecTNT: a Time-Frequency Transformer for Music Audio

Wei Lu, Ju-Chiang Wang+3 more|arXiv (Cornell University)|Oct 18, 2021

Music and Audio Processing参考文献 39被引用 14

一句话总结

SpecTNT 是一种新颖的时频 Transformer 架构，通过在时间轴和频率轴上分层处理频谱图，并利用频率类别标记（FCT）连接频谱表示与时间表示，从而对音乐音频进行建模。该模型在音乐标签分类和人声旋律提取任务中达到最先进性能，在和弦识别任务中也表现出色，优于 CNN、CRNN 和标准 Transformer 模型，在关键基准测试中表现更优。

ABSTRACT

Transformers have drawn attention in the MIR field for their remarkable performance shown in natural language processing and computer vision. However, prior works in the audio processing domain mostly use Transformer as a temporal feature aggregator that acts similar to RNNs. In this paper, we propose SpecTNT, a Transformer-based architecture to model both spectral and temporal sequences of an input time-frequency representation. Specifically, we introduce a novel variant of the Transformer-in-Transformer (TNT) architecture. In each SpecTNT block, a spectral Transformer extracts frequency-related features into the frequency class token (FCT) for each frame. Later, the FCTs are linearly projected and added to the temporal embeddings (TEs), which aggregate useful information from the FCTs. Then, a temporal Transformer processes the TEs to exchange information across the time axis. By stacking the SpecTNT blocks, we build the SpecTNT model to learn the representation for music signals. In experiments, SpecTNT demonstrates state-of-the-art performance in music tagging and vocal melody extraction, and shows competitive performance for chord recognition. The effectiveness of SpecTNT and other design choices are further examined through ablation studies.

研究动机与目标

• 解决现有 Transformer 模型在音频处理中的局限性，这些模型通常仅沿时间轴将频谱图视为单向序列处理。
• 开发一种灵活的分层架构，有效建模音乐音频中的局部频谱模式与长程时间依赖性。
• 通过在统一的 Transformer 框架中显式整合频率与时间建模，提升音乐信息检索（MIR）任务的表征学习能力。
• 展示一种针对频谱图数据定制的改进型 Transformer-in-Transformer（TNT）设计的有效性，克服原始 TNT 适配中出现的不稳定与性能问题。

提出的方法

• 提出一种新型的 Transformer-in-Transformer（TNT）架构变体，命名为 SpecTNT，用于音乐音频表征学习。
• 在每个 SpecTNT 模块中，频谱 Transformer 对每个时间帧内的频率通道进行处理，将频率相关特征提取至频率类别标记（FCT）。
• FCT 经线性投影后与时间嵌入（TEs）相加，实现时间轴上的信息交换。
• 随后，时间 Transformer 处理 TEs，沿时间轴建模长程依赖性，同时利用聚合的频谱特征。
• 分层设计通过使用 FCT 作为频谱内容的紧凑表征，相比标准 TNT 降低了维度。
• 模型在频谱图输入上端到端训练，无需使用 CQT 或 HCQT 等特殊输入表征。

实验结果

研究问题

• RQ1 分层 Transformer 架构能否有效建模音乐频谱图中的频谱与时间模式？
• RQ2 与直接的块级处理相比，使用频率类别标记（FCT）是否能改善频谱与时间建模之间的信息流动？
• RQ3 在音乐标签分类、人声旋律提取与和弦识别任务中，SpecTNT 与标准 Transformer、CNN 与 CRNN 模型相比性能如何？
• RQ4 FCT 与双分支注意力机制等架构组件对模型稳定性与性能的影响如何，尤其是在训练数据有限的情况下？
• RQ5 SpecTNT 是否能在无需任务特定输入表征的情况下，泛化至多样化的 MIR 任务？

主要发现

• SpecTNT 在音乐标签分类任务中达到最先进性能，在 MIR-AC10 数据集上整体准确率达到 85.3%，优于先前的 CNN 与 CRNN 基线模型。
• 在人声旋律提取任务中，SpecTNT 在 MedleyDB 数据集上达到 88.3% 的召回率，比之前最先进模型 FTANet 提高 2.9 个百分点。
• 在和弦识别任务中，SpecTNT 使用音阶图输入在 Billboard 数据集上实现 80.47% 的 WCSR，优于 CR2 与 BTC 基线模型。
• 消融研究显示，FCT 机制显著提升性能，尤其在小数据集上，A3（最大模型）在移除 FCT 后性能下降最大。
• 该模型展现出强鲁棒性与泛化能力，在仅需极少架构修改的情况下，于多个 MIR 任务中保持优异性能。