[论文解读] WaveBeat: End-to-end beat and downbeat tracking in the time domain

Christian J. Steinmetz, Joshua D. Reiss|arXiv (Cornell University)|Oct 4, 2021

Music and Audio Processing参考文献 34被引用 6

一句话总结

WaveBeat 提出了一种端到端的深度学习模型，用于直接从原始音频波形中联合追踪节拍和强拍，绕过了手工设计的频谱特征。通过使用膨胀因子快速增长的时序卷积网络（TCN）和步长大卷积，它高效地实现了大感受野（≥30秒），在部分数据集上，尤其是在强拍追踪方面，优于先前的最先进方法，同时表明由于其内在预测性能强大，无需复杂的后处理。

ABSTRACT

Deep learning approaches for beat and downbeat tracking have brought advancements. However, these approaches continue to rely on hand-crafted, subsampled spectral features as input, restricting the information available to the model. In this work, we propose WaveBeat, an end-to-end approach for joint beat and downbeat tracking operating directly on waveforms. This method forgoes engineered spectral features, and instead, produces beat and downbeat predictions directly from the waveform, the first of its kind for this task. Our model utilizes temporal convolutional networks (TCNs) operating on waveforms that achieve a very large receptive field ($\geq$ 30 s) at audio sample rates in a memory efficient manner by employing rapidly growing dilation factors with fewer layers. With a straightforward data augmentation strategy, our method outperforms previous state-of-the-art methods on some datasets, while producing comparable results on others, demonstrating the potential for time domain approaches.

研究动机与目标

• 开发一种直接在原始音频波形上运行的端到端模型，用于节拍和强拍追踪，消除对手工设计频谱特征的依赖。
• 探究是否可以在不使用下采样幅度谱图的情况下实现节拍和强拍追踪的最先进性能。
• 评估在节拍激活细化中使用复杂后处理阶段（如动态贝叶斯网络）的必要性。
• 评估基于波形的模型在多样化音乐数据集上的泛化能力，特别是那些分布外的数据集。
• 探索时域学习在音乐信号处理任务中的潜力，利用频谱表示中丢失的相位和振幅信息。

提出的方法

• 该模型采用具有指数增长膨胀因子（d_l = 8^{l-1}）的时序卷积网络（TCN）架构，以更少的层数实现大感受野（≥30秒）。
• 通过步长大卷积将输入音频下采样 256 倍（8 层，步长为 2），将采样率从 22.05 kHz 降低至 86 Hz，以控制计算成本。
• 网络端到端处理原始波形，通过 1×1 卷积和 Sigmoid 激活函数生成节拍和强拍激活图。
• 应用全面的数据增强策略，包括随机音高偏移、滤波、噪声注入、时间偏移、帧丢失和相位反转。
• 通过简单的峰值检测（振幅 > 0.5）生成节拍和强拍预测，并与预训练的动态贝叶斯网络（DBN）后处理方法进行性能对比。
• 在四个标准数据集（Ballroom、Hainsworth、Beatles、GTZAN）上使用标准指标（F-measure、CMLt 和 AMLt，容忍窗口为 ±70 ms）进行训练和评估。

实验结果

研究问题

• RQ1 当直接在原始音频波形上进行训练时，端到端深度学习模型是否能够实现与手工设计频谱特征无关的节拍和强拍追踪性能？
• RQ2 在 TCN 架构中使用快速增长的膨胀因子，是否足以实现节拍追踪所需的长距离上下文建模，同时保持计算效率？
• RQ3 在基于波形的端到端模型中，是否需要复杂的后处理（如动态贝叶斯网络）以实现高精度的节拍和强拍检测？
• RQ4 基于波形的模型在分布外数据集（如 GTZAN 和 SMC）上的泛化性能，与基于谱图的最先进模型相比如何？
• RQ5 与幅度谱图相比，时域中相位信息在多大程度上有助于提升性能？

主要发现

• 在 Ballroom 数据集上，WaveBeat 的强拍追踪 F-measure 相较于先前最先进基于谱图的 TCN 模型提升了 4%。
• 在 Hainsworth 数据集上，WaveBeat 在节拍追踪上提升超过 7%，在强拍追踪上提升超过 23%，表明在具有挑战性的数据上性能显著增强。
• 在 Beatles 数据集上，WaveBeat 在节拍追踪方面与先前最先进模型表现相当，但在强拍追踪方面略有落后。
• 在分布外的 GTZAN 和 SMC 数据集上，WaveBeat 的泛化能力较弱，性能低于基于谱图的基线模型，尤其是在节拍追踪方面。
• 简单的峰值检测（振幅 > 0.5）的性能与预训练 DBN 后处理步骤相当或更优，甚至在 Ballroom 数据集上降低了 F-measure，表明该模型可能无需后处理。