[论文解读] Onsets and Frames: Dual-Objective Piano Transcription

Curtis Hawthorne, Erich Elsen+7 more|arXiv (Cornell University)|Oct 30, 2017

Music and Audio Processing参考文献 21被引用 43

一句话总结

该论文提出了一种双目标深度学习模型，通过卷积神经网络与循环神经网络联合预测钢琴音符的起始时刻和帧级音高内容。通过将帧级预测条件化于起始时刻检测，该模型在MAPS数据集上实现了音符F1分数（含偏移量）100%以上的相对提升，并进一步扩展以预测相对力度，从而实现更具表现力的转录结果。

ABSTRACT

We advance the state of the art in polyphonic piano music transcription by using a deep convolutional and recurrent neural network which is trained to jointly predict onsets and frames. Our model predicts pitch onset events and then uses those predictions to condition framewise pitch predictions. During inference, we restrict the predictions from the framewise detector by not allowing a new note to start unless the onset detector also agrees that an onset for that pitch is present in the frame. We focus on improving onsets and offsets together instead of either in isolation as we believe this correlates better with human musical perception. Our approach results in over a 100% relative improvement in note F1 score (with offsets) on the MAPS dataset. Furthermore, we extend the model to predict relative velocities of normalized audio which results in more natural-sounding transcriptions.

研究动机与目标

• 通过联合建模音符起始时刻与帧级音高检测，提升多声部钢琴音乐转录质量。
• 解决先前方法仅独立优化起始时刻或帧级检测所导致的与人类听觉感知相关性较差的问题。
• 通过引入音符持续时间（偏移量）与力度信息，提升转录质量，以更好地捕捉音乐的表现力。
• 开发一个在不同录音条件下（包括训练时未见的真实钢琴录音，如Disklavier）具有良好泛化能力的模型。
• 通过强调带偏移量的音符与力度转录，建立更具感知相关性的评估指标，超越传统的帧级与仅起始时刻的评分标准。

提出的方法

• 训练一个深度卷积与循环神经网络（CNN-RNN）模型，联合预测起始时刻与帧级音高激活。
• 利用起始时刻预测作为条件先验，限制帧级音高检测，确保无对应起始时刻则不会产生新音符。
• 采用两阶段推理流程：首先预测起始时刻，然后利用这些结果对帧级音高输出进行条件化与优化。
• 将模型扩展为对每个起始时刻预测相对力度，通过独立分支估计动态强度。
• 以时频表示（如常数Q变换）作为输入，帧级目标用于音高与起始时刻检测。
• 使用联合损失函数进行优化，结合起始时刻与帧级目标，同时妥善处理时间对齐与帧分辨率问题。

实验结果

研究问题

• RQ1 与单独优化相比，联合建模起始时刻与帧级音高检测是否能显著提升转录质量？
• RQ2 将帧级预测条件化于起始时刻检测是否能带来更准确且更符合感知的转录结果？
• RQ3 包含音符偏移量与力度信息在多大程度上能提升转录结果的感知质量？
• RQ4 该模型在无需领域特定微调的情况下，能否在不同录音环境（如合成钢琴与真实钢琴录音）间实现良好泛化？
• RQ5 更严格的评估标准（如更小的起始时刻容忍度与更高的偏移量准确性）对模型性能与比较结果有何影响？

主要发现

• 该模型在MAPS数据集上实现了音符F1分数（含偏移量）100%以上的相对提升，显著优于先前的最先进方法。
• 在仅评估'接近'录音配置时，音符F1分数从82.29提升至84.34；当仅使用前30秒数据时，提升至86.38，表明在真实测试条件下表现优异。
• 该模型在低力度音符（MIDI力度 < 30）上表现较差，表明其在检测轻柔或安静的钢琴音符方面存在局限，尤其在真实录音中更为明显。
• 当以24ms帧分辨率进行训练时，标准50ms容忍度下，音符F1分数（含偏移量）下降至49.99，表明模型对时间分辨率敏感，且可能对粗粒度时间对齐存在过拟合。
• 该模型在未见数据上泛化良好，成功转录了Musopen.org的录音，甚至包括大键琴录音，证明其对乐器与音乐类型变化具有鲁棒性。
• 音频示例显示，当包含力度信息时，模型生成的转录更具自然感，动态与节奏更准确，输出在感知上更具表现力。