[论文解读] Polyphonic Piano Transcription Using Autoregressive Multi-State Note Model

Taegyun Kwon, Dasaem Jeong+1 more|arXiv (Cornell University)|Oct 2, 2020

Music and Audio Processing参考文献 28被引用 8

一句话总结

该论文提出了一种统一的自回归多状态音符模型，用于钢琴多声部转录，通过单一的softmax输出预测多种音符状态——起音、持续、重起音、释放和关闭，同时利用自回归RNN学习时间依赖性。该模型在MAESTRO数据集上实现了最先进性能，且参数量少于先前方法。

ABSTRACT

Recent advances in polyphonic piano transcription have been made primarily by a deliberate design of neural network architectures that detect different note states such as onset or sustain and model the temporal evolution of the states. The majority of them, however, use separate neural networks for each note state, thereby optimizing multiple loss functions, and also they handle the temporal evolution of note states by abstract connections between the state-wise neural networks or using a post-processing module. In this paper, we propose a unified neural network architecture where multiple note states are predicted as a softmax output with a single loss function and the temporal order is learned by an auto-regressive connection within the single neural network. This compact model allows to increase note states without architectural complexity. Using the MAESTRO dataset, we examine various combinations of multiple note states including on, onset, sustain, re-onset, offset, and off. We also show that the autoregressive module effectively learns inter-state dependency of notes. Finally, we show that our proposed model achieves performance comparable to state-of-the-arts with fewer parameters.

研究动机与目标

• 解决现有多状态音符建模方法中架构复杂和损失函数泛滥的问题，这些方法为每种状态使用独立的网络。
• 将音符状态预测与时间依赖性建模统一到单一神经网络中，以降低模型复杂度。
• 研究不同多状态表示（起音、持续、重起音、释放、关闭）对转录性能的影响。
• 评估自回归连接在捕捉状态间依赖性方面的有效性，以实现更准确的音符状态转换。
• 证明紧凑的统一架构可在更少参数下达到最先进性能。

提出的方法

• 模型使用CNN从音频输入中提取帧级声学特征。
• 单一RNN处理这些特征，并将多个音符状态作为统一状态空间上的softmax输出进行预测。
• 通过自回归连接建模时间顺序，使当前状态预测依赖于先前输出。
• 网络通过单一交叉熵损失函数对多状态标签进行端到端训练。
• 推理阶段使用贪婪解码或束搜索解码，从帧级状态预测生成钢琴roll输出。
• 在MAESTRO数据集上使用标准指标（音符起音F1、带释放的音符F1和帧级F1）评估模型。

实验结果

研究问题

• RQ1 与为每种状态使用独立网络的方法相比，统一的多状态音符预测框架在性能和参数效率方面表现如何？
• RQ2 包含额外音符状态（如重起音、释放）对转录准确率有何影响？
• RQ3 与非自回归基线相比，自回归连接在建模状态间依赖性方面的有效性如何？
• RQ4 一个单一、紧凑的网络，其多状态输出采用softmax形式，能否实现与最先进模型相当的性能？
• RQ5 为何在此设置中束搜索的性能劣于贪婪解码？这反映了模型校准的何种问题？

主要发现

• 该模型在使用贪婪解码时达到0.9467的音符起音F1分数，与最先进模型Onsets and Frames性能相当。
• 引入起音和释放状态显著提升了音符起音和带释放的音符F1分数，其中'Five'模型（起音、持续、重起音、释放、关闭）表现最佳。
• 与非自回归基线相比，自回归模块在音符起音和释放F1分数上均有提升，证明其有效学习了状态间依赖性。
• 置信度校准图显示，模型在持续状态预测上存在过度自信，而在关闭帧预测上则表现不足，这可能解释了束搜索性能不佳的原因。
• 尽管使用单向RNN且参数量更少，该模型仍实现了与最先进模型相当的性能，表明其具有极高的参数效率。
• 可视化结果表明，自回归模型产生的音符状态转换更自然、更连贯，避免了非自回归模型中常见的短暂、模糊的起音现象。