[论文解读] On the Potential of Simple Framewise Approaches to Piano Transcription

Rainer Kelz, Matthias Dorfer+4 more|arXiv (Cornell University)|Dec 15, 2016

Music and Audio Processing参考文献 25被引用 66

一句话总结

本论文表明，通过优化输入表示并仔细调整超参数，简单的逐帧神经网络方法可在无需复杂后处理的情况下，超越先前在 MAPS 数据集上的钢琴转录最先进系统。表现最佳的模型为使用 CQT 输入表示的全卷积网络，在配置 I 上取得 79.33% 的 F1 分数，在配置 II 上取得 69.38% 的 F1 分数，为逐帧钢琴转录设立了新的基线。

ABSTRACT

In an attempt at exploring the limitations of simple approaches to the task of piano transcription (as usually defined in MIR), we conduct an in-depth analysis of neural network-based framewise transcription. We systematically compare different popular input representations for transcription systems to determine the ones most suitable for use with neural networks. Exploiting recent advances in training techniques and new regularizers, and taking into account hyper-parameter tuning, we show that it is possible, by simple bottom-up frame-wise processing, to obtain a piano transcriber that outperforms the current published state of the art on the publicly available MAPS dataset -- without any complex post-processing steps. Thus, we propose this simple approach as a new baseline for this dataset, for future transcription research to build on and improve.

研究动机与目标

• 探究简单逐帧方法在钢琴转录中的局限性，特别是与复杂混合系统相比的表现。
• 系统评估并识别适用于该任务中神经网络的最优输入表示（如频谱图、CQT）。
• 确定是否可通过简单、自下而上的逐帧处理实现高性能钢琴转录，而无需复杂的后处理或语言建模。
• 为未来研究在 MAPS 数据集上建立一个新、简单且有效的基线。

提出的方法

• 作者比较了四种输入表示：线性频谱图（S）、对数间距频谱图（LS）、对数幅度频谱图（LM）和恒定-Q 变换（CQT），并调整了采样率、每八度带数、零填充和归一化等参数。
• 他们使用一种简单、低容量的模型类别（逻辑回归）来评估输入表示的适用性，随后扩展到更深层的架构。
• 对于高容量模型，他们采用深度神经网络（DNN）、卷积网络（ConvNet）和全卷积网络（AllConv），使用带动量的随机梯度下降（SGD）和自适应学习率调度进行训练。
• 应用批量归一化和 dropout 以提高训练稳定性和泛化能力，学习率通过对数搜索进行调优，并在每几个周期后减半。
• 最终模型在标准的 MAPS 数据集划分（配置 I 和 II）上进行评估，性能通过精确率、召回率和 F1 分数衡量。
• 超参数调优由专家手动完成，因计算成本过高而避免使用自动化搜索。

实验结果

研究问题

• RQ1 在使用神经网络进行逐帧钢琴转录时，哪种输入表示（频谱图、CQT 或其变体）表现最佳？
• RQ2 是否简单的逐帧神经网络方法可超越包含语言建模或 RNN 的更复杂混合系统？
• RQ3 优化策略的选择，包括学习率调度和正则化，如何影响该任务中的模型性能？
• RQ4 架构选择（如深度、卷积层和批量归一化）在多大程度上影响转录准确率？
• RQ5 是否可使用简单、参数较少的模型作为未来在 MAPS 数据集上研究的强基线？

主要发现

• 使用 CQT 输入表示的全卷积网络（AllConv）在 MAPS 数据集配置 I 上取得了最高的 F1 分数 79.33%，优于先前发表的混合系统。
• 在配置 II 上，AllConv 模型取得了 69.38% 的 F1 分数，尽管架构更简单，但仍超过先前的最先进水平（[26] 中 ConvNet 的 64.14%）。
• 卷积网络显著优于全连接 DNN，表明局部感受野在捕捉谱时序模式方面具有优势。
• 通过仔细调优的学习率调度，结合批量归一化和 dropout，所有模型类型均实现了快速收敛和低验证误差。
• 本研究证实，合适的输入表示和超参数调优比架构复杂性对实现高性能更为关键。
• 作者提出将使用 CQT 输入的 AllConv 模型作为未来在 MAPS 数据集上钢琴转录研究的新、简单且有效的基线。