[论文解读] On the Futility of Learning Complex Frame-Level Language Models for Chord Recognition

Filip Korzeniowski, Gerhard Widmer|arXiv (Cornell University)|Feb 1, 2017

Music and Audio Processing被引用 12

一句话总结

本文认为，为和弦识别学习复杂的帧级语言模型（如RNN）从根本上是徒劳的，因为它们由于输入噪声大、按帧处理，无法捕捉高层次的音乐结构。尽管RNN容量更大，但在序列建模中仅比一阶模型（如HMM）略好，且在完整的和弦识别流程中未提升性能，表明在和弦层级进行分层建模更能有效捕捉音乐知识。

ABSTRACT

Chord recognition systems use temporal models to post-process frame-wise chord preditions from acoustic models. Traditionally, first-order models such as Hidden Markov Models were used for this task, with recent works suggesting to apply Recurrent Neural Networks instead. Due to their ability to learn longer-term dependencies, these models are supposed to learn and to apply musical knowledge, instead of just smoothing the output of the acoustic model. In this paper, we argue that learning complex temporal models at the level of audio frames is futile on principle, and that non-Markovian models do not perform better than their first-order counterparts. We support our argument through three experiments on the McGill Billboard dataset. The first two show 1) that when learning complex temporal models at the frame level, improvements in chord sequence modelling are marginal; and 2) that these improvements do not translate when applied within a full chord recognition system. The third, still rather preliminary experiment gives first indications that the use of complex sequential models for chord prediction at higher temporal levels might be more promising.

研究动机与目标

• 探究复杂的时间模型（如RNN）是否能显著超越一阶模型改进和弦识别。
• 评估帧级RNN是否能学习音乐结构，还是仅像简单模型一样平滑预测结果。
• 探讨在更高时间层级（如和弦层级）建模是否能使RNN捕捉长期和声依赖关系。
• 挑战帧级RNN在和弦识别中学习音乐知识是必要的这一假设。
• 倡导在音乐处理中采用分层建模方法，尤其在和弦识别的语言建模方面。

提出的方法

• 在McGill Billboard数据集的帧级和弦序列上训练并比较RNN与一阶马尔可夫链。
• 使用包含声学模型和RNN或HMM作为时间模型的完整和弦识别流程，评估端到端性能。
• 在和弦层级（而非帧层级）应用RNN语言模型，评估其在更长序列中学习音乐结构的能力。
• 计算对数似然分数，比较RNN与马尔可夫链在帧级数据上的序列建模性能。
• 采用联合解码框架结合声学模型与时间模型，因计算限制使用近似推理。
• 使用F1值和对数似然等标准指标，在保留的测试数据上评估模型性能。

实验结果

研究问题

• RQ1 RNN能否在建模帧级和弦序列方面超越一阶马尔可夫模型？
• RQ2 在完整和弦识别系统中，使用RNN作为时间模型是否能相比HMM提升识别准确率？
• RQ3 当在更高时间层级（如和弦层级）应用时，RNN能否学习超越一阶转换的音乐结构？
• RQ4 为何尽管具有更大的建模潜力，复杂帧级模型仍未能发挥其能力？
• RQ5 帧级输入表示是否本质上限制了在和弦识别中学习音乐结构？

主要发现

• RNN在帧级序列建模方面仅比一阶马尔可夫链有微弱提升，平均对数似然分别为-1.62与-2.28。
• 尽管序列建模表现更优，RNN在完整流程中并未提升识别性能，HMM时间模型反而表现更佳。
• RNN展现出对歌曲内重复和弦进行的适应能力，表明其具备一定的上下文感知预测能力。
• 帧级RNN失败的原因在于主导的自转移和缺乏时间线索，导致在帧级别进行和弦变化预测本质上具有歧义。
• 在和弦层级的RNN成功学习了长期和声依赖关系，表明分层建模对捕捉音乐结构至关重要。
• 结果表明，帧级时间模型在学习音乐知识方面存在根本局限，未来工作应聚焦于更高级别的语言建模。