[论文解读] Neural Dynamic Programming for Musical Self Similarity

Christian Walder, Dongwoo Kim|arXiv (Cornell University)|Feb 9, 2018

Music and Audio Processing被引用 3

一句话总结

该论文提出MotifNet，一种神经动态规划模型，通过使用可学习的评分函数对编辑距离进行泛化，检测并利用符号音乐中重复且经过变换的音乐动机。通过使用编辑树结构化计算并结合剪枝启发式方法，其推理速度优于三次方时间复杂度的基线模型，并在真实和合成音乐数据集上，相较于堆叠LSTM在负对数似然性指标上表现更优。

ABSTRACT

We present a neural sequence model designed specifically for symbolic music. The model is based on a learned edit distance mechanism which generalises a classic recursion from computer sci- ence, leading to a neural dynamic program. Re- peated motifs are detected by learning the transfor- mations between them. We represent the arising computational dependencies using a novel data structure, the edit tree; this perspective suggests natural approximations which afford the scaling up of our otherwise cubic time algorithm. We demonstrate our model on real and synthetic data; in all cases it out-performs a strong stacked long short-term memory benchmark.

研究动机与目标

• 建模符号音乐中常见的自相似结构，如重复和变换的动机，这些结构在人类创作的音乐中普遍存在。
• 克服标准RNN和LSTM在音乐生成中常见的漫游式、非动机驱动的生成模式。
• 开发一种可微分的、结构化的注意力机制，通过动机对齐捕捉长距离依赖关系，而非仅依赖自回归预测。
• 通过新型数据结构——编辑树，以及高效的剪枝策略，将三次方时间复杂度的动机检测动态规划算法进行扩展。

提出的方法

• 该模型使用经典编辑距离递归的神经泛化形式，其中编辑操作（插入、删除、替换、恒等）为可微分，并由可学习函数$f_W$进行评分。
• 动态规划算法计算音乐序列所有子序列之间的对齐，捕捉非相邻位置之间的动机关系。
• 计算依赖关系通过编辑树表示，其中节点代表部分对齐，边代表编辑操作。
• 可学习的启发式函数指导编辑树的部分展开，通过剪除无希望的对齐路径来降低时间复杂度，同时保持准确性。
• 模型通过反向传播端到端训练，梯度通过动态规划流程回传，经由评分函数$f_W$。
• 评分函数$f_W$同时用于对齐决策和决定展开哪些路径，从而实现高效且一致的动机发现。

实验结果

研究问题

• RQ1 神经动态规划方法能否有效检测并建模符号音乐序列中变换的音乐动机？
• RQ2 基于编辑距离的可微分、结构化注意力机制在序列建模方面，相较于标准RNN和LSTM有何改进？
• RQ3 通过新型数据结构（如编辑树）和启发式剪枝，能否显著降低动机对齐的三次方时间复杂度？
• RQ4 该模型检测非平凡动机变换（如移调、调式移动）的能力，是否能带来比标准基线更优的生成质量与更低的对数似然值？

主要发现

• MotifNet在所有四个符号音乐数据集（JBM、MUS、NOT、PMD）上均优于强基线堆叠LSTM，测试集负对数似然值更低。
• 在JBM数据集上，MotifNet的负对数似然值为1.77，而LSTM为1.82，尽管JBM序列较短且自相似性有限。
• 在PMD数据集上，MotifNet的负对数似然值为1.90，而LSTM为2.67，表明在更长、更复杂的乐曲上性能有显著提升。
• 模型性能对超参数调优具有鲁棒性：增加$n_{\text{priority}}$可权衡计算时间与准确性，且在256时性能尚未达到平台期。
• 使用Softmax而非伪Huber损失的消融评分器变体表现劣于基础方案，表明可微分评分函数的选择对性能至关重要。
• 模型在$d_{\text{max}}=5$（将动机对齐限制在五次编辑操作内）时表现良好，表明即使短距离对齐也足以捕捉足够结构，从而超越LSTM。