[论文解读] Symbolic Music Generation with Non-Differentiable Rule Guided Diffusion

Yujia Huang, Adishree Ghatare+7 more|arXiv (Cornell University)|Feb 22, 2024

Music and Audio Processing被引用 4

一句话总结

本文提出随机控制引导（Stochastic Control Guidance, SCG），一种用于非可微规则引导符号音乐生成的即插即用方法，采用扩散模型实现。SCG 通过在每一步采样多个轨迹实现并选择符合规则的最优解，实现无需训练、高分辨率（10ms）的音乐生成，在可控性与音质方面表现卓越，显著优于当前最先进基线模型。

ABSTRACT

We study the problem of symbolic music generation (e.g., generating piano rolls), with a technical focus on non-differentiable rule guidance. Musical rules are often expressed in symbolic form on note characteristics, such as note density or chord progression, many of which are non-differentiable which pose a challenge when using them for guided diffusion. We propose Stochastic Control Guidance (SCG), a novel guidance method that only requires forward evaluation of rule functions that can work with pre-trained diffusion models in a plug-and-play way, thus achieving training-free guidance for non-differentiable rules for the first time. Additionally, we introduce a latent diffusion architecture for symbolic music generation with high time resolution, which can be composed with SCG in a plug-and-play fashion. Compared to standard strong baselines in symbolic music generation, this framework demonstrates marked advancements in music quality and rule-based controllability, outperforming current state-of-the-art generators in a variety of settings. For detailed demonstrations, code and model checkpoints, please visit our project website: https://scg-rule-guided-music.github.io/.

研究动机与目标

• 解决使用非可微音乐规则（如和弦进行与音符密度）引导预训练扩散模型的挑战。
• 实现无需训练、即插即用的规则引导，无需反向传播或模型微调。
• 开发一种高分辨率（10ms）潜在扩散架构，用于生成包含力度与 sustain 踩弦踏板信息的富有表现力的钢琴卷谱。
• 在音乐质量与基于规则的可控性方面，优于现有强基线模型。
• 为符号音乐生成提供一种灵活、可解释且适合音乐家使用的工具。

提出的方法

• 提出一种新颖的算法——随机控制引导（SCG），受路径积分控制理论启发，用于随机动力系统中的最优控制。
• 在每一步采样中，SCG 生成多个下一步的实现，并选择使样本最清晰且最符合规则函数的那一个。
• SCG 仅需规则函数的前向评估，因此兼容非可微、黑盒或符号规则 API。
• 采用基于 Transformer 主干网络的潜在扩散模型，生成包含力度与踏板信息的高分辨率（10ms）符号音乐。
• 该框架完全即插即用：SCG 可应用于任意预训练扩散模型而无需重新训练。
• 采用潜在空间表示，实现在精细时间分辨率下的高效、高保真音乐生成。

实验结果

研究问题

• RQ1 非可微音乐规则（如和弦进行与音符密度）能否在扩散模型中有效用于引导？
• RQ2 无需训练、即插即用的方法能否在规则遵循度与音乐质量方面超越现有微调或条件基线？
• RQ3 能否在保持表现力动态与踏板控制的前提下，通过潜在扩散模型实现高分辨率（10ms）符号音乐生成？
• RQ4 当规则不可微时，所提出的 SCG 方法与基于梯度的引导相比，在可控性与样本质量方面表现如何？
• RQ5 SCG 在多大程度上实现了对人类作曲家友好的可解释性与灵活性控制？

主要发现

• SCG 在符号音乐生成方面达到最先进性能，在音乐质量与基于规则的可控性方面均优于强基线模型。
• 该方法实现了有效、无需训练的非可微规则引导，这是以往基于梯度的方法无法实现的能力。
• 具有 10ms 分辨率的潜在扩散模型成功生成了包含力度与延音踏板信息的富有表现力的钢琴卷谱。
• 人工评估显示，生成的音乐在连贯性、和声、织体与整体吸引力方面得分较高，绝大多数评价为“良好”或“非常好”。
• 框架在和弦进行对齐方面表现显著提升，大量样本被评为“基本对齐”或“完全对齐”。
• 该方法实现了灵活、可解释且可控的音乐生成，使其成为音乐家创作的合适工具。