[论文解读] VampNet: Music Generation via Masked Acoustic Token Modeling

Hugo Flores García, Prem Seetharaman+2 more|arXiv (Cornell University)|Jul 10, 2023

Music and Audio Processing被引用 7

一句话总结

VampNet 是一种非自回归、双向的 Transformer 模型，通过并行迭代解码预测掩码的声学 token 来生成高保真度音乐。它支持灵活的音乐生成、压缩、修复和变体生成，通过多样化的提示策略实现，仅使用 36 次采样步骤就在 NVIDIA RTX3090 上实现了最先进水平的 FAD 得分。

ABSTRACT

We introduce VampNet, a masked acoustic token modeling approach to music synthesis, compression, inpainting, and variation. We use a variable masking schedule during training which allows us to sample coherent music from the model by applying a variety of masking approaches (called prompts) during inference. VampNet is non-autoregressive, leveraging a bidirectional transformer architecture that attends to all tokens in a forward pass. With just 36 sampling passes, VampNet can generate coherent high-fidelity musical waveforms. We show that by prompting VampNet in various ways, we can apply it to tasks like music compression, inpainting, outpainting, continuation, and looping with variation (vamping). Appropriately prompted, VampNet is capable of maintaining style, genre, instrumentation, and other high-level aspects of the music. This flexible prompting capability makes VampNet a powerful music co-creation tool. Code and audio samples are available online.

研究动机与目标

• 开发一种非自回归音乐生成模型，支持多种音频操作任务，如压缩、修复和变体生成。
• 通过在离散声学 token 上使用并行迭代解码，实现实现高效且高质量的音频合成。
• 探索不同提示策略（周期性、节拍驱动、修复）在控制生成行为方面的有效性。
• 证明通过提示的掩码 token 建模结合双向注意力机制，可以在无需自回归生成的情况下生成连贯且风格一致的音乐。
• 提供一种灵活、开源的工具，通过基于提示的控制实现音乐协同创作和音频操作。

提出的方法

• VampNet 使用双向 Transformer 架构，可在单次前向传播中关注所有 token，从而实现非自回归生成。
• 训练期间采用可变的掩码调度策略，将输入 token 掩码，使模型学习预测被掩码的值。
• 推理时采用并行迭代解码：在每一步中，模型采样置信度最高的预测 token，逐步优化序列。
• 通过提示进行条件控制——输入序列以特定模式（如周期性、节拍对齐或随机）被掩码，以引导生成。
• 音频首先使用预训练的音频 token 化器（如 DAC）进行 token 化，得到的离散 token 由 VampNet 处理后重新解码为音频。
• 不同的提示策略（如压缩、周期性、节拍驱动）使模型能够在从重建到创造性变体的整个范围内运行。

Figure 1 : VampNet overview. We first convert audio into a sequence of discrete tokens using an audio tokenizer. Tokens are masked, and then passed to a masked generative model, which predicts values for masked tokens via an efficient iterative parallel decoding sampling procedure at two levels. We

实验结果

研究问题

• RQ1 非自回归、双向 Transformer 模型能否在极少采样步骤下，从掩码声学 token 生成高保真度音乐？
• RQ2 不同提示策略（如周期性、节拍驱动、修复）在引导音乐生成与变体生成方面的有效性如何？
• RQ3 VampNet 在多大程度上能够实现音乐压缩，同时保持感知质量和音乐结构？
• RQ4 采样步数和掩码密度的变化如何影响模型性能？
• RQ5 通过提示的掩码声学 token 建模能否生成连贯且风格一致的输入音乐变体？

主要发现

• VampNet 在 36 次采样步骤下实现了最低的 Fréchet Audio Distance (FAD)，在质量和速度上均优于自回归基线模型。
• 在 24 次采样步骤下，VampNet 在 NVIDIA RTX3090 上生成 10 秒音频仅需约 6 秒，而参数相似的自回归模型需约 1 分钟。
• 节拍驱动提示策略实现了最低的 FAD，表明其在感知质量和节拍一致性方面优于其他提示方法。
• 周期性提示（P=16，35 个条件时间步）的性能与使用 1 秒上下文（57 个时间步）的修复提示相当，表明分布式的条件控制可提升效率。
• 在比特率低于 200 bps 时，VampNet 的 FAD 仍低于随机 token 基线，表明即使在重建质量差的情况下，模型仍能生成具有音乐合理性的音频。
• 将周期性提示与压缩提示结合，可使模型在掩码程度增加时平滑地从重建过渡到创造性生成。

Figure 2 : Training, sampling, and prompting VampNet. Training : we train VampNet using Masked Acoustic Token Modeling, where we randomly mask a portion of a set of input acoustic tokens and learn to predict the masked set of tokens, using a variable masking schedule. Coarse model training masks coa