[论文解读] Musika! Fast Infinite Waveform Music Generation

Marco Pasini, Jan Schlüter|arXiv (Cornell University)|Aug 18, 2022

Music Technology and Sound Studies被引用 5

一句话总结

Musika 引入了一种非自回归、基于 GAN 的音乐生成系统，可在单张消费级 GPU 上进行训练，并在 CPU 上进行推理，实现快速、用户可控且无限长度的原始音频生成。该系统通过使用分层可逆自编码器将音频压缩为低维潜在表征，采用潜在坐标系实现无限长度生成，并引入全局风格条件控制以确保长期连贯性，在钢琴音乐生成方面，其速度和 FAD 分数均优于先前系统。

ABSTRACT

Fast and user-controllable music generation could enable novel ways of composing or performing music. However, state-of-the-art music generation systems require large amounts of data and computational resources for training, and are slow at inference. This makes them impractical for real-time interactive use. In this work, we introduce Musika, a music generation system that can be trained on hundreds of hours of music using a single consumer GPU, and that allows for much faster than real-time generation of music of arbitrary length on a consumer CPU. We achieve this by first learning a compact invertible representation of spectrogram magnitudes and phases with adversarial autoencoders, then training a Generative Adversarial Network (GAN) on this representation for a particular music domain. A latent coordinate system enables generating arbitrarily long sequences of excerpts in parallel, while a global context vector allows the music to remain stylistically coherent through time. We perform quantitative evaluations to assess the quality of the generated samples and showcase options for user control in piano and techno music generation. We release the source code and pretrained autoencoder weights at github.com/marcoppasini/musika, such that a GAN can be trained on a new music domain with a single GPU in a matter of hours.

研究动机与目标

• 解决自回归模型在音乐生成中推理速度慢、计算成本高的局限性。
• 克服非自回归系统在长程连贯性和固定长度生成方面的不足。
• 实现在消费级硬件上快速、无条件及有条件生成任意长度音频的目标。
• 提供一种框架，仅使用少量资源即可在新音乐领域进行训练，利用预训练的通用自编码器。
• 通过诸如音符密度和节拍等条件信号实现用户控制，支持交互式音乐创作。

提出的方法

• 采用两阶段分层自编码器，将原始音频压缩为可逆的、低维的潜在表征，同时降低时间分辨率。
• 对自编码器应用对抗性训练，以提升重建质量并实现高效推理。
• 通过潜在坐标系在连续、结构化的空间中建模潜在向量，实现并行生成任意长度的音频序列。
• 引入全局风格条件向量，以在长序列生成中保持风格的一致性。
• 在潜在表征上训练 GAN 以生成新序列，包含无条件和有条件两种变体。
• 使用音符密度（通过音符起始点上的 KDE）和节拍（通过 Tempo-CNN）等条件信号控制生成过程。

实验结果

研究问题

• RQ1 非自回归 GAN 基础系统能否在消费级 CPU 上实现推理速度超过实时的高质量、无限长度原始音频生成？
• RQ2 结合对抗性训练的分层自编码器能否在保持音频质量的同时实现快速训练与推理？
• RQ3 潜在坐标系能否在不损失连贯性的情况下实现任意长度音频序列的生成？
• RQ4 全局风格条件控制能否确保生成音乐的长期风格一致性？
• RQ5 如音符密度和节拍等用户可控条件信号能否有效引导生成过程？

主要发现

• Musika 在消费级 CPU 上实现了超过实时的生成速度，每秒音频的推理时间低于 1 秒。
• 系统可在单张消费级 GPU 上训练数百小时的音乐数据，训练过程在数小时内完成。
• 在 MAESTRO 数据集上，无条件 Musika 模型的 FAD 分数低于 UNAGAN，表明其音频质量更优。
• 条件模型成功生成与输入信号（如音符密度和节拍）一致的音乐，经由定性听感和视觉检查验证。
• 使用通用自编码器可实现无需重新训练自编码器，即可在新音乐流派（如电子舞曲）上快速训练特定领域的 GAN，显著减少训练时间和资源消耗。
• 生成样本显示，在长时间段内具有良好的长程连贯性与一致的音乐风格，相关音频样本在线可获取。