[论文解读] MuseMorphose: Full-Song and Fine-Grained Piano Music Style Transfer with One Transformer VAE

Shih-Lun Wu, Yi‐Hsuan Yang|arXiv (Cornell University)|May 10, 2021

Music and Audio Processing被引用 4

一句话总结

MuseMorphose 提出了一种统一的 Transformer VAE 模型，用于完整歌曲及细粒度的钢琴音乐风格迁移，通过在注意力机制中引入条件控制，实现对节奏强度和和声密度的小节级控制。该模型在关键风格迁移指标上优于基于 RNN 的基线模型，结合了长序列生成与精确、解耦的属性控制能力。

ABSTRACT

Transformers and variational autoencoders (VAE) have been extensively employed for symbolic (e.g., MIDI) domain music generation. While the former boast an impressive capability in modeling long sequences, the latter allow users to willingly exert control over different parts (e.g., bars) of the music to be generated. In this paper, we are interested in bringing the two together to construct a single model that exhibits both strengths. The task is split into two steps. First, we equip Transformer decoders with the ability to accept segment-level, time-varying conditions during sequence generation. Subsequently, we combine the developed and tested in-attention decoder with a Transformer encoder, and train the resulting MuseMorphose model with the VAE objective to achieve style transfer of long pop piano pieces, in which users can specify musical attributes including rhythmic intensity and polyphony (i.e., harmonic fullness) they desire, down to the bar level. Experiments show that MuseMorphose outperforms recurrent neural network (RNN) based baselines on numerous widely-used metrics for style transfer tasks.

研究动机与目标

• 为了结合 Transformer（长序列建模）与 VAE（可控生成）的优势，用于符号化音乐生成。
• 为了在长序列音乐生成过程中，实现对音乐属性（如节奏强度和和声密度）的细粒度、分段级（小节级）控制。
• 为了开发一个单一、统一的模型，支持完整歌曲生成与精确属性迁移，且无需辅助损失项。
• 为了探究不同条件控制机制（预注意力、内部注意力、后注意力）在控制自回归 Transformer 解码器方面的有效性。
• 为了证明，经过 VAE 训练的 Transformer 模型可以在不依赖任务特定辅助目标的情况下，实现高保真度、多样化且可控制的音乐生成。

提出的方法

• 提出内部注意力条件控制机制，通过修改查询、键和值投影，将时变条件向量注入 Transformer 解码器的注意力机制中。
• 采用 Transformer 编码器将完整音乐序列映射到潜在空间，并使用条件化 Transformer 解码器结合潜在码与分段级条件重建序列。
• 采用端到端的 VAE 目标进行训练，引入循环 KL 退火和自由比特（free bits）以稳定训练并提升表示的解耦性。
• 使用向量量化潜在空间以支持解耦的属性控制，从而实现对特定音乐特征（如和声密度与节奏强度）的独立操控。
• 应用基于核的采样（nucleus sampling），结合温度调节与截断调整，以在生成多样性与质量之间取得平衡。
• 通过消融实验评估条件控制机制，结果表明内部注意力在控制性与流畅性方面优于预注意力与后注意力方法。

Figure 1 : Visualizations of an original music excerpt (top) and one of its style-transferred generations by MuseMorphose (bottom). Digits in the upper and lower rows represent our target attributes being controlled, namely, bar-wise rhythmic intensity and polyphony classes, respectively.

实验结果

研究问题

• RQ1 内部注意力条件控制是否能更有效地实现自回归 Transformer 解码器在音乐属性上的小节级控制，且更加稳定？
• RQ2 通过 VAE 训练将 Transformer 编码器与条件化解码器结合，是否在完整歌曲风格迁移任务中优于基于 RNN 的 VAE 模型？
• RQ3 单一基于 VAE 的模型在不使用辅助损失项的前提下，能在多大程度上实现高保真度、多样化且独立可控的音乐生成？
• RQ4 MuseMorphose 的性能如何随生成长度的增加而变化，特别是在属性控制与多样性方面？
• RQ5 内部注意力机制是否具有通用性，可推广至其他变化频率较低的音乐条件（如调性或配器）？

主要发现

• 在消融实验中，内部注意力条件控制机制在属性控制与序列流畅性方面表现最强，优于预注意力与后注意力方法。
• MuseMorphose 在多个标准风格迁移指标上优于两个基于 RNN 的基线模型，包括属性控制、保真度与多样性，且未使用辅助损失项。
• 该模型在 8 至 96 小节的生成长度范围内均保持一致的性能，仅在更长长度下出现轻微的属性控制与律动多样性下降。
• VAE 目标中引入的循环 KL 退火与自由比特对模型成功至关重要，有助于实现稳定训练与解耦的潜在表示。
• 该模型在节奏强度与和声密度方面表现出强解耦性，支持在小节级别独立操控这些属性。
• 该框架具有通用性，可推广至自然语言处理领域，潜在应用包括情感控制与教育内容的文本难度调节。

(a) Pre-attention conditioning