[论文解读] MuseCoco: Generating Symbolic Music from Text

Peiling Lu, Xin Xu+5 more|arXiv (Cornell University)|May 31, 2023

Music and Audio Processing被引用 4

一句话总结

MuseCoco 提出了一种两阶段框架，通过音乐属性作为文本与音乐之间的桥梁，实现从文本描述生成高质量乐谱。通过在乐谱数据上进行自监督训练，并结合 GPT-4 生成的文本-属性对，该方法在音乐性、可控性和控制精度方面达到最先进水平，12亿参数模型在总体得分上超越基线模型 1.32 分，在客观控制精度上提升 20%。

ABSTRACT

Generating music from text descriptions is a user-friendly mode since the text is a relatively easy interface for user engagement. While some approaches utilize texts to control music audio generation, editing musical elements in generated audio is challenging for users. In contrast, symbolic music offers ease of editing, making it more accessible for users to manipulate specific musical elements. In this paper, we propose MuseCoco, which generates symbolic music from text descriptions with musical attributes as the bridge to break down the task into text-to-attribute understanding and attribute-to-music generation stages. MuseCoCo stands for Music Composition Copilot that empowers musicians to generate music directly from given text descriptions, offering a significant improvement in efficiency compared to creating music entirely from scratch. The system has two main advantages: Firstly, it is data efficient. In the attribute-to-music generation stage, the attributes can be directly extracted from music sequences, making the model training self-supervised. In the text-to-attribute understanding stage, the text is synthesized and refined by ChatGPT based on the defined attribute templates. Secondly, the system can achieve precise control with specific attributes in text descriptions and offers multiple control options through attribute-conditioned or text-conditioned approaches. MuseCoco outperforms baseline systems in terms of musicality, controllability, and overall score by at least 1.27, 1.08, and 1.32 respectively. Besides, there is a notable enhancement of about 20% in objective control accuracy. In addition, we have developed a robust large-scale model with 1.2 billion parameters, showcasing exceptional controllability and musicality.

研究动机与目标

• 实现从自然语言文本描述中高效、可控且用户友好的符号音乐生成。
• 克服现有文本到音乐系统存在的局限性，如可控性差、缺乏可编辑性，以及对大规模配对文本-音乐数据集的依赖。
• 通过在符号音乐数据上进行自监督学习，并利用合成的文本-属性对，提升模型的泛化能力和性能。
• 通过双模式控制机制（文本到属性或直接输入属性），支持各类用户——包括受过音乐训练和非专业人士——的使用。
• 建立一个可扩展、数据高效的系统，在多种音乐属性上保持高音乐质量与精确控制。

提出的方法

• 该系统采用两阶段流程：首先进行文本到属性的理解，其中 GPT-4 从预定义的属性模板生成连贯的文本描述。
• 其次进行属性到音乐的生成，使用基于大型 Transformer 的模型，根据提取出的音乐属性生成符号音乐。
• 音乐属性（如调性、拍号、速度、乐器、风格等）直接从现有的符号音乐序列中提取，从而支持自监督预训练。
• 通过使用 GPT-4 将属性模板组合成自然语言提示，生成合成的配对数据，降低对人工标注的文本-音乐对的依赖。
• 模型支持文本条件和属性条件两种生成方式，实现灵活的用户交互。
• 采用与大模型相同的训练设置，训练了一个 12 亿参数的 xlarge 模型，实现高保真度和可控的音乐生成。

实验结果

研究问题

• RQ1 是否可以通过将文本理解与音乐生成解耦的两阶段框架，提升文本到符号音乐生成中的可控性和音乐质量？
• RQ2 在符号音乐数据上进行自监督学习，能在多大程度上减少对昂贵的配对文本-音乐数据集的依赖？
• RQ3 GPT-4 在从结构化音乐属性中合成高质量、连贯的文本描述方面，其有效性如何，适用于模型训练？
• RQ4 增大模型规模是否能显著提升文本到音乐生成中的控制精度和音乐性？
• RQ5 该系统是否能同时支持非专业用户（通过文本输入）和专业用户（通过直接输入属性），从而提升包容性和可用性？

主要发现

• MuseCoco 在音乐性上优于基线系统至少 1.27 分，在可控性上至少高 1.08 分，在总体得分上至少高 1.32 分。
• 与基线相比，系统在客观控制精度上提升了 20%，表明其在属性遵循方面具有极高的精确度。
• 12 亿参数的 xlarge 模型实现了 87.15% 的平均客观属性控制精度，显著优于大模型的 83.63%。
• 专业音乐人表示，MuseCoco 可将创作时间缩短多达两周，并在编曲和风格融合方面提供强大创作灵感。
• 音乐人指出，生成的音乐与人类创作高度相似，具有连贯的主题、和声结构和富有表现力的乐句，尤其在巴赫风格或风格混合等复杂风格中表现突出。
• 该系统支持有效的编辑与定制，音乐教师认为其在生成教学范例方面极具实用价值。