[论文解读] Youling: an AI-Assisted Lyrics Creation System

Zhang Rong-sheng, Xiaoxi Mao+7 more|arXiv (Cornell University)|Jan 18, 2022

Topic Modeling参考文献 13被引用 4

一句话总结

Youling 是一个AI辅助歌词创作系统，支持通过内容与格式的多维度控制，实现交互式、多轮次的歌词生成与迭代修改。该系统基于参数量为210M的微调GPT-2模型构建，使音乐创作者能够通过用户引导的逐句、逐字编辑，实现歌词的生成、优化与润色，在以人为本的工作流程中提升创造力与控制力。

ABSTRACT

Recently, a variety of neural models have been proposed for lyrics generation. However, most previous work completes the generation process in a single pass with little human intervention. We believe that lyrics creation is a creative process with human intelligence centered. AI should play a role as an assistant in the lyrics creation process, where human interactions are crucial for high-quality creation. This paper demonstrates extit{Youling}, an AI-assisted lyrics creation system, designed to collaborate with music creators. In the lyrics generation process, extit{Youling} supports traditional one pass full-text generation mode as well as an interactive generation mode, which allows users to select the satisfactory sentences from generated candidates conditioned on preceding context. The system also provides a revision module which enables users to revise undesired sentences or words of lyrics repeatedly. Besides, extit{Youling} allows users to use multifaceted attributes to control the content and format of generated lyrics. The demo video of the system is available at https://youtu.be/DFeNpHk0pm4.

研究动机与目标

• 解决当前音乐创作者在歌词生成过程中缺乏综合性AI辅助工具的问题。
• 从单轮次、以模型为中心的生成模式，转向以人为本的交互式协作模式。
• 支持对歌词内容（如情感、主题、关键词）和格式（如押韵、藏头诗、行数）的丰富控制。
• 支持在句子与词语层级进行迭代式修订，实现高质量歌词的精细优化。
• 展示一个实用且用户友好的系统，将生成与编辑整合于单一工作流中。

提出的方法

• 系统采用在30万首中文歌词上微调的GPT-2语言模型（210M参数），实现高质量的歌词生成。
• 支持两种生成模式：全文生成（单轮次）与交互式生成（上下文条件化、逐行生成）。
• 用户可输入多维度属性，包括内容控制（文本风格、情感、主题、关键词）与格式控制（押韵、藏头、行数、每行字数）。
• 修订模块采用序列到序列框架，基于掩码歌词进行训练，其中[MASK]标记用于替换目标句子或词语以实现预测。
• 训练样本通过随机将句子或词语替换为[MASK]生成，同时将风格标签作为修订模型的上下文。
• 实现版本控制，使用户在编辑过程中可安全迭代并回退更改。

实验结果

研究问题

• RQ1 AI系统如何支持以人为本的交互式歌词创作过程，而非依赖单轮次生成？
• RQ2 哪些多维度控制属性在引导有意义且风格一致的歌词生成方面最为有效？
• RQ3 在句子与词语层级进行迭代修订，是否能显著提升AI生成歌词的质量？
• RQ4 将生成与编辑整合于统一系统中，如何提升用户的创造力与效率？
• RQ5 基于歌词微调的GPT-2模型，在多大程度上能支持多样化控制与高质量输出，以满足现实世界音乐创作的需求？

主要发现

• Youling 在现有系统中支持最丰富的歌词内容与格式控制属性，包括文本风格、情感、主题、关键词、押韵、藏头诗及结构约束。
• 交互式生成模式使用户可根据前序上下文从多个候选行中选择，相比单轮次生成，显著提升了控制力与生成质量。
• 修订模块成功支持句子级与词语级编辑，使用户能够通过迭代方式持续优化歌词直至达到理想输出。
• 实验证明，在30万首中文歌词语料上微调的210M参数GPT-2模型，可实现高质量、可控的歌词生成，且与输入属性具有强相关性。
• 将全文生成、交互式生成与修订功能整合于单一界面，实现了无缝、用户友好的音乐创作者工作流。
• 该系统已公开发布，访问地址为 https://yl.fuxi.netease.com/，并提供演示账号，支持真实场景测试与用户反馈。