[论文解读] Rapformer: Conditional Rap Lyrics Generation with Denoising Autoencoders

Nikola I. Nikolov, Eric Malmi+2 more|arXiv (Cornell University)|Apr 8, 2020

Music and Audio Processing被引用 7

一句话总结

Rapformer 提出了一种基于 Transformer 的去噪自编码器条件说唱歌词生成模型，通过从原始歌词中提取的关键词重建说唱段落，利用基于 BERT 的改写模块将押韵密度提升 10%，在图灵测试中使专家误判率达 25%，实现类人流畅度，并有效保留内容的同时在新闻、电影剧情和现有歌词等多样化输入中实现风格迁移。

ABSTRACT

The ability to combine symbols to generate language is a defining characteristic of human intelligence, particularly in the context of artistic story-telling through lyrics. We develop a method for synthesizing a rap verse based on the content of any text (e.g., a news article), or for augmenting pre-existing rap lyrics. Our method, called Rapformer, is based on training a Transformer-based denoising autoencoder to reconstruct rap lyrics from content words extracted from the lyrics, trying to preserve the essential meaning, while matching the target style. Rapformer features a novel BERT-based paraphrasing scheme for rhyme enhancement which increases the average rhyme density of output lyrics by 10%. Experimental results on three diverse input domains show that Rapformer is capable of generating technically fluent verses that offer a good trade-off between content preservation and style transfer. Furthermore, a Turing-test-like experiment reveals that Rapformer fools human lyrics experts 25% of the time.

研究动机与目标

• 开发一种条件说唱歌词生成方法，从输入文本中保留内容的同时迁移说唱歌词的风格特征。
• 解决无条件生成方法在主题和叙事方向上缺乏控制的问题。
• 通过新颖的后处理增强步骤，提升生成歌词的押韵一致性，这是说唱风格的关键特征。
• 在包括新闻文章、电影剧情摘要和现有说唱歌词在内的多样化输入领域评估模型性能。
• 通过人类评估，包括类图灵测试实验，评估生成歌词的真实性。

提出的方法

• 训练一个基于 Transformer 的去噪自编码器，从原始歌词中提取的内容词列表重建完整的说唱段落。
• 使用基于 BERT 的改写方案，将非押韵的句末词替换为押韵替代词，使平均押韵密度提升 10%。
• 将模型条件化于多样化输入类型——新闻摘要、电影剧情和现有说唱歌词，实现内容可控的生成。
• 应用后处理步骤，在不改变生成段落核心语义内容的前提下增强押韵结构。
• 使用序列到序列学习目标进行微调，其中输入为内容词序列，输出为完整说唱段落。
• 通过自动指标（如内容重叠度、流畅度）和人类评估（包括与人工创作歌词的并列比较）进行性能评估。

实验结果

研究问题

• RQ1 去噪自编码器方法能否有效生成在多样输入文本中提取的内容词条件下的连贯且风格准确的说唱歌词？
• RQ2 基于 BERT 的押韵增强步骤在多大程度上提升了生成歌词的押韵密度和感知质量？
• RQ3 该模型在迁移说唱歌词风格特征的同时，对输入语义内容的保留程度如何？
• RQ4 在类图灵测试设置下，人类专家能否可靠地区分 Rapformer 生成的歌词与人工创作的说唱歌词？
• RQ5 在内容保真度和风格流畅度方面，该模型在新闻文章、电影剧情和现有说唱歌词等不同输入领域中的表现如何？

主要发现

• Rapformer 能够成功生成技术上流畅的说唱段落，在三种不同输入领域中均保持了内容保留与风格迁移之间的良好平衡。
• 基于 BERT 的押韵增强步骤使生成歌词的平均押韵密度提升了 10%，增强了风格的真实性。
• 在类图灵测试评估中，当逐一呈现歌词时，Rapformer 使人类歌词专家在 25% 的情况下产生误判，表明其具有高度的真实性。
• 在并列比较中，有 8% 的 Rapformer 生成歌词（来自新闻文章）被至少两名三名评审员错误识别为人工创作。
• 在内容重叠度和风格迁移质量方面，该模型优于强基线信息检索方法和无条件生成基线方法。
• 该方法在增强现有说唱歌词方面尤为有效，能生成连贯且风格一致的变体。