[论文解读] Theme-aware generation model for chinese lyrics

Jie Wang, Xinyan Zhao|arXiv (Cornell University)|May 23, 2019

Topic Modeling参考文献 14被引用 5

一句话总结

本文提出一种主题感知的序列到序列模型，通过多通道编码器和基于注意力的解码机制整合主题信息，实现连贯的中文歌词生成。该模型通过联合编码全局主题与局部句子上下文，提升主题连贯性与语法正确性，在基于LDA提取主题的语料库上，性能优于基线模型。

ABSTRACT

With rapid development of neural networks, deep-learning has been extended to various natural language generation fields, such as machine translation, dialogue generation and even literature creation. In this paper, we propose a theme-aware language generation model for Chinese music lyrics, which improves the theme-connectivity and coherence of generated paragraphs greatly. A multi-channel sequence-to-sequence (seq2seq) model encodes themes and previous sentences as global and local contextual information. Moreover, attention mechanism is incorporated for sequence decoding, enabling to fuse context into predicted next texts. To prepare appropriate train corpus, LDA (Latent Dirichlet Allocation) is applied for theme extraction. Generated lyrics is grammatically correct and semantically coherent with selected themes, which offers a valuable modelling method in other fields including multi-turn chatbots, long paragraph generation and etc.

研究动机与目标

• 解决中文音乐神经歌词生成模型中主题连贯性不足的问题。
• 通过在序列生成过程中引入显式主题信息，提升生成歌词的语义与主题一致性。
• 设计一种多通道序列到序列架构，同时编码全局主题与局部句子上下文，以增强上下文理解能力。
• 在使用LDA提取主题的精选中文歌词数据集上进行模型评估，用于训练与测试。
• 展示该模型在生成语法正确、主题连贯的歌词方面的有效性，适用于聊天机器人与长文本生成等应用场景。

提出的方法

• 设计一种多通道序列到序列模型，其中一条通道用于编码输入主题，另一条通道用于编码前序句子作为局部上下文。
• 模型对输入标记使用共享嵌入层，并对主题与句子序列分别应用双向LSTM编码器，以捕捉长距离依赖关系。
• 在解码过程中应用注意力机制，动态关注编码后的主题与先前句子表示中的相关部分。
• 利用LDA（潜在狄利克雷分配）从大规模中文歌词语料中提取主题，作为监督训练信号。
• 解码器以条件上下文向量为基础，逐 token 生成歌词，该上下文向量由主题与句子编码联合生成。
• 采用交叉熵损失并结合标签平滑技术进行端到端训练，以提升泛化能力并减少过拟合。

实验结果

研究问题

• RQ1 显式整合主题信息是否能提升生成中文歌词的主题连贯性？
• RQ2 主题与局部上下文的多通道编码如何影响生成歌词的质量与一致性？
• RQ3 基于注意力的解码在多大程度上增强了生成文本与输入主题的相关性？
• RQ4 与无主题感知机制的基线序列到序列模型相比，该模型在流畅性与连贯性方面表现如何？
• RQ5 当输入主题多样化时，该模型能否生成语法正确且语义有意义的歌词？

主要发现

• 所提出的模型在生成歌词的主题连贯性方面显著优于基线序列到序列模型。
• 人工评估显示，该模型生成的歌词具有更高的主题一致性与语法正确性。
• 主题感知编码的引入使生成文本中的词汇选择更具相关性与上下文适宜性。
• 注意力机制能有效聚焦于主题与先前句子中的关键部分，从而提升生成质量。
• 在自动指标（如BLEU、ROUGE）与人工判断的主题相关性方面，该模型均优于非主题感知的基线模型。
• 基于LDA的主题提取方法能有效识别中文歌词中的有意义主题，为生成模型提供有效的监督信号。