[论文解读] Neural Language Generation: Formulation, Methods, and Evaluation

Cristina Gârbacea, Qiaozhu Mei|arXiv (Cornell University)|Jul 31, 2020

Topic Modeling参考文献 508被引用 23

一句话总结

本综述提供了神经语言生成的全面、最新概述，正式定义了其问题形式——通用生成、条件生成和约束生成——同时回顾了RNN、seq2seq、VAE、GAN和transformer等前沿深度学习架构。它强调了亟需改进、自动化的评估指标，以与人类判断保持一致，并解决文本生成系统中公平性、可解释性和无参考评估的问题。

ABSTRACT

Recent advances in neural network-based generative modeling have reignited the hopes in having computer systems capable of seamlessly conversing with humans and able to understand natural language. Neural architectures have been employed to generate text excerpts to various degrees of success, in a multitude of contexts and tasks that fulfil various user needs. Notably, high capacity deep learning models trained on large scale datasets demonstrate unparalleled abilities to learn patterns in the data even in the lack of explicit supervision signals, opening up a plethora of new possibilities regarding producing realistic and coherent texts. While the field of natural language generation is evolving rapidly, there are still many open challenges to address. In this survey we formally define and categorize the problem of natural language generation. We review particular application tasks that are instantiations of these general formulations, in which generating natural language is of practical importance. Next we include a comprehensive outline of methods and neural architectures employed for generating diverse texts. Nevertheless, there is no standard way to assess the quality of text produced by these generative models, which constitutes a serious bottleneck towards the progress of the field. To this end, we also review current approaches to evaluating natural language generation systems. We hope this survey will provide an informative overview of formulations, methods, and assessments of neural natural language generation.

研究动机与目标

• 基于上下文和约束，正式定义并分类神经自然语言生成问题，分为通用生成、条件生成和约束生成三类。
• 详细回顾现代文本生成中使用的深度学习方法和神经架构，包括RNN、seq2seq、VAE、GAN和基于transformer的模型。
• 通过回顾现有自动化评估与人工评估方法，解决神经文本生成中缺乏标准化评估的问题，并强调无参考评估与任务特定指标的必要性。
• 识别在泛化能力、长上下文连贯性、少样本学习以及生成文本中的偏见与记忆化等伦理问题方面的关键开放挑战。
• 倡导开发可解释、公平且可问责的评估框架，以补充人类判断，并支持NLG系统的负责任部署。

提出的方法

• 将文本生成形式化为使用概率链式法则学习序列标记上的条件或无条件概率分布。
• 将文本生成分为三类：(1) 通用/自由文本生成，(2) 条件生成（例如基于输入表示），(3) 约束生成（例如具有风格、内容或格式约束）。
• 回顾用于序列生成的神经架构，包括RNN、LSTM、GRU、注意力机制、transformer、VAE、GAN和记忆增强网络。
• 引入预训练语言模型和迁移学习技术，以提升低资源场景下零样本和少样本泛化能力。
• 提出使用神经模型进行无参考评估策略，通过将生成文本与源意义表示进行比较来预测质量分数，而无需标准参考文本。
• 强调整合多种自动化指标（如BLEU、ROUGE、BERTScore）与人工评估，以全面评估流畅性、连贯性、多样性与事实正确性。

实验结果

研究问题

• RQ1 如何基于上下文、约束和输入条件，对神经语言生成进行正式分类？
• RQ2 在生成多样化、连贯且上下文恰当的文本方面，最有效的神经架构和训练范式是什么？
• RQ3 为何生成文本的自动化评估仍是主要瓶颈？当前指标如BLEU和ROUGE存在哪些局限性？
• RQ4 如何改进无参考评估方法，以减少对昂贵人工标注参考文本的依赖？
• RQ5 需要哪些评估指标来确保神经文本生成系统的公平性、可解释性与伦理使用？

主要发现

• 神经序列模型，尤其是transformer和大规模预训练模型，在多样化任务中实现了生成流畅且连贯文本的最先进性能。
• 尽管取得进展，模型仍常记忆训练数据，并在开放式生成中面临长距离连贯性与事实一致性的挑战。
• 没有单一自动化指标能与人类判断完全相关；因此，结合多种指标（如BERTScore、ROUGE、困惑度）对于稳健评估至关重要。
• 无参考评估方法，如利用语义嵌入将生成文本与源输入进行比较，显示出降低标注成本的潜力，尤其适用于机器翻译和对话系统。
• 在医疗或法律文本生成等高风险应用中，对公平性、偏见与可解释性的评估指标需求日益增长。
• 人工评估仍是黄金标准，但应谨慎使用自动化指标，仅在它们与人类判断具有合理相关性时才适用。