[论文解读] Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation

Albert Gatt, Emiel Krahmer|arXiv (Cornell University)|Mar 29, 2017

Topic Modeling参考文献 89被引用 10

一句话总结

本综述全面总结了自然语言生成（NLG）领域的最新进展，涵盖内容确定、文本结构化和词汇化等核心任务，以及神经编码器-解码器模型和强化学习等现代架构。文章强调了在数据到文本生成、创意文本和情感语言等关键应用中的研究进展，并对评估方法进行了批判性分析，指出内在评估与外在评估之间的差距，强调需要建立标准化、以人类为中心的评估框架。

ABSTRACT

This paper surveys the current state of the art in Natural Language Generation (NLG), defined as the task of generating text or speech from non-linguistic input. A survey of NLG is timely in view of the changes that the field has undergone over the past decade or so, especially in relation to new (usually data-driven) methods, as well as new applications of NLG technology. This survey therefore aims to (a) give an up-to-date synthesis of research on the core tasks in NLG and the architectures adopted in which such tasks are organised; (b) highlight a number of relatively recent research topics that have arisen partly as a result of growing synergies between NLG and other areas of artificial intelligence; (c) draw attention to the challenges in NLG evaluation, relating them to similar challenges faced in other areas of Natural Language Processing, with an emphasis on different evaluation methods and the relationships between them.

研究动机与目标

• 提供现代系统中核心NLG任务及其架构实现的最新、全面的综合分析。
• 识别由NLG与其他AI领域（特别是视觉-语言融合与神经生成）协同推动的新兴研究趋势。
• 批判性审视NLG中的评估方法论，比较内在评估（如人工判断、指标）与外在评估（如基于任务的评估）方法。
• 解决自动评估指标与人类对流畅性、连贯性和恰当性的判断之间长期存在的不一致问题。
• 通过识别风格控制、情感生成以及NLG在现实应用中集成方面的开放性问题，为未来研究提供指导。

提出的方法

• 系统性地将NLG划分为五个核心任务：内容确定、文本结构化、句子聚合、词汇化和指代表达生成。
• 回顾传统模块化与基于规划的架构，与现代数据驱动方法（如统计模型、序列到序列模型和条件语言模型）进行对比。
• 分析神经NLG架构，包括编码器-解码器框架和基于Transformer的模型，强调其在端到端生成中的作用。
• 探讨视觉-语言接口，重点关注图像字幕生成和基于视觉输入的语境化文本生成。
• 探索风格化与情感化生成，包括人格建模、礼貌性表达和隐喻生成，采用基于规则和神经方法。
• 通过双重评估视角评估NLG系统：内在方法（人工判断、自动指标）与外在方法（对话、摘要等下游任务中的表现），倡导开展受控实验，并确保指标与人类评估的一致性。

实验结果

研究问题

• RQ1 与传统的基于规则或模板的方法相比，近期的数据驱动方法在NLG系统的架构和性能方面发生了哪些根本性转变？
• RQ2 神经序列模型在新闻、教育和对话等多样化领域中，能在多大程度上生成流畅、连贯且符合语境的文本？
• RQ3 NLG系统评估中的主要挑战是什么？内在评估与外在评估方法在捕捉类人语言质量方面有何差异？
• RQ4 NLG系统如何有效生成具有特定风格、个性或情感基调的文本？当前神经方法在这些方面的局限性是什么？
• RQ5 基于外部数据（如视觉输入、知识库）的语境化在推动NLG发展中的作用是什么？这种语境化如何整合到现代生成流程中？

主要发现

• 神经序列模型，特别是编码器-解码器和条件语言模型，已成为现代NLG的主导架构，实现了流畅性与连贯性显著提升的端到端生成。
• 评估仍是主要瓶颈：BLEU和ROUGE等自动指标与人类对质量的判断（尤其是连贯性和风格）相关性较差。
• 外在评估——即在对话、摘要等下游任务中衡量系统表现——相比仅依赖内在指标，能更有力地证明NLG系统的实用性。
• NLG中的风格化与情感控制仍不成熟；尽管在生成礼貌或非正式语言方面已有进展，但对人格与情感的稳健控制仍是重大挑战。
• 视觉与语言的融合已取得显著进展，图像字幕系统现能利用视觉-语义嵌入生成描述性强且语境相关的字幕。
• 尽管已有进展，但尚无单一评估方法能完全捕捉自然语言质量的多维特性，因此亟需采用多方法、人类参与的评估策略。