[论文解读] Neural Text Generation: A Practical Guide

Ziang Xie|arXiv (Cornell University)|Nov 27, 2017

Topic Modeling参考文献 42被引用 33

一句话总结

本实用指南提供了可操作的技术，用于诊断和解决神经文本生成中的常见问题，如重复、截断和多样性不足，重点在于解码阶段的干预措施，而非重新训练。它提出了一系列与模型架构无关的策略，如覆盖惩罚、长度约束以及促进多样性的解码启发式方法，以在最小化重新训练的前提下改善模型行为。

ABSTRACT

Deep learning methods have recently achieved great empirical success on machine translation, dialogue response generation, summarization, and other text generation tasks. At a high level, the technique has been to train end-to-end neural network models consisting of an encoder model to produce a hidden representation of the source text, followed by a decoder model to generate the target. While such models have significantly fewer pieces than earlier systems, significant tuning is still required to achieve good performance. For text generation models in particular, the decoder can behave in undesired ways, such as by generating truncated or repetitive outputs, outputting bland and generic responses, or in some cases producing ungrammatical gibberish. This paper is intended as a practical guide for resolving such undesired behavior in text generation models, with the aim of helping enable real-world applications.

研究动机与目标

• 解决神经文本生成模型中病态行为的挑战，例如重复或截断的输出，而无需重新训练。
• 为编码器-解码器注意力模型提供一种系统化、与架构无关的解码行为调试方法。
• 强调错误分析和解码时干预措施，作为提高模型输出质量的低成本替代方案，而非重新训练。
• 通过提供提升解码速度和生产环境中可靠性的技术，支持实际部署。

提出的方法

• 使用覆盖惩罚来惩罚对源输入的不完整注意力，计算方式为对所有源时间步的注意力和取对数后求和。
• 在解码过程中应用长度约束，通过将目标序列长度限制在与源长度相差一个容差值的范围内，以提高连贯性。
• 通过检测对先前时间步的重复注意力并在注意力矩阵基础上施加惩罚，来实现重复惩罚。
• 通过温度缩放调整softmax或在束搜索解码期间惩罚低排名的兄弟节点，以增加输出多样性。
• 通过束剪枝、批量处理、计算缓存以及高效的计算图编译来优化解码速度。
• 使用覆盖惩罚对最终假设进行重排序，以在不改变主要解码过程的前提下提升最终输出质量。

实验结果

研究问题

• RQ1 解码阶段的干预措施如何减少神经文本生成模型中的重复或截断输出？
• RQ2 有哪些技术可以在不重新训练的情况下提高模型输出的多样性，特别是在对话和问答任务中？
• RQ3 如何利用覆盖惩罚和长度约束来改善注意力对齐和连贯性？
• RQ4 在神经文本生成中，有哪些有效的、与架构无关的策略可用于诊断和修复解码行为？
• RQ5 如何在不牺牲输出质量的前提下，提高实时生产部署中的解码速度？

主要发现

• 覆盖惩罚显著减少了对源输入的不完整注意力，改善了对齐效果并减少了截断现象。
• 将目标序列长度限制在与源长度相差一个容差值范围内的长度约束，可提高连贯性并减少分布外输出。
• 基于注意力矩阵分析的重复惩罚能有效减少重复输出，通过抑制对已注意时间步的再次关注。
• 在束搜索解码期间使用温度缩放和兄弟节点多样性惩罚，可显著提升输出多样性，尤其在对话等低变异性任务中。
• 解码级优化技术，如束剪枝、批量处理和计算缓存，可在实践中将解码时间减少数个数量级。
• 使用覆盖惩罚对最终假设进行重排序，可在不修改主要解码过程的前提下获得更优的最终输出。