[论文解读] Why Do Neural Response Generation Models Prefer Universal Replies?

Bowen Wu, Nan Jiang+7 more|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling参考文献 29被引用 5

一句话总结

本文指出，神经响应生成模型倾向于生成通用回复，这是由于其优化目标以及对话语料库的统计特性所致，后者偏好高频词汇和通用回复。为解决此问题，作者提出一种最大边际排序正则化项，通过重新加权响应得分以优先选择语义相关回复，显著减少了自动评估和人工评估中的通用输出。

ABSTRACT

Recent advances in sequence-to-sequence learning reveal a purely data-driven approach to the response generation task. Despite its diverse applications, existing neural models are prone to producing short and generic replies, making it infeasible to tackle open-domain challenges. In this research, we analyze this critical issue in light of the model's optimization goal and the specific characteristics of the human-to-human dialog corpus. By decomposing the black box into parts, a detailed analysis of the probability limit was conducted to reveal the reason behind these universal replies. Based on these analyses, we propose a max-margin ranking regularization term to avoid the models leaning to these replies. Finally, empirical experiments on case studies and benchmarks with several metrics validate this approach.

研究动机与目标

• 探究尽管训练数据质量高，神经响应生成模型为何仍会产生通用、万能回复的根本原因。
• 分析序列到序列（Seq2Seq）模型的优化目标与人类对话语料库的统计分布如何共同促进生成常见且信息量低的回复。
• 提出一种通过修改模型损失函数而非仅依赖解码策略来提升响应相关性的方法。
• 提供一种理论基础扎实、数据驱动的解决方案，以促进模型收敛至信息丰富、上下文相关的回复。

提出的方法

• 作者将响应生成任务分解为两个阶段：词汇选择与词汇排序，分析每个阶段如何导致对通用回复的偏好。
• 他们发现标准交叉熵损失倾向于选择高频词汇，并在排序阶段未能强制实现查询与响应之间的语义对齐。
• 引入一种最大边际排序正则化项，以惩罚与查询语义无关的响应，即使这些响应在语法上流畅且常见。
• 该正则化项采用基于边距的排序目标，提升与查询语义相关响应的得分，同时相对降低通用响应的得分。
• 该方法被整合到标准Seq2Seq训练目标中，实现端到端优化，且无需修改推理阶段的解码过程。
• 该方法在基准数据集上通过多种自动指标和人工评估进行验证，以衡量响应质量与多样性。

实验结果

研究问题

• RQ1 为何基于Seq2Seq的神经响应生成模型尽管使用高质量训练数据，仍持续生成简短、通用的回复？
• RQ2 人类对话语料库的统计特性在多大程度上导致模型偏好生成通用回复？
• RQ3 标准交叉熵损失在多大程度上未能在生成过程中强制实现查询与响应之间的语义对齐？
• RQ4 基于排序的正则化项是否能在不改变解码策略的前提下有效减少通用回复的生成？
• RQ5 与那些修改推理过程或引入潜在变量的现有方法相比，所提出的方法表现如何？

主要发现

• 分析表明，标准Seq2Seq目标倾向于选择高频词汇，并在响应排序阶段忽略语义约束，从而导致通用输出。
• 所提出的最大边际排序正则化显著减少了通用回复的生成，该结论得到自动指标和人工评估的验证。
• 案例研究显示，加入正则化的模型能生成更具上下文相关性的回复，例如在位置相关查询中识别出“Joy City购物中心”。
• 该方法成功降低了当存在更信息丰富的替代回复时，无关或通用回复（如“我不知道”或“太棒了！”）的排序位置。
• 加入正则化的模型在不修改解码过程的前提下，优于基线Seq2Seq模型和贪婪束搜索，在生成多样化、信息丰富回复方面表现更优。
• 实证结果证实，该正则化项有效提升了响应的相关性，同时保持了流畅性与连贯性。