[论文解读] Why are Sequence-to-Sequence Models So Dull? Understanding the Low-Diversity Problem of Chatbots

Shaojie Jiang, Maarten de Rijke|arXiv (Cornell University)|Sep 6, 2018

Topic Modeling参考文献 28被引用 5

一句话总结

本文将模型过自信识别为序列到序列（Seq2Seq）聊天机器人响应多样性低的关键但未被充分探索的原因。通过在训练过程中引入置信度惩罚和标签平滑以最大化输出熵，作者展示了一种有前途的、更简单的替代方法，相较于变分自编码器（VAEs）或最大互信息（MMI）等现有方法，该方法无需复杂的架构改动即可减少重复输出并提升响应多样性。

ABSTRACT

Diversity is a long-studied topic in information retrieval that usually refers to the requirement that retrieved results should be non-repetitive and cover different aspects. In a conversational setting, an additional dimension of diversity matters: an engaging response generation system should be able to output responses that are diverse and interesting. Sequence-to-sequence (Seq2Seq) models have been shown to be very effective for response generation. However, dialogue responses generated by Seq2Seq models tend to have low diversity. In this paper, we review known sources and existing approaches to this low-diversity problem. We also identify a source of low diversity that has been little studied so far, namely model over-confidence. We sketch several directions for tackling model over-confidence and, hence, the low-diversity problem, including confidence penalties and label smoothing.

研究动机与目标

• 诊断Seq2Seq对话系统中响应多样性低的问题，超越现有解释。
• 识别模型过自信为导致响应多样性低的先前被低估的根源。
• 提出置信度惩罚和标签平滑作为正则化技术，通过最大化输出熵来提升多样性。
• 将过自信定位为与以往原因（如缺乏可变性、目标函数不当、条件信号微弱）不同的独立诊断因素。
• 提出熵最大化方法可能是复杂架构（如VAEs或基于MMI的模型）的更简单、更有效的替代方案。

提出的方法

• 在负对数似然损失函数中引入置信度惩罚项，以抑制过自信的预测。
• 将输出分布的负熵作为损失函数中的正则化项，其中超参数β控制其强度。
• 应用标签平滑正则化，其理论上与置信度惩罚相关，以防止模型为单一标记分配过高的概率。
• 使用修改后的损失函数训练Seq2Seq模型，以在生成过程中鼓励更均匀的输出分布。
• 利用熵最大化来对抗‘雪球效应’，即高置信度预测随时间推移放大错误。
• 评估这些方法对响应多样性与重复性的影响，尤其与VAEs或注意力机制等现有方法进行对比。

实验结果

研究问题

• RQ1 为何Seq2Seq模型在生成流畅且语法正确的响应时仍会产生多样性低的输出？
• RQ2 模型过自信如何导致生成重复或平庸的响应（如‘我不知道’或‘我很抱歉’）？
• RQ3 置信度惩罚和标签平滑是否能在不修改模型架构的前提下有效缓解响应多样性问题？
• RQ4 过自信与已知的低多样性原因（如缺乏可变性或条件信号微弱）有何不同？
• RQ5 熵最大化正则化在多大程度上能同时提升对话生成的多样性与相关性？

主要发现

• 模型过自信是Seq2Seq聊天机器人中响应多样性低的重要但研究不足的原因。
• 置信度惩罚方法（在训练期间最大化输出熵）在理论上与标签平滑相关联，可对模型预测进行正则化。
• 如置信度惩罚等熵最大化方法可缓解导致后期生成步骤中重复输出的‘雪球效应’。
• 这些方法为复杂架构（如VAEs或基于MMI的模型）提供了更简单、更有效的替代方案，后者需额外模块和超参数。
• 所提出的方法可通过防止过自信、低熵预测来减少自我重复并提升响应相关性。
• 低多样性问题与生成对抗网络（GANs）中的模式崩溃有相似之处，提示生成对抗训练可能带来跨方法论的启示。