[论文解读] Towards Coherent and Engaging Spoken Dialog Response Generation Using Automatic Conversation Evaluators

Sanghyun Yi, Rahul Goel+7 more|arXiv (Cornell University)|Apr 30, 2019

Topic Modeling参考文献 45被引用 15

一句话总结

本文提出了一种对话轮次级别的自动对话评估器，用于衡量响应的连贯性和参与度，以改进开放域语音对话系统。通过在重新排序和复合损失函数中整合评估器反馈，该方法显著提升了响应质量，在自动评估和人工评估中均优于基线模型，自动评估中BLEU-4提升103%，人工评分中参与度得分为2.31。

ABSTRACT

Encoder-decoder based neural architectures serve as the basis of state-of-the-art approaches in end-to-end open domain dialog systems. Since most of such systems are trained with a maximum likelihood~(MLE) objective they suffer from issues such as lack of generalizability and the generic response problem, i.e., a system response that can be an answer to a large number of user utterances, e.g., "Maybe, I don't know." Having explicit feedback on the relevance and interestingness of a system response at each turn can be a useful signal for mitigating such issues and improving system quality by selecting responses from different approaches. Towards this goal, we present a system that evaluates chatbot responses at each dialog turn for coherence and engagement. Our system provides explicit turn-level dialog quality feedback, which we show to be highly correlated with human evaluation. To show that incorporating this feedback in the neural response generation models improves dialog quality, we present two different and complementary mechanisms to incorporate explicit feedback into a neural response generation model: reranking and direct modification of the loss function during training. Our studies show that a response generation model that incorporates these combined feedback mechanisms produce more engaging and coherent responses in an open-domain spoken dialog setting, significantly improving the response quality using both automatic and human evaluation.

研究动机与目标

• 为解决端到端神经对话系统在使用最大似然目标训练时产生的通用响应问题。
• 开发一种对话轮次级别的自动评估器，为系统生成的每个响应提供关于连贯性和参与度的可解释反馈。
• 通过两种互补机制将评估器反馈整合到响应生成中：重新排序和损失函数修改。
• 通过自动评估和人工评估，提升开放域语音对话设置下的对话质量。
• 证明评估器在不同数据集上的泛化能力，包括Reddit和Alexa Prize数据。

提出的方法

• 该系统使用对话历史的固定长度向量表示和人工设计的特征（例如，轮次级上下文、词汇重叠）作为输入，输入至一个有监督的对话评估器。
• 评估器输出连贯性和参与度的显式得分，基于人工标注的对话数据进行训练。
• 通过重新排序整合反馈：对束搜索生成的n个最佳响应，使用评估器输出的得分进行重新评分，以选择最连贯和最具参与度的响应。
• 提出一种复合损失函数，将最大似然损失与基于评估器得分的判别性损失相结合，以指导端到端训练。
• 在Alexa Prize数据集上对模型进行微调，并在自动指标和人工标注上进行评估。
• 评估器还在Reddit数据上进行测试，无需微调，显示出对人与人之间对话的泛化能力。

实验结果

研究问题

• RQ1 自动评估器能否在开放域对话系统中提供可靠、轮次级别的连贯性和参与度反馈？
• RQ2 通过重新排序整合自动评估器反馈，在多大程度上能有效提升响应质量？
• RQ3 仅通过使用评估器反馈修改训练损失，能否在仅使用重新排序的基础上进一步提升响应质量？
• RQ4 评估器是否能在不同对话领域（如人机交互和人与人交互）之间实现泛化？
• RQ5 两种反馈机制的结合在多大程度上能同时提升自动评估和人工评估指标？

主要发现

• 所提出的自动评估器与人工评估高度相关，在标注者间一致性上达到0.42的Cohen’s Kappa，表明能可靠地从主观人工判断中提取信号。
• 结合重新排序与复合损失的S2S_RR_FT模型在人工评估中取得最高性能，连贯性得分为2.55，参与度得分为2.31。
• 仅使用重新排序机制，BLEU-4在Reddit数据集上提升了103%（从3.9提升至7.9），Distinct-2提升了82%，尽管模型是在不同语料上进行训练的。
• 使用复合损失微调的模型（S2S_FT）相比基线模型，连贯性得分提升3.4%，参与度得分提升20%。
• 重新排序与复合损失的结合（S2S_RR_FT）优于两种单独方法，证明了其互补优势。
• 评估器在未微调的Reddit数据上也表现出有效的泛化能力，显示出在不同领域间的鲁棒性与可迁移性。