[论文解读] What makes a good conversation? How controllable attributes affect human judgments

Abigail See, Stephen Roller+2 more|arXiv (Cornell University)|Feb 22, 2019

Speech and dialogue systems参考文献 26被引用 28

一句话总结

本文研究了通过控制低层级对话属性——重复性、具体性、回应相关性及提问行为——如何提升多轮对话的质量。通过条件训练与加权解码，作者表明，平衡这些属性可显著提升人工评估的对话吸引力与质量，达到与最先进模型相当的性能，且无需更多训练数据。

ABSTRACT

A good conversation requires balance -- between simplicity and detail; staying on topic and changing it; asking questions and answering them. Although dialogue agents are commonly evaluated via human judgments of overall quality, the relationship between quality and these individual factors is less well-studied. In this work, we examine two controllable neural text generation methods, conditional training and weighted decoding, in order to control four important attributes for chitchat dialogue: repetition, specificity, response-relatedness and question-asking. We conduct a large-scale human evaluation to measure the effect of these control parameters on multi-turn interactive conversations on the PersonaChat task. We provide a detailed analysis of their relationship to high-level aspects of conversation, and show that by controlling combinations of these variables our models obtain clear improvements in human quality judgments.

研究动机与目标

• 识别在多轮对话中，哪些低层级对话属性对人类对话质量判断影响最大。
• 探究控制重复性、具体性及提问行为等属性是否能提升整体对话质量与感知参与度。
• 评估可控生成方法是否可在不依赖大规模数据的前提下实现最先进性能。
• 证明多轮评估对于检测对话模型中系统性缺陷（如重复与不一致）至关重要。
• 探索不同对话质量之间的权衡关系（例如吸引力与自然性），及其与可控属性的关系。

提出的方法

• 采用两种通用控制方法：条件训练（在训练中引入控制特征）与加权解码（仅在推理阶段应用控制）。
• 控制四个关键属性：重复性（通过重复惩罚）、具体性（通过稀有词加权）、回应相关性（通过上下文注意力）及提问行为（通过问题标记加权）。
• 在PersonaChat数据集上开展大规模人工评估，测量对话的细粒度方面与整体质量。
• 采用多轮交互设置，评估属性控制对对话流、一致性与用户参与度的影响。
• 通过A/B测试比较模型在主观指标（如趣味性与倾听质量）上的表现，使用众包工作者进行成对比较。
• 组合控制参数，实现对多个对话方面的同步优化，通过平衡调优避免权衡效应。

实验结果

研究问题

• RQ1 单个可控属性（重复性、具体性、回应相关性及提问行为）如何影响人类对多轮对话质量的判断？
• RQ2 如何实现这些属性的最佳平衡以最大化整体对话质量与吸引力？
• RQ3 通过条件训练与加权解码控制低层级属性，是否能显著提升人工评估质量而不增加训练数据？
• RQ4 不同对话质量（如趣味性、倾听质量、好奇心）与特定属性控制之间存在何种相关性？
• RQ5 模型在吸引力与自然性方面在多大程度上达到人类水平？这对评估指标有何启示？

主要发现

• 提问率65.7%（z=7）时，吸引力达到最高，优于重复性控制基线（50.0%）与人类黄金数据（28.8%）。
• 具体性控制——提升稀有词使用——在A/B测试中显著提升了趣味性，所有具体性控制模型的趣味性评分均高于基线。
• 在重复性、具体性与提问行为上实现最优控制的模型，达到了人类水平的吸引力评分（3.70/5.0），并匹配NeurIPS ConvAI2冠军模型的性能，尽管训练数据更少。
• 最佳模型在吸引力上得分为3.70/5.0，在逻辑通顺性上得分为3.41/5.0，在倾听质量上得分为3.55/5.0，表明其在多个维度上均表现优异。
• 尽管吸引力极高，该模型的人类自然度得分却不高（3.12/5.0），表明吸引力与自然性并非等价。
• 同时控制多个属性带来的改进比单独控制任一属性更显著，凸显了对话元素平衡的重要性。