[论文解读] The World is Not Binary: Learning to Rank with Grayscale Data for Dialogue Response Selection

Zibo Lin, Deng Cai+4 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 38被引用 5

一句话总结

本文提出一种方法，通过从检索和生成模型自动生成灰度相关性分数，实现多层级排序损失训练，从而提升对话响应选择性能。该方法在三个基准数据集上的四个最先进模型中显著提升性能，通过更好地建模响应质量的多样性并减少训练-测试分布差异。

ABSTRACT

Response selection plays a vital role in building retrieval-based conversation systems. Despite that response selection is naturally a learning-to-rank problem, most prior works take a point-wise view and train binary classifiers for this task: each response candidate is labeled either relevant (one) or irrelevant (zero). On the one hand, this formalization can be sub-optimal due to its ignorance of the diversity of response quality. On the other hand, annotating grayscale data for learning-to-rank can be prohibitively expensive and challenging. In this work, we show that grayscale data can be automatically constructed without human effort. Our method employs off-the-shelf response retrieval models and response generation models as automatic grayscale data generators. With the constructed grayscale data, we propose multi-level ranking objectives for training, which can (1) teach a matching model to capture more fine-grained context-response relevance difference and (2) reduce the train-test discrepancy in terms of distractor strength. Our method is simple, effective, and universal. Experiments on three benchmark datasets and four state-of-the-art matching models show that the proposed approach brings significant and consistent performance improvements.

研究动机与目标

• 解决响应选择中二值标签的局限性，该局限性无法捕捉响应质量的细微差异。
• 减少因在弱随机负样本上训练而造成的训练-测试差异，而测试时使用强而真实的干扰项。
• 开发一种可扩展的、自动化的灰度相关性数据生成方法，无需人工标注。
• 通过教会模型区分不同相关性水平的响应（而非仅二值相关性），提升匹配模型的容量。
• 确保与现有训练框架（如协同教学）兼容，以增强鲁棒性和泛化能力。

提出的方法

• 使用现成的检索和响应生成模型作为中间质量响应的来源，自动生成灰度响应候选。
• 利用渐进式质量排序：真实答案 > 检索生成 > 随机样本，定义相关性层次。
• 设计一种多层级排序目标，结合这些质量层级上的多个二值对比学习信号。
• 将训练目标表述为高质量与低质量响应对之间的成对排序损失组合。
• 在不改变模型架构的前提下，将灰度数据和多层级损失集成到标准匹配模型中，确保正交性与易部署性。
• 将所提方法与现有鲁棒训练框架（如协同教学）结合，进一步提升性能和噪声鲁棒性。

实验结果

研究问题

• RQ1 自动生成的灰度数据是否能超越二值分类，在响应选择模型中带来性能提升？
• RQ2 建模响应质量的细微差异是否能提升在包含强干扰项的真实测试集上的泛化能力？
• RQ3 所提方法能否减少训练与推理场景之间的差距，其中干扰项更具现实性？
• RQ4 与标准的二值交叉熵相比，多层级排序目标在模型性能和鲁棒性方面表现如何？
• RQ5 所提方法是否与现有训练框架（如协同教学）兼容且具有互补性？

主要发现

• 所提方法在三个基准数据集（Ubuntu、Douban、Cornell）上的四个最先进匹配模型（SMN、DAM、G-SMN、G-DAM）中均实现一致且显著的性能提升。
• 在Ubuntu数据集上，G-DAM+CoT的recall@10达到0.981，比基线DAM+CoT（0.967）高出1.5个百分点，展现出强大的泛化能力。
• 在Douban数据集上，G-SMN+CoT的recall@10达到0.970，优于基线SMN+CoT（0.969），且在所有指标上均保持一致提升。
• 案例研究显示，该方法能有效减少模型对合理但不相关干扰项的混淆，使模型能正确拒绝此类响应。
• 与协同教学框架结合后，所提方法进一步提升性能，证明其兼容性和增益价值。
• 多层级排序目标使模型能够学习更精细的相关性区分，尤其在语义接近但不完全相同的响应中表现更优。