[论文解读] RefNet: A Reference-aware Network for Background Based Conversation

Chuan Meng, Pengjie Ren+4 more|arXiv (Cornell University)|Aug 18, 2019

Topic Modeling参考文献 50被引用 7

一句话总结

RefNet 提出了一种新颖的参考感知网络，用于基于背景的对话，通过可学习的解码切换器，将参考解码（从背景中直接选择语义单元）与生成解码（逐 token 生成响应）相结合。通过动态选择检索信息片段或生成流畅响应，RefNet 在自动评估和人工评估中均显著优于最先进模型，实现了更高的流畅度和相关性。

ABSTRACT

Existing conversational systems tend to generate generic responses. Recently, Background Based Conversations (BBCs) have been introduced to address this issue. Here, the generated responses are grounded in some background information. The proposed methods for BBCs are able to generate more informative responses, they either cannot generate natural responses or have difficulty in locating the right background information. In this paper, we propose a Reference-aware Network (RefNet) to address the two issues. Unlike existing methods that generate responses token by token, RefNet incorporates a novel reference decoder that provides an alternative way to learn to directly cite a semantic unit (e.g., a span containing complete semantic information) from the background. Experimental results show that RefNet significantly outperforms state-of-the-art methods in terms of both automatic and human evaluations, indicating that RefNet can generate more appropriate and human-like responses.

研究动机与目标

• 解决现有基于背景对话模型的局限性，即要么生成通用响应，要么无法在背景文本中准确定位相关语义单元。
• 在单一统一架构中结合抽取式与生成式方法的优势——即在选择相关背景片段时的准确性与在生成响应时的流畅性。
• 设计一种可学习的解码切换器，能够在每个解码步骤自适应地选择参考解码或生成解码，其决策受监督切换损失引导。
• 通过直接从背景文本中选择完整的语义单元，提升响应质量，减少碎片化并增强事实准确性。

提出的方法

• RefNet 使用背景编码器和上下文编码器，生成背景和对话历史的上下文表示。
• 解码切换器模块在每个解码步骤决定执行参考解码（从背景中选择一个语义片段）还是生成解码（从词汇表中预测一个 token 或从背景中复制）。
• 混合解码器实现两种解码模式：参考解码使用指针机制从背景中选择一个完整的语义单元，而生成解码使用标准的自回归解码器。
• 切换器通过监督损失进行训练，以鼓励根据真实决策正确选择解码模式，从而提升上下文与背景之间的对齐。
• 模型使用匹配层基于上下文对背景表示进行优化，并联合初始化基于背景和上下文隐藏状态的解码状态。
• 该架构端到端可训练，并利用边界标注的语义单元实现监督式参考解码。

实验结果

研究问题

• RQ1 统一模型能否有效结合抽取式与生成式响应生成在基于背景对话中的优势？
• RQ2 与固定或启发式策略相比，一种可学习的解码切换器在参考与生成模式之间选择是否能提升响应质量？
• RQ3 直接从背景文本中选择完整的语义单元能否减少响应碎片化并提升事实准确性？
• RQ4 监督式切换损失的引入在多大程度上提升了模型在每一步选择最优解码策略的能力？

主要发现

• RefNet 在自动评估与人工评估指标上均显著优于最先进模型，混合短背景版本的 ROUGE-L 得分为 48.46，F1 得分为 48.46。
• 参考解码与生成解码的结合性能优于单独使用任一模式，表明二者具有互补优势。
• 切换器损失显著提升了所有指标的表现，尤其在 F1（+6.31 分）与 ROUGE-L（+5.86 分）上，表明模型对相关语义单元的选择能力更强。
• 案例研究显示，RefNet 能够正确识别并使用完整的语义单元（例如 "$279,167,575"），生成比 QANet 或 CaKe 更自然、更信息丰富的响应。
• 尽管有所改进，RefNet 仍偶尔会选择短小或无意义的单元（如 "i"、"it"），表明在参考解码标准方面仍有改进空间。
• 模型在人工评估中表现优异，证实其生成更恰当、更接近人类风格响应的能力优于现有方法。