[论文解读] Pre-Trained and Attention-Based Neural Networks for Building Noetic Task-Oriented Dialogue Systems

Jia-Chen Gu, Tianda Li+4 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 32被引用 13

一句话总结

该论文提出了一种针对多轮任务导向对话系统的预训练、基于注意力的神经网络，结合 BERT 和新颖的适配技术。在 DSTC 8 Track 2 的四个子任务中取得了最先进结果，子任务 3 和 4 排名第一，子任务 2 排名第三，子任务 1 排名第四，消融实验验证了预训练、切换嵌入和解耦策略的有效性。

ABSTRACT

The NOESIS II challenge, as the Track 2 of the 8th Dialogue System Technology Challenges (DSTC 8), is the extension of DSTC 7. This track incorporates new elements that are vital for the creation of a deployed task-oriented dialogue system. This paper describes our systems that are evaluated on all subtasks under this challenge. We study the problem of employing pre-trained attention-based network for multi-turn dialogue systems. Meanwhile, several adaptation methods are proposed to adapt the pre-trained language models for multi-turn dialogue systems, in order to keep the intrinsic property of dialogue systems. In the released evaluation results of Track 2 of DSTC 8, our proposed models ranked fourth in subtask 1, third in subtask 2, and first in subtask 3 and subtask 4 respectively.

研究动机与目标

• 开发适用于复杂多轮任务导向对话系统的高效预训练和基于注意力的神经网络。
• 解决真实对话系统中多角色对话、对话成功预测和对话解耦的挑战。
• 将预训练语言模型（如 BERT）适配以保留内在对话特性，同时提升对话特定任务的性能。
• 在 DSTC 8 Track 2 的所有子任务上评估所提出模型，涵盖响应选择、多对话解耦、成功预测和对话分割。

提出的方法

• 采用 BERT 作为基础架构，用于编码对话上下文和响应候选。
• 引入切换嵌入以建模多轮对话中的说话人身份和轮次动态。
• 应用解耦策略，通过分离并处理独立的对话流来处理多个并发对话。
• 在外部对话数据上进行预训练，以增强 DSTC 8 数据集之外的上下文表征学习能力。
• 通过模型平均和概率平均的集成学习方法提升鲁棒性和性能。
• 结合改写和加权损失函数进行数据增强，以提升子任务 3 的泛化能力。

实验结果

研究问题

• RQ1 如何有效适配像 BERT 这样的预训练语言模型，以支持具有复杂对话结构的多轮任务导向对话系统？
• RQ2 在多对话和多角色对话设置中，说话人感知嵌入和解耦机制对性能有何影响？
• RQ3 在外部对话数据上进行预训练在对话理解任务的零样本或少样本设置下，能在多大程度上提升性能？
• RQ4 诸如切换嵌入和解耦策略等架构组件如何影响不同对话子任务中的模型性能？
• RQ5 当与强大的预训练模型结合时，人工特征和损失函数修改能否进一步提升性能？

主要发现

• 所提模型在子任务 3（对话成功预测）和子任务 4（对话分割）中均取得最高排名，双双排名第一。
• 在子任务 1（响应选择）中，模型排名第四，Recall@1 达到 0.638，展现出强大的检索性能。
• 在子任务 2（多对话解耦）中，模型排名第三，Recall@1 为 0.477，消融实验表明解耦对性能至关重要。
• 消融实验确认，若移除预训练，Recall@1 下降 1.6%；而引入切换嵌入则带来 0.6% 的性能提升。
• 采用概率平均的集成模型优于其他平均策略，在子任务 4 中达到 0.947 的 1-Scaled VI 和 0.534 的 F1。
• 尽管使用了 BERT，模型在子任务 4 上的 F1 仅达到 46.3%，表明对话解耦仍是具有挑战性的开放问题。