[论文解读] UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented Dialogues

Xinyan Zhao, Bin He+7 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用 5

一句话总结

UniDS 提出了一种端到端的统一对话系统，通过共享的数据模式和在预训练对话模型（DialoGPT）上对混合对话数据进行微调，联合处理闲聊和任务导向型对话。该方法在性能上可与当前最优的闲聊系统相媲美，超越了当前最优的任务导向型系统，并展现出更优的鲁棒性以及在不增加参数量的前提下无缝切换对话类型的能力。

ABSTRACT

With the advances in deep learning, tremendous progress has been made with chit-chat dialogue systems and task-oriented dialogue systems. However, these two systems are often tackled separately in current methods. To achieve more natural interaction with humans, a dialogue agent needs to be capable of both chatting and accomplishing tasks. To this end, we propose a unified dialogue system (UniDS) with the two aforementioned skills. In particular, we design a unified dialogue data schema, compatible for both chit-chat and task-oriented dialogues, and we train UniDS with mixed dialogue data from a pretrained chit-chat dialogue model. Without adding extra parameters to SOTA baselines, UniDS can alternatively handle chit-chat and task-oriented dialogues in a unified framework. Experimental results demonstrate that the proposed UniDS works comparably well as the pure chit-chat system, and it outperforms state-of-the-art task-oriented dialogue systems. More importantly, UniDS achieves better robustness as it is able to smoothly switch between two types of dialogues. These results demonstrate the feasibility and potential of building an one-for-all dialogue system.

研究动机与目标

• 为解决现有对话系统将闲聊和任务导向型对话视为独立问题的缺陷，尽管用户在单次对话中常需同时使用这两种类型。
• 设计一种统一的数据模式，使同一框架内能够支持闲聊和任务导向型对话的组件（如信念状态、数据库结果、系统行为）
• 在不增加额外参数的前提下，使用混合对话数据对统一模型进行训练，实现两种对话类型的端到端联合学习。
• 提升对噪声和与任务无关语句的鲁棒性，特别是在真实场景中 ASR 干扰的环境下。
• 评估模型在对话过程中平滑切换闲聊与任务导向型模式的能力。

提出的方法

• 设计一种统一的对话数据模式，将闲聊对话映射为包含结构化组件（如信念状态、数据库结果、系统行为）的形式，这些组件通常用于任务导向型对话。
• 使用统一的数据模式，在混合的闲聊与任务导向型对话数据上对预训练的闲聊模型（DialoGPT）进行微调。
• 引入加权交叉熵损失，以在训练期间优先关注“实体推荐”这一系统行为，该行为对任务完成至关重要，但在混合训练中常被低估。
• 对两种对话类型使用相同的模型架构，从而在无需架构更改的情况下实现在闲聊与任务导向型模式之间的零样本切换。
• 通过自动指标（如综合得分）和人类评估，在 MultiWOZ（TOD）和基于 Reddit 的闲聊数据集上评估性能。
• 通过在任务导向型对话中插入与任务无关的（闲聊类）语句，模拟 ASR 噪声，开展鲁棒性测试，评估模型的抗干扰能力。

实验结果

研究问题

• RQ1 能否通过统一的数据模式，有效训练单个对话模型以同时处理闲聊和任务导向型对话？
• RQ2 在混合对话数据上进行联合训练是否会降低模型在闲聊或任务导向型对话基准上的性能？
• RQ3 当面对与任务无关的语句（如 ASR 输出中的背景噪声）时，统一模型是否仍能保持鲁棒性？
• RQ4 模型在对话过程中切换闲聊与任务导向型对话模式的能力如何？
• RQ5 针对实体推荐的加权损失是否能提升统一设置下任务完成的效果？

主要发现

• 在使用 24 层 DialoGPT 的 MultiWOZ 数据集上，UniDS 取得了 104.12 的综合得分，优于当前最优的任务导向型模型 UBAR（99.31），并达到纯闲聊模型的性能水平。
• 当插入一轮与任务无关的闲聊语句时，UniDS 的综合得分仅下降 3.41 分，而 UBAR-DialoGPT 下降 6.23 分，表明其具有更优的鲁棒性。
• 当插入两轮无关语句时，UniDS 综合得分下降 8.44 分，而 UBAR-DialoGPT 下降 10.64 分，进一步证实其对噪声的强韧抗性。
• 在 98% 的模式切换场景中，UniDS 能在前两个回合内成功实现从闲聊到任务导向型对话或反之的转换，展现出强大的切换能力。
• 在中断情况下，模型能正确维护信念状态并恢复任务执行，案例研究显示 UBAR-DialoGPT 会因随机预约而失败。
• 加权交叉熵损失显著提升了模型发出实体推荐的能力，而这类推荐在统一设置下对任务成功至关重要。