[论文解读] Reliable LLM-based User Simulator for Task-Oriented Dialogue Systems

Ivan Sekulić, Silvia Terragni+6 more|arXiv (Cornell University)|Feb 20, 2024

Speech and dialogue systems被引用 5

一句话总结

本论文提出 DAUS，一种面向领域的、基于微调的大语言模型的 TOD 用户模拟器，能够减少幻觉并提升目标完成度，在 AutomotiveData 与 MultiWOZ 上使用 ConvLab2 进行评估。

ABSTRACT

In the realm of dialogue systems, user simulation techniques have emerged as a game-changer, redefining the evaluation and enhancement of task-oriented dialogue (TOD) systems. These methods are crucial for replicating real user interactions, enabling applications like synthetic data augmentation, error detection, and robust evaluation. However, existing approaches often rely on rigid rule-based methods or on annotated data. This paper introduces DAUS, a Domain-Aware User Simulator. Leveraging large language models, we fine-tune DAUS on real examples of task-oriented dialogues. Results on two relevant benchmarks showcase significant improvements in terms of user goal fulfillment. Notably, we have observed that fine-tuning enhances the simulator's coherence with user goals, effectively mitigating hallucinations -- a major source of inconsistencies in simulator responses.

研究动机与目标

• 说明需要现实的用户仿真来评估和提升 TOD 系统的必要性。
• 提出一个面向领域的、对领域内对话带有用户目标的微调大语言模型为基础的用户模拟器（DAUS）。
• 展示领域特定的微调可以减少幻觉并提升与用户目标的一致性。
• 通过不需要 TOD 系统内部结构，展示数据效率和与系统无关的交互性。

提出的方法

• 在带有用户目标标注的领域内对话数据上，使用 LoRA 对预训练的 LLM（Llama-2）进行微调。
• 通过将用户目标与对话历史拼接来构造提示，并自回归地生成下一个用户话语。
• 对生成的话语进行后处理，将清晰信息传递给 TOD 系统。
• 使用内部 TOD 和基于 ConvLab2 的 TOD 进行评估，与零-shot/少量-shot 基线以及基于议程的模拟器（ABUS）进行比较。
• 使用领域特定的评估指标（目标完成度、实体准确性、运输类型）和词汇多样性指标（MTLD、Unig、UttLen）。

Figure 1: Example conversation between user simulator and TOD system. We aim to minimize common simulator’s hallucinations (right) and thus ease the detection of TOD system failures (left).

实验结果

研究问题

• RQ1 在 TOD 用户模拟器中，领域特定的对 LLM 的微调是否能减少幻觉并提升一致性？
• RQ2 与多种 TOD 基准的就地学习基线相比，DAUS 是否提升目标完成度和领域特定实体的准确性？
• RQ3 微调对领域特定数据中生成话语的词汇多样性有何影响？
• RQ4 DAUS 在 TOD 领域内对未见子任务或用户目标的泛化程度如何？

主要发现

• DAUS 在内部 TOD 与 MultiWOZ/ConvLab2 设置下的目标完成度指标上胜过所有基线。
• 在领域数据上的微调为相关实体和运输类型的准确性带来更高的精确率/召回率，表明更好地整合了领域知识。
• MultiWOZ 保持了词汇多样性，但在高度领域特定的汽车数据中可能下降，因为真实用户数据的词汇有限。
• DAUS 展示了通过 LoRA 微调在相对较小的训练数据集和较低计算需求下的领域适应性优势。
• 人工定性分析显示，与 Flan-T5 基线相比，DAUS 的幻觉减少、目标不完整情况减少，尽管 TOD 系统的局限性在某些情况下仍可能导致对话过早终止。
• DAUS 展现了领域特定词汇的获取（如运输类型术语），从而提高任务特定的性能。