[论文解读] Structure Extraction in Task-Oriented Dialogues with Slot Clustering

Liang Qiu, Chien-Sheng Wu+2 more|arXiv (Cornell University)|Feb 28, 2022

Speech and dialogue systems被引用 5

一句话总结

该论文提出了一种新颖的无监督方法，用于在任务导向对话中提取对话结构。该方法首先使用预训练模型检测槽位边界，然后对槽位标记进行聚类，以推断对话本体。该方法在无需人工标注的情况下构建状态转移图，在基线方法中表现更优，并通过数据增强显著提升了响应生成的准确性。

ABSTRACT

Extracting structure information from dialogue data can help us better understand user and system behaviors. In task-oriented dialogues, dialogue structure has often been considered as transition graphs among dialogue states. However, annotating dialogue states manually is expensive and time-consuming. In this paper, we propose a simple yet effective approach for structure extraction in task-oriented dialogues. We first detect and cluster possible slot tokens with a pre-trained model to approximate dialogue ontology for a target domain. Then we track the status of each identified token group and derive a state transition structure. Empirical results show that our approach outperforms unsupervised baseline models by far in dialogue structure extraction. In addition, we show that data augmentation based on extracted structures enriches the surface formats of training data and can achieve a significant performance boost in dialogue response generation.

研究动机与目标

• 解决任务导向对话中人工标注对话状态数据成本高且稀缺的问题。
• 开发一种无监督方法，无需依赖标准状态标注，即可提取可解释的、结构化的对话流程。
• 利用提取的结构实现数据增强，以提升端到端对话响应生成的性能。
• 直接从原始话语中通过检测槽位标记的聚类，估计对话本体（槽位类型和值）。

提出的方法

• 定义一项新任务——槽位边界检测（SBD），使用预训练的Transformer模型，通过BIO标注方案识别话语中潜在的槽位标记。
• 基于语义相似性将检测到的槽位标记聚类为若干组，假设聚类数量与目标领域中的槽位数量一致。
• 将每个对话状态表示为向量，统计每个槽位在各轮对话中被更新的次数。
• 跟踪对话会话中槽位值的变化，为每个话语分配对话状态，并推导状态转移频率。
• 从提取的结构中构建状态-话语词典，以指导多响应数据增强（MRDA）。
• 利用MRDA框架，通过从提取的对话流程中采样，生成多样化且逻辑一致的训练数据。

实验结果

研究问题

• RQ1 槽位边界检测与聚类是否能有效近似低资源领域中的对话本体？
• RQ2 基于聚类的无监督结构提取方法在捕捉对话状态转移方面，与有监督或隐变量模型相比表现如何？
• RQ3 通过数据增强，提取的对话结构在多大程度上能提升下游响应生成性能？
• RQ4 在MultiWOZ数据集的不同领域中，提取的结构是否具有鲁棒性？

主要发现

• 所提出的方法在MultiWOZ数据集所有领域中，于聚类指标上均优于所有无监督基线方法，包括HMM、VRNN和基于规则的模型。
• 提取的对话结构表现出高度一致性，测试集中没有任何对话状态完全缺失于训练集或验证集，表明其具有强大的泛化能力。
• 基于提取结构的多响应数据增强（MRDA）在端到端响应生成中实现了显著的性能提升，优于近期方法如最常见采样（MFS）在单轮设置下的表现。
• 该方法实现的数据增强在提升表面形式多样性的同时保持了逻辑一致性，从而提升了模型的泛化能力。
• 该方法在推理过程中无需依赖标注的对话状态，成功重构了可解释的对话状态转移。