[论文解读] SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding

Wanwei He, Yinpei Dai+7 more|arXiv (Cornell University)|Sep 14, 2022

Speech and dialogue systems被引用 15

一句话总结

SPACE-2 提出了一种树状结构的半监督对比学习预训练框架，用于任务导向对话理解，通过通用语义树结构（STS）和多视角评分函数，利用标注的对话注释来提升表示学习。通过建模标注对话之间的层次语义相似性，并在大规模未标注数据上联合预训练，SPACE-2 在 DialoGLUE 基准的七个数据集和四个对话理解任务上均取得了最先进性能，尤其在少样本设置下表现优异。

ABSTRACT

Pre-training methods with contrastive learning objectives have shown remarkable success in dialog understanding tasks. However, current contrastive learning solely considers the self-augmented dialog samples as positive samples and treats all other dialog samples as negative ones, which enforces dissimilar representations even for dialogs that are semantically related. In this paper, we propose SPACE-2, a tree-structured pre-trained conversation model, which learns dialog representations from limited labeled dialogs and large-scale unlabeled dialog corpora via semi-supervised contrastive pre-training. Concretely, we first define a general semantic tree structure (STS) to unify the inconsistent annotation schema across different dialog datasets, so that the rich structural information stored in all labeled data can be exploited. Then we propose a novel multi-view score function to increase the relevance of all possible dialogs that share similar STSs and only push away other completely different dialogs during supervised contrastive pre-training. To fully exploit unlabeled dialogs, a basic self-supervised contrastive loss is also added to refine the learned representations. Experiments show that our method can achieve new state-of-the-art results on the DialoGLUE benchmark consisting of seven datasets and four popular dialog understanding tasks. For reproducibility, we release the code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/space-2.

研究动机与目标

• 为解决传统对比学习在对话预训练中将所有非相同对话均视为负样本的问题，而不论其语义相似度如何。
• 通过一种通用语义树结构（STS）统一不同对话数据集中的不一致注释模式，以捕捉层次化的意图、槽位和值信息。
• 通过多视角评分函数建模标注对话之间的软语义相似性，而非依赖硬正/负样本标签，从而提升对话表示学习。
• 在半监督对比学习框架中整合标注和未标注对话数据，以增强模型泛化能力，特别是在低资源场景下。
• 展示结构化知识与大规模未标注数据联合预训练在对话理解任务中的有效性。

提出的方法

• 引入一种通用语义树结构（STS），统一任务导向对话数据集中不一致的注释模式，编码领域、意图、槽位和值层级的语义信息。
• 设计一种多视角评分函数，通过聚合其 STS 中全局和局部子结构的得分，计算对话之间的语义相似性，实现软正样本采样。
• 应用监督对比学习并结合多视角评分函数，增强语义相关对话的表示相似性，同时仅将完全不同的对话相互推开。
• 在大规模未标注对话数据上应用标准自监督对比损失，进一步优化学习到的表示。
• 使用结合监督与自监督对比学习的联合目标，端到端地在标注和未标注数据上训练模型。
• 使用最终模型在下游任务（如意图预测、槽位填充和对话状态追踪）中通过微调进行适应。

实验结果

研究问题

• RQ1 通过统一的 STS 建模标注对话中的层次语义结构，是否能提升任务导向对话系统中的表示学习？
• RQ2 与传统硬正样本采样相比，考虑 STS 全局和局部子结构的多视角评分函数，对对比学习预训练性能有何影响？
• RQ3 通过半监督对比学习整合标注和未标注对话数据，在多大程度上提升了模型泛化能力，特别是在少样本设置下？
• RQ4 所提出方法是否在多样化的对话理解基准上（包括低资源场景）优于现有最先进模型？
• RQ5 学习到的表示与人工标注的语义结构在多大程度上对齐？t-SNE 可视化结果如何支持这一结论？

主要发现

• SPACE-2 在 DialoGLUE 基准上取得了最先进结果，在全部七个数据集和四个对话理解任务中均优于现有方法。
• 在 DSTC8 基准上，SPACE-2 multi 在巴士（Bus）、事件（Event）、家庭（Home）和租车（RentalCar）领域分别取得了 91.6、92.4、96.2 和 88.3 的 F1 分数，表现优异。
• 在 REST 8K 的 1/32-shot 设置下，SPACE-2 multi 取得了 84.7 的 F1 分数，显著优于此前最先进方法（82.1），且无需任务特定设计。
• 消融实验表明，若移除树状结构对比学习，平均性能从 88.10% 下降至 87.57%，证实其关键贡献。
• t-SNE 可视化结果表明，学习到的表示在领域、意图、槽位和值子空间中均与对话注释高度对齐。
• 模型在少样本设置下表现尤为出色，证明了半监督预训练在低资源场景下的有效性。