[论文解读] Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations

Sam Coope, Tyler Farghly+3 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 36被引用 4

一句话总结

Span-ConveRT 提出了一种轻量级、基于对话轮次的跨度抽取模型，用于对话槽填充，利用从 ConveRT 得到的预训练对话表示，在少样本学习场景中实现了稳定提升。该模型在低资源数据上表现优于基于 BERT 的跨度抽取器和从零开始微调的模型，尤其在低资源场景下优势显著，并引入了 RESTAURANTS-8K 数据集用于基准测试。

ABSTRACT

We introduce Span-ConveRT, a light-weight model for dialog slot-filling which frames the task as a turn-based span extraction task. This formulation allows for a simple integration of conversational knowledge coded in large pretrained conversational models such as ConveRT (Henderson et al., 2019). We show that leveraging such knowledge in Span-ConveRT is especially useful for few-shot learning scenarios: we report consistent gains over 1) a span extractor that trains representations from scratch in the target domain, and 2) a BERT-based span extractor. In order to inspire more work on span extraction for the slot-filling task, we also release RESTAURANTS-8K, a new challenging data set of 8,198 utterances, compiled from actual conversations in the restaurant booking domain.

研究动机与目标

• 解决任务导向对话系统中低资源、少样本槽填充的挑战。
• 开发一种灵活、与意图无关的跨度抽取框架，独立于其他对话组件。
• 利用 ConveRT 等大规模预训练模型中的对话知识，提升少样本学习性能。
• 引入一个新的、更贴近现实的基准数据集——RESTAURANTS-8K，该数据集来自真实世界的餐厅预订对话。
• 通过迁移对话表示而非从零开始训练，实现鲁棒且数据高效的槽填充。

提出的方法

• 将槽填充建模为基于轮次的跨度抽取任务，每个槽被预测为一个跨度或缺失。
• 使用 ConveRT，一种在 Reddit 数据上预训练的大规模对话模型，提供上下文表示。
• 将槽请求状态作为输入特征，以建模轮次级上下文，而无需依赖意图检测。
• 在 ConveRT 嵌入之上应用 CNN-CRF 架构，实现端到端的跨度预测。
• 通过最小微调，将 ConveRT 的子词表示迁移至目标领域。
• 对所有槽值使用字符级跨度索引，实现对自然语言表达的灵活且精确的抽取。

实验结果

研究问题

• RQ1 利用 ConveRT 的预训练对话表示是否能提升对话槽填充中的少样本跨度抽取性能？
• RQ2 在低数据环境下，Span-ConveRT 与基于 BERT 的跨度抽取器及从零开始训练的模型相比表现如何？
• RQ3 与标准语言建模预训练相比，使用对话预训练目标是否能为对话任务带来更好的性能？
• RQ4 RESTAURANTS-8K 数据集作为评估真实对话场景中跨度抽取的基准是否有效？
• RQ5 在低资源和高资源设置下，跨度抽取中最常见的错误类型是什么，且不同模型之间的差异如何？

主要发现

• 在 RESTAURANTS-8K 和 DSTC8 数据集的所有少样本设置中，Span-ConveRT 相较于基于 BERT 的跨度抽取器均实现了稳定提升。
• 在 RESTAURANTS-8K 数据集上，Span-ConveRT 在使用 100% 训练数据时达到 F1 分数 0.95，并在仅使用 1/16 数据时仍保持强劲表现（F1 = 0.86），优于基线模型。
• 仅使用 64 个训练样本（全集的 0.75%）时，Span-ConveRT 的 F1 达到 0.86，显著优于基于 BERT 的模型和从零开始训练的模型。
• 在低数据环境下，从目标领域从零开始训练的模型表现欠佳，F1 在仅使用 1/16 数据时降至 0.58，凸显了预训练的必要性。
• 即使 BERT 在全量数据上微调，ConveRT 的对话预训练仍带来更强性能，表明对话预训练更契合对话任务。
• 错误分析显示，Span-ConveRT 减少了将 OOV（未登录词）误分类为姓名类标签的情况，尤其在低资源设置下，对 'first name' 槽的性能提升显著。