[论文解读] TripPy: A Triple Copy Strategy for Value Independent Neural Dialog State Tracking

Michael Heck, Carel van Niekerk+5 more|arXiv (Cornell University)|May 6, 2020

Topic Modeling被引用 16

一句话总结

TripPy 提出了一种与数值无关的神经对话状态追踪模型，通过三种复制机制——跨度预测、系统告知记忆和对话状态记忆——在不依赖预定义候选列表的情况下提取并传播数值。该模型在 MultiWOZ 2.1 上实现了 55.3% 的联合目标准确率，达到当前最先进水平，展现出对未登录词和罕见数值的强大泛化能力。

ABSTRACT

Task-oriented dialog systems rely on dialog state tracking (DST) to monitor the user's goal during the course of an interaction. Multi-domain and open-vocabulary settings complicate the task considerably and demand scalable solutions. In this paper we present a new approach to DST which makes use of various copy mechanisms to fill slots with values. Our model has no need to maintain a list of candidate values. Instead, all values are extracted from the dialog context on-the-fly. A slot is filled by one of three copy mechanisms: (1) Span prediction may extract values directly from the user input; (2) a value may be copied from a system inform memory that keeps track of the system's inform operations; (3) a value may be copied over from a different slot that is already contained in the dialog state to resolve coreferences within and across domains. Our approach combines the advantages of span-based slot filling methods with memory methods to avoid the use of value picklists altogether. We argue that our strategy simplifies the DST task while at the same time achieving state of the art performance on various popular evaluation sets including Multiwoz 2.1, where we achieve a joint goal accuracy beyond 55%.

研究动机与目标

• 解决固定语义网和基于候选列表的 DST 在多领域、开放词汇设置下的局限性。
• 克服基于跨度的方法在自然对话中无法处理指代消解、数值共享和隐式选择的问题。
• 开发一种可扩展的、与数值无关的 DST 模型，能够动态维护并利用记忆来存储系统和对话状态的数值。
• 在无需训练期间预先接触的情况下，提升对未登录词（OOV）和罕见数值的泛化能力。
• 实现端到端的与数值无关的追踪，支持具有动态演化语义网的真实世界对话系统。

提出的方法

• 采用跨度预测机制，通过预测起始和结束标记，从用户话语中逐字提取数值。
• 维护一个系统告知记忆，用于存储系统明确提及的数值（例如推荐内容），从而支持隐式选择数值的复制。
• 使用对话状态（DS）记忆来存储和检索对话状态中已存在的数值，以解决跨领域的指代消解和数值共享问题。
• 在统一的基于 Transformer 的编码器-解码器架构中整合三种复制机制——跨度、系统记忆和 DS 记忆，并通过交叉注意力机制实现信息交互。
• 采用序列到序列学习方法端到端训练模型，包含跨度预测头以及记忆读写操作。
• 使用上下文表示（例如 BERT）编码对话历史，以增强对词汇变化和同义表达的鲁棒性。

实验结果

研究问题

• RQ1 在不依赖候选列表的情况下，DST 模型能否有效泛化到未登录词（OOV）数值？
• RQ2 在缺乏显式数值监督的情况下，记忆增强模型在跨领域指代消解和数值共享方面表现如何？
• RQ3 引入系统告知记忆是否能提升对隐式选择（例如“那些都可以”）的性能？
• RQ4 模型在罕见或未见数值上的性能下降程度如何？是否能在极少训练样本下保持高召回率？
• RQ5 与仅使用跨度或仅使用记忆的基线模型相比，三重复制机制在联合目标准确率和 OOV 泛化方面表现如何？

主要发现

• TripPy 在 MultiWOZ 2.1 上实现了 55.3% 的联合目标准确率，为与数值无关的 DST 设定了新的 SOTA 水准。
• 模型在未登录词数值上保持了高性能，在修改后的测试集中，84% 的测试数值为 OOV，且大多数槽位的性能仅出现轻微下降。
• 在命名实体槽位（通常具有高 OOV 特性）上，性能依然强劲，表明对语义变化和罕见实体具有鲁棒性。
• 即使每个数值仅有 50 个训练样本，模型仍能实现良好泛化，展现出高效的样本利用率。
• 跨度预测基线在 OOV 数值上表现显著下降，而 TripPy 的记忆增强机制则确保了对罕见和未见数值的稳定召回。
• 最大化对话历史长度可使 MultiWOZ 上的性能提升 1% 的绝对值，凸显长上下文建模在复杂对话中的重要性。