[论文解读] On Tracking Dialogue State by Inheriting Slot Values in Mentioned Slot Pools

Zhoujian Sun, Zhengxing Huang+1 more|arXiv (Cornell University)|Feb 15, 2022

Speech and dialogue systems被引用 4

一句话总结

本文提出了一种新颖的对话状态追踪（DST）模型，采用提及槽池（Mentioned Slot Pool, MSP）以改进槽值继承与追踪。通过维护一个存储所有先前提及值的槽特定记忆，模型可动态决定是否继承先前值或从当前上下文重新提取，从而纠正错误并处理间接提及的槽。该MSP模型在未使用外部数据的情况下，在MultiWOZ 2.1和2.2数据集上实现了最先进性能。

ABSTRACT

Dialogue state tracking (DST) is a component of the task-oriented dialogue system. It is responsible for extracting and managing slot values according to dialogue utterances, where each slot represents an essential part of the information to accomplish a task, and slot value is updated recurrently in each dialogue turn. However, many DST models cannot update slot values appropriately. These models may repeatedly inherit wrong slot values extracted in previous turns, resulting in the fail of the entire DST task. They cannot update indirectly mentioned slots well, either. This study designed a model with a mentioned slot pool (MSP) to tackle the update problem. The MSP is a slot-specific memory that records all mentioned slot values that may be inherited, and our model updates slot values according to the MSP and the dialogue context. Our model rejects inheriting the previous slot value when it predicates the value is wrong. Then, it re-extracts the slot value from the current dialogue context. As the contextual information accumulates with the dialogue progress, the new value is more likely to be correct. It also can track the indirectly mentioned slot by picking a value from the MSP. Experimental results showed our model reached state-of-the-art DST performance on MultiWOZ 2.1 and 2.2 datasets.

研究动机与目标

• 解决对话状态追踪中错误槽值继承的问题，即错误值在多轮对话中被反复传递。
• 改进对间接提及槽的追踪，即值通过其他槽引用而非显式陈述。
• 设计一种更鲁棒的对话状态更新策略，能够拒绝错误的先前值并基于当前上下文重新提取。
• 评估MSP机制在不依赖外部数据集的情况下提升DST性能的有效性。

提出的方法

• 模型引入提及槽池（Mentioned Slot Pool, MSP），即一种存储所有先前提及槽值的槽特定记忆，以备继承之用。
• 在每一轮中，模型根据当前对话上下文和MSP内容，评估是否继承先前槽值或重新提取新值。
• 模型使用注意力机制将当前话语与MSP条目进行比较，以判断先前值是否可能不正确。
• 当判断某值不正确时，模型丢弃该值并使用跨度预测从当前对话上下文重新提取槽值。
• MSP通过允许模型从池中存储的相关槽中检索值，实现对间接槽的追踪。
• 模型在MultiWOZ数据集上端到端训练，使用交叉熵损失进行槽值预测。

实验结果

研究问题

• RQ1 基于记忆的机制如MSP能否提升对话状态追踪中槽值继承的准确性？
• RQ2 MSP模型通过从当前上下文重新提取，能多大程度上纠正先前错误的槽值？
• RQ3 MSP模型在多大程度上能追踪当前轮次未显式陈述的间接提及槽值？
• RQ4 与标准继承策略相比，基于MSP的更新策略在整体DST性能上是否表现更优？

主要发现

• 在未使用外部数据的模型中，MSP模型在MultiWOZ 2.1和2.2数据集上达到了最先进性能。
• 包含间接提及槽信息的MSP-full模型优于仅依赖自身信息的MSP-self模型，表明对间接引用的处理能力得到提升。
• 模型通过拒绝先前错误值并从当前上下文重新提取，纠正了错误槽值，尤其在多轮对话中累积上下文证据时效果显著。
• 模型成功追踪了91%的间接提及槽案例，通过从MSP中检索值，展现出强大的间接引用解析能力。
• 尽管整体准确率较高，但模型表现出较高的PLFP（预测标签假阳性）率——部分槽的PLFP超过30%，表明在复杂上下文中难以区分正确与错误候选值。
• 错误分析显示，主要失败模式为假阳性和假阴性预测，其中PLFP是主要瓶颈，尤其在时间相关槽如'train-leaveat'中更为明显。