[论文解读] Towards Universal Dialogue State Tracking

Liliang Ren, Kaige Xie+2 more|arXiv (Cornell University)|Oct 22, 2018

Speech and dialogue systems参考文献 27被引用 6

一句话总结

本文提出 StateNet，一种通用对话状态追踪器，通过在所有槽位之间共享参数，克服了现有模型的关键局限，包括对固定语义词典或手工构建的词汇表的依赖，以及使用预训练词向量。该模型在 DSTC2 和 WOZ 2.0 基准测试中实现了最先进（SOTA）的联合目标准确率，通过参数共享和针对槽位的预训练初始化，超越了先前方法。

ABSTRACT

Dialogue state tracking is the core part of a spoken dialogue system. It estimates the beliefs of possible user's goals at every dialogue turn. However, for most current approaches, it's difficult to scale to large dialogue domains. They have one or more of following limitations: (a) Some models don't work in the situation where slot values in ontology changes dynamically; (b) The number of model parameters is proportional to the number of slots; (c) Some models extract features based on hand-crafted lexicons. To tackle these challenges, we propose StateNet, a universal dialogue state tracker. It is independent of the number of values, shares parameters across all slots, and uses pre-trained word vectors instead of explicit semantic dictionaries. Our experiments on two datasets show that our approach not only overcomes the limitations, but also significantly outperforms the performance of state-of-the-art approaches.

研究动机与目标

• 解决现有对话状态追踪器在依赖固定语义词典、每个槽位参数量庞大以及依赖手工构建语义词典方面带来的可扩展性局限。
• 开发一种通用追踪器，能够动态处理变化的槽位值，而无需重新训练或重新参数化。
• 通过共享架构在所有槽位之间共享参数，降低模型复杂度并提升泛化能力。
• 通过依赖预训练词向量和自动提取的 n-gram 表示，消除对手动标注用户语句的需求。
• 通过针对性预训练和迁移学习，提升在低资源或困难槽位（如食物）上的性能。

提出的方法

• StateNet 使用长短期记忆（LSTM）网络对来自用户语句和机器动作的对话历史进行编码，生成上下文感知的表示。
• 利用自动语音识别（ASR）结果中的置信度分数，从自动语音识别（ASR）假设中构建加权 n-gram 词向量，以增强对转录错误的鲁棒性。
• 该模型采用多尺度感受器层，以不同 n-gram 层次处理用户语句表示，从而捕捉多样的语义模式。
• 对于每个槽位，它计算对话历史的固定长度表示，并通过基于距离的评分机制将其与候选槽位值的预训练词向量进行比较。
• 在所有槽位之间实现参数共享，从而实现知识迁移，并使模型复杂度独立于槽位数量。
• 采用两阶段训练策略：首先在单个困难槽位（如食物）上进行预训练，然后使用初始化权重在所有槽位上进行微调，以提升收敛速度和性能。

实验结果

研究问题

• RQ1 能否设计一种对话状态追踪器，使其在无需重新训练或重新参数化的情况下，动态处理新出现或变化的槽位值？
• RQ2 在不牺牲性能的前提下，槽位之间的参数共享能否提升泛化能力并降低模型复杂度？
• RQ3 在最困难的槽位（如食物）上进行预训练，是否能带来相比在较简单槽位上预训练更高的联合目标准确率？
• RQ4 能否在不依赖人工标注用户语句或手工构建语义词典的情况下，实现最先进性能的追踪器？
• RQ5 预训练词向量与多尺度 n-gram 表示在捕捉槽位特定语义方面的有效性如何？

主要发现

• StateNet_PSI（在食物槽位上进行预训练的模型）在 DSTC2 上实现了 88.9% 的联合目标准确率，在 WOZ 2.0 上实现了 88.2% 的联合目标准确率，优于所有先前的最先进模型。
• 在困难槽位（如食物）上进行预训练显著提升了整体联合目标准确率，这一结论在表 2 的消融实验中得到证实。
• 参数共享降低了模型复杂度并防止了发散，从而实现了槽位之间的有效知识迁移。
• 该模型在无需人工标注用户语句的情况下实现了高性能，转而依赖预训练词向量和 ASR 输出。
• 多尺度 n-gram 表示的使用增强了对 ASR 错误的鲁棒性，并提升了用户语句的语义表示能力。
• 只要为新槽位值提供了预训练词向量，该模型即可扩展至新槽位值，使其独立于值的数量。