[论文解读] Multi-task learning for Joint Language Understanding and Dialogue State Tracking

Abhinav Rastogi, Raghav Gupta+1 more|arXiv (Cornell University)|Nov 13, 2018

Speech and dialogue systems被引用 6

一句话总结

该论文提出了一种多任务学习框架，通过共享编码层联合训练语言理解（LU）和对话状态追踪（DST），提升了效率和鲁棒性。通过LU预测生成候选槽值，并利用共享的循环网络进行评分，该模型能够处理未登录词（OOV）实体，并通过在LU和DST输出上应用调度采样，实现了最先进水平的联合准确率。

ABSTRACT

This paper presents a novel approach for multi-task learning of language understanding (LU) and dialogue state tracking (DST) in task-oriented dialogue systems. Multi-task training enables the sharing of the neural network layers responsible for encoding the user utterance for both LU and DST and improves performance while reducing the number of network parameters. In our proposed framework, DST operates on a set of candidate values for each slot that has been mentioned so far. These candidate sets are generated using LU slot annotations for the current user utterance, dialogue acts corresponding to the preceding system utterance and the dialogue state estimated for the previous turn, enabling DST to handle slots with a large or unbounded set of possible values and deal with slot values not seen during training. Furthermore, to bridge the gap between training and inference, we investigate the use of scheduled sampling on LU output for the current user utterance as well as the DST output for the preceding turn.

研究动机与目标

• 通过联合建模语言理解（LU）和对话状态追踪（DST），解决流水线式对话系统中的误差传播问题。
• 通过LU驱动的候选生成，实现对具有大规模或无界值集的槽位的可扩展处理，包括未登录词（OOV）实体。
• 通过在LU输出和前一回合的对话状态上应用调度采样，减少DST在训练与推理之间的分布差异。
• 通过为LU和DST共享神经网络层，减少模型参数并提升效率。

提出的方法

• 分层RNN对对话历史和当前话语进行编码，为LU和DST任务共享中间特征。
• LU通过IOB标注执行意图分类、对话行为标注和槽位标注，从当前话语中提取槽值。
• 利用LU槽位标签、前序对话行为和前一回合的对话状态生成每个槽位的候选值，实现对OOV实体的处理。
• 共享的循环评分网络对所有槽位的所有候选值进行评估，生成更新后的对话状态。
• 在训练过程中对LU槽位标签和前一回合的对话状态应用调度采样，以模拟推理条件。
• 在训练中使用槽值dropout，以提升对缺失或错误槽位预测的鲁棒性。

实验结果

研究问题

• RQ1 通过多任务学习联合建模LU和DST，是否能在降低模型复杂度和参数量的同时提升性能？
• RQ2 联合模型在不依赖预定义语义词典的前提下，对具有大规模或无界值集的槽位（包括OOV实体）的处理效率如何？
• RQ3 在LU和DST输出上应用调度采样，能在多大程度上减少训练与推理之间的分布差异，从而提升鲁棒性？
• RQ4 与独立建模或现有联合模型相比，该方法在联合目标准确率和槽位框架准确率方面表现如何？

主要发现

• 在Sim-R数据集上，联合模型实现了87.1%的联合目标准确率，优于独立模型的85.0%，证明了联合学习的优势。
• 在Sim-M数据集上，对LU和DST输出同时应用调度采样，使联合模型的联合目标准确率从28.3%提升至46.0%，在低资源设置下表现显著提升。
• 在DSTC2数据集上，通过在LU标签上应用调度采样，联合模型的联合目标准确率达到67.0%，而未使用调度采样的版本为65.0%，验证了其有效性。
• 调度采样在所有数据集和模型配置中均持续提升性能，尤其在Sim-R和DSTC2等高资源、低OOV设置下提升最为显著。
• 通过LU驱动的候选生成，模型能够有效处理OOV槽值，使其在具有动态或开放词汇实体的领域中具备可扩展性。
• 槽值dropout进一步提升了LU和DST的性能，表明其增强了对预测错误的鲁棒性。