[论文解读] Pre-Training for Query Rewriting in A Spoken Language Understanding System

Zheng Chen, Xing Fan+3 more|arXiv (Cornell University)|Feb 13, 2020

Topic Modeling参考文献 22被引用 4

一句话总结

本文提出了一种基于神经检索的查询重写（QR）系统，用于语音语言理解（SLU），通过利用历史用户对话的预训练上下文嵌入以及NLU假设，显著降低了对训练数据的需求。在大规模未标注对话数据上进行预训练，使模型仅需极少微调即可实现优异性能，即使仅使用20%的QR数据进行训练，其表现也优于完全微调的基线模型。

ABSTRACT

Query rewriting (QR) is an increasingly important technique to reduce customer friction caused by errors in a spoken language understanding pipeline, where the errors originate from various sources such as speech recognition errors, language understanding errors or entity resolution errors. In this work, we first propose a neural-retrieval based approach for query rewriting. Then, inspired by the wide success of pre-trained contextual language embeddings, and also as a way to compensate for insufficient QR training data, we propose a language-modeling (LM) based approach to pre-train query embeddings on historical user conversation data with a voice assistant. In addition, we propose to use the NLU hypotheses generated by the language understanding system to augment the pre-training. Our experiments show pre-training provides rich prior information and help the QR task achieve strong performance. We also show joint pre-training with NLU hypotheses has further benefit. Finally, after pre-training, we find a small set of rewrite pairs is enough to fine-tune the QR model to outperform a strong baseline by full training on all QR training data.

研究动机与目标

• 减少语音语言理解（SLU）系统中因语音识别和NLU错误而引起的用户使用摩擦。
• 通过利用大规模历史对话数据的预训练，解决高质量标注查询重写（QR）训练对稀缺的问题。
• 通过在预训练过程中引入NLU假设作为弱监督信号，提升QR性能。
• 证明预训练模型相较于标准微调方法，在实现优异性能时所需标注QR数据量显著更少。

提出的方法

• 将QR建模为信息检索任务，采用基于BERT的查询嵌入器作为神经检索器。
• 在历史用户会话上对查询嵌入器进行预训练，使用原始话语的掩码语言建模（MLM）。
• 通过联合优化NLU假设（领域、意图、槽位）作为弱监督信号，增强预训练过程。
• 使用多头自注意力池化方法，从上下文化的标记表示中生成固定长度的语句嵌入。
• 在QR训练数据的小部分（20%）上微调预训练模型，以适应重写任务。
• 使用p@1、p@5、p@10、p@20和MRR指标在保留的测试数据上评估性能。

实验结果

研究问题

• RQ1 在大规模未标注历史用户对话上进行预训练，是否能提升查询重写性能？
• RQ2 在预训练过程中引入NLU假设是否能进一步增强QR模型性能？
• RQ3 预训练在多大程度上可减少对标注QR训练数据的需求？
• RQ4 当在有限QR数据上训练时，预训练模型的性能与完全微调的基线相比如何？

主要发现

• 仅在历史用户对话上进行预训练（pretrain text）即可实现p@1为0.284，优于未微调的基线模型（0.293）。
• 与NLU假设联合预训练（pretrain textNLU）将p@1提升至0.290，p@5提升至0.481，表明弱监督信号带来了额外增益。
• 在仅20%的QR数据上微调预训练模型，p@1达到0.315，相较于基线实现7.5%的相对提升。
• 预训练模型仅使用20%的QR数据即可达到接近最优性能，而基线模型在数据量增加时仍持续提升，表明其具有更高的数据效率。
• 性能分析显示，预训练模型在低数据场景下保持稳定优势，如图3所示。