[论文解读] Style Attuned Pre-training and Parameter Efficient Fine-tuning for Spoken Language Understanding

Jin Cao, Jun Wang+3 more|arXiv (Cornell University)|Oct 9, 2020

Topic Modeling参考文献 22被引用 5

一句话总结

本文提出了一种风格感知的预训练与参数高效微调框架，用于语音语言理解（SLU），通过对话语言建模（CLM）捕捉特定领域的对话模式和ASR错误鲁棒性。通过将共享的预训练编码器与任务特定的轻量适配器解耦，该方法在每个任务仅增加4.4%参数的情况下实现了最先进的SLU性能，实现了无需重新训练整个模型的高效领域适应。

ABSTRACT

Neural models have yielded state-of-the-art results in deciphering spoken language understanding (SLU) problems; however, these models require a significant amount of domain-specific labeled examples for training, which is prohibitively expensive. While pre-trained language models like BERT have been shown to capture a massive amount of knowledge by learning from unlabeled corpora and solve SLU using fewer labeled examples for adaption, the encoding of knowledge is implicit and agnostic to downstream tasks. Such encoding results in model inefficiencies in parameter usage: an entirely new model is required for every domain. To address these challenges, we introduce a novel SLU framework, comprising a conversational language modeling (CLM) pre-training task and a light encoder architecture. The CLM pre-training enables networks to capture the representation of the language in conversation style with the presence of ASR errors. The light encoder architecture separates the shared pre-trained networks from the mappings of generally encoded knowledge to specific domains of SLU, allowing for the domain adaptation to be performed solely at the light encoder and thus increasing efficiency. With the framework, we match the performance of state-of-the-art SLU results on Alexa internal datasets and on two public ones (ATIS, SNIPS), adding only 4.4% parameters per task.

研究动机与目标

• 降低从零开始训练特定领域SLU模型所带来的高数据与计算成本。
• 提升将预训练模型适配到新SLU领域时的参数效率。
• 在预训练过程中增强对ASR错误和对话语言模式的鲁棒性。
• 通过轻量级、任务特定的适配器实现在有效领域适应。
• 在最小化参数更新的同时，匹配或超越当前最先进的SLU性能。

提出的方法

• 引入一种对话语言建模（CLM）预训练任务，显式地在掩码语言建模中建模对话动态与ASR错误。
• 设计一种轻量编码器架构，通过可学习适配器将共享的预训练表征与任务特定的领域适应分离。
• 通过冻结预训练编码器并仅更新每个下游任务的轻量适配器头，实现参数高效的微调。
• 在大规模未标注对话数据上训练模型，以在任务特定适应前捕捉领域无关的语言知识。
• 在预训练期间采用多任务学习设置，联合优化对话连贯性与错误鲁棒性。
• 仅通过适配器参数进行微调，显著减少每个任务的可训练参数数量。

实验结果

研究问题

• RQ1 一种建模对话风格与ASR错误的预训练目标是否能提升下游SLU性能？
• RQ2 通过轻量适配器实现的参数高效微调是否能在极少参数更新下达到具有竞争力的SLU准确率？
• RQ3 将共享知识与领域特定适应解耦是否能提升模型效率与可迁移性？
• RQ4 在公开与内部SLU基准上，该框架与强基线相比在准确率与参数效率方面表现如何？
• RQ5 该模型是否能在无需完整重训练的情况下泛化到多样化的SLU领域？

主要发现

• 所提出的框架在内部Alexa数据集以及公开基准（ATIS与SNIPS）上均实现了最先进的性能。
• 该方法在仅引入每任务4.4%额外参数的情况下达到SOTA结果，显著提升了参数效率。
• 对话语言建模（CLM）预训练任务增强了对ASR错误的鲁棒性，并改善了对话模式的建模能力。
• 轻量编码器架构实现了高效的领域适应，计算开销极小，且无需重新训练基础模型。
• 通过适配器实现的参数高效微调在大幅减少每个任务可训练参数数量的同时保持了高性能。
• 该框架在多样化的SLU领域间展现出强大的可迁移性，且仅需极少的任务特定适应。