[论文解读] Unsupervised Transfer Learning for Spoken Language Understanding in Intelligent Agents

Aditya Siddhant, Anuj Goyal+1 more|arXiv (Cornell University)|Nov 13, 2018

Topic Modeling参考文献 21被引用 4

一句话总结

该论文提出 ELMo-Light（ELMoL），一种用于语音语言理解（SLU）的轻量化无监督预训练方法，利用大规模未标注自动语音识别（ASR）转录文本提升意图分类与实体识别性能。结果表明，使用 ELMoL 进行无监督迁移学习的表现优于从零开始训练，甚至超越传统有监督迁移学习，尤其在低资源设置下——仅使用 1,000 个领域内样本即可达到使用 10–15 倍更多标注数据（即 10,000–15,000 个样本）从零训练的性能水平。

ABSTRACT

User interaction with voice-powered agents generates large amounts of unlabeled utterances. In this paper, we explore techniques to efficiently transfer the knowledge from these unlabeled utterances to improve model performance on Spoken Language Understanding (SLU) tasks. We use Embeddings from Language Model (ELMo) to take advantage of unlabeled data by learning contextualized word representations. Additionally, we propose ELMo-Light (ELMoL), a faster and simpler unsupervised pre-training method for SLU. Our findings suggest unsupervised pre-training on a large corpora of unlabeled utterances leads to significantly better SLU performance compared to training from scratch and it can even outperform conventional supervised transfer. Additionally, we show that the gains from unsupervised transfer techniques can be further improved by supervised transfer. The improvements are more pronounced in low resource settings and when using only 1000 labeled in-domain samples, our techniques match the performance of training from scratch on 10-15x more labeled in-domain data.

研究动机与目标

• 通过利用大量未标注的 ASR 生成语句，解决有监督 SLU 训练中成本高且难以扩展的问题。
• 开发一种比 ELMo 更快、更轻量的替代方案，以适用于实时、资源受限的 SLU 系统。
• 在基准数据集和真实商业 SLU 数据集上评估无监督迁移学习的有效性。
• 探究在低资源 SLU 任务中，无监督与有监督迁移学习结合是否具有叠加增益。
• 证明在标注数据稀缺时，无监督预训练可超越传统有监督迁移学习。

提出的方法

• 该方法使用在大规模未标注 ASR 转录文本上训练的 ELMo 风格上下文嵌入，以捕捉 SLU 所需的丰富语言表征。
• 提出 ELMo-Light（ELMoL），作为 ELMo 的简化、更快、更小的替代方案，参数量减少至 37M（对比 ELMo 的 140M），内存占用更低。
• 方法先在领域不一致的未标注数据上进行无监督预训练，随后在少量标注的领域内数据上进行微调。
• 采用渐进式解冻（guf）、判别性微调（discr）和三角学习率（tlr）等训练策略，以防止微调过程中的灾难性遗忘。
• 通过在标注的领域内数据上微调预训练模型，应用有监督迁移学习，实现无监督与有监督知识迁移的结合。
• 该框架在公开基准（ATIS、SNIPS）和内部商业数据集上进行评估，覆盖不同数据资源水平。

实验结果

研究问题

• RQ1 与从零开始训练相比，基于大规模未标注 ASR 转录文本的无监督预训练是否能显著提升 SLU 性能？
• RQ2 ELMo-Light（ELMoL）是否在性能上可媲美 ELMo，同时实现显著更快的推理与训练速度及更高的内存效率？
• RQ3 无监督与有监督迁移学习技术之间如何相互作用？两者的结合是否带来性能增益的叠加效应？
• RQ4 在低资源 SLU 场景下，无监督迁移学习能在多大程度上降低对大规模标注数据集的依赖？
• RQ5 当标注数据有限时，无监督迁移学习是否能超越传统的有监督迁移学习？

主要发现

• ELMo-Light（ELMoL）在内部领域 A 和 B 上分别取得 36.86% 和 28.42% 的 SER 分数，优于 FastText，且接近 ELMo 的 36.58% 和 27.95% 性能表现。
• 在 ATIS 数据集上，ELMoL 达到 13.38% 的 SER，优于 FastText（15.01%），并接近 ELMo 的 12.65%；在 SNIPS 上达到 15.62% 的 SER，优于当前 SOTA 的 16.00%。
• 仅使用 1,000 个领域内标注样本，ELMoL 模型即可达到使用 10,000–15,000 个样本从零训练的性能水平。
• 结合无监督与有监督迁移学习（UT+ST）可带来性能增益的叠加：ELMo+ST 在领域 A 上实现 35.86% 的 SER，低于仅使用无监督迁移的 36.58%。
• ELMoL 的推理速度比 ELMo 快 1.6 倍，训练速度快 1.8 倍，内存使用仅为 ELMo 的 1/4（37M vs. 140M 参数）。
• 消融实验证实，渐进式解冻与判别性微调等训练技巧在所有数据集上均能持续提升 ELMoL 的性能。