[论文解读] Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification

Samuel Louvan, Bernardo Magnini|arXiv (Cornell University)|Sep 8, 2020

Topic Modeling参考文献 29被引用 11

一句话总结

本文提出一种轻量级数据增强方法，用于低资源槽填充和意图分类，通过在依存句法树上对词元级别进行简单替换和句子级别结构操作（裁剪/旋转）实现。尽管方法简单，但在ATIS和SNIPS数据集上显著提升了性能，甚至优于复杂的基于深度学习的数据增强方法，并在低数据量设置下进一步提升了BERT模型的表现。

ABSTRACT

Neural-based models have achieved outstanding performance on slot filling and intent classification, when fairly large in-domain training data are available. However, as new domains are frequently added, creating sizeable data is expensive. We show that lightweight augmentation, a set of augmentation methods involving word span and sentence level operations, alleviates data scarcity problems. Our experiments on limited data settings show that lightweight augmentation yields significant performance improvement on slot filling on the ATIS and SNIPS datasets, and achieves competitive performance with respect to more complex, state-of-the-art, augmentation approaches. Furthermore, lightweight augmentation is also beneficial when combined with pre-trained LM-based models, as it improves BERT-based joint intent and slot filling models.

研究动机与目标

• 解决在标注训练数据稀缺时槽填充和意图分类性能不佳的挑战。
• 开发一种低复杂度的数据增强方法，避免训练独立的生成模型。
• 评估轻量级增强方法在标准biLSTM模型和类似BERT的大规模预训练语言模型上的有效性。
• 探究简单增强技术是否能在低资源设置下有效提升性能。
• 探索轻量级增强与通过预训练模型实现的迁移学习之间的协同效应。

提出的方法

• 提出槽替换（Slot-Sub），即在不同话语之间交换语义等价但具有相同槽标签的词元片段，以生成多样化的训练样本。
• 通过依存句法树上的裁剪和旋转操作实现句子级别的增强，改变句子结构的同时保持语义不变。
• 使用BIO标注识别槽片段，并确保替换操作在训练数据中保持槽标签的一致性。
• 对每条原始句子应用N次增强操作，生成合成训练样本，提升数据多样性。
• 将增强方法与预训练语言模型（如BERT、RoBERTa和ALBERT）的微调相结合，评估迁移学习带来的收益。
• 利用依存句法分析指导句子级别的操作，确保生成变体在句法和语义上的一致性。

实验结果

研究问题

• RQ1 轻量级、非生成式数据增强技术能否提升低资源槽填充与意图分类的性能？
• RQ2 在有效性和效率方面，槽替换与更复杂的基于深度学习的数据增强方法相比如何？
• RQ3 在低数据量设置下，大型预训练语言模型在多大程度上受益于轻量级数据增强？
• RQ4 将轻量级增强与迁移学习结合是否能获得优于单一方法的性能？
• RQ5 简单的文本片段与句子结构操作能否在保持语义意义的同时提升训练数据的多样性？

主要发现

• 轻量级增强在ATIS和SNIPS上的槽填充性能显著提升，F1分数分别较基线模型最高提升3.0%和3.0%。
• Slot-Sub（槽替换）是最有效的增强技术，优于句子级别的操作以及复杂的生成式方法。
• 使用轻量级增强进行微调的BERT模型在ATIS上达到92.8%的F1，在SNIPS上达到92.8%，分别优于基线1.2%和3.0%。
• 大型预训练模型如RoBERTa-large和ALBERT-xxlarge也从增强中受益，在ATIS上分别达到93.2%和92.9%的F1。
• Slot-Sub与预训练模型微调的结合在所有设置下均取得最佳整体性能，证明了数据增强与迁移学习之间存在协同效应。
• 即使在极低资源设置下，轻量级增强仍能保持一致的性能提升，无需额外训练生成模型即可有效应用。