[论文解读] Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time

Vladislav Lialin, Rahul Goel+3 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 23被引用 5

一句话总结

本文提出了一种快速、高效的方法，通过结合EWC正则化与全数据集超采样来更新语义解析模型，在不到训练从头开始所需时间10%的时间内实现了与从头训练相当的性能，同时最大限度减少了灾难性遗忘。该方法使得在实际部署环境中频繁对大规模语义解析系统进行再训练成为可能。

ABSTRACT

Currently used semantic parsing systems deployed in voice assistants can require weeks to train. Datasets for these models often receive small and frequent updates, data patches. Each patch requires training a new model. To reduce training time, one can fine-tune the previously trained model on each patch, but naive fine-tuning exhibits catastrophic forgetting - degradation of the model performance on the data not represented in the data patch. In this work, we propose a simple method that alleviates catastrophic forgetting and show that it is possible to match the performance of a model trained from scratch in less than 10% of a time via fine-tuning. The key to achieving this is supersampling and EWC regularization. We demonstrate the effectiveness of our method on multiple splits of the Facebook TOP and SNIPS datasets.

研究动机与目标

• 为解决生产系统中语义解析模型训练时间过长的问题，这些模型的训练可能需要数天或数周。
• 减少当新数据补丁频繁添加到数据集时的再训练开销，特别是针对低资源或长尾类别。
• 在不造成灾难性遗忘的前提下，实现快速、高效的模型更新，使持续学习在真实世界NLP系统中成为可行方案。
• 评估数据增量持续学习方法在语义解析中的有效性，重点关注速度、准确率和遗忘缓解。
• 提出一种对各类性能下降敏感的新评估指标，特别关注低资源类别。

提出的方法

• 该方法使用EWC（弹性权重巩固）正则化，在微调过程中保留先前学习数据的知识。
• 通过在微调新数据（D₂）时包含原始训练数据（D₁）中的所有样本，实现全数据集超采样，而非使用小型回放缓冲区。
• 在旧数据和新数据的组合数据集上进行微调，并采用平衡采样以防止类别不平衡加剧遗忘。
• 该方法避免冻结层，因为这被发现会降低性能，而是依赖EWC和数据重加权来稳定学习过程。
• 提出一种新评估指标，用于追踪性能显著下降（超过2σ）的类别数量，以量化灾难性遗忘。
• 在Facebook TOP和SNIPS数据集的多个划分上，于不同数据可用性条件下评估该方法。

实验结果

研究问题

• RQ1 使用EWC和全数据集超采样进行微调，能否在语义解析中实现与从头训练相当的性能？
• RQ2 在数据增量设置下，该方法在多大程度上能显著缩短训练时间，同时最小化灾难性遗忘？
• RQ3 当原始数据中某类样本数量极少（例如，<30）且仅逐步增加数百个样本时，该方法表现如何？
• RQ4 EWC结合全数据集采样是否优于其他正则化和回放策略，在多样化类别分布下更有效地减少遗忘？
• RQ5 所提出的指标能否有效检测并量化由于灾难性遗忘导致的各类性能下降？

主要发现

• 该方法实现了与从头训练模型相当的测试集性能，微调时间不足从头训练所需时间的10%。
• 在所有数据集划分中，EWC结合20%旧数据采样实现了最低的遗忘水平；在10%旧数据条件下，EWC + 全采样在organizer_event 95划分上完全消除了遗忘。
• 在6个数据集划分中的5个中，采用EWC和采样的方法表现出最少的显著性能下降类别数量（超过2σ）。
• 冻结层被发现无效甚至有害，特别是在仅更新头部层时，表明特征适应对低资源类别至关重要。
• 在现实的低数据设置下，该方法优于从头训练，例如初始样本少于30个且逐步增加样本少于300个时。
• 所提出的用于测量类别特定性能下降的指标在识别被整体EM或F1分数掩盖的遗忘模式方面表现有效。