[论文解读] Representation Stability as a Regularizer for Improved Text Analytics Transfer Learning

Matthew Riemer, Elham Khabiri+1 more|arXiv (Cornell University)|Apr 12, 2017

Topic Modeling参考文献 26被引用 11

一句话总结

本文提出了一种遗忘成本正则化器，用于在自然语言处理的顺序迁移学习中稳定共享表征，防止RNN发生灾难性遗忘。通过将多个源任务（包括基于规则的情感分析引擎）的知识蒸馏到GRU模型中，该方法在SemEval 2016 Twitter情感分析任务上取得了最先进性能，优于使用更多数据和更复杂架构的模型。

ABSTRACT

Although neural networks are well suited for sequential transfer learning tasks, the catastrophic forgetting problem hinders proper integration of prior knowledge. In this work, we propose a solution to this problem by using a multi-task objective based on the idea of distillation and a mechanism that directly penalizes forgetting at the shared representation layer during the knowledge integration phase of training. We demonstrate our approach on a Twitter domain sentiment analysis task with sequential knowledge transfer from four related tasks. We show that our technique outperforms networks fine-tuned to the target task. Additionally, we show both through empirical evidence and examples that it does not forget useful knowledge from the source task that is forgotten during standard fine-tuning. Surprisingly, we find that first distilling a human made rule based sentiment engine into a recurrent neural network and then integrating the knowledge with the target task data leads to a substantial gain in generalization performance. Our experiments demonstrate the power of multi-source transfer techniques in practical text analytics problems when paired with distillation. In particular, for the SemEval 2016 Task 4 Subtask A (Nakov et al., 2016) dataset we surpass the state of the art established during the competition with a comparatively simple model architecture that is not even competitive when trained on only the labeled task specific data.

研究动机与目标

• 解决在文本分析中顺序迁移学习时灾难性遗忘的问题，其中微调过程会抹除先前任务中的有用知识。
• 通过在与目标任务整合过程中保留多个源任务的知识，提升模型泛化能力。
• 探索将人工构建的基于规则的情感分析引擎蒸馏到神经网络中以提升性能的有效性。
• 评估多源迁移结合表征稳定性是否优于标准微调在目标任务上的表现。
• 研究结合多样化迁移表征的集成方法在提升准确率方面的潜力。

提出的方法

• 引入一种遗忘成本，通过惩罚在目标任务训练期间共享表征层的变化来促进稳定性。
• 该方法使用知识蒸馏，通过仅基于源任务的模型生成合成样例，以模拟回放而无需存储旧数据。
• 模型采用多任务目标进行训练：最小化目标任务的交叉熵损失和源模型预测的蒸馏损失。
• 通过在微调过程中最小化源模型与目标模型共享隐藏表征之间的L2距离，强制实现表征稳定性。
• 采用集成策略，通过自适应平均方法组合来自不同源任务（如基于规则的模型、电影评论、表情符号预测）的模型预测结果。
• 该集成方法利用基于模型置信度的类似注意力的权重，动态组合预测结果，从而提升鲁棒性。

实验结果

研究问题

• RQ1 遗忘成本正则化器是否能有效减少在文本分析顺序迁移学习中的灾难性遗忘？
• RQ2 将基于规则的情感分析引擎蒸馏到神经网络中是否能提升下游任务的泛化性能？
• RQ3 结合表征稳定性的多源迁移是否能优于标准微调在目标任务上的表现？
• RQ4 结合多样化迁移表征的集成方法在多大程度上能超越单个模型的性能？
• RQ5 是否可以通过结合多个源任务的知识和蒸馏，仅使用简单的GRU模型实现最先进结果？

主要发现

• 遗忘成本正则化器显著减少了灾难性遗忘，保留了通常在标准微调过程中丢失的源任务有用知识。
• 蒸馏后的模型在SemEval 2016任务4子任务A的测试集上达到66.0%的准确率，超越了先前最先进水平（64.6%），尽管使用的是更简单的50单位GRU架构。
• 该模型在训练数据量不足其十分之一的情况下，仍优于使用多个CNN和远程监督的复杂集成模型SwissCheese。
• 通过集成基于规则的迁移模型与其他源任务模型，性能提升了1.5%，尽管理论极限表明仍有进一步提升空间。
• 仅在目标任务数据上训练的模型（无迁移）准确率仅为53.6%，凸显了迁移和蒸馏的关键作用。
• 理论分析表明，若能实现完美模型组合，四个迁移表征的组合可达到85.1%的准确率，表明在表征整合方面仍有巨大提升空间。