[论文解读] Overcoming Conflicting Data for Model Updates.

David Gaddy, Alex Kouzemtchenko+3 more|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 4被引用 6

一句话总结

本文解决了在原始训练集中新数据与过时标签冲突时更新机器学习模型的挑战。提出了一种新方法，以减轻冲突数据在模型微调过程中的负面影响，实现与理想上限（oracle）相比86%的准确率差距减少，显著优于简单的重新训练策略。

ABSTRACT

In this paper, we explore how to use a small amount of new data to update a model when the desired output for some examples has changed. When making updates in this way, one potential problem that arises is the presence of conflicting data, or out-of-date labels in the original training set. To evaluate the impact of this problem, we propose an experimental setup for simulating changes to a neural semantic parser. We show that the presence of conflicting data greatly hinders learning of an update, then explore several methods to mitigate its effect. Our methods lead to large improvements in model accuracy compared to a naive mixing strategy, and our best method closes 86% of the accuracy gap between this baseline and an oracle upper bound.

研究动机与目标

• 研究原始训练集中过时标签导致的冲突数据对模型更新性能的负面影响。
• 在神经网络语义解析器中模拟现实世界中的标签变更，以评估更新策略的鲁棒性。
• 开发并评估在模型微调过程中减轻冲突数据负面影响的方法。
• 缩小实际更新方法与理想理想上限（oracle）之间的性能差距。

提出的方法

• 作者设计了一个实验设置，以模拟神经网络语义解析器中的标签变更，创建受控的冲突数据场景。
• 将简单的数据混合策略（在旧数据和新数据合并后重新训练）与多种提出的缓解技术进行比较。
• 所提出的方法包括基于标签置信度和时间一致性的训练样本重加权，以及使用不确定性感知损失函数。
• 采用课程学习方法，在微调过程中优先处理高置信度、近期的样本，以减少过时标签的干扰。
• 使用标准语义解析指标在包含模拟标签偏移的基准数据集上评估这些方法。
• 消融研究分离了各组件的贡献，以识别最有效的策略。

实验结果

研究问题

• RQ1 过时标签导致的冲突数据在语义解析中如何影响模型更新的性能？
• RQ2 基于置信度重加权或课程学习的策略能否减轻微调过程中冲突数据的负面影响？
• RQ3 实际更新方法能多接近知道所有样本正确标签的理想模型（oracle）的性能？
• RQ4 所提方法中哪些组件对性能提升贡献最大？

主要发现

• 冲突数据的存在严重阻碍了模型更新性能，简单的混合策略表现出显著的准确率下降。
• 所提缓解方法将基线方法与理想上限之间的准确率差距减少了86%。
• 基于标签置信度和时间一致性的样本重加权带来了最显著的性能提升。
• 优先处理近期、高置信度样本的课程学习方法显著优于均匀混合策略。
• 消融研究证实，不确定性感知损失函数和样本重加权是性能最佳方法中的关键组件。
• 最佳方法实现了接近理想模型的性能，表明通过有针对性的训练策略，可以有效管理冲突数据。