[论文解读] Multi-Stage Influence Function

Hongge Chen, Si Si+5 more|arXiv (Cornell University)|Jul 17, 2020

Topic Modeling参考文献 25被引用 4

一句话总结

本文提出一种多阶段影响函数，用于将微调模型的预测追溯至预训练数据中的关键样本，实现了无需微调的高效影响估计，且无需依赖模型的凸性。该方法在预测影响分数与真实影响分数之间表现出强相关性（最高达0.92），为预训练与微调阶段的数据影响诊断提供了可扩展的解决方案。

ABSTRACT

Multi-stage training and knowledge transfer, from a large-scale pretraining task to various finetuning tasks, have revolutionized natural language processing and computer vision resulting in state-of-the-art performance improvements. In this paper, we develop a multi-stage influence function score to track predictions from a finetuned model all the way back to the pretraining data. With this score, we can identify the pretraining examples in the pretraining task that contribute most to a prediction in the finetuning task. The proposed multi-stage influence function generalizes the original influence function for a single model in (Koh & Liang, 2017), thereby enabling influence computation through both pretrained and finetuned models. We study two different scenarios with the pretrained embeddings fixed or updated in the finetuning tasks. We test our proposed method in various experiments to show its effectiveness and potential applications.

研究动机与目标

• 为解决在多阶段学习中缺乏定量测量预训练数据如何影响微调模型性能的方法这一问题。
• 实现在无需微调的情况下，从微调预测回溯至预训练数据的影响分析，克服暴力移除法在计算上不可行的问题。
• 理解预训练数据在何种情况下对微调任务有益或有害，特别是在“错误迁移”或少样本学习场景下。
• 将影响分解为两个部分：对预训练模型的影响与对微调模型的影响，以提升可解释性。
• 提供一种可扩展的一阶近似方法，适用于微调过程中嵌入固定与更新两种设置。

提出的方法

• 提出一种多阶段影响函数，将原始影响函数（Koh & Liang, 2017）推广至可追踪影响从预训练数据经由预训练和微调两个阶段的路径。
• 采用损失变化的一阶近似，当移除一个预训练样本时，实现无需微调的高效计算。
• 分别推导两种设置下的影响分数：当预训练嵌入固定时，以及在下游任务中进行微调时。
• 将预训练和微调阶段的梯度乘积作为影响的度量，捕捉影响的完整反向传播路径。
• 采用基于雅可比矩阵的近似方法，估算每个预训练样本对微调任务最终预测的影响。
• 应用并行计算以实现对大规模模型（如参数量达9360万的ELMo）的可扩展性，每个数据点的影响独立计算。

实验结果

研究问题

• RQ1 在下游微调任务中，哪些预训练样本对预测贡献最大？
• RQ2 预训练数据对微调模型的影响在多大程度上取决于预训练任务与微调任务之间的相似性？
• RQ3 微调样本数量是否会影响预训练数据对模型预测的相对影响？
• RQ4 我们能否检测到‘错误迁移’现象，即有害的预训练数据对微调性能产生负面影响？
• RQ5 所提出的影响力分数与实际移除预训练样本后损失变化的真实值之间的相关性如何？

主要发现

• 所提出的多阶段影响函数在预测影响分数与实际移除预训练样本后的损失差异之间表现出强相关性（最高达0.92）。
• 随着微调样本数量和训练步数的增加，预训练数据的平均绝对影响分数从0.15降至0.05，表明对预训练数据的依赖性降低。
• 在基于ELMo的情感分类任务中，每条预训练数据点的影响力计算平均耗时0.94秒，模型参数量为9360万。
• 该方法成功识别出具有高影响力（如0.0841）的预训练句子，这些句子在语义上与测试输入相关，例如涉及政治人物或政策决策的内容。
• 当微调数据充足时，预训练数据的影响显著降低，证实了在数据足够多时，微调数据占据主导地位。
• 该方法正确识别出低影响力预训练样本（如影响力<10^-6），这些样本在语义上与测试输入无关，验证了其对相关性的敏感性。