[论文解读] Theoretical and Practical Perspectives on what Influence Functions Do

Andrea Schioppa, Katja Filippova+2 more|arXiv (Cornell University)|May 26, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文阐明，影响函数（IFs）仅在微调步骤的短时间内能有效预测模型行为，这是由于深度神经网络中的参数发散所致。尽管IFs无法预测长期的留一法重训练效果，但它们在模型调试中仍具实用性，可通过针对关键训练样本进行少量微调，识别并修正具有影响力的训练样本，从而纠正误预测。

ABSTRACT

Influence functions (IF) have been seen as a technique for explaining model predictions through the lens of the training data. Their utility is assumed to be in identifying training examples "responsible" for a prediction so that, for example, correcting a prediction is possible by intervening on those examples (removing or editing them) and retraining the model. However, recent empirical studies have shown that the existing methods of estimating IF predict the leave-one-out-and-retrain effect poorly. In order to understand the mismatch between the theoretical promise and the practical results, we analyse five assumptions made by IF methods which are problematic for modern-scale deep neural networks and which concern convexity, numeric stability, training trajectory and parameter divergence. This allows us to clarify what can be expected theoretically from IF. We show that while most assumptions can be addressed successfully, the parameter divergence poses a clear limitation on the predictive power of IF: influence fades over training time even with deterministic training. We illustrate this theoretical result with BERT and ResNet models. Another conclusion from the theoretical analysis is that IF are still useful for model debugging and correcting even though some of the assumptions made in prior work do not hold: using natural language processing and computer vision tasks, we verify that mis-predictions can be successfully corrected by taking only a few fine-tuning steps on influential examples.

研究动机与目标

• 解决影响函数（IFs）在预测深度神经网络中留一法重训练（LSOR）效果时，理论预期与实证失败之间的矛盾。
• 识别并分析IF方法中可能在现代深度学习设置下失效的核心假设。
• 明确IFs在参数和损失变化方面可现实预测的范围，尤其是在微调过程中的表现。
• 通过在关键样本上进行针对性微调以纠正误预测，验证IFs在模型调试中的实际应用。
• 建立参数发散的理论边界，并证明IF预测能力随时间衰减，从而限制其预测范围。

提出的方法

• 对IF方法中五个关键假设的理论分析：凸性、数值稳定性、训练轨迹一致性，以及损失扰动下的参数发散。
• 定理1的证明：即使在严格凸性不成立的情况下，基于Hessian的影响函数仍可近似扰动损失的邻近驻点。
• 对训练轨迹在损失扰动下发生发散的理论分析（定理2），表明一阶近似随时间失效。
• 利用离散Gronwall引理推导出参数发散的上界（定理3），表明IF预测随时间退化。
• 在BERT和ResNet模型上对IF预测能力衰减进行实证验证，测量IF排名与LSOR效果随时间的相关性。
• 提出两种实用的修正方法：支持者修正法（重标记前k个最具影响力的样本）和反对者微调法（在前k个对立样本上进行微调），在SST2和CIFAR10上评估，微调步数最多达50步。

(a)

实验结果

研究问题

• RQ1 为何影响函数在深度神经网络中虽有理论支持，却仍无法预测留一法重训练（LSOR）效果？
• RQ2 影响函数方法中的哪些假设在现代深度学习中会失效？它们如何影响预测准确性？
• RQ3 影响函数在扰动损失上的微调过程中，能在多大程度上预测参数变化？这种预测的有效时间有多长？
• RQ4 即使IFs无法预测长期重训练效果，它们是否仍可在模型调试和错误修正中发挥实际作用？
• RQ5 参数随时间的发散如何限制影响函数预测的可靠性？是否可对其进行理论边界界定？

主要发现

• 影响函数在深度网络中无法预测长期LSOR效果，主要原因是即使在确定性训练下，参数也随时间发散。
• 理论分析表明，尽管凸性和数值稳定性问题可缓解，但参数发散从根本上限制了影响函数的预测范围。
• 通过离散Gronwall引理推导出参数发散的上界，实证结果证实该边界是紧致的，解释了IF预测准确度随时间衰减的原因。
• 当采用时间受限的、基于微调的修正协议时，影响函数在模型调试中依然有效：通过仅微调少数步骤的关键样本，可纠正误预测。
• 在SST2（BERT）上，支持者修正法和反对者微调法优于随机基线，成功率最高提升2%，平均所需微调步数减少6%。
• 在CIFAR10（ResNet）上，反对者微调法效果较差，原因在于检索样本存在标签不匹配，但支持者修正法仍提升了修正效率，证实IFs在时间约束下的实际可用性。

(b)