[论文解读] Simfluence: Modeling the Influence of Individual Training Examples by Simulating Training Runs

Kelvin Guu, Albert Webson+4 more|arXiv (Cornell University)|Mar 14, 2023

Topic Modeling被引用 7

一句话总结

Simfluence 通过建模单个训练样本的影响而非依赖标量分数，引入了一种训练数据归因（TDA）的新范式，该范式利用训练运行模拟器来预测反事实训练序列下测试样本的损失轨迹。所提出的 Simfluence-Linear 方法使用马尔可夫过程以高保真度模拟这些轨迹，在大语言模型微调任务中，其斯皮尔曼等级相关系数较现有方法翻倍，均方误差降低 75%。

ABSTRACT

Training data attribution (TDA) methods offer to trace a model's prediction on any given example back to specific influential training examples. Existing approaches do so by assigning a scalar influence score to each training example, under a simplifying assumption that influence is additive. But in reality, we observe that training examples interact in highly non-additive ways due to factors such as inter-example redundancy, training order, and curriculum learning effects. To study such interactions, we propose Simfluence, a new paradigm for TDA where the goal is not to produce a single influence score per example, but instead a training run simulator: the user asks, ``If my model had trained on example $z_1$, then $z_2$, ..., then $z_n$, how would it behave on $z_{test}$?''; the simulator should then output a simulated training run, which is a time series predicting the loss on $z_{test}$ at every step of the simulated run. This enables users to answer counterfactual questions about what their model would have learned under different training curricula, and to directly see where in training that learning would occur. We present a simulator, Simfluence-Linear, that captures non-additive interactions and is often able to predict the spiky trajectory of individual example losses with surprising fidelity. Furthermore, we show that existing TDA methods such as TracIn and influence functions can be viewed as special cases of Simfluence-Linear. This enables us to directly compare methods in terms of their simulation accuracy, subsuming several prior TDA approaches to evaluation. In experiments on large language model (LLM) fine-tuning, we show that our method predicts loss trajectories with much higher accuracy than existing TDA methods (doubling Spearman's correlation and reducing mean-squared error by 75%) across several tasks, models, and training methods.

研究动机与目标

• 解决现有 TDA 方法假设影响可加性所带来的局限，此类假设无法捕捉冗余性和课程效应等非加性交互作用。
• 使用户能够通过预测模型在测试样本上的损失如何随时间演变，来模拟反事实训练场景（如改变训练顺序或移除样本）。
• 开发一种快速、可解释的模拟器，以捕捉复杂训练动态，同时保持计算效率。
• 将现有 TDA 方法（如 TracIn 和影响函数）作为特例纳入其中，从而通过模拟精度实现直接比较。
• 通过建模特定训练序列下影响随时间的累积过程，提升模型行为的可解释性。

提出的方法

• 提出一种新的 TDA 范式，其输出为一个训练运行模拟器，可预测在模拟训练序列中测试损失的时间序列。
• 提出 Simfluence-Linear，一种基于马尔可夫过程的模拟器，使用每个训练样本的两个可学习参数 $A_i$ 和 $B_i$ 来建模损失轨迹的演化，分别捕捉影响和衰减效应。
• 将每一步的损失建模为先前已见样本累积影响的函数，采用影响分数的线性组合并引入指数衰减。
• 通过时间序列公式推导模拟器的动力学，其中第 $t$ 步的预测损失取决于过去影响的加权和，权重为衰减因子。
• 证明 TracIn 和影响函数在特定假设下可作为 Simfluence-Linear 的特例，从而实现统一评估。
• 在观测到的训练运行上训练模拟器，以学习每个样本的参数 $A_i$ 和 $B_i$，从而实现在毫秒级内完成推理。

实验结果

研究问题

• RQ1 训练运行模拟器能否在损失轨迹预测上比标量影响分数具有更高的准确性？
• RQ2 基于马尔可夫的模拟器在捕捉模型训练中冗余性和课程效应等非加性交互作用方面表现如何？
• RQ3 现有 TDA 方法（如 TracIn 和影响函数）在多大程度上因假设影响可加性而无法准确建模真实训练动态？
• RQ4 Simfluence 范式能否实现对反事实训练场景（如重新排序或移除训练样本）的准确模拟？
• RQ5 在多种大语言模型微调任务中，Simfluence-Linear 的模拟精度与先前 TDA 方法相比如何？

主要发现

• 在多个大语言模型微调任务中，Simfluence-Linear 相较于现有 TDA 方法，将损失轨迹预测的均方误差降低了 75%。
• 该方法使预测与实际损失轨迹之间的斯皮尔曼等级相关系数翻倍，表明预测准确性显著提升。
• Simfluence-Linear 有效捕捉了具有尖峰特征的非平滑损失轨迹，这些轨迹反映了真实的训练动态，包括因样本暴露引发的突变。
• 现有 TDA 方法（如 TracIn 和影响函数）在形式上可作为 Simfluence-Linear 的特例，从而实现直接基准测试。
• 模拟器每条预测的运行时间在毫秒级别，使其在训练动态的交互式分析中具有实际可行性。
• 该方法揭示了真实训练中许多损失波动是可预测的，并非随机的，证明了模拟器对样本级影响的深刻理解。