[论文解读] On the Accuracy of Influence Functions for Measuring Group Effects

Pang Wei Koh, Kai-Siang Ang+2 more|arXiv (Cornell University)|May 30, 2019

Advanced Statistical Modeling Techniques参考文献 29被引用 52

一句话总结

该论文以经验方式分析对组数据删除的影响函数，显示其与实际影响具有很强的等级相关性，并且在多数情况下低估，这一结论由一步牛顿近似及两个案例研究（CDR 与 MultiNLI）支持。

ABSTRACT

Influence functions estimate the effect of removing a training point on a model without the need to retrain. They are based on a first-order Taylor approximation that is guaranteed to be accurate for sufficiently small changes to the model, and so are commonly used to study the effect of individual points in large datasets. However, we often want to study the effects of large groups of training points, e.g., to diagnose batch effects or apportion credit between different data sources. Removing such large groups can result in significant changes to the model. Are influence functions still accurate in this setting? In this paper, we find that across many different types of groups and for a range of real-world datasets, the predicted effect (using influence functions) of a group correlates surprisingly well with its actual effect, even if the absolute and relative errors are large. Our theoretical analysis shows that such strong correlation arises only under certain settings and need not hold in general, indicating that real-world datasets have particular properties that allow the influence approximation to be accurate.

研究动机与目标

• 在个体之外，激励测量删除大规模、连贯训练点组的影响。
• 评估影响函数在现实数据集的组级扰动下是否仍然具有信息量。
• 开发理论框架（一步牛顿）以将预测的组效应与实际效应联系起来。
• 探讨组影响对现实任务中标注函数与众包工作者的实际含义。

提出的方法

• 通过影响函数定义实际组效应 I*_f(w) 和预测效应 I_f(w)。
• 利用包含海森矩阵 H 和梯度 g 的一阶泰勒（影响）近似来计算 I_f(w)。
• 引入一步牛顿近似 Δθ_Nt(w) 来近似移除 w 后的参数变化。
• 将误差分解为牛顿-实际与牛顿-影响项，并在 Lipschitz 假设下给出界（命题1–2）。
• 将分析专门化到自损失以及移除单点的拷贝以推导锥形界限（命题3–4）。
• 在五个数据集上进行经验评估，并讨论对数据来源问题的含义（CDR、MultiNLI）。

实验结果

研究问题

• RQ1 当移除大规模、连贯数据组时，影响函数是否仍然与实际组效应保持有用的相关性？
• RQ2 在什么条件下，基于影响的预测会低估或与实际组效应不相关？
• RQ3 一步牛顿近似能否解释预测与实际组效应之间观察到的相关性与低估？
• RQ4 组影响与现实世界数据采集情景（如标注函数与众包工作者）之间有何关系？

主要发现

• 影响函数与测试预测、测试损失及自损失在多样化的连贯组上具有高度相关性（Spearman 0.89–0.99）。
• 对于大多数组移除，预测的影响往往低估实际效应，除非测试损失的效应为负。
• 一步牛顿近似解释了预测与实际效应之间的关系的大部分，并在某些设定下提供一个有界误差视角（锥形约束）。
• 增加正则化（更大的 λ）会收紧锥形并改善预测与实际效应之间的相关性。
• 案例研究提供实用洞见：在 CDR 中标注函数覆盖率与测试损失的影响相关，而在 MultiNLI 的众包工作者规模并不能预测影响。