[论文解读] On Second-Order Group Influence Functions for Black-Box Predictions

Samyadeep Basu, Xuchen You+1 more|arXiv (Cornell University)|Nov 1, 2019

Machine Learning and Data Classification参考文献 31被引用 10

一句话总结

本文提出二阶群体影响函数，以提升黑盒机器学习模型中对训练样本群体影响估计的准确性。通过基于海塞矩阵的校正捕捉群体成员间的交叉依赖关系，其与真实影响的相关性显著提高——在移除50%训练数据的MNIST逻辑回归任务中，相关性提升超过55%，优于一阶近似方法，尤其在群体规模较大或样本相关性较高时表现更优。

ABSTRACT

With the rapid adoption of machine learning systems in sensitive applications, there is an increasing need to make black-box models explainable. Often we want to identify an influential group of training samples in a particular test prediction for a given machine learning model. Existing influence functions tackle this problem by using first-order approximations of the effect of removing a sample from the training set on model parameters. To compute the influence of a group of training samples (rather than an individual point) in model predictions, the change in optimal model parameters after removing that group from the training set can be large. Thus, in such cases, the first-order approximation can be loose. In this paper, we address this issue and propose second-order influence functions for identifying influential groups in test-time predictions. For linear models, across different sizes and types of groups, we show that using the proposed second-order influence function improves the correlation between the computed influence values and the ground truth ones. We also show that second-order influence functions could be used with optimization techniques to improve the selection of the most influential group for a test-sample.

研究动机与目标

• 解决一阶影响函数在估计大规模或高度相关的训练样本群体对模型预测影响时的局限性。
• 开发一种二阶近似方法，捕捉群体成员间的交叉依赖关系，从而在模型参数变化显著时提升估计准确性。
• 实现在无需重新训练的前提下，高效识别给定测试预测中最关键的训练群体。
• 评估二阶影响函数在线性模型与深度神经网络中的有效性。
• 通过基于优化的群体选择方法，展示其在敏感应用场景中提升可解释性的实际效用。

提出的方法

• 提出一种二阶群体影响函数，通过在原始一阶影响基础上引入基于海塞矩阵与最优模型参数处梯度向量的校正项，实现对一阶影响的扩展。
• 推导出二阶近似为一阶影响之和，外加一个涉及群体内各成员样本海塞矩阵与梯度的交叉依赖项。
• 采用正则化海塞矩阵（H + λI）以稳定计算，尤其在深度神经网络等非凸设置中表现更优。
• 采用带L1松弛的投影梯度下降法求解最具有影响力的训练样本群体选择的优化问题。
• 将方法应用于线性模型（如MNIST上的逻辑回归）与深度前馈网络，以评估其泛化性与鲁棒性。
• 通过对比实际重新训练计算出的真实影响与二阶影响估计值，验证性能表现。

实验结果

研究问题

• RQ1 当群体规模较大或参数偏移显著时，二阶影响函数是否能比一阶近似更准确地估计移除某一群体样本的真实影响？
• RQ2 群体成员间的交叉依赖关系如何影响模型行为？能否通过基于海塞矩阵的校正方法有效捕捉这些依赖？
• RQ3 与贪心的一阶选择方法相比，二阶影响函数在选择最具影响力的群体时，其性能提升程度如何？
• RQ4 在一阶影响函数假设可能不成立的非线性模型（如深度神经网络）中，一阶与二阶影响函数的表现如何？
• RQ5 二阶影响函数是否可有效集成至优化流程中，用于识别给定测试预测下最具影响力的训练群体？

主要发现

• 在MNIST逻辑回归任务中，当50%训练数据被移除时，二阶影响函数相较于一阶近似，与真实影响的相关性提升超过55%。
• 二阶影响函数能够捕捉群体成员间的交叉依赖关系，从而在群体移除导致参数发生大幅变化时，实现更精确的影响估计。
• 在深度神经网络中，一阶与二阶影响函数与真实影响的相关性均不显著，但二阶方法在各类群体规模下均表现出微弱但稳定的提升。
• 基于二阶影响函数的优化方法成功选取出的影响群体，其影响力显著高于贪心的一阶选择方法或随机选择的群体，尤其在群体规模较大时优势明显。
• 由于依赖梯度与海塞-向量乘积，该方法在计算上保持高效与可扩展性，即使在大规模模型中亦适用。
• 该方法在识别具有相似属性（如人口统计子群体）的训练群体时尤为有效，且无需重新训练模型。