[论文解读] Towards Aggregating Weighted Feature Attributions

Umang Bhatt, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Jan 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 8被引用 9

一句话总结

本文提出 AVA（先验事件综合评估），一种新颖的方法，通过融合先验事件影响与价值归因，将训练实例中的局部解释聚合，生成全局加权特征归因。该方法通过捕捉局部特征相关性与全局模式，提升了模型可解释性，实验表明其在多种数据集上解释模型预测时表现更优。

ABSTRACT

Current approaches for explaining machine learning models fall into two distinct classes: antecedent event influence and value attribution. The former leverages training instances to describe how much influence a training point exerts on a test point, while the latter attempts to attribute value to the features most pertinent to a given prediction. In this work, we discuss an algorithm, AVA: Aggregate Valuation of Antecedents, that fuses these two explanation classes to form a new approach to feature attribution that not only retrieves local explanations but also captures global patterns learned by a model. Our experimentation convincingly favors weighting and aggregating feature attributions via AVA.

研究动机与目标

• 通过结合先验影响与价值归因方法，弥合局部特征归因与全局模型解释之间的差距。
• 开发一个统一框架，以同时捕捉局部解释保真度与全局模型行为结构模式。
• 通过在训练实例上聚合特征归因并使用学习权重，提升机器学习模型的可解释性。
• 评估加权聚合在生成比现有方法更稳健、更具泛化能力的解释方面的作用。
• 提供一种可扩展且原理清晰的特征归因方法，在保持对模型预测保真度的同时揭示底层数据模式。

提出的方法

• AVA 通过聚合影响特定测试预测的训练实例的局部归因，来制定特征归因。
• 它引入一种加权聚合方案，其中每个训练实例根据其对测试点的影响程度，对最终归因产生贡献。
• 该方法使用基于核函数的影响函数，计算每个训练点对测试预测的影响，作为聚合的权重。
• 通过基于梯度的方法（例如显著性图）为每个训练实例计算特征归因，再利用影响权重进行组合。
• 最终的归因向量是各实例归因的加权和，权重源自模型的预测行为。
• 该方法通过利用影响函数与基于梯度的解释技术，可扩展应用于深度神经网络及其他黑箱模型。

实验结果

研究问题

• RQ1 结合先验影响与价值归因是否能提升特征解释的质量与泛化能力？
• RQ2 对局部归因进行加权聚合如何影响模型解释的可解释性与保真度？
• RQ3 AVA 在保留局部解释准确性的同时，能在多大程度上捕捉特征重要性的全局模式？
• RQ4 在不同数据集上，AVA 与现有归因方法相比，在鲁棒性与一致性方面表现如何？
• RQ5 影响权重对聚合特征归因的稳定性与可解释性有何影响？

主要发现

• AVA 通过整合局部与全局信息，显著提升了特征归因的质量，使解释更加一致可靠。
• 该方法在多个数据集（包括图像与表格数据）上，均优于基线归因技术，能更有效地捕捉有意义的特征模式。
• 通过影响函数实现的加权聚合，相比无权重或启发式聚合方法，生成的归因更具稳定性与鲁棒性。
• 实验表明，AVA 能有效揭示局部方法所忽略的全局数据结构，如特定类别的特征依赖关系。
• 该方法保持了对模型预测的高保真度，归因与测试实例上实际模型行为高度一致。
• AVA 支持在多种模型架构与数据类型上进行可解释性分析，在基准测试中展现出强大的泛化能力。