[论文解读] What will it take to generate fairness-preserving explanations?

Jessica Dai, Sohini Upadhyay+2 more|arXiv (Cornell University)|Jun 24, 2021

Explainable Artificial Intelligence (XAI)参考文献 20被引用 6

一句话总结

本文指出，现有的黑箱模型解释方法通常无法保持公平性属性，导致即使模型存在偏见，解释结果仍可能具有误导性。本文提出一种带有公平性惩罚项的改进型LIME目标函数，以生成更能反映底层模型公平性行为的解释。实验表明，该方法可降低黑箱模型与其解释之间的公平性不匹配。

ABSTRACT

In situations where explanations of black-box models may be useful, the fairness of the black-box is also often a relevant concern. However, the link between the fairness of the black-box model and the behavior of explanations for the black-box is unclear. We focus on explanations applied to tabular datasets, suggesting that explanations do not necessarily preserve the fairness properties of the black-box algorithm. In other words, explanation algorithms can ignore or obscure critical relevant properties, creating incorrect or misleading explanations. More broadly, we propose future research directions for evaluating and generating explanations such that they are informative and relevant from a fairness perspective.

研究动机与目标

• 探究当前的解释方法是否能保持黑箱模型的公平性属性。
• 识别现有解释技术在模型决策中可能掩盖或错误表示与公平性相关行为的方式。
• 提出一种用于评估和生成既忠实又公平的解释的框架。
• 启动关于将公平性作为解释方法核心评估标准的更广泛讨论。

提出的方法

• 提出一种改进的LIME目标函数，其中包含公平性保持项 ψ(f,g)，以及保真度项和复杂度项。
• 在LIME优化中引入公平性惩罚项 λ₂ψ(f,g)，以鼓励生成与黑箱模型公平性行为一致的解释。
• 使用统计独立性（DP）作为公平性度量，通过不同群体间正预测率的差异进行衡量。
• 将改进的目标函数应用于COMPAS数据集上的深度神经网络黑箱模型，以生成公平性保持的解释。
• 改变LIME中的扰动数量，以评估解释中公平性不匹配的渐近行为。
• 通过 |DP(f(x)) − DP(E_f(x))| 评估公平性不匹配，比较黑箱模型与解释模型在不同输入下的公平性表现。

实验结果

研究问题

• RQ1 标准的解释方法（如LIME）能否保持黑箱模型的公平性属性？
• RQ2 解释方法在无恶意意图的情况下，多大程度上会掩盖或错误表示模型决策中的偏见？
• RQ3 如何将公平性正式整合到解释生成的目标函数中？
• RQ4 增加扰动数量对黑箱模型与解释模型之间公平性不匹配的影响是什么？

主要发现

• 即使保真度较高，标准LIME生成的解释仍可能与黑箱模型存在显著的公平性不匹配。
• 带有公平性惩罚项的改进型LIME目标函数可降低COMPAS数据集上公平性不匹配的平均值。
• 随着扰动数量的增加，标准LIME解释中的公平性不匹配渐近减少，表明其稳定性提高。
• 公平性保持方法成功降低了黑箱模型与解释模型之间在统计独立性（DP）上的差异。
• 结果表明，公平性感知的解释生成是可行的，且应作为核心评估标准进一步研究。