[论文解读] Towards a Unified Framework for Fair and Stable Graph Representation Learning

Chirag Agarwal, Himabindu Lakkaraju+1 more|arXiv (Cornell University)|Feb 25, 2021

Ethics and Social Impacts of AI被引用 40

一句话总结

论文介绍了 Nifty，一个框架，通过统一公平性和稳定性目标与基于 Lipschitz 的架构归一化以及 Siamese 风格的增强，实现对抗性公平且稳定的图神经网络表示。

ABSTRACT

As the representations output by Graph Neural Networks (GNNs) are increasingly employed in real-world applications, it becomes important to ensure that these representations are fair and stable. In this work, we establish a key connection between counterfactual fairness and stability and leverage it to propose a novel framework, NIFTY (uNIfying Fairness and stabiliTY), which can be used with any GNN to learn fair and stable representations. We introduce a novel objective function that simultaneously accounts for fairness and stability and develop a layer-wise weight normalization using the Lipschitz constant to enhance neural message passing in GNNs. In doing so, we enforce fairness and stability both in the objective function as well as in the GNN architecture. Further, we show theoretically that our layer-wise weight normalization promotes counterfactual fairness and stability in the resulting representations. We introduce three new graph datasets comprising of high-stakes decisions in criminal justice and financial lending domains. Extensive experimentation with the above datasets demonstrates the efficacy of our framework.

研究动机与目标

• 动机：需要在 GNNs 中获得既公平又对扰动鲁棒的表示。
• 识别对照事实公平性与图表示稳定性之间的联系。
• 提出并实现 Nifty，以在任意 GNN 中学习公平且稳定的节点嵌入。
• 提供将 Lipschitz 归一化与公平性和稳定性联系起来的理论保证。
• 在刑事司法和信贷领域的新高风险图数据集上进行实证验证。

提出的方法

• 引入一个基于三元组的目标函数，最大化来自原始视图与增强视图（对照事实/嘈杂）的表示之间的一致性。
• 通过节点属性扰动、对照事实敏感属性翻转以及图结构扰动来生成增强视图。
• 应用带预测器的 Siamese 训练以对齐原始和增强嵌入（ Eq. 3）。
• 将编码器属性权重矩阵的基于 Lipschitz 的逐层归一化结合起来，以限制嵌入变化（ Eq. 5）。
• 给出理论结果，将稳定性和对照事实公平性界限与逐层权重范数的乘积联系起来。
• 通过对 Upd-step 权重进行归一化来扩展 GNN 架构，以在消息传递中强化公平性和稳定性。

实验结果

研究问题

• RQ1 Nifty 是否能够让 GNN 学到既公平又稳定的嵌入？
• RQ2 除了对照事实公平性外，Nifty 是否能够实现群体公平概念，如统计平等和机会均等？
• RQ3 在目标和体系结构中同时强制公平性和稳定性将如何影响下游预测性能？
• RQ4 要实现公平且稳定的预测，是否需要对架构和目标函数进行修改？

主要发现

• Nifty 在三个数据集上显著提升了五种 GNN 的公平性和稳定性（平均提升分别为 fairness 92.01% 和 stability 60.87%）。
• 该框架生成的嵌入在对照事实公平性方面更公平，并且在统计平等和机会均等等群体公平性指标上也有所提升。
• Nifty 在提升公平性和稳定性的同时保持了预测性能（AUROC 和 F1）。
• 理论结果用逐层权重范数来界定 Enc 的稳定性和对照事实不公平性，将架构归一化与公平性和鲁棒性联系起来。
• 在三个高风险数据集（刑事司法和金融借贷）上的实验展示了该方法的实际有效性。