[论文解读] Towards Robust and Reliable Algorithmic Recourse

Sohini Upadhyay, Shalmali Joshi+1 more|arXiv (Cornell University)|Feb 26, 2021

Explainable Artificial Intelligence (XAI)参考文献 31被引用 37

一句话总结

ROAR 提出一个极小极大框架，用以生成在模型漂移下仍然有效的对因果反事实（counterfactual recourses），并提供理论界限以及在真实世界数据集上的强鲁棒性（比基线高出 67–100% 的鲁棒性）。

ABSTRACT

As predictive models are increasingly being deployed in high-stakes decision making (e.g., loan approvals), there has been growing interest in post hoc techniques which provide recourse to affected individuals. These techniques generate recourses under the assumption that the underlying predictive model does not change. However, in practice, models are often regularly updated for a variety of reasons (e.g., dataset shifts), thereby rendering previously prescribed recourses ineffective. To address this problem, we propose a novel framework, RObust Algorithmic Recourse (ROAR), that leverages adversarial training for finding recourses that are robust to model shifts. To the best of our knowledge, this work proposes the first solution to this critical problem. We also carry out detailed theoretical analysis which underscores the importance of constructing recourses that are robust to model shifts: 1) we derive a lower bound on the probability of invalidation of recourses generated by existing approaches which are not robust to model shifts. 2) we prove that the additional cost incurred due to the robust recourses output by our framework is bounded. Experimental evaluation on multiple synthetic and real-world datasets demonstrates the efficacy of the proposed framework and supports our theoretical findings.

研究动机与目标

• 促使人们认识到当预测模型因数据分布移位而更新时，仍然有效的对策方法的必要性。
• 提出一个极小极大目标，以生成对 plausible 的模型漂移具有鲁棒性的对因果反事实。
• 给出非鲁棒对策失效概率的理论界限，以及鲁棒对策成本上升的界限。
• 在各种移位情景下，展示 ROAR 在合成与真实数据集上的经验鲁棒性。

提出的方法

• 引入 ROAR，一个极小极大目标，在一组合理的模型漂移 Delta 上最小化最差情况损失。
• 用局部线性代理 f_w 来近似一般预测模型，从而在参数空间中允许扰动 delta。
• 将对因果对策 x'' 定义为 min_{x'' in A} max_{delta in Delta} ell(f_{w+delta}(x''), 1) + lambda c(x, x'').
• Specify Delta 使用中文翻译应为：使用每特征界限(delta_min <= delta_i <= delta_max)或范数球(||delta||_p <= delta_max) 来指定 Delta。
• 开发一个对抗性训练启发的优化过程（算法1），交替最大化模型扰动并通过梯度更新对策，直到收敛。

实验结果

研究问题

• RQ1 现有的对策方法在数据分布变化引起的模型漂移下有多脆弱？
• RQ2 我们能否在考虑合理模型扰动的同时，提出并优化在对策成本方面可控的鲁棒对策？
• RQ3 在使用鲁棒对策时，失效概率和成本膨胀的理论极限（下界/上界）是什么？
• RQ4 在带有修正、时间以及地理空间移位的数据集上，鲁棒对策是否能提升真实世界的鲁棒性，同时成本不过分增加？

主要发现

• 基于 ROAR 的对策对模型漂移的鲁棒性显著高于最先进基线，在真实世界数据集上鲁棒性提升了 67–100%。
• ROAR 在原始模型下实现高有效性（常见 >95%），同时显著提升对漂移模型的鲁棒性。
• 该框架提供理论保证：对非鲁棒对策的失效概率下界，以及对鲁棒对策额外成本的上界。
• 在建模的移位下，鲁棒对策的成本增加有限，相对于非鲁棒对策保持实际可行性。
• 在德国信贷、SBA，以及地理空间/时间数据集上的经验评估表明 ROAR 相对于多种基线（CFE、AR、MINT、ROAR 变体）具有有效性。