[论文解读] Wasserstein Robust Support Vector Machines with Fairness Constraints.

Yijie Wang, Viet Anh Nguyen+1 more|arXiv (Cornell University)|Mar 11, 2021

Adversarial Robustness in Machine Learning参考文献 9被引用 4

一句话总结

本文提出了一种带有公平性约束的Wasserstein鲁棒支持向量机，以在二分类中提升机会均等性。通过使用∞-Wasserstein模糊集并重构最坏情况下的不公平性，该方法转化为一个可通过标准求解器求解的混合整数规划问题，在最小化准确率损失的前提下实现了公平性的提升。

ABSTRACT

We propose a distributionally robust support vector machine with a fairness constraint that encourages the classifier to be fair in view of the equality of opportunity criterion. We use a type-$\infty$ Wasserstein ambiguity set centered at the empirical distribution to model distributional uncertainty and derive an exact reformulation for worst-case unfairness measure. We establish that the model is equivalent to a mixed-binary optimization problem, which can be solved by standard off-the-shelf solvers. We further prove that the expectation of the hinge loss objective function constitutes an upper bound on the misclassification probability. Finally, we numerically demonstrate that our proposed approach improves fairness with negligible loss of predictive accuracy.

研究动机与目标

• 解决在分布不确定性下的二分类公平性问题。
• 确保分类器满足机会均等性公平性准则。
• 使用以经验分布为中心的∞-Wasserstein球来建模分布模糊性。
• 为鲁棒优化推导最坏情况不公平性度量的精确重构形式。
• 在公平性提升与预测准确率最小下降之间实现平衡。

提出的方法

• 使用以经验分布为中心的∞-Wasserstein模糊集来建模分布不确定性。
• 在该模糊集下推导最坏情况不公平性度量的精确重构形式。
• 将鲁棒公平性约束SVM重构为混合整数优化问题。
• 使用标准的现成求解器求解所得的混合整数规划问题。
• 使用合页损失的期望作为误分类概率的上界。
• 通过机会均等性准则将公平性约束直接整合到鲁棒优化框架中。

实验结果

研究问题

• RQ1 如何在支持向量机框架中结合分布鲁棒性与公平性约束？
• RQ2 在∞-Wasserstein模糊集下，最坏情况不公平性度量的精确重构形式是什么？
• RQ3 所得到的鲁棒公平性约束SVM能否通过标准优化求解器高效求解？
• RQ4 所提出方法在不牺牲预测准确率的前提下，能在多大程度上提升公平性？
• RQ5 在此设置下，合页损失的期望是否可作为误分类概率的有效上界？

主要发现

• 所提出的模型等价于一个混合整数优化问题，可借助标准求解器求解。
• 合页损失的期望提供了误分类概率的上界。
• 利用∞-Wasserstein模糊集，对最坏情况不公平性度量实现了精确重构。
• 数值结果表明，公平性得到提升，而预测准确率损失可忽略不计。
• 该方法在分布不确定性下有效实现了公平性，同时保持了鲁棒性。