[论文解读] Spectral Algorithms for Computing Fair Support Vector Machines

Matt Olfat, Anil Aswani|arXiv (Cornell University)|Oct 16, 2017

Face and Expression Recognition参考文献 22被引用 8

一句话总结

该论文提出基于谱算法的公平支持向量机（SVM）方法，通过在受保护类别条件下的协方差矩阵上施加非凸二次约束，并利用迭代谱分解处理非凸性。该方法在保持高预测准确率的同时，确保所有阈值下的公平性，相较于基线方法在合成数据集和真实世界数据集上均表现出更优的公平性控制，且准确率损失极小。

ABSTRACT

Classifiers and rating scores are prone to implicitly codifying biases, which may be present in the training data, against protected classes (i.e., age, gender, or race). So it is important to understand how to design classifiers and scores that prevent discrimination in predictions. This paper develops computationally tractable algorithms for designing accurate but fair support vector machines (SVM's). Our approach imposes a constraint on the covariance matrices conditioned on each protected class, which leads to a nonconvex quadratic constraint in the SVM formulation. We develop iterative algorithms to compute fair linear and kernel SVM's, which solve a sequence of relaxations constructed using a spectral decomposition of the nonconvex constraint. Its effectiveness in achieving high prediction accuracy while ensuring fairness is shown through numerical experiments on several data sets.

研究动机与目标

• 通过确保所有决策阈值而非单一阈值下的公平性，解决机器学习分类器（特别是SVM）中的公平性问题。
• 开发计算上可行的算法，在减少对受保护类别（如性别、种族）偏见的同时保持高预测准确率。
• 通过受试者工作特征（ROC）曲线重新表述公平性，以更好地可视化和分析不同阈值下的公平性表现。
• 提出基于条件协方差矩阵的非凸二次约束，以在线性SVM和核SVM中强制实现公平性。
• 设计一种基于谱分解的迭代优化框架，确保在公平性约束下收敛至局部最小值。

提出的方法

• 通过在受保护类别条件下对输入特征的协方差矩阵施加约束来形式化公平性，导致SVM优化问题中出现非凸二次约束。
• 利用非凸约束的谱分解，构建一系列可迭代求解的凸松弛问题。
• 应用一种迭代算法，通过求解由谱分解导出的凸子问题来更新SVM参数，确保收敛至局部最小值。
• 通过用核函数替代内积的方式适配核技巧，使方法可应用于非线性核SVM。
• 引入正则化参数μ以控制公平性与准确率之间的权衡，其中μ=0等价于基线ZSVM方法。
• 采用交叉验证来调优超参数（如LSVM的λ），并确保SSVM与ZSVM在各数据集上的公平比较。

实验结果

研究问题

• RQ1 能否通过原则化的优化框架在SVM中实现所有决策阈值而非单一阈值下的公平性？
• RQ2 如何高效求解基于条件协方差矩阵的非凸公平性约束？
• RQ3 在使用谱松弛方法强制实现所有阈值下公平性时，预测准确率与公平性之间的权衡关系如何？
• RQ4 与现有公平SVM方法（如Zafar等人提出的方法）相比，所提出的谱算法在公平性与准确率方面表现如何？
• RQ5 所提出方法是否能在不显著降低预测准确率的情况下提升公平性，甚至在某些情况下提升准确率？

主要发现

• 所提出的SSVM方法相较于标准线性SVM和ZSVM，在公平性方面有显著提升（DP-Δ更低），尤其当公平性参数d增大时更为明显。
• 在合成数据集和真实世界数据集（葡萄酒质量与德国信贷）中，SSVM在保持高AUC（ROC曲线下方面积）的同时，严格改善了所有阈值下的公平性。
• SSVM中正则化参数μ的微小增加通常能同时提升公平性与准确率，表明对公平性-准确率权衡具有有效控制能力。
• 当μ=0时，SSVM退化为ZSVM，证实与基线方法的等价性；同时方法对μ和d表现出敏感性，支持精细化的公平性控制。
• 该算法收敛至局部最小值，数值结果表明可在预测准确率损失极小的情况下增强公平性——部分情况下甚至在提升公平性的同时出现准确率的轻微增长。