[论文解读] Training Well-Generalizing Classifiers for Fairness Metrics and Other Data-Dependent Constraints

Andrew Cotter, Maya R. Gupta+6 more|arXiv (Cornell University)|Jun 29, 2018

Explainable Artificial Intelligence (XAI)被引用 49

一句话总结

本文提出一种两数据集、代理拉格朗日优化方法，用于在有数据相关约束（如公平性指标）的情况下训练分类器，使其对未见数据具有更好的泛化能力。它给出理论泛化界限和实用算法，并通过实验得到验证。

ABSTRACT

Classifiers can be trained with data-dependent constraints to satisfy fairness goals, reduce churn, achieve a targeted false positive rate, or other policy goals. We study the generalization performance for such constrained optimization problems, in terms of how well the constraints are satisfied at evaluation time, given that they are satisfied at training time. To improve generalization performance, we frame the problem as a two-player game where one player optimizes the model parameters on a training dataset, and the other player enforces the constraints on an independent validation dataset. We build on recent work in two-player constrained optimization to show that if one uses this two-dataset approach, then constraint generalization can be significantly improved. As we illustrate experimentally, this approach works not only in theory, but also in practice.

研究动机与目标

• 以数据相关的约束（如公平性或政策驱动目标）来训练分类器。
• 开发一个两数据集框架，以在不依赖于模型复杂度的情况下改善约束泛化。
• 在两数据集设置下，给出关于最优性、可行性及约束泛化的理论界限。
• 引入具备收敛性和泛化保证的算法（基于oracle和基于梯度的算法）。
• 通过实验证据展示，将训练和验证数据集分离可在实践中改善约束泛化。

提出的方法

• 将问题建模为一个两人博弈：一方在训练数据上优化模型参数，另一方在验证集上施加约束。
• 使用代理拉格朗日形式，对 theta-玩家使用替代约束损失，对 lambda-玩家使用原始约束损失。
• 采用双数据集方法：S(train)用于 theta 优化，S(val)用于 lambda 优化，以将用于学习和实施约束的证据分离。
• 提供一个带离散化的基于 oracle 的算法，并使用贝叶斯优化 oracle 找到接近均衡的解。
• 在强凸性假设下，给出一种基于梯度的算法，避免离线离散化且保持实用性。
• 推导泛化界限，表明约束泛化取决于验证集而非模型复杂度。

实验结果

研究问题

• RQ1 在约束优化框架内学习时，数据相关约束从训练到评估时间的泛化程度如何？
• RQ2 通过两份独立数据集分离用于训练和约束执行的证据，是否能在不依赖于模型复杂度的情况下改善约束泛化？
• RQ3 对于两数据集代理拉格朗日方法，理论上的最优性、可行性和泛化保证有哪些？
• RQ4 基于 oracle 的和基于梯度的算法在实现近似最优、近似可行和良好约束泛化方面表现如何？
• RQ5 实证结果是否支持两数据集方法在公平性及其他数据相关约束下改善约束泛化？

主要发现

• 两数据集代理拉格朗日框架在与单数据集方法相比时，可显著改善约束泛化。
• 对于离散化的基于 oracle 的方法，存在与训练和验证泛化误差相关的最优性与可行性界限。
• 在强凸性假设下的梯度基算法，保持了类似的近似最优与近似可行性保证，同时仍具备实际可行性。
• 验证集上的约束泛化可以独立于模型复杂度给出界限，与传统依赖函数类复杂度的界限形成对比。
• 实验结果表明两数据集方法在实践中确实改善了约束泛化，超越单纯的理论保证。