[论文解读] Satisfying Real-world Goals with Dataset Constraints

Gabriel Goh, Andrew Cotter+2 more|arXiv (Cornell University)|Jun 24, 2016

Imbalanced Data Classification Techniques参考文献 16被引用 79

一句话总结

本文提出了一种使用折线损失（ramp penalty）的约束优化框架，以在多个数据集上满足现实世界机器学习目标（如公平性、覆盖率、流失率降低和召回率）的要求。该框架提出了一种高效算法，近似求解由此产生的非凸问题，并在基准数据集和工业数据集上验证了其有效性。

ABSTRACT

The goal of minimizing misclassification error on a training set is often just one of several real-world goals that might be defined on different datasets. For example, one may require a classifier to also make positive predictions at some specified rate for some subpopulation (fairness), or to achieve a specified empirical recall. Other real-world goals include reducing churn with respect to a previously deployed model, or stabilizing online training. In this paper we propose handling multiple goals on multiple datasets by training with dataset constraints, using the ramp penalty to accurately quantify costs, and present an efficient algorithm to approximately optimize the resulting non-convex constrained optimization problem. Experiments on both benchmark and real-world industry datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 解决在标准准确率之外优化机器学习模型以满足现实世界目标（如公平性、覆盖率和模型稳定性）的挑战。
• 将多样化的现实世界目标（如人口统计平等、召回率和流失率）形式化为在多个数据集上的率约束。
• 开发一种可扩展的优化框架，能够同时处理多个约束，同时保持计算效率。
• 通过限制模型更新相对于先前已部署模型的范围，确保实际部署的可行性，从而降低运营流失率。
• 在现实假设（包括非凸性和数据集异质性）下，为所提出的算法提供理论收敛保证。

提出的方法

• 将现实世界目标（如公平性、覆盖率、召回率）表示为在多个数据集上对正样本和负样本预测率的约束。
• 使用折线损失精确量化误分类成本，从而实现对约束违反情况的精确控制。
• 将学习问题形式化为具有多个数据集特定约束的非凸约束优化问题。
• 提出一种迭代算法（算法2），通过子梯度方法交替优化模型权重和对偶变量。
• 通过SDCA或核化SVM求解器实现内部SVM优化，并使用质心预言机（center-of-mass oracle）进行对偶变量更新。
• 引入偏差校正机制（算法3），以处理线性分类器中的未正则化偏差项，确保收敛性。

实验结果

研究问题

• RQ1 如何在训练框架中正式表达现实世界机器学习目标（如公平性、覆盖率和流失率）为约束？
• RQ2 一个单一的优化框架能否有效同时处理不同数据集上的多种多样化现实世界目标？
• RQ3 求解具有多个数据集约束的非凸约束优化问题的算法，其收敛行为如何？
• RQ4 与标准合页损失相比，使用折线损失如何提升约束学习中成本量化的准确性？
• RQ5 所提出的算法在保持或提升主要目标性能的同时，能在多大程度上减少模型流失率？

主要发现

• 所提出的框架通过在多个数据集上将目标形式化为率约束，成功处理了多样化的现实世界目标，包括公平性、覆盖率、召回率和模型流失率。
• 在基准数据集和真实工业数据集上的实验表明，该方法能有效满足用户指定的约束，同时在主要目标上保持具有竞争力的性能。
• 理论分析表明，算法2在总计算量为Õ(dnm + dm²k²/ϵ)次算术运算内收敛至ϵ-次优解，其中d为维度，n为总数据量，m为约束数，k为数据集数量。
• 该算法需要O(m ln²(k/ϵ))次质心预言机和线性规划预言机调用，尽管这些在实践中计算成本较高。
• 支持核化，可使用标准核SVM求解器（如LIBSVM），在核设置下相比SDCA能显著提升实际性能。
• 该方法通过约束新模型与已部署模型在未标记数据上的经验不一致率，为模型流失问题提供了实用解决方案。