[论文解读] Two-Player Games for Efficient Non-Convex Constrained Optimization

Andrew Cotter, Heinrich Jiang+1 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Bandit Algorithms Research参考文献 14被引用 11

一句话总结

本文提出了一种非零和双人博弈框架——代理拉格朗日函数（proxy-Lagrangian），用于求解具有非可微约束的非凸约束优化问题——这类问题在公平性和鲁棒机器学习中很常见。通过将原始约束与可微的代理约束解耦，该方法实现了梯度优化，并保证解最多支持 $m+1$ 个模型，显著提升了传统拉格朗日方法在实际应用中的效率。

ABSTRACT

In recent years, constrained optimization has become increasingly relevant to the machine learning community, with applications including Neyman-Pearson classification, robust optimization, and fair machine learning. A natural approach to constrained optimization is to optimize the Lagrangian, but this is not guaranteed to work in the non-convex setting, and, if using a first-order method, cannot cope with non-differentiable constraints (e.g. constraints on rates or proportions). The Lagrangian can be interpreted as a two-player game played between a player who seeks to optimize over the model parameters, and a player who wishes to maximize over the Lagrange multipliers. We propose a non-zero-sum variant of the Lagrangian formulation that can cope with non-differentiable--even discontinuous--constraints, which we call the "proxy-Lagrangian". The first player minimizes external regret in terms of easy-to-optimize "proxy constraints", while the second player enforces the original constraints by minimizing swap regret. For this new formulation, as for the Lagrangian in the non-convex setting, the result is a stochastic classifier. For both the proxy-Lagrangian and Lagrangian formulations, however, we prove that this classifier, instead of having unbounded size, can be taken to be a distribution over no more than m+1 models (where m is the number of constraints). This is a significant improvement in practical terms.

研究动机与目标

• 解决标准拉格朗日方法在公平性和鲁棒机器学习中常见的非凸、非可微约束优化问题时的局限性。
• 为具有不连续或不可次可微约束的问题（如基于比例或比率的公平性度量）提供一阶优化方法。
• 设计一种博弈论框架，确保收敛到仅由有限个模型组成的解，从而提升实际可部署性。
• 为原始变量（模型参数）和对偶变量（拉格朗日乘子）玩家提供关于遗憾和约束违反的理论保证。

提出的方法

• 提出一种非零和双人博弈，其中一名玩家在代理约束上最小化外部遗憾，另一名玩家在原始约束上最小化置换遗憾。
• 引入代理拉格朗日函数形式，使用可微代理函数 $\tilde{g}_i$ 近似非可微的原始约束 $g_i$，从而支持基于梯度的优化。
• 为两名玩家采用具有自适应步长的随机一阶算法，结合近似贝叶斯预言机和投影更新。
• 应用固定点投影 $\text{fix}M$，以确保拉格朗日乘子向量 $\lambda$ 始终保持在单纯形上的平稳分布。
• 使用遗憾最小化技术：对模型参数玩家使用外部遗憾，对对偶乘子玩家使用置换遗憾。
• 推导收敛界，表明在 $T$ 轮迭代中，平均迭代解以高概率实现 $\epsilon_{\theta}$ 和 $\epsilon_{\lambda}$-最优。

实验结果

研究问题

• RQ1 能否设计一种双人博弈框架，以处理机器学习中的非凸、非可微约束优化问题？
• RQ2 如何将一阶方法应用于具有不连续约束（如公平性度量或基于比例的约束）的问题？
• RQ3 在非凸设置下，此类博弈论方法的收敛性可提供哪些理论保证？
• RQ4 即使原始问题为非凸且非光滑，解是否仍可表示为少量有限模型上的分布？
• RQ5 在此框架中，约束违反与目标函数最优性之间的权衡是什么？

主要发现

• 代理拉格朗日函数形式确保任意解均可表示为最多 $m+1$ 个模型的分布，其中 $m$ 为约束数量，显著降低了模型存储和推理成本。
• 对于随机一阶变体，该方法以概率 $1-\delta$ 实现目标最优性差距 $\epsilon_{\theta} = 2B_{\Theta}B_{\check{\Delta}}\sqrt{\frac{1+16\ln\frac{2}{\delta}}{T}}$。
• 约束违反以高概率被限制在 $\epsilon_{\lambda} = 2B_{\Delta}\sqrt{\frac{2(m+1)\ln(m+1)(1+16\ln\frac{2}{\delta})}{T}}$ 以内。
• 该方法保证在 $T$ 轮迭代中，平均迭代解在目标和约束条件上均满足 $\epsilon$-容差，即使约束不可微。
• 理论框架确保在非凸设置下收敛到可行且近似最优的解，尽管不存在纯纳什均衡。
• 该方法在非凸设置下优于标准拉格朗日方法，避免了对强对偶性的依赖，并实现了实际可行的有限支持解。