[论文解读] Unleashing Linear Optimizers for Group-Fair Learning and Optimization

Daniel Alabi, Nicole Immorlica+1 more|arXiv (Cornell University)|Apr 11, 2018

Epistemology, Ethics, and Metaphysics被引用 14

一句话总结

本文提出了一种多项式时间归约方法，可将任意线性优化器用于求解复杂、非凸且Lipschitz连续的目标函数，这些目标函数作用于固定数量的可能重叠的组——如公平性感知或多元目标函数——通过将其转化为一系列线性优化问题。关键贡献在于，优化任意组级目标在计算上并不比优化平均性能更困难。

ABSTRACT

Most systems and learning algorithms optimize average performance or average loss -- one reason being computational complexity. However, many objectives of practical interest are more complex than simply average loss. This arises, for example, when balancing performance or loss with fairness across people. We prove that, from a computational perspective, optimizing arbitrary objectives that take into account performance over a small number of groups is not significantly harder to optimize than average performance. Our main result is a polynomial-time reduction that uses a linear optimizer to optimize an arbitrary (Lipschitz continuous) function of performance over a (constant) number of possibly-overlapping groups. This includes fairness objectives over small numbers of groups, and we further point out that other existing notions of fairness such as individual fairness can be cast as convex optimization and hence more standard convex techniques can be used. Beyond learning, our approach applies to multi-objective optimization, more generally.

研究动机与目标

• 解决在小数量组之间性能差异需被考虑的复杂、非凸目标函数的计算挑战，例如在公平性感知机器学习中的情形。
• 证明对组损失上任意Lipschitz连续函数的优化，在计算上与优化平均损失一样可行。
• 提供一个通用框架，使现有线性优化系统可被用于组公平与多目标学习，而无需专用求解器。
• 使领域专家能够设计并优化反映算法决策中公平性、不平等或多准则权衡的复杂、现实目标。
• 通过线性化与次梯度方法，将在线与基于投影的优化技术的应用范围扩展至非凸、组级目标。

提出的方法

• 提出一种多项式时间归约方法，将任意组损失上的Lipschitz连续目标函数转化为一系列线性优化问题。
• 采用类似Frank-Wolfe的迭代方法，结合线性预言机，最小化原目标函数的切平面近似序列。
• 通过基于次梯度的线性化方法处理不可微或非凸目标，如最大-最小公平性或基于基尼指数的约束。
• 通过引入包含约束函数最大值的惩罚项，将约束（如公平性或不平等边界）整合到目标函数中。
• 通过目标函数与松弛函数（如max(0, g(l)))的凸组合，保持凸性并确保收敛性保证。
• 利用现有线性优化器（如设施选址或分类问题中的求解器）高效求解转换后的问题，运行时间在1/ε和组数上为多项式。

实验结果

研究问题

• RQ1 能否仅使用线性优化预言机，高效优化组级性能度量上的复杂、非凸目标函数？
• RQ2 在固定数量的可能重叠组上优化公平性感知或多元目标函数，其计算复杂度是否不高于优化平均性能？
• RQ3 能否将任意Lipschitz连续目标函数（如最大-最小公平性或不平等度量）归约为具有有界误差的线性优化问题序列？
• RQ4 如何在保持收敛性与效率的前提下，将如受限差异或不平等指数等约束整合到优化框架中？
• RQ5 在不修改底层求解器的前提下，现有线性优化系统在多大程度上可被重用于求解公平性感知学习问题？

主要发现

• 本文建立了多项式时间归约，使任何线性优化器均可求解组损失上的任意Lipschitz连续目标函数，运行时间在1/ε和组数上为多项式。
• 该方法仅使用线性预言机、次梯度预言机以及对线性优化器的常数次调用，即可获得原非凸目标函数的ε-最优解。
• 对于约束优化，该框架可在保证f(ℓ(c)) ≤ min_{c: g(ℓ(c))≤0} f(ℓ(c)) + ε的同时，找到满足g(ℓ(c)) ≤ ε的解，运行时间为O(poly(1/ε, n))。
• 该方法支持如最大-最小公平性（λ=0）、平均性能（λ=1）以及基尼指数等不平等度量等目标，这些目标为拟凸函数，可通过凸约束处理。
• 该框架可通过将个体公平性及其他公平性概念转化为凸约束或目标，支持标准凸优化技术的应用。
• 该方法具有通用性，不仅适用于公平性问题，还可推广至多目标优化，包括平均性能与最差情况性能之间的权衡。