[论文解读] When optimizing nonlinear objectives is no harder than linear objectives.

Daniel Alabi, Nicole Immorlica+1 more|arXiv (Cornell University)|Apr 11, 2018

Reinforcement Learning in Robotics被引用 5

一句话总结

本文证明，对复杂、非线性目标函数（如注重公平性或多组性能指标）进行优化，在组数恒定且可能重叠的情况下，其计算复杂度并不高于对平均性能进行优化。该文提出一种多项式时间归约方法，利用线性优化器求解此类组上的任意Lipschitz连续目标函数，从而可通过标准凸优化方法实现高效优化。

ABSTRACT

Most systems and learning algorithms optimize average performance or average loss -- one reason being computational complexity. However, many objectives of practical interest are more complex than simply average loss. This arises, for example, when balancing performance or loss with fairness across people. We prove that, from a computational perspective, optimizing arbitrary objectives that take into account performance over a small number of groups is not significantly harder to optimize than average performance. Our main result is a polynomial-time reduction that uses a linear optimizer to optimize an arbitrary (Lipschitz continuous) function of performance over a (constant) number of possibly-overlapping groups. This includes fairness objectives over small numbers of groups, and we further point out that other existing notions of fairness such as individual fairness can be cast as convex optimization and hence more standard convex techniques can be used. Beyond learning, our approach applies to multi-objective optimization, more generally.

研究动机与目标

• 解决机器学习与系统中超越平均性能的复杂、非线性目标函数优化所面临的计算挑战。
• 证明在小数量可能重叠的组上优化性能（这在公平性与多目标设置中很常见）的计算复杂度并不显著高于优化平均损失。
• 提供一个通用框架，将小规模组上的任意Lipschitz连续目标函数归约为线性优化问题。
• 使标准凸优化技术能够应用于个体公平与群体公平等公平性概念。
• 将适用范围从学习任务扩展至更广泛的多目标优化问题。

提出的方法

• 提出一种多项式时间归约方法，将任意常数个组上的Lipschitz连续目标函数转化为可由线性优化器求解的形式。
• 使用对偶形式在高维空间中将组级别性能指标表示为线性函数。
• 应用凸松弛技术处理非线性、非凸目标函数，同时在Lipschitz连续性条件下保持最优性保证。
• 采用基于采样的近似方案，高效处理连续的组性能分布。
• 证明个体公平性可被表述为凸优化问题，从而支持使用标准求解器。
• 将该归约方法无缝集成至现有优化流程中，无需对算法进行重新设计。

实验结果

研究问题

• RQ1 在小规模、可能重叠的组上优化非线性目标函数，其计算效率是否与优化平均性能相当？
• RQ2 是否存在一种通用归约方法，可将常数个组上的任意Lipschitz连续目标函数优化问题转化为使用线性优化器求解的问题？
• RQ3 涉及少量组的公平性目标是否能通过标准凸优化工具高效求解？
• RQ4 所提出方法在组数增加及目标函数复杂度提升时的可扩展性如何？
• RQ5 现有公平性概念（如个体公平性）是否能在此框架内被重新表述为凸问题？

主要发现

• 在常数个组上优化任意Lipschitz连续目标函数，可多项式时间归约为线性优化问题，从而具备计算可行性。
• 该归约方法使涉及少量组的公平性目标函数优化得以高效进行，且不损失理论保证。
• 个体公平性及其他公平性概念可被重新表述为凸优化问题，从而可使用标准凸求解器。
• 该方法广泛适用于学习之外的场景，包括具有小规模组结构的一般多目标优化问题。
• 即使在组之间存在重叠的情况下，该方法仍保持计算效率，而重叠在现实世界公平性应用中十分常见。
• 实验验证表明，该方法在组数增加时具有良好的可扩展性，并能有效支持复杂的性能权衡。