[论文解读] Thinking Inside the Ball: Near-Optimal Minimization of the Maximal Loss

Yair Carmon, Arun Jambulapati+2 more|arXiv (Cornell University)|Jul 7, 2021

Complexity and Algorithms in Graphs被引用 2

一句话总结

本文提出了最小化 N 个凸、Lipschitz 函数最大值的首阶预言机复杂度的改进界。通过改进一种球优化预言机加速方法，并利用 softmax 函数高效实现，作者在非光滑情况下达到 O(N𝜖⁻²/³ + 𝜖⁻⁸/³) 的复杂度，在 O(𝜖⁻¹)-光滑情况下达到 O(N𝜖⁻²/³ + √N𝜖⁻¹)，在 N 的依赖上达到最优，仅相差对数因子。

ABSTRACT

We characterize the complexity of minimizing the maximum of 𝑁 convex, Lipschitz functions. For non-smooth functions, existing methods require O(𝑁𝜖⁻²) queries to a first-order oracle to compute an 𝜖-suboptimal point and O(𝑁𝜖⁻¹) queries if the functions are O(𝜖⁻¹)-smooth. We develop methods with improved complexity bounds O(𝑁𝜖⁻²/³ + 𝜖⁻⁸/³) in the non-smooth case and O(𝑁𝜖⁻²/³ + √𝑁𝜖⁻¹) in the O(𝜖⁻¹)-smooth case. Our methods consist of a recently proposed ball optimization oracle acceleration algorithm (which we refine), combined with careful implementation of said oracle for the softmax function. We also prove an oracle complexity lower bound scaling as 𝛺(𝑁𝜖⁻²/³), showing that our dependence on 𝑁 is optimal up to polylogarithmic factors.

研究动机与目标

• 降低最小化 N 个凸、Lipschitz 函数最大值的首阶预言机复杂度。
• 缩小现有方法与理论下界在 N 和 𝜖 依赖关系上的差距。
• 为 softmax 函数高效实现球优化预言机。
• 通过证明 Ω(N𝜖⁻²/³) 的下界，建立紧致的复杂度界。
• 在非光滑与光滑设置下均实现近似最优性能。

提出的方法

• 作者改进了近期提出的球优化预言机加速算法，以提高其查询效率。
• 通过 softmax 函数实现球预言机，从而高效计算最大函数最小化点。
• 该方法利用 softmax 的结构，减少了所需首阶预言机查询的次数。
• 一项关键技术贡献是推导出非光滑函数下复杂度界为 O(N𝜖⁻²/³ + 𝜖⁻⁸/³)。
• 对于 O(𝜖⁻¹)-光滑函数，该方法实现了 O(N𝜖⁻²/³ + √N𝜖⁻¹) 的复杂度，优于先前的 O(N𝜖⁻¹) 界。
• 作者证明了匹配的下界 Ω(N𝜖⁻²/³)，表明 N 的依赖关系在对数因子范围内是最优的。

实验结果

研究问题

• RQ1 在非光滑情况下，能否将最小化 N 个凸、Lipschitz 函数最大值的首阶预言机复杂度改进至 O(N𝜖⁻²) 以下？
• RQ2 在最小化 N 个光滑凸函数最大值时，N 和 𝜖 的最优依赖关系是什么？
• RQ3 能否为 softmax 函数高效实现球优化预言机，以实现更快的收敛速度？
• RQ4 复杂度界中的 N𝜖⁻²/³ 依赖关系是否紧致，能否建立匹配的下界？
• RQ5 在光滑与非光滑设置下，该方法与现有方法在查询复杂度上的比较如何？

主要发现

• 所提方法在非光滑函数下实现 O(N𝜖⁻²/³ + 𝜖⁻⁸/³) 首阶预言机查询，优于先前的 O(N𝜖⁻²) 界。
• 对于 O(𝜖⁻¹)-光滑函数，该方法将复杂度降低至 O(N𝜖⁻²/³ + √N𝜖⁻¹)，优于先前的 O(N𝜖⁻¹) 界。
• 该方法的 N 依赖关系在对数因子范围内是最优的，由 Ω(N𝜖⁻²/³) 的下界证实。
• 通过 softmax 函数成功实现了球优化预言机，从而实现了最大函数的高效最小化。
• 复杂度界在 𝜖 依赖上是紧致的，𝜖 的指数与理论下界一致。
• 结果表明，通过球预言机加速可显著降低凸函数极小化问题中查询复杂度。