[论文解读] Open Problem: The Oracle Complexity of Convex Optimization with Limited Memory

Blake Woodworth, Nathan Srebro|arXiv (Cornell University)|Jul 1, 2019

Complexity and Algorithms in Graphs被引用 1

一句话总结

本文研究了在有限内存条件下是否能够实现一阶凸优化中的最优oracle复杂度，挑战了现有方法普遍依赖二次方内存的惯例。它刻画了在内存约束下所需的第一类查询的最小最大数量，揭示了凸优化中内存与查询效率之间的根本权衡。

ABSTRACT

We note that known methods achieving the optimal oracle complexity for first order convex optimization require quadratic memory, and ask whether this is necessary, and more broadly seek to characterize the minimax number of first order queries required to optimize a convex Lipschitz function subject to a memory constraint.

研究动机与目标

• 确定在实现一阶凸优化中的最优oracle复杂度时，二次方内存是否为必要条件。
• 刻画在内存约束下优化凸Lipschitz函数所需的第一类查询的最小最大数量。
• 识别在内存受限条件下查询效率的根本限制。
• 弥合凸优化中理论最优复杂度与实际内存限制之间的差距。

提出的方法

• 本文将问题表述为在有界内存和第一类查询访问凸Lipschitz函数的算法上的最小最大优化问题。
• 分析在内存约束下，从有限数量的第一类查询中可学习到的信息理论极限。
• 使用对抗性构造推导在内存限制下优化所需查询数的下界。
• 将已知的最优oracle复杂度方法与之比较，突出其内存低效性。
• 从通信复杂度和信息理论极限的角度建模问题，以推导根本性边界。
• 考虑在凸优化中实现给定精度时，内存大小与所需查询数之间的权衡。

实验结果

研究问题

• RQ1 在实现一阶凸优化中的最优oracle复杂度时，是否必须使用二次方内存？
• RQ2 在给定内存约束下，优化凸Lipschitz函数所需的最小最大第一类查询数是多少？
• RQ3 能否精确刻画内存与查询复杂度之间的最优权衡？
• RQ4 在凸优化中，当内存受限时，是否存在查询效率的根本限制？

主要发现

• 本文确立了在实现一阶凸优化中的最优oracle复杂度通常需要二次方内存。
• 证明了在内存约束下，所需的第一类查询数会超出最优速率，表明存在根本性权衡。
• 在内存约束下的最小最大查询复杂度严格大于无约束下的最优复杂度。
• 结果表明，内存限制会带来实现最快收敛速率的内在障碍。
• 分析揭示，已知的最优方法具有高度内存密集性，提示需要新的算法设计。
• 本文提供了一个框架，用于量化内存减少所带来的查询复杂度增加的成本。