[论文解读] Randomized Stochastic Variance-Reduced Methods for Stochastic Bilevel Optimization.

Zhishuai Guo, Tianbao Yang|arXiv (Cornell University)|May 5, 2021

Stochastic Gradient Optimization Techniques参考文献 8被引用 6

一句话总结

本文提出了一种用于非凸随机双层优化（SBO）的随机化随机方差减少算法，通过每次迭代仅处理一个下层问题，实现了对多个下层问题的高效处理。对于单个下层问题，其样本复杂度达到最优的 $O(1/ heta^3)$；对于 $m>1$ 个下层问题，样本复杂度为 $O(m/ heta^3)$，与非凸随机优化的最先进界一致。

ABSTRACT

In this paper, we consider non-convex stochastic bilevel optimization (SBO) problems that have many applications in machine learning. Although numerous studies have proposed stochastic algorithms for solving these problems, they are limited in two perspectives: (i) their sample complexities are high, which do not match the state-of-the-art result for non-convex stochastic optimization; (ii) their algorithms are tailored to problems with only one lower-level problem. When there are many lower-level problems, it could be prohibitive to process all these lower-level problems at each iteration. To address these limitations, this paper proposes fast randomized stochastic algorithms for non-convex SBO problems. First, we present a stochastic method for non-convex SBO with only one lower problem and establish its sample complexity of $O(1/\epsilon^3)$ for finding an $\epsilon$-stationary point under appropriate conditions, matching the lower bound for stochastic smooth non-convex optimization. Second, we present a randomized stochastic method for non-convex SBO with $m>1$ lower level problems by processing only one lower problem at each iteration, and establish its sample complexity no worse than $O(m/\epsilon^3)$, which could have a better complexity than simply processing all $m$ lower problems at each iteration. To the best of our knowledge, this is the first work considering SBO with many lower level problems and establishing state-of-the-art sample complexity.

研究动机与目标

• 解决现有非凸问题随机双层优化（SBO）算法中样本复杂度过高的问题。
• 克服当存在 $m>1$ 个下层问题时，每次迭代需处理全部下层问题的局限性。
• 开发一种方法，在每次迭代仅处理一个下层问题的前提下，仍能保持较低的样本复杂度。
• 建立与非凸随机优化最先进水平相当的理论样本复杂度边界。

提出的方法

• 针对单个下层问题的非凸 SBO，提出一种随机方差减少方法，利用控制变量降低梯度方差。
• 引入一种随机采样策略，在每次迭代中均匀随机选择一个下层问题，避免全批量计算。
• 采用递归梯度估计器，即使在下层更新存在随机性的情况下，也能保持上层优化的准确性。
• 通过一种新颖的分析框架，推导出理论收敛保证，该框架考虑了双层问题的嵌套结构。
• 通过对接近双层环境下方差减少机制的精细化分析，建立样本复杂度边界。
• 通过解耦采样与更新过程，将方法扩展至处理 $m>1$ 个下层问题，确保可扩展性。

实验结果

研究问题

• RQ1 我们能否设计一种随机双层优化算法，其样本复杂度与非凸随机优化的下界一致？
• RQ2 在 SBO 中，如何在不需每次迭代处理全部下层问题的前提下，高效处理多个下层问题？
• RQ3 一种每次迭代仅处理一个下层问题的随机化 SBO 方法，其理论样本复杂度是多少？
• RQ4 当 $m>1$ 时，所提方法的样本复杂度是否优于每次迭代处理全部 $m$ 个下层问题？
• RQ5 方差减少技术能否在嵌套的、非凸的双层优化设置中有效适配？

主要发现

• 对于单个下层问题，所提算法在寻找 $\epsilon$-驻点时达到 $O(1/\epsilon^3)$ 的样本复杂度，与非凸随机优化的已知下界一致。
• 对于 $m>1$ 个下层问题，该方法实现的样本复杂度为 $O(m/\epsilon^3)$，优于每次迭代处理全部 $m$ 个问题的策略。
• 随机采样策略确保了算法在下层问题数量较大时仍保持高效与可扩展性。
• 理论分析证实，方差减少机制能有效控制上层梯度估计中的噪声。
• 该方法是首个在每次迭代仅处理一个下层问题的随机化框架下，系统考虑并分析多个下层问题 SBO 的工作。
• 结果表明，所提方法在双层优化设置中实现了最先进的样本复杂度。