[论文解读] Randomized Stochastic Variance-Reduced Methods for Multi-Task Stochastic Bilevel Optimization

Zhishuai Guo, Quanqi Hu+2 more|arXiv (Cornell University)|May 5, 2021

Stochastic Gradient Optimization Techniques参考文献 35被引用 4

一句话总结

该论文提出了一种用于非凸多任务随机双层优化的随机化随机方差减少算法，通过每次迭代仅处理恒定数量的下层问题，实现了单任务问题的样本复杂度为 $O(1/\epsilon^3)$，多任务问题的样本复杂度为 $O(m/\epsilon^3)$。该方法在非凸随机优化中达到了最先进的样本复杂度，并首次实现了多任务双层问题的最优收敛速率。

ABSTRACT

In this paper, we consider non-convex stochastic bilevel optimization (SBO) problems that have many applications in machine learning. Although numerous studies have proposed stochastic algorithms for solving these problems, they are limited in two perspectives: (i) their sample complexities are high, which do not match the state-of-the-art result for non-convex stochastic optimization; (ii) their algorithms are tailored to problems with only one lower-level problem. When there are many lower-level problems, it could be prohibitive to process all these lower-level problems at each iteration. To address these limitations, this paper proposes fast randomized stochastic algorithms for non-convex SBO problems. First, we present a stochastic method for non-convex SBO with only one lower problem and establish its sample complexity of $O(1/ε^3)$ for finding an $ε$-stationary point under Lipschitz continuous conditions of stochastic oracles, matching the lower bound for stochastic smooth non-convex optimization. Second, we present a randomized stochastic method for non-convex SBO with $m>1$ lower level problems (multi-task SBO) by processing a constant number of lower problems at each iteration, and establish its sample complexity no worse than $O(m/ε^3)$, which could be a better complexity than that of simply processing all $m$ lower problems at each iteration. Lastly, we establish even faster convergence results for gradient-dominant functions. To the best of our knowledge, this is the first work considering multi-task SBO and developing state-of-the-art sample complexity results.

研究动机与目标

• 为解决现有随机双层优化算法中样本复杂度过高的问题，这些算法的样本复杂度未达到非凸随机优化的 $O(1/\epsilon^3)$ 下界。
• 克服现有算法在每次迭代中处理全部 $m$ 个下层问题的局限性，当 $m$ 较大时该方法变得不可行。
• 开发一种随机化随机方法，每次迭代仅处理恒定数量的下层问题，同时保持最优收敛速率。
• 在利普希茨连续的随机预言机条件下，为单任务和多任务非凸随机双层问题建立理论上的样本复杂度边界。
• 将框架扩展至梯度主导函数，并实现比一般非凸情况更快的收敛速率。

提出的方法

• 针对单任务非凸 SBO 提出一种随机方差减少方法（SVRB），利用递归梯度估计器减少 Hessian 和 Jacobian 近似中的方差。
• 针对多任务 SBO 提出一种随机化随机算法（RSVRB），每次迭代采样恒定数量的下层问题，降低计算成本，同时保持收敛性。
• 采用递归方差减少技术，用于估计下层问题的 Hessian 和 Jacobian 矩阵，提高稳定性和收敛性。
• 使用单循环、单时间尺度更新机制并结合自适应步长，避免对大小 mini-batch 或双循环结构的需求。
• 应用共轭梯度方法，高效计算下层变量更新中的 Hessian-向量乘积。
• 在 $m$ 个下层问题上引入随机采样策略，以平衡探索与计算效率。

实验结果

研究问题

• RQ1 能否设计一种随机双层优化算法，使其在非凸问题中达到最优的 $O(1/\epsilon^3)$ 样本复杂度，与标准非凸随机优化的下界一致？
• RQ2 能否设计一种双层算法，使其在 $m \gg 1$ 的情况下，每次迭代仅处理恒定数量的下层问题，而不会降低收敛速率？
• RQ3 在多任务设置下，所提方法的样本复杂度如何随下层问题数量 $m$ 变化？
• RQ4 与一般非凸情况相比，所提方法在梯度主导函数下是否能实现更快的收敛速度？
• RQ5 所提算法在实际中是否具备可扩展性和高效性，特别是在处理大量下层任务时？

主要发现

• 所提出的 SVRB 方法在单任务非凸 SBO 中实现了 $O(1/\epsilon^3)$ 的样本复杂度，与非凸随机优化的已知下界一致。
• 对于包含 $m$ 个下层问题的多任务 SBO，RSVRB 方法实现了 $O(m/\epsilon^3)$ 的样本复杂度，当 $m$ 较大时，优于每次迭代处理全部 $m$ 个问题的策略。
• 在逻辑回归和超参数优化任务中，该算法在样本复杂度和运行时间方面均优于现有基线方法（如 STABLE、TTSA 和 BSA）。
• 在 UCI Adult 和网页分类数据集上的实验表明，RSVRB 在目标值和运行时间方面均比 STABLE 和其他基线方法收敛更快。
• 在包含 200 或 500 个下层问题的多任务超参数优化中，RE-RSVRB 显著优于基线方法，在收敛速度和稳定性方面表现更优。
• 即使下层问题数量增加，该方法仍保持强劲性能，展现出在大规模场景下的可扩展性和鲁棒性。