[论文解读] Provably Faster Algorithms for Bilevel Optimization

Junjie Yang, Kaiyi Ji+1 more|arXiv (Cornell University)|Jun 8, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用 9

一句话总结

本文提出了两种新颖的双层优化算法——VRBO及其变体，采用递归梯度估计与方差缩减技术，在双层循环结构中实现。通过利用动量和低方差梯度估计器，该方法实现了 𝒪̃(ε⁻¹.⁵) 的可证明更快收敛速率，优于以往基于 SGD 和动量的算法所受限的 𝒪̃(ε⁻²)。

ABSTRACT

Bilevel optimization has been widely applied in many important machine learning applications such as hyperparameter optimization and meta-learning. Recently, several momentum-based algorithms have been proposed to solve bilevel optimization problems faster. However, those momentum-based algorithms do not achieve provably better computational complexity than $\mathcal{\widetilde O}(ε^{-2})$ of the SGD-based algorithm. In this paper, we propose two new algorithms for bilevel optimization, where the first algorithm adopts momentum-based recursive iterations, and the second algorithm adopts recursive gradient estimations in nested loops to decrease the variance. We show that both algorithms achieve the complexity of $\mathcal{\widetilde O}(ε^{-1.5})$, which outperforms all existing algorithms by the order of magnitude. Our experiments validate our theoretical results and demonstrate the superior empirical performance of our algorithms in hyperparameter applications.

研究动机与目标

• 解决现有基于动量的双层优化器尽管在实验中表现成功，却缺乏可证明更快收敛的问题。
• 克服现有算法的理论局限性，即仅能达到 𝒪̃(ε⁻²) 的复杂度，与基于 SGD 的方法持平。
• 设计一种双层循环的双层优化器，利用方差缩减技术以实现阶次更低的计算复杂度。
• 确保算法保持高效，仅使用低成本的矩阵-向量乘积，避免昂贵的海森矩阵求逆。
• 在标准假设下，为收敛至 ε-精度驻点提供理论保证，同时提升样本复杂度与海森向量复杂度。

提出的方法

• 提出 VRBO，一种基于双层循环结构的双层优化器，利用递归梯度估计降低超梯度近似中的方差。
• 采用受 SVRG 和 SPIDER 启发的方差缩减框架，定期重新计算高精度梯度以稳定更新。
• 引入基于动量的递归更新机制用于外层变量 x，结合历史信息以加速收敛。
• 采用嵌套循环结构，每个外层迭代中对 y 的内层更新固定步数，以减少梯度噪声。
• 通过周期性全批量梯度评估校正随机估计中的偏差，确保收敛稳定性。
• 在利普希茨连续性、强凸性及有界方差等假设下，推导出梯度与海森向量复杂度的理论界。

实验结果

研究问题

• RQ1 基于动量的双层优化器能否在理论上实现比现有基于 SGD 和动量的方法更快的收敛？
• RQ2 在双层循环结构中引入方差缩减，是否能实现双层优化中可证明更低的计算复杂度？
• RQ3 所提出的算法能否在不进行昂贵海森矩阵求逆的前提下，实现 𝒪̃(ε⁻¹.⁵) 的复杂度，同时保持低计算成本？
• RQ4 所提方法的理论复杂度提升是否与在超参数调优和元学习任务中的实际性能表现一致？
• RQ5 在相同精度目标下，该算法能否在梯度与海森向量复杂度上优于先前方法？

主要发现

• 所提出的 VRBO 算法实现了 𝒪̃(ε⁻¹.⁵) 的梯度复杂度，相比现有最优复杂度 𝒪̃(ε⁻²) 提升了一个数量级。
• 海森向量复杂度同样为 𝒪̃(ε⁻¹.⁵)，表明超梯度近似计算高效。
• 通过高效的矩阵-向量乘积实现低计算成本，避免显式海森矩阵求逆。
• 理论分析表明，在标准假设下，该算法以高概率收敛至 ε-精度驻点。
• 实验结果验证了理论发现，在超参数优化任务中表现优于 stocBiO、MSTSA、SEMA 和 STABLE。
• 通过设置关键超参数：S₁ = 𝒪(ε⁻¹)，S₂ = 𝒪(ε⁻⁰.⁵)，Q = 𝒪(log(1/ε⁰.⁵))，K = 𝒪(ε⁻¹)，实现了复杂度界。