[论文解读] Will Bilevel Optimizers Benefit from Loops

Kaiyi Ji, Mingrui Liu+2 more|arXiv (Cornell University)|May 27, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文针对所有循环实现变体（内层解法是否使用循环及海森逆矩阵近似是否使用循环），对双层优化器 AID-BiO 和 ITD-BiO 提供了统一的收敛性分析。结果表明，在 AID-BiO 中，循环可降低梯度复杂度，从而提升整体效率；而在 ITD-BiO 中，循环对于实现趋于零的收敛误差至关重要——无循环方案存在不可避免的非零误差，该结论得到理论与实验的共同验证。

ABSTRACT

Bilevel optimization has arisen as a powerful tool for solving a variety of machine learning problems. Two current popular bilevel optimizers AID-BiO and ITD-BiO naturally involve solving one or two sub-problems, and consequently, whether we solve these problems with loops (that take many iterations) or without loops (that take only a few iterations) can significantly affect the overall computational efficiency. Existing studies in the literature cover only some of those implementation choices, and the complexity bounds available are not refined enough to enable rigorous comparison among different implementations. In this paper, we first establish unified convergence analysis for both AID-BiO and ITD-BiO that are applicable to all implementation choices of loops. We then specialize our results to characterize the computational complexity for all implementations, which enable an explicit comparison among them. Our result indicates that for AID-BiO, the loop for estimating the optimal point of the inner function is beneficial for overall efficiency, although it causes higher complexity for each update step, and the loop for approximating the outer-level Hessian-inverse-vector product reduces the gradient complexity. For ITD-BiO, the two loops always coexist, and our convergence upper and lower bounds show that such loops are necessary to guarantee a vanishing convergence error, whereas the no-loop scheme suffers from an unavoidable non-vanishing convergence error. Our numerical experiments further corroborate our theoretical results.

研究动机与目标

• 为 AID-BiO 和 ITD-BiO 在所有循环实现选择下的收敛性提供统一分析。
• 刻画所有实现方案的计算复杂度，以支持严谨比较。
• 确定在内层解法估计和海森逆矩阵近似中使用循环是否能提升整体效率。
• 建立理论边界，证明在 ITD-BiO 中，循环是实现趋于零误差的必要条件。
• 通过数值实验验证理论发现。

提出的方法

• 推导在不同循环配置（N-loop、Q-loop、无循环、N-Q-loop）下 AID-BiO 和 ITD-BiO 的统一收敛边界。
• 在所有实现方案中均使用梯度下降求解线性系统，以确保公平比较。
• 应用理论分析，推导梯度和矩阵-向量乘积复杂度的上界与下界。
• 构造一个特定的损失函数示例，证明 ITD-BiO 的下界，表明无循环情况下存在非零误差。
• 采用伸缩技术与矩阵范数分析，推导收敛速率。
• 通过双层优化任务上的数值实验验证理论结果。

实验结果

研究问题

• RQ1 在 AID-BiO 中，内层解法估计步骤使用循环是否能提升计算效率？
• RQ2 在 AID-BiO 中，用于近似海森逆矩阵-向量乘积的循环是否具有优势？
• RQ3 在 ITD-BiO 中，为实现趋于零的收敛误差，循环是否为必要条件？
• RQ4 AID-BiO 和 ITD-BiO 各种实现变体的计算复杂度是多少？
• RQ5 ITD-BiO 的无循环方案能否收敛至驻点？

主要发现

• 在 AID-BiO 中，内层解法估计使用循环（N-loop）虽每步成本更高，但可降低整体梯度复杂度。
• 在 AID-BiO 中，用于海森逆矩阵近似的 Q-loop 可降低梯度复杂度，从而提升效率。
• 在 ITD-BiO 中，无循环实现存在不可避免的非零收敛误差，因此循环为必要条件。
• 理论上的上界与下界证实，ITD-BiO 中循环对于实现趋于零误差至关重要。
• 数值实验验证了理论发现，表明在 AID-BiO 和 ITD-BiO 中使用循环可实现更优的收敛性能。
• N-Q-loop AID-BiO 变体的梯度与矩阵-向量乘积复杂度均为 O~(κ⁴ε⁻¹)，优于无循环变体。