[论文解读] UFO-BLO: Unbiased First-Order Bilevel Optimization

Valerii Likhosherstov, Xingyou Song+3 more|arXiv (Cornell University)|Jun 5, 2020

Stochastic Gradient Optimization Techniques参考文献 48被引用 5

一句话总结

本文提出UFO-BLO，一种新颖的一阶双层优化方法，在保持与FO-BLO相同的O(1)内存和O(r)期望时间复杂度的同时，实现了无偏梯度估计，并在温和假设下保证收敛至双层目标的驻点。该方法将FO-BLO与一种稀疏的精确梯度校正相结合，以纠正偏差，从而解决了FO-BLO的关键理论局限性。

ABSTRACT

Bilevel optimization (BLO) is a popular approach with many applications including hyperparameter optimization, neural architecture search, adversarial robustness and model-agnostic meta-learning. However, the approach suffers from time and memory complexity proportional to the length $r$ of its inner optimization loop, which has led to several modifications being proposed. One such modification is extit{first-order} BLO (FO-BLO) which approximates outer-level gradients by zeroing out second derivative terms, yielding significant speed gains and requiring only constant memory as $r$ varies. Despite FO-BLO's popularity, there is a lack of theoretical understanding of its convergence properties. We make progress by demonstrating a rich family of examples where FO-BLO-based stochastic optimization does not converge to a stationary point of the BLO objective. We address this concern by proposing a new FO-BLO-based unbiased estimate of outer-level gradients, enabling us to theoretically guarantee this convergence, with no harm to memory and expected time complexity. Our findings are supported by experimental results on Omniglot and Mini-ImageNet, popular few-shot meta-learning benchmarks.

研究动机与目标

• 为了解决一阶双层优化（FO-BLO）在广泛应用中缺乏理论收敛保证的问题，尽管其已知存在收敛失败的情况。
• 开发一种方法，在保持FO-BLO计算效率（O(1)内存，O(r)时间）的同时，实现无偏梯度估计。
• 在温和假设下，理论上保证收敛至双层目标的驻点。
• 在Omniglot和Mini-ImageNet等少样本学习基准上，对方法进行实证验证。

提出的方法

• 提出一种缓慢的精确BLO梯度计算方法，其内存复杂度为O(1)，但时间复杂度为O(r²)，作为梯度校正的参考。
• 引入一种随机校正机制：在每个外层迭代中，以与r⁻¹成比例的概率计算精确梯度。
• 将FO-BLO与稀疏的精确梯度校正相结合，形成UFO-BLO，确保外层梯度的无偏性。
• 采用随机采样策略，仅偶尔计算精确梯度校正，从而保持期望的时间和内存复杂度。
• 通过校正FO-BLO的有偏梯度，确保收敛性的同时不增加计算成本。
• 基于随机逼近和李雅普诺夫函数的理论框架，证明在温和假设下算法的收敛性。

实验结果

研究问题

• RQ1 在实际的双层优化设置中，FO-BLO是否无法收敛至双层目标的驻点？
• RQ2 能否在不增加内存或时间复杂度的前提下，实现在双层优化中的无偏梯度估计？
• RQ3 是否可能将FO-BLO的效率与精确BLO的收敛保证相结合？
• RQ4 何种理论条件可确保具有有偏梯度的随机双层优化算法收敛？
• RQ5 与FO-BLO相比，所提出方法在标准少样本元学习基准上的表现如何？

主要发现

• 通过构造一个包含丰富问题形式的反例，表明FO-BLO在实际双层优化设置中可能无法收敛至双层目标的驻点。
• UFO-BLO在保持与FO-BLO相同的O(1)内存和O(r)期望时间复杂度的同时，保证收敛至驻点。
• 理论分析证明，UFO-BLO在温和假设下收敛至驻点，解决了FO-BLO的关键局限性。
• 在Omniglot和Mini-ImageNet上的实证结果表明，UFO-BLO相比FO-BLO实现了更快且更稳定的收敛，梯度趋近于零。
• 理论与实验均证实，该方法在不牺牲计算效率的前提下，成功降低了外层梯度的偏差。
• 与FO-BLO不同，UFO-BLO的梯度范数收敛至零，验证了无偏估计的理论优势。