[论文解读] Towards Gradient-based Bilevel Optimization with Non-convex Followers and Beyond

Risheng Liu, Yaohua Liu+2 more|arXiv (Cornell University)|Oct 1, 2021

Sparse and Compressive Sensing Techniques被引用 1

一句话总结

本文提出 IAPTT-GM，一种新颖的双层优化框架，可在不假设下层凸性（LLC）的条件下，实现对非凸下层问题的基于梯度的求解。通过引入初始化辅助项和悲观轨迹截断机制，该方法实现了对原始双层优化（BLO）解的收敛，并提供了理论保证，同时在 LLC 条件下通过实证验证了收敛性与加速动力学。

ABSTRACT

In recent years, Bi-Level Optimization (BLO) techniques have received extensive attentions from both learning and vision communities. A variety of BLO models in complex and practical tasks are of non-convex follower structure in nature (a.k.a., without Lower-Level Convexity, LLC for short). However, this challenging class of BLOs is lack of developments on both efficient solution strategies and solid theoretical guarantees. In this work, we propose a new algorithmic framework, named Initialization Auxiliary and Pessimistic Trajectory Truncated Gradient Method (IAPTT-GM), to partially address the above issues. In particular, by introducing an auxiliary as initialization to guide the optimization dynamics and designing a pessimistic trajectory truncation operation, we construct a reliable approximate version of the original BLO in the absence of LLC hypothesis. Our theoretical investigations establish the convergence of solutions returned by IAPTT-GM towards those of the original BLO without LLC. As an additional bonus, we also theoretically justify the quality of our IAPTT-GM embedded with Nesterov's accelerated dynamics under LLC. The experimental results confirm both the convergence of our algorithm without LLC, and the theoretical findings under LLC.

研究动机与目标

• 解决缺乏针对非凸下层问题（无 LLC 假设）的高效求解策略与理论保证的问题。
• 在不假设下层凸性的前提下，构建原始双层优化问题的可靠近似。
• 在下层问题为非凸结构时，建立所提算法收敛至原始双层优化问题解的理论依据。
• 在 LLC 条件下，从理论上证明加速版本算法的性能优势。
• 通过实证实验验证算法的收敛性及理论发现。

提出的方法

• 引入初始化辅助项，以在缺乏下层凸性时引导优化动态。
• 设计悲观轨迹截断操作，以稳定并近似下层优化路径。
• 构建一种可靠的近似双层优化问题公式，即使在下层非凸时仍保持有效性。
• 将 Nesterov 加速动力学整合进框架，以在 LLC 条件下提升收敛速度。
• 在上层优化中使用基于梯度的更新，其依据来自截断的下层轨迹。
• 理论分析依赖于对轨迹截断所引入误差的有界性分析，并证明收敛至原始 BLO 解。

实验结果

研究问题

• RQ1 我们能否开发一种基于梯度的双层优化方法，使其在下层问题为非凸时依然有效？
• RQ2 在不假设下层凸性的情况下，如何确保上层解收敛至原始双层优化问题的解？
• RQ3 在 LLC 条件下，将 Nesterov 加速动力学整合进该框架会产生何种影响？
• RQ4 当下的层问题缺乏凸性时，该方法能否保持可靠性与收敛性？
• RQ5 初始化辅助项与轨迹截断在稳定双层优化过程中的作用是什么？

主要发现

• IAPTT-GM 算法即使在不假设下层凸性时，也能收敛至原始双层优化问题的解。
• 理论分析证实，IAPTT-GM 所返回的解在无 LLC 条件下收敛至原始 BLO 问题的真实解。
• 在 LLC 条件下，IAPTT-GM 的嵌入式 Nesterov 加速变体在理论上得到支持，并被证明可提升收敛速度。
• 实证结果验证了 IAPPT-GM 在非凸下层设置下的收敛性，证实了理论结论。
• 所提方法在下层问题为非凸的实际双层优化任务中表现出鲁棒性与可靠性。