[论文解读] On the Iteration Complexity of Hypergradient Computation

Riccardo Grazzi, Luca Franceschi+2 more|arXiv (Cornell University)|Jun 29, 2020

Model Reduction and Neural Networks参考文献 29被引用 22

一句话总结

本文在压缩映射假设下，对双层优化中的超梯度计算提供了统一的理论分析，比较了迭代微分（ITD）与近似隐式微分（AID）方法。研究建立了迭代复杂度边界，并发现使用共轭梯度法的AID在计算效率和近似精度方面表现更优，尤其当底层映射为压缩映射时。

ABSTRACT

We study a general class of bilevel problems, consisting in the minimization of an upper-level objective which depends on the solution to a parametric fixed-point equation. Important instances arising in machine learning include hyperparameter optimization, meta-learning, and certain graph and recurrent neural networks. Typically the gradient of the upper-level objective (hypergradient) is hard or even impossible to compute exactly, which has raised the interest in approximation methods. We investigate some popular approaches to compute the hypergradient, based on reverse mode iterative differentiation and approximate implicit differentiation. Under the hypothesis that the fixed point equation is defined by a contraction mapping, we present a unified analysis which allows for the first time to quantitatively compare these methods, providing explicit bounds for their iteration complexity. This analysis suggests a hierarchy in terms of computational efficiency among the above methods, with approximate implicit differentiation based on conjugate gradient performing best. We present an extensive experimental comparison among the methods which confirm the theoretical findings.

研究动机与目标

• 为双层优化中超梯度近似方法的迭代复杂度提供统一的理论框架。
• 比较迭代微分（ITD）与近似隐式微分（AID）方法在计算效率与近似质量方面的表现。
• 在底层固定点映射为压缩映射的假设下，建立ITD与AID的显式迭代复杂度边界。
• 在超参数优化、元学习与均衡模型（EQM）中评估这些方法的实际性能。
• 识别AID结合共轭梯度法在精度与内存效率方面优于ITD的条件。

提出的方法

• 构建一个通用的双层问题，其中上层目标函数依赖于由压缩映射定义的参数化固定点方程的解。
• 分析两种主要的超梯度近似策略：使用前向或反向模式自动微分的迭代微分（ITD），以及通过共轭梯度法求解线性系统的近似隐式微分（AID）。
• 在压缩假设下推导ITD与AID的理论迭代复杂度边界，实现两者的直接定量比较。
• 当固定点映射的雅可比矩阵非对称时，采用共轭梯度法求解AID中的法方程。
• 在均衡模型中使用谱投影以强制满足压缩条件（||A|| < 1），确保收敛性与稳定性。
• 在超参数优化、元学习与均衡模型（EQM）上开展大量实验，以验证理论发现。

实验结果

研究问题

• RQ1 在底层固定点问题满足压缩映射假设时，ITD与AID的迭代复杂度如何比较？
• RQ2 在双层优化中，使用共轭梯度法的AID与ITD相比，其相对近似精度与计算效率如何？
• RQ3 在均衡模型中，强制执行压缩条件（||A|| < 1）如何影响超梯度近似方法的稳定性和性能？
• RQ4 在何种情况下ITD优于AID，特别是当压缩假设不成立时？
• RQ5 谱投影或正则化在多大程度上可强制执行压缩条件，并提升方法的稳定性？

主要发现

• 基于共轭梯度法的AID在近似精度与迭代复杂度之间实现了最佳权衡，在压缩假设成立时，其计算效率显著优于ITD。
• 理论迭代复杂度边界表明，当误差容限相同时，AID的收敛速度优于ITD，尤其当底层问题的海森矩阵条件数良好时更为明显。
• 当通过谱投影强制满足压缩条件（||A|| < 1）时，所有方法均能稳定收敛；然而，使用共轭梯度法的AID在速度与内存效率方面远超ITD。
• 若不强制执行压缩条件，AID方法（尤其是无记忆变体）在广泛的学习率范围内变得不稳定，而ITD则保持更强的鲁棒性。
• 将转移矩阵A的谱范数投影到[0, 1−ε]区间可作为强正则化器，提升泛化能力与稳定性，与先前研究结果一致。
• 实证结果证实，当底层映射为压缩映射时，AID结合共轭梯度法在大规模双层问题中是首选方法，因其具有更优的收敛性与更低的内存占用。