[论文解读] Natural Hypergradient Descent: Algorithm Design, Convergence Analysis, and Parallel Implementation

Deyi Kong, Zaiwei Chen+2 more|arXiv (Cornell University)|Feb 11, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

NHGD 引入一种针对双层优化的并行“优化与近似”方法，通过将经验Fisher信息矩阵（EFIM）逆作为海森估计替代，能够与内循环SGD同步估计超梯度并提供理论收敛保证。

ABSTRACT

In this work, we propose Natural Hypergradient Descent (NHGD), a new method for solving bilevel optimization problems. To address the computational bottleneck in hypergradient estimation--namely, the need to compute or approximate Hessian inverse--we exploit the statistical structure of the inner optimization problem and use the empirical Fisher information matrix as an asymptotically consistent surrogate for the Hessian. This design enables a parallel optimize-and-approximate framework in which the Hessian-inverse approximation is updated synchronously with the stochastic inner optimization, reusing gradient information at negligible additional cost. Our main theoretical contribution establishes high-probability error bounds and sample complexity guarantees for NHGD that match those of state-of-the-art optimize-then-approximate methods, while significantly reducing computational time overhead. Empirical evaluations on representative bilevel learning tasks further demonstrate the practical advantages of NHGD, highlighting its scalability and effectiveness in large-scale machine learning settings.

研究动机与目标

• 解决双层优化中超梯度估计的计算瓶颈。
• 提出复用梯度信息的并行内-外优化框架。
• 通过 EFIM/更新规则建立具有统计学依据的海森逆替代物。
• 建立高概率收敛性和样本复杂度保证。
• 在大规模双层任务上展示经验可扩展性与有效性。

提出的方法

• 将 NHGD 表述为用 EFIM 逆替代海森逆，在内点问题为 KL 发散最小化时在内点最优解处计算的形式。
• 通过 Sherman–Morrison 等秩-1 更新在线更新 EFIM 逆 A_k^t，使用内层 SGD 梯度实现。
• 通过在内优化轨迹上迭代平均来估计横向导数项 L_k^t。
• 计算超梯度为 hat{nabla}Phi(v_k)=nabla_v f(v_k, theta_k^T) - (L_k^T)^T A_k^T nabla_theta f(v_k, theta_k^T)，并进行外部更新。
• 在内优化过程中启用同步并行的超梯度估计，以避免后续海森逆计算的额外开销。
• 通过 K-FAC 在大规模网络上的实际加速。

实验结果

研究问题

• RQ1 EFIM 逆是否可以作为双层优化中海森逆的稳定、有效替代物？
• RQ2 EFIM 基于海森逆的高概率误差界如何转化为外部收敛性保证？
• RQ3 NHGD 是否达到与优化后再近似方法相同的样本复杂度，同时降低计算时间？
• RQ4 在具有代表性的双层任务上，和最先进的基线相比，NHGD 的实证表现如何？
• RQ5 将内优化和超梯度估计并行化带来哪些实际效益？

主要发现

• NHGD 提供 EFIM 逆收敛到内点最优处真实海森逆的高概率界。
• NHGD 以整体样本复杂度 tilde O(epsilon^{-2}) 达到 epsilon-驻点。
• 基于 EFIM 的海森逆可与内 SGD 并行更新，不增加额外运行时间开销。
• 通过轨迹基础或内循环末端估计器可以可控误差地估计交叉导数项。
• 经验结果表明，在具有代表性的双层任务上，NHGD 优于或匹配基线的双环和单环方法。
• K-FAC 加速进一步提升大模型的可扩展性。