[论文解读] Truncated Back-propagation for Bilevel Optimization

Amirreza Shaban, Ching-An Cheng+2 more|arXiv (Cornell University)|Oct 25, 2018

Sparse and Compressive Sensing Techniques参考文献 32被引用 18

一句话总结

该论文提出截断反向传播的变体——K步反向模式自动微分（K-RMD），用于超参数调优和元学习中的双层优化问题，其中仅通过下层优化过程反向传播K步来近似梯度。该方法在局部强凸性假设下建立了理论收敛性，并通过实验证明，K-RMD在计算时间减半、内存使用显著降低的情况下，性能可与完整反向传播相媲美。

ABSTRACT

Bilevel optimization has been recently revisited for designing and analyzing algorithms in hyperparameter tuning and meta learning tasks. However, due to its nested structure, evaluating exact gradients for high-dimensional problems is computationally challenging. One heuristic to circumvent this difficulty is to use the approximate gradient given by performing truncated back-propagation through the iterative optimization procedure that solves the lower-level problem. Although promising empirical performance has been reported, its theoretical properties are still unclear. In this paper, we analyze the properties of this family of approximate gradients and establish sufficient conditions for convergence. We validate this on several hyperparameter tuning and meta learning tasks. We find that optimization with the approximate gradient computed using few-step back-propagation often performs comparably to optimization with the exact gradient, while requiring far less memory and half the computation time.

研究动机与目标

• 为解决双层优化中由于嵌套优化结构导致的精确梯度计算高成本问题。
• 分析截断反向传播的理论性质，特别是K步反向模式自动微分（K-RMD）作为近似梯度的启发式方法。
• 识别K-RMD收敛至高层目标近似或精确驻点的充分条件。
• 通过实证验证，K-RMD在显著降低内存与计算时间的同时，性能可接近完整反向传播。

提出的方法

• 提出K-RMD，一种仅通过下层问题迭代解反向传播K步的截断反向模式自动微分方法。
• 利用隐式微分与下层优化算法动态过程的自动微分，计算近似梯度。
• 通过证明当低层问题在解附近局部强凸时，梯度近似误差随K呈指数衰减，建立理论收敛性。
• 将该方法应用于超参数优化与元学习任务，使用在Omniglot数据集上训练的神经网络，采用50轮元训练设置。
• 通过测量不同超迭代次数与反向深度下的准确率、训练时间与内存使用，对K-RMD与完整RMD及1-RMD进行实证比较。
• 通过近似梯度与精确梯度之间的余弦相似度以及相对ℓ₂误差，衡量收敛性，以验证理论衰减特性。

实验结果

研究问题

• RQ1 在何种条件下，K-RMD在双层优化中收敛至高层目标的近似驻点？
• RQ2 K-RMD中的梯度近似误差是否随反向深度K的增加而呈指数衰减？在何种假设下成立？
• RQ3 与完整反向模式微分（full RMD）相比，K-RMD在泛化误差与准确率等应用指标上的表现如何？
• RQ4 K-RMD是否能在实践中实现与full RMD相当的性能，同时显著降低计算时间与内存使用？
• RQ5 梯度近似误差的指数衰减是否在实验中可观察到？其是否依赖于低层问题的局部强凸性？

主要发现

• 在Omniglot数据集上，K-RMD实现的测试准确率与full RMD相当，其中10-RMD在15,000次超迭代中达到97.8%的准确率。
• 当K=10时，截断反向传播将每次迭代的计算时间减少至0.7秒，相比full RMD的2.2秒，实现约3倍加速。
• 在正则化模型中，K-RMD与full RMD梯度之间的相对ℓ₂误差随K呈指数衰减，验证了在强凸性假设下的理论指数衰减。
• 近似梯度与精确梯度之间的余弦相似度在整个训练过程中保持正值，表明K-RMD梯度为下降方向。
• 尽管每次迭代收敛更快，1-RMD的准确率仍低于更深的K-RMD变体，表明短视野限制了性能。
• 运行10-RMD共15,000次超迭代的总耗时少于full RMD的5,000次迭代，表明截断方法在实践中更具效率。