[论文解读] Theoretical Interpretation of Learned Step Size in Deep-Unfolded Gradient Descent

Satoshi Takabe, Tadashi Wadayama|arXiv (Cornell University)|Jan 15, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用 9

一句话总结

本文为深度展开梯度下降（DUGD）中学习到的步长提供了理论解释，表明训练过程中学习到的非直观、锯齿状步长序列自然地源于通过最小化迭代矩阵谱半径上界所导出的切比雪夫步长。切比雪夫步长实现了无动量的一阶方法的理论收敛速率下界，从而解释了DUGD中观察到的加速现象。

ABSTRACT

Deep unfolding is a promising deep-learning technique in which an iterative algorithm is unrolled to a deep network architecture with trainable parameters. In the case of gradient descent algorithms, as a result of the training process, one often observes the acceleration of the convergence speed with learned non-constant step size parameters whose behavior is not intuitive nor interpretable from conventional theory. In this paper, we provide a theoretical interpretation of the learned step size of deep-unfolded gradient descent (DUGD). We first prove that the training process of DUGD reduces not only the mean squared error loss but also the spectral radius related to the convergence rate. Next, we show that minimizing the upper bound of the spectral radius naturally leads to the Chebyshev step which is a sequence of the step size based on Chebyshev polynomials. The numerical experiments confirm that the Chebyshev steps qualitatively reproduce the learned step size parameters in DUGD, which provides a plausible interpretation of the learned parameters. Additionally, we show that the Chebyshev steps achieve the lower bound of the convergence rate for the first-order method in a specific limit without learning parameters or momentum terms.

研究动机与目标

• 解释深度展开梯度下降（DUGD）中学习到的非直观步长模式，这些模式可加速收敛，但其在经典优化理论中缺乏直观解释。
• 表明在DUGD中最小化均方误差（MSE）损失，隐含地减小了谱半径，而谱半径是收敛速度的关键因素。
• 通过最小化谱半径的上界，为学习到的步长提供理论基础，推导出基于切比雪夫的步长序列。
• 证明切比雪夫步长即使在无动量或超参数调优的情况下，也能实现一阶方法的理论收敛速率下界。
• 通过数值实验验证理论，显示学习到的步长与切比雪夫步长在定性和定量上高度一致。

提出的方法

• 理论分析表明，最小化DUGD中的MSE可降低迭代矩阵的谱半径，而谱半径决定了梯度下降的收敛速度。
• 通过最小化谱半径的上界，该方法推导出基于切比雪夫多项式的步长序列，即切比雪夫步长。
• 切比雪夫步长序列通过黑塞矩阵的极端特征值 $\lambda_1$ 和 $\lambda_n$ 定义，其中 $\gamma_t = \frac{2}{\lambda_1 + \lambda_n} \cdot \frac{1}{T} \cdot T_t(\lambda_t)$，$T_t$ 为第一类切比雪夫多项式。
• 提出一种增量式训练模拟算法，通过迭代扩展并排列切比雪夫步长以匹配初始条件，从而再现学习到的锯齿状步长模式。
• 引入一种排列搜索算法，以优化切比雪夫步长的顺序，最小化最大时间谱半径，提升数值稳定性。
• 该方法采用参数化排列模型 $\pi(t+1) \equiv a\pi(t) + b \mod T$，在保证有效排列的约束下，搜索最优 $a$、$b$、$c$ 以最小化最坏情况下的谱半径。

实验结果

研究问题

• RQ1 为何深度展开梯度下降中学习到的步长呈现非单调、锯齿状模式并能加速收敛？
• RQ2 学习到的步长模式能否通过最小化与收敛相关的上界得到理论解释？
• RQ3 所推导的切比雪夫步长序列是否实现了无动量一阶方法的理论收敛速率下界？
• RQ4 切比雪夫步长的顺序如何影响数值稳定性和收敛性能？
• RQ5 能否使用基于切比雪夫的框架定性和定量地再现DUGD中学习到的步长行为？

主要发现

• DUGD的训练同时降低了均方误差和迭代矩阵的谱半径，将损失最小化与收敛速度提升联系起来。
• 最小化谱半径的上界可导出与基于切比雪夫多项式的步长完全匹配的步长序列，为学习参数提供了理论依据。
• 数值实验确认，切比雪夫步长在不同问题设置下，定性上再现了DUGD中学习到的锯齿状步长形状。
• 在迭代次数趋于无穷的极限下，切比雪夫步长序列实现了无动量一阶方法的理论收敛速率下界，即使无自适应参数。
• 对切比雪夫步长序列进行最优排列可显著提升数值稳定性与MSE性能，最优参数依赖于条件数 $\kappa = \lambda_n / \lambda_1$。
• 当 $T=16$ 时，最优排列参数为 $(a,b,c) = (1,9,7)$，且在 $\kappa=8.54$ 时性能稳定且优于升序或降序排列。