[论文解读] Stochastic Chebyshev Gradient Descent for Spectral Optimization

In‐Su Han, Haim Avron+1 more|arXiv (Cornell University)|Feb 18, 2018

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文提出随机切比雪夫梯度下降（SCGD），一种用于涉及谱和函数（如对数行列式与核范数）的谱优化问题的无偏随机梯度方法，通过结合随机迹估计与切比雪夫展开的方差最优随机截断实现。关键贡献在于推导出一种可证明最优的截断度分布，以最小化估计器方差，从而实现比以往有偏或次优随机方法更快、更稳定的收敛速度。实验验证表明，在高斯过程学习中，该方法最高可实现六倍的加速。

ABSTRACT

A large class of machine learning techniques requires the solution of optimization problems involving spectral functions of parametric matrices, e.g. log-determinant and nuclear norm. Unfortunately, computing the gradient of a spectral function is generally of cubic complexity, as such gradient descent methods are rather expensive for optimizing objectives involving the spectral function. Thus, one naturally turns to stochastic gradient methods in hope that they will provide a way to reduce or altogether avoid the computation of full gradients. However, here a new challenge appears: there is no straightforward way to compute unbiased stochastic gradients for spectral functions. In this paper, we develop unbiased stochastic gradients for spectral-sums, an important subclass of spectral functions. Our unbiased stochastic gradients are based on combining randomized trace estimators with stochastic truncation of the Chebyshev expansions. A careful design of the truncation distribution allows us to offer distributions that are variance-optimal, which is crucial for fast and stable convergence of stochastic gradient methods. We further leverage our proposed stochastic gradients to devise stochastic methods for objective functions involving spectral-sums, and rigorously analyze their convergence rate. The utility of our methods is demonstrated in numerical experiments.

研究动机与目标

• 为解决谱优化中精确梯度计算的高成本问题，特别是针对对数行列式与核范数等谱和函数。
• 为谱和函数开发无偏随机梯度，克服现有有偏估计器在随机优化中的局限性。
• 设计切比雪夫展开的方差最优截断分布，以最小化梯度估计器的方差，这对实现稳定且快速的收敛至关重要。
• 通过减少完整梯度计算，实现高效的大规模谱优化，同时保持收敛性保证。
• 在真实任务（如矩阵补全与高斯过程回归）上对方法进行实证验证。

提出的方法

• 通过在切比雪夫多项式展开中随机采样截断度，提出一种用于谱和的无偏随机梯度估计器。
• 结合随机迹估计与随机截断，避免完整的特征值分解，从而降低计算成本。
• 推导出一种使梯度估计器方差最小化的截断度分布，确保更快收敛。
• 利用最优度分布设计两种随机优化框架：标准SGD与SVRG，均配有严格的收敛性分析。
• 利用切比雪夫多项式逼近将谱函数表示为矩阵多项式的迹，从而实现高效的随机迹估计。
• 采用矩阵扰动界（例如通过切比雪夫多项式导数不等式）控制随机逼近中的误差传播。

实验结果

研究问题

• RQ1 能否在不依赖完整特征值分解的前提下，为谱和函数构造无偏随机梯度？
• RQ2 何种切比雪夫展开的截断分布可使随机梯度估计器的方差最小化？
• RQ3 与标准选择（如均匀或几何分布）相比，所提出的方差最优分布在收敛速度与稳定性方面表现如何？
• RQ4 所提方法在大规模谱优化任务中是否能实现比现有随机或确定性方法更快的收敛速度？
• RQ5 在最优度分布下，所提SGD与SVRG变体的理论收敛速率如何？

主要发现

• 如图1所示，所提出的方差最优度分布使梯度估计器方差相比均匀或几何分布降低了一个数量级。
• SCGD方法在SGD中实现次线性收敛速率，在SVRG中实现线性收敛速率，二者均严重依赖于最优度分布。
• 在矩阵补全与高斯过程回归任务中，该方法在Szeged潮湿数据集上的运行速度比最先进的专用方法[8]最高快六倍。
• 由于随机梯度的方差较低，该方法保持了稳定的收敛性，这对实际优化至关重要。
• 理论分析证实，收敛速率是紧致的，且依赖于通过度分布优化推导出的方差最小化截断分布。
• 实证结果表明，该方法能高效扩展至大规模真实问题，优于通用及专用基线方法。