[论文解读] Stochastic Bound Majorization

Anna Choromanska, Tony Jebara|arXiv (Cornell University)|Sep 22, 2013

Stochastic Gradient Optimization Techniques参考文献 32被引用 3

一句话总结

该论文提出了一种随机边界主导（SBM）方法，用于优化对数线性模型，该方法利用一种全局保证的二次上界，结合二阶曲率信息（与Hessian不同），实现了比SGD和ASGD更快的收敛速度和更优的解质量，且在高维设置下，其低秩变体保持了线性复杂度。

ABSTRACT

Recently a majorization method for optimizing partition functions of log-linear models was proposed alongside a novel quadratic variational upper-bound. In the batch setting, it outperformed state-of-the-art first- and second-order optimization methods on various learning tasks. We propose a stochastic version of this bound majorization method as well as a low-rank modification for high-dimensional data-sets. The resulting stochastic second-order method outperforms stochastic gradient descent (across variations and various tunings) both in terms of the number of iterations and computation time till convergence while finding a better quality parameter setting. The proposed method bridges first- and second-order stochastic optimization methods by maintaining a computational complexity that is linear in the data dimension and while exploiting second order information about the pseudo-global curvature of the objective function (as opposed to the local curvature in the Hessian).

研究动机与目标

• 解决SGD等一阶随机方法的局限性，包括收敛缓慢、对超参数敏感以及在正则化问题上表现不佳。
• 通过开发一种保持数据维度线性复杂度的随机变体，克服精确二阶方法（如牛顿法）的高计算成本。
• 通过引入全局曲率信息而不计算完整Hessian矩阵，弥合一阶与二阶优化之间的差距。
• 开发曲率边界的低秩近似，以在保持二阶优势的同时高效扩展至高维数据。
• 通过实证结果证明，所提方法在收敛速度和泛化性能方面优于当前最先进的随机一阶方法。

提出的方法

• 将原本基于对数配分函数的二次变分上界（batch bound majorization方法）推广至随机设置，通过迭代数据点更新实现。
• 将Sherman-Morrison公式应用于批量更新规则，以实现增量式、随机参数更新，同时保持收敛性保证。
• 使用一种源自全局二次上界的曲率矩阵，该矩阵近似目标函数的伪全局曲率，与局部Hessian不同。
• 引入曲率矩阵的低秩近似（秩 $k=1$），将每轮迭代的计算成本降低至 $Ó(d)$，从而实现高维数据的可扩展性。
• 在全秩版本中保持固定步长 $η_0 = 1/t$，无需超参数调优；仅在低秩变体中调优 $η_0$。
• 通过构造确保单调收敛，因为该方法基于主导法，保证每一步的目标准值非增。

实验结果

研究问题

• RQ1 能否开发一种随机二阶优化方法，在保持线性计算复杂度的同时利用全局曲率信息？
• RQ2 所提的随机边界主导（SBM）方法在收敛速度和解质量方面与SGD和ASGD相比表现如何？
• RQ3 低秩近似在多大程度上保留了二阶优化的优势，同时实现对高维数据的可扩展性？
• RQ4 该方法是否在多种数据集上均实现了优于一阶随机方法的泛化性能（以测试似然和误差衡量）？
• RQ5 该方法在全秩形式下能否实现无调优（tuning-free），其对收敛行为有何影响？

主要发现

• SBM在所有测试数据集（包括Mnist、gisette、SecStr、digitl和Text）上均以更少的迭代次数收敛，优于SGD和ASGD。
• 在计算时间方面，低秩SBM变体收敛最快，每秒的似然增益超过SGD和ASGD。
• SBM实现的测试对数似然更高，测试误差更低，表明其泛化能力和解质量更优。
• 全秩SBM方法无需任何超参数调优（如学习率），因其默认使用 $η_0 = 1/t$，且仍优于调优后的SGD变体。
• 尽管具有随机性，SBM表现出单调收敛，与SGD和ASGD中常见的噪声波动形成鲜明对比。
• 通过低秩近似，该方法在数据维度上保持了线性计算复杂度（$Ó(d)$），从而实现了对高维问题（如Text，$d=23922$）的可扩展性。