[论文解读] SEBOOST - Boosting Stochastic Learning Using Subspace Optimization Techniques

Elad Richardson, Rom Herskovitz+2 more|arXiv (Cornell University)|Sep 2, 2016

Metaheuristic Optimization Algorithms Research被引用 5

一句话总结

SEBOOST 通过在累积的下降步长和方向上应用二次子空间优化，增强随机优化，从而在不修改基础算法的前提下提升收敛速度与鲁棒性。它在深度学习任务中表现出色，计算开销极低，仅需两个超参数控制基线步骤与增强步骤之间的平衡。

ABSTRACT

We present SEBOOST, a technique for boosting the performance of existing stochastic optimization methods. SEBOOST applies a secondary optimization process in the subspace spanned by the last steps and descent directions. The method was inspired by the SESOP optimization method for large-scale problems, and has been adapted for the stochastic learning framework. It can be applied on top of any existing optimization method with no need to tweak the internal algorithm. We show that the method is able to boost the performance of different algorithms, and make them more robust to changes in their hyper-parameters. As the boosting steps of SEBOOST are applied between large sets of descent steps, the additional subspace optimization hardly increases the overall computational burden. We introduce two hyper-parameters that control the balance between the baseline method and the secondary optimization process. The method was evaluated on several deep learning tasks, demonstrating promising results.

研究动机与目标

• 开发一种通用方法，增强现有随机优化算法，而无需修改其内部机制。
• 提升深度学习训练中收敛速度与对超参数选择的鲁棒性。
• 通过仅在基线步骤批次之间周期性地应用二次优化，将计算开销降至最低。
• 探究子空间结构（如锚点与动量）对优化性能的影响。
• 实现与各种优化基线的灵活集成，并支持未来扩展，如分布式或剪枝优化。

提出的方法

• SEBOOST 在由基线随机算法累积的下降步长和先前方向张成的低维子空间中应用二次优化。
• 该方法在多个基线优化器步骤（如 SGD、Adam）与单次子空间优化步骤之间交替进行，后者在仿射子空间上最小化损失函数。
• 子空间包含最后几条下降方向，并可选择性地加入如动量或具有预设 r 值的锚点等额外向量。
• 子空间优化通过类似信赖域的方法求解，使用线搜索或信赖域方法在子空间上最小化目标函数。
• 两个关键超参数控制该过程：M（在一次增强步骤前的基线步骤数）和 ℓ（增强步骤的频率，例如每轮一次）。
• 当子空间满时，最旧的方向将被丢弃，尽管未来工作建议采用更先进的剪枝策略。

实验结果

研究问题

• RQ1 在低维子空间中应用二次优化，能否显著提升标准随机优化方法的性能？
• RQ2 SEBOOST 在不同深度学习任务中如何影响收敛速度与最终泛化误差？
• RQ3 SEBOOST 在多大程度上降低了对基线优化器超参数选择的敏感性？
• RQ4 不同子空间组件（如锚点或动量）对 SEBOOST 性能的影响如何？
• RQ5 SEBOOST 能否高效扩展至分布式或并行训练框架？

主要发现

• SEBOOST 在多个深度学习任务中显著提升了收敛速度与最终损失，包括 MNIST 自编码器与图像分类任务。
• 在 MNIST 自编码器任务中，SEBOOST 使用 M=20 时达到与 M=50 相同的最小损失，但下降更早开始，表明在速度与精度之间实现了有利权衡。
• 该方法对基线基学习率变化表现出鲁棒性，性能下降程度低于未增强的基线方法。
• 加入 r=500、250、100、50 和 20 的锚点显著提升了性能，而动量向量仅带来微小增益，且在与锚点结合时有时反而损害结果。
• SEBOOST 的计算成本保持较低，因为二次优化仅在若干基线步骤后执行一次，使其可扩展至大规模模型。
• SEBOOST 可无缝应用于任何现有优化器，无需修改其内部逻辑，具有高度模块化与易集成性。