[论文解读] Nonconvex Variance Reduced Optimization with Arbitrary Sampling

Samuel Horváth, Peter Richtárik|arXiv (Cornell University)|Sep 11, 2018

Sparse and Compressive Sensing Techniques参考文献 37被引用 13

一句话总结

本文首次提出适用于非凸经验风险最小化的方差缩减随机优化方法，并引入重要性采样，将SVRG、SAGA和SARAH扩展至任意采样策略。该方法实现了最优收敛速率，并在小批量大小上展现出超线性加速，相较于最先进方法显著加快了真实数据集上的训练速度。

ABSTRACT

We provide the first importance sampling variants of variance reduced algorithms for empirical risk minimization with non-convex loss functions. In particular, we analyze non-convex versions of SVRG, SAGA and SARAH. Our methods have the capacity to speed up the training process by an order of magnitude compared to the state of the art on real datasets. Moreover, we also improve upon current mini-batch analysis of these methods by proposing importance sampling for minibatches in this setting. Surprisingly, our approach can in some regimes lead to superlinear speedup with respect to the minibatch size, which is not usually present in stochastic optimization. All the above results follow from a general analysis of the methods which works with arbitrary sampling, i.e., fully general randomized strategy for the selection of subsets of examples to be sampled in each iteration. Finally, we also perform a novel importance sampling analysis of SARAH in the convex setting.

研究动机与目标

• 弥合非凸损失函数下方差缩减随机优化理论理解的空白。
• 为非凸设置下的SVRG、SAGA和SARAH开发重要性采样变体，此前该领域尚未被探索。
• 在随机优化中首次提出最优的小批量重要性采样策略，尤其针对非凸问题。
• 在任意采样下分析收敛性，允许在每次迭代中完全通用的随机数据子集选择。
• 为非凸优化中相对于小批量大小的超线性加速建立理论基础。

提出的方法

• 提出一种适用于任意采样的方差缩减方法的通用分析框架，支持灵活且非均匀的数据选择策略。
• 在非凸设置下引入小批量的重要性采样，推导出最小化收敛时间的最优采样概率。
• 通过使用带方差缩减的有偏梯度估计器，将SVRG、SAGA和SARAH适配至非凸目标函数。
• 在非凸性假设下建立收敛保证，假设单个函数具有$L_i$-光滑性，且平均函数$f$具有强凸性。
• 利用SARAH在凸设置下的新颖分析作为起点，通过引入重要性采样将其推广至非凸情形。
• 采用关键不等式，如Nesterov的强凸性界和Young不等式，以控制方差与梯度误差项。

实验结果

研究问题

• RQ1 重要性采样能否有效扩展至非凸设置下的方差缩减方法（如SVRG、SAGA和SARAH）？
• RQ2 在非凸随机优化中，小批量的最优采样策略是什么？其是否能带来改进的收敛速率？
• RQ3 能否使用任意采样策略统一并推广非凸条件下的现有方差缩减方法？
• RQ4 小批量中的重要性采样是否会导致非凸优化中的超线性加速，与经典直觉相反？
• RQ5 在一般随机数据选择下，非凸方差缩减方法可建立哪些理论保证？

主要发现

• 所提方法在真实数据集上的训练时间相比最先进方法最多可提升一个数量级。
• 本文首次提出适用于随机优化中小批量的最优重要性采样策略，且适用于非凸问题。
• 小批量中的重要性采样在某些情形下可实现相对于小批量大小的超线性加速，打破了经典预期。
• 理论分析表明，在$L_i$-光滑与强凸性假设下，使用通用任意采样框架可实现线性收敛。
• SARAH在凸情形下的分析具有新颖性，并为引入重要性采样的非凸扩展提供了基础。
• 通过最小化梯度估计器期望方差的最优采样概率，进一步提升了收敛速率。