[论文解读] Variance Reduced Training with Stratified Sampling for Forecasting Models

Yucheng Lu, Youngsuk Park+4 more|arXiv (Cornell University)|Mar 2, 2021

Stock Market Forecasting Methods被引用 5

一句话总结

本文提出 SCott，一种用于时间序列预测的方差缩减随机优化器，通过分层抽样将异质时间序列分组为同质层，从而降低梯度估计的方差。通过结合分层抽样与控制变量，SCott 在迭代次数和实际运行时间上均比 SGD、Adam 和 Adagrad 实现更快收敛，且在平滑非凸目标上具有理论收敛保证。

ABSTRACT

In large-scale time series forecasting, one often encounters the situation where the temporal patterns of time series, while drifting over time, differ from one another in the same dataset. In this paper, we provably show under such heterogeneity, training a forecasting model with commonly used stochastic optimizers (e.g. SGD) potentially suffers large variance on gradient estimation, and thus incurs long-time training. We show that this issue can be efficiently alleviated via stratification, which allows the optimizer to sample from pre-grouped time series strata. For better trading-off gradient variance and computation complexity, we further propose SCott (Stochastic Stratified Control Variate Gradient Descent), a variance reduced SGD-style optimizer that utilizes stratified sampling via control variate. In theory, we provide the convergence guarantee of SCott on smooth non-convex objectives. Empirically, we evaluate SCott and other baseline optimizers on both synthetic and real-world time series forecasting problems, and demonstrate SCott converges faster with respect to both iterations and wall clock time.

研究动机与目标

• 为解决异质时间序列预测中随机优化的高梯度方差问题。
• 表明由于概念漂移或局部效应导致的时间序列异质性，会严重减慢标准优化器（如 SGD 和 Adam）的训练速度。
• 开发一种通过将时间序列分组为同质群体来降低梯度方差的方法，而无需修改模型架构。
• 设计一种高效的优化器，通过控制变量和加权抽样在方差缩减与计算复杂度之间取得平衡。
• 为所提方法在平滑非凸目标上的收敛性提供理论保证。

提出的方法

• 基于时间模式或动态相似性将时间序列分组为同质群体，以降低梯度方差。
• 在各层上采用加权抽样，以平衡方差缩减与计算成本。
• 提出 SCott，一种类似 SGD 的优化器，通过在每层内应用控制变量进一步降低梯度方差。
• 利用控制变量技术，通过先前估计值校正随机梯度，提升稳定性。
• 采用与 $ B^{-1/3} $ 成比例的步长调度，其中 $ B $ 为批量大小，以平衡收敛性与方差。
• 应用伸缩和技巧与鞅论证，推导在平滑非凸目标下的收敛边界。

实验结果

研究问题

• RQ1 大规模时间序列预测中的时间序列异质性是否会导致标准优化器（如 SGD 和 Adam）的梯度方差趋于无穷大？
• RQ2 将时间序列分层为同质层是否能降低随机优化中的梯度方差？
• RQ3 将分层抽样与控制变量结合，是否能产生比标准 SGD 或 Adam 更高效、更稳定的优化器？
• RQ4 所提 SCott 优化器在平滑非凸目标上的理论收敛速率是多少？
• RQ5 SCott 与基线优化器相比，在收敛速度和实际运行时间方面表现如何？

主要发现

• SCott 的收敛速率为 $ O\big((f(\boldsymbol{0}) - \text{inf} f(\boldsymbol{\theta}))L / (B^{1/3}T) + \text{加权方差之和} \big) $，其中 $ B $ 为批量大小。
• 计算的随机梯度总数为 $ O\big( \frac{\triangle L |\tilde{\boldsymbol{D}}|^{2/3}}{\tilde{\boldsymbol{\theta}}^2} \big) $，其中 $ \triangle = f(\boldsymbol{0}) - \text{inf} f(\boldsymbol{\theta}) $。
• 实验结果表明，SCott 在合成数据和真实世界预测任务中，无论在迭代次数还是实际运行时间上，均比 SGD、Adam 和 Adagrad 收敛更快。
• SCott 在无需修改模型架构或使用多个模型的情况下，保持或提升了泛化性能。
• 该方法显著降低了异质时间序列中的梯度方差，尤其在存在概念漂移或局部效应时效果更明显。
• 理论分析证实了在平滑非凸目标下的收敛性，且对期望梯度范数给出了明确的边界。