[论文解读] Online Variance Reduction with Mixtures

Zalán Borsos, Sebastian Curi+2 more|arXiv (Cornell University)|Mar 29, 2019

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出VRM，一种新颖的在线方差缩减方法，通过在预定义的采样分布上自适应学习混合权重，以改进随机优化。通过将问题建模为受限单纯形投影的在线学习，VRM实现了Õ(T⁴/⁵)的次线性遗憾，并在深度强化学习、k-means聚类和超参数选择中，无需先验知识，实证性能优于均匀采样和基线方法。

ABSTRACT

Adaptive importance sampling for stochastic optimization is a promising approach that offers improved convergence through variance reduction. In this work, we propose a new framework for variance reduction that enables the use of mixtures over predefined sampling distributions, which can naturally encode prior knowledge about the data. While these sampling distributions are fixed, the mixture weights are adapted during the optimization process. We propose VRM, a novel and efficient adaptive scheme that asymptotically recovers the best mixture weights in hindsight and can also accommodate sampling distributions over sets of points. We empirically demonstrate the versatility of VRM in a range of applications.

研究动机与目标

• 解决由于数据点均匀或次优采样导致的随机优化中高方差问题。
• 通过将固定采样分布形式化为混合成分，利用数据中的先验结构知识。
• 开发一种高效的在线学习框架，自适应调整混合权重以最小化梯度估计的方差。
• 在点集（如优先经验回放）等设置中实现有效方差缩减，而标准方法在此类场景中扩展性差。
• 在无需先验超参数调优的情况下，展示方法在多样化优化任务中的通用性与鲁棒性。

提出的方法

• 将混合的自适应重要性采样建模为混合权重上的在线学习问题。
• 采用在线牛顿步算法，并引入一种新颖的受限单纯形投影方法，以保持计算效率。
• 利用梯度方差或TD误差作为反馈，实时更新混合权重。
• 将混合成分构建为固定采样分布（例如，基于到聚类中心的距离或优先经验回放参数），以实现先验知识的整合。
• 在批量设置（如k-means）中采用延迟反馈机制，其中每批次观察到梯度范数。
• 采用两阶段设置：先在保留的验证集上进行超参数调优以设定β和γ，随后进行完整优化。

实验结果

研究问题

• RQ1 在固定采样分布上使用自适应混合权重是否能显著降低随机优化中的方差？
• RQ2 所提出的VRM算法是否能在混合的在线方差缩减中实现次线性遗憾？
• RQ3 VRM是否能在单次训练中有效识别最优超参数（如优先经验回放中的ε、α），而无需预先调优？
• RQ4 在收敛速度和最终性能方面，VRM与均匀采样和现有自适应基线方法（如VRB）相比表现如何？
• RQ5 VRM是否能在点集采样分布（如经验回放）中保持效率，同时实现可扩展性？

主要发现

• VRM实现了Õ(T⁴/⁵)的遗憾界，证明其在事后能渐近收敛到最优混合权重。
• 在深度强化学习中，VRM在早期训练阶段即成功识别出最佳超参数组合（ε, α），性能匹配或超越最佳固定设置。
• 在小批量k-means中，VRM在初始设置开销后优于均匀采样和VRB，尤其在c值较高的数据集（如KDD、CSN）中表现更优。
• 在MNIST上，由于最优混合权重为均匀分布，VRM性能与均匀采样相当，证实其在无结构数据中不会降低性能。
• 即使采样分布随时间更新（如在动态经验回放缓冲区中），该方法仍能有效降低方差。
• 该框架计算高效且具有通用性，无需指数级复杂度，即可处理基于点和基于集合的采样分布。